Un sistema con Gemma 3 describe imágenes en órbita y apunta a nuevas formas de usar satélites.
La NASA ha llevado a órbita NAVI-Orbital, un sistema experimental que emplea Gemma 3, el modelo de lenguaje y visión de Google, para interpretar imágenes captadas por un satélite. La prueba apunta a una idea sencilla pero potente: procesar la información cerca del sensor antes de enviarla a tierra.
La demostración se hizo a bordo de un YAM-9 de Loft Orbital. Antes del vuelo, el equipo evaluó el sistema con 7.960 imágenes y obtuvo un 88 por ciento de precisión en clasificación, sin entrenarlo para ese conjunto concreto. Una vez en órbita, se realizaron dos capturas: una sobre Toulouse y otra sobre la costa argentina.
Gemma 3 produjo descripciones escritas de las escenas y respondió preguntas previamente definidas, como si aparecían zonas comerciales, áreas residenciales o rasgos naturales. El interés no está solo en reconocer elementos, sino en transformar una imagen bruta en una explicación textual dentro del propio satélite.
Ese cambio puede ser importante cuando la comunicación es limitada. Los satélites no siempre mantienen contacto continuo con estaciones terrestres, y transmitir imágenes completas consume mucho más ancho de banda que enviar un resumen. En la detección de incendios, un aviso generado a bordo podría reducir retrasos.
El modelo corrió en un Nvidia Jetson Orin AGX mediante una versión comprimida a 4 bits, con 4.000 millones de parámetros y 8 gigabytes de memoria. NAVI-Orbital está aislado del software de vuelo: analiza imágenes, pero no gobierna la nave. Aun así, permite imaginar misiones en las que una instrucción baste para buscar otro fenómeno. La misma idea podría evolucionar hacia asistentes para astronautas.
Basado en: Matthew S. Smith, IEEE Spectrum