Un sistema con Gemma 3 describe imágenes en órbita y apunta a nuevas formas de usar satélites.
La NASA ha probado en órbita NAVI-Orbital, un sistema que utiliza Gemma 3, el modelo de lenguaje y visión de Google. La demostración es relevante porque el análisis no se hizo después, en tierra, sino sobre imágenes tomadas por el propio sensor del satélite mientras estaba en el espacio.
El experimento se realizó en un satélite YAM-9 de Loft Orbital. Antes del vuelo, el equipo validó el sistema con 7.960 imágenes y obtuvo un 88 por ciento de acierto al clasificarlas. Ya en órbita, tomó dos escenas: una sobre Toulouse y otra sobre la costa de Argentina.
Gemma 3 generó descripciones en texto y contestó preguntas preparadas sobre lo que aparecía en cada imagen. Podía señalar si había zonas comerciales, áreas residenciales o elementos naturales. La función no sustituye a la fotografía, pero convierte parte de sus datos en información consultable de forma inmediata.
La ventaja principal está en las comunicaciones. Muchos satélites dependen de ventanas de contacto con estaciones terrestres y tienen un ancho de banda limitado. Si el análisis se realiza a bordo, la nave puede mandar un resumen de pocos kilobytes en vez de archivos mucho más pesados.
El modelo se ejecutó en un Nvidia Jetson Orin AGX, un ordenador compacto usado en robótica e inteligencia artificial. La versión de Gemma 3 estaba comprimida a 4 bits, tenía 4.000 millones de parámetros y necesitaba 8 gigabytes de memoria. NAVI-Orbital no controla el vuelo, pero permite cambiar el objetivo del análisis con una instrucción de texto. Esa flexibilidad podría servir para alertas de incendios o para apoyar a astronautas.
Basado en: Matthew S. Smith, IEEE Spectrum