TwelveLabs presenta una herramienta que organiza vídeos en primera persona para facilitar el aprendizaje de los robots.
TwelveLabs ha presentado Pegasus 1.6, un modelo de comprensión audiovisual capaz de transformar grabaciones en metadatos estructurados. La actualización se centra en el vídeo egocéntrico, filmado desde la perspectiva de quien ejecuta una tarea. Este enfoque permite recoger detalles como la secuencia de movimientos, la función de cada mano o la reacción ante un pequeño fallo.
La herramienta fragmenta las grabaciones en acciones, les asigna marcas de tiempo y redacta descripciones conforme a los campos solicitados por el cliente. Puede utilizarse para controlar la calidad, detectar duplicados o sucesos anómalos e identificar material sensible. Asimismo, incorpora el análisis de imágenes fijas y mejora el reconocimiento de objetos y personas.
Su propósito es aliviar un cuello de botella de la robótica: convertir demostraciones físicas en material apto para entrenar modelos. La teleoperación genera ejemplos directamente vinculados a una máquina, aunque exige equipos y operadores especializados. Las cámaras que llevan los trabajadores, en cambio, permiten documentar más actividades humanas; después, Pegasus estructura las grabaciones para facilitar su uso.
La propuesta también tiene límites. Comprender una acción no equivale a ejecutarla: la presión, el tacto y el control preciso dependen de sensores y sistemas adicionales. Además, TwelveLabs no ha publicado resultados numéricos reproducibles ni casos verificables de clientes del sector robótico. Con una tarifa base de 1,75 dólares por hora de vídeo, las empresas deberán medir la precisión de las etiquetas, el esfuerzo de corrección y la mejora obtenida en cada tarea.
Basado en: Carl Franzen, VentureBeat