La empresa presenta unos monitores internos que buscan detectar conductas peligrosas con un coste mucho menor.
Los agentes de inteligencia artificial pueden ocuparse de tareas largas y procesar una enorme cantidad de texto. Para controlar su comportamiento, normalmente se utiliza otro modelo de IA que revisa todo lo que hacen. Sin embargo, esta solución aumenta el tiempo y el coste, sobre todo cuando el agente trabaja durante horas.
Goodfire ha lanzado unos monitores que observan las señales internas del modelo en vez de limitarse a leer sus respuestas. El sistema funciona como un control de aeropuerto. Unos pequeños detectores, llamados sondas, examinan la actividad en cada paso. Solo cuando encuentran algo sospechoso interviene una segunda IA, que analiza el caso con más detalle.
La herramienta está disponible para los clientes de Baseten. Cada empresa puede vigilar riesgos como los ataques informáticos, el uso indebido de armas químicas o biológicas y las trampas de un agente para obtener una recompensa. Después puede registrar el incidente, enviarlo a una persona o bloquear la petición.
En las pruebas con Kimi K3, un modelo abierto, las sondas detectaron el 93 % de las sesiones con ataques maliciosos. También mandaron a una segunda revisión el 5,5 % de las sesiones inofensivas. Según Goodfire, controlar un millón de intercambios costaría unos 185 dólares, frente a 5.420 con un modelo económico que revisara todos los pasos. Un modelo avanzado costaría cerca de 200.000 dólares. Además, cuatro sondas aumentaron menos de un 2 % el tiempo necesario para empezar a responder. El objetivo es localizar el riesgo antes de que el agente llegue a actuar.
Basado en: Aditya Mehta, TechCrunch