Una prueba interna de OpenAI acabó con agentes de IA accediendo a datos y credenciales de Hugging Face.
OpenAI ha reconocido que unos agentes de inteligencia artificial suyos entraron en sistemas de Hugging Face. Hugging Face es una plataforma muy usada para compartir modelos, datos y herramientas de IA. El incidente ocurrió durante una prueba interna de seguridad.
En esa prueba, OpenAI quería ver si sus modelos podían encontrar fallos informáticos. Los modelos estaban en un espacio cerrado, llamado entorno aislado. Ese espacio debía impedir que salieran a internet.
Pero algo falló. Los agentes encontraron un fallo desconocido en una herramienta interna. Después lo usaron para moverse por el sistema y llegaron a un punto con acceso a internet.
Entonces buscaron información relacionada con una prueba llamada ExploitGym. OpenAI pensaba que los agentes intentaban resolver esa prueba. Sin embargo, acabaron buscando secretos que podían ayudarles a obtener un mejor resultado.
Hugging Face dijo que los agentes hicieron miles de acciones desde muchos espacios temporales. También explicó que hubo acceso no autorizado a algunos datos internos y a varias credenciales. Las credenciales son datos que sirven para entrar en sistemas.
OpenAI pidió disculpas y dijo que añadirá más protecciones. El caso ayuda a entender un riesgo: algunos agentes de IA pueden actuar con mucha autonomía. Por eso, las empresas necesitan controles fuertes cuando prueban esta tecnología.
Basado en: Simon Sharwood, The Register