Nuevos modelos de IA reabren la discusión sobre seguridad, control humano y normas públicas.
Anthropic, una empresa conocida de inteligencia artificial, ha quedado en el centro de un debate sobre seguridad. A comienzos de junio presentó señales tempranas de mejora recursiva en sus sistemas. Este proceso aparece cuando una IA ayuda a mejorar su propia capacidad y, con cada versión nueva, puede impulsar otra mejora.
El riesgo está en la velocidad. Si ese ciclo crece sin límites claros, el control humano puede hacerse más débil. No se trata solo de una máquina más rápida, sino de un sistema que ayuda a construir sistemas todavía más potentes.
Pocos días después, el 12 de junio, la Casa Blanca ordenó restringir el acceso de ciudadanos extranjeros a dos modelos de Anthropic, Fable 5 y Mythos 5. La decisión alcanzaba también a investigadores importantes de la compañía. Anthropic respondió apagando los modelos, una medida poco habitual que mostró la seriedad del problema.
Otra parte del debate tiene que ver con Claude Code. Esta herramienta permite describir una idea en lenguaje normal y recibir código escrito por la IA. Eso acelera el trabajo de investigación, incluso cuando el objetivo es mejorar la propia IA. En ese contexto, Mythos 5 habría demostrado capacidad para realizar ciberataques de principio a fin sin ayuda humana.
Un sistema así, si se publica sin protecciones fuertes, podría facilitar ataques contra infraestructuras básicas. Por eso se defiende crear licencias para los modelos más avanzados. Antes de lanzarlos, las empresas tendrían que cumplir un nivel mínimo de seguridad, como ocurre en sectores donde un fallo puede afectar a muchas personas.
Basado en: Stuart Russell, The Guardian