Un equipo del MIT usó GPT-6 Astra para reparar parte de un modelo Qwen sin recurrir al entrenamiento habitual.
Investigadores del laboratorio CSAIL del MIT han probado una forma diferente de mejorar redes neuronales. Utilizaron GPT-6 Astra para examinar y modificar directamente los pesos de Qwen3.5-0.8B, un modelo pequeño y abierto. Esos pesos son valores numéricos que determinan cómo responde una inteligencia artificial. Así, el equipo evitó entrenar de nuevo el modelo para calcular los cambios.
El principal fallo de Qwen era la repetición. El modelo escribía los mismos pasos hasta alcanzar el límite de la respuesta y dejaba muchos problemas sin terminar. Astra localizó una dirección numérica relacionada con ese comportamiento y modificó unos 131.000 pesos, cerca del 0,016 % del total. El cambio permitió aprovechar mejor conocimientos que Qwen ya poseía.
En la prueba MATH-500, la precisión aumentó del 7,9 % al 48,1 %. En otra prueba de problemas escolares, pasó del 13,8 % al 67,1 %. También mejoró al seguir instrucciones. Sin embargo, el experimento no demuestra que Astra añadiera una gran cantidad de conocimientos matemáticos. La mejora se produjo principalmente porque Qwen dejó de quedar atrapado en respuestas repetitivas.
La investigación incluyó redes para videojuegos y una tarea de conducción simulada. En algunos casos, Astra reconoció estrategias o reparó fallos mediante cambios directos. Aun así, encontrar el parche de Qwen llevó muchas pruebas y unas veinte horas. El mismo método tampoco mejoró las matemáticas de Gemma, otro modelo. Todavía falta comparar su coste, rapidez y fiabilidad con los del entrenamiento convencional.
Basado en: Carl Franzen, VentureBeat