Un equipo del MIT usó GPT-6 Astra para reparar parte de un modelo Qwen sin recurrir al entrenamiento habitual.
Investigadores del CSAIL del MIT han explorado una forma poco habitual de intervenir en redes neuronales: encargar a un modelo de lenguaje que examine y altere directamente los parámetros de otro. Con este enfoque, denominado «programación en el espacio de pesos», GPT-6 Astra inspeccionó Qwen3.5-0.8B en un entorno controlado y diseñó una modificación sin emplear el ajuste convencional basado en gradientes.
El defecto más acusado de Qwen no era la falta de conocimientos matemáticos, sino su tendencia a encadenar razonamientos repetitivos hasta agotar el límite de salida. Astra detectó una dirección numérica vinculada a ese patrón y la eliminó en componentes específicos de las capas 15 y 19. Aunque el parche solo afectó a 131.072 pesos —en torno al 0,016 % del total—, desbloqueó capacidades que el modelo ya había adquirido.
La precisión en MATH-500 ascendió del 7,9 % al 48,1 % y, en GSM8K, pasó del 13,8 % al 67,1 %. También mejoró el seguimiento de instrucciones y cayó la proporción de respuestas truncadas. Conviene interpretar las cifras con cautela: el experimento demuestra una reparación eficaz en esas condiciones, pero no que Astra incorporase un volumen equivalente de nuevos conocimientos matemáticos.
El equipo amplió las pruebas a redes de videojuegos y a un controlador de conducción simulado. Sin embargo, hallar la intervención en Qwen requirió numerosas evaluaciones y unas veinte horas, mientras que el intento con Gemma no produjo mejoras matemáticas verificables. Antes de considerar esta vía una alternativa práctica, habrá que medir su reproducibilidad, sus costes y sus posibles efectos imprevistos frente a otros métodos.
Basado en: Carl Franzen, VentureBeat