Qué cambiaron los modelos más capaces
Desde agosto de 2026, he estado explorando cuánta ingeniería inversa puede realizar un agente con acceso a un programa y una forma de comprobar su trabajo. La mayor parte de mi experiencia proviene de la reconstrucción de juegos, especialmente Touhou. A medida que he ido cambiando de modelo, los repositorios han ido manteniendo un registro de lo que cada sesión logró recuperar.
Gran parte de ese trabajo busca una reconstrucción exacta: compilamos el código fuente mantenido con una cadena de herramientas histórica fijada y comprobamos si reproduce la función objetivo. Cuando un modelo posterior tiene éxito donde el trabajo anterior se había atascado, los cambios en el código fuente muestran qué hizo posible ese avance.
Los valores temporales debían seguir siendo válidos al mismo tiempo
Gran parte de la lógica de una función de ataque de TH09 ya estaba reconstruida, pero el compilador seguía almacenando los resultados temporales de forma distinta al original. El problema pendiente era cuánto tiempo debían seguir vivos esos resultados y cuándo podía reutilizarse su almacenamiento.
Un punto de control de GPT-6-Sol registró esta discrepancia después de probar varias disposiciones corrientes del código fuente. Cuando GPT-6.1-Sol volvió al problema, encontró una hipótesis útil sobre cuánto tiempo debían seguir vivos esos valores temporales.
La función producía resultados temporales y los copiaba en posiciones de animación. En C++, un resultado temporal sigue vivo hasta que termina la expresión que lo usa. Agrupar las operaciones reales en una sola expresión mantenía vivos a la vez esos resultados, así que el compilador ya no podía reutilizar el mismo almacenamiento para todos.
Un resultado seguía compartiendo almacenamiento con un valor que se usaba después en las comprobaciones de colisión. Darle a ese valor su propia vida útil resolvió el solapamiento restante. Tras varios experimentos dirigidos, una recompilación limpia confirmó que la función completa coincidía.
Lo que me interesa es cómo trabajaron juntos el descubrimiento y las pruebas. La hipótesis sobre la vida útil dio al agente una dirección nueva; la retroalimentación del compilador le ayudó a refinarla hasta llegar a una disposición del código fuente que coincidía.
Un grafo de flujo de control distinto
Una segunda función de TH09 muestra por qué esa dirección nueva puede importar. Aquí el obstáculo era cómo varias ramas compartían su trabajo final. El trabajo anterior de GPT-6.1-Sol consiguió que partes de la función coincidieran, pero las ramas seguían uniéndose de forma distinta al original.
GPT-6-Astra cambió el grafo de flujo de control circundante. Los caminos principales llevaban ahora a una actualización final compartida y al retorno. Con esa estructura del código fuente, el compilador combinó las ramas igual que el original. La función completa coincidió, y una comprobación de recompilación aparte lo confirmó.
Cambiar la representación abrió un espacio de búsqueda más productivo. Ambos casos me dan una razón para tomar en serio la capacidad general del modelo: un agente puede seguir probando variaciones locales durante mucho tiempo antes de encontrar una mejor manera de expresar el trabajo circundante.
Las sesiones posteriores también heredaron el código anterior y los intentos fallidos documentados. Esa experiencia acumulada formaba parte de su ventaja. El historial permite examinar los hallazgos y sus comprobaciones; una comparación controlada ayudaría a separar el efecto del modelo del de la experiencia que recibió.
Esto es lo que hace que la pregunta me resulte interesante. Algunos avances se produjeron al encontrar una nueva representación. Gran parte del trabajo restante implicó probar diferentes disposiciones de código fuente con un compilador conocido. ¿Cuánto de esto requiere una amplia capacidad de razonamiento? ¿Cuánto podría aprender un modelo trabajando repetidamente con ese compilador y código?
¿Por qué podría funcionar bien un modelo de IA especializado?
Touhou nos da una razón concreta para esperar que esa experiencia ayude. Gran parte del código del juego proviene del mismo autor, ZUN, por lo que los hábitos recurrentes son una suposición inicial razonable. Los repositorios respaldan esto con ejemplos útiles: bucles relacionados y disposiciones de funciones auxiliares han aportado hipótesis de un juego a otro.
Esos patrones de código fuente se vuelven más específicos cuando incluimos el compilador. Con una versión y un conjunto de opciones concretos, pequeños cambios en el código fuente pueden producir diferencias repetibles en el código máquina. Algunas de esas diferencias son sorprendentemente oscuras.
En TH095, por ejemplo, incluso el nombre de una variable local podía cambiar dónde la almacenaba VC7.1. Mover la declaración no bastó para resolver la disposición, pero una función de fondos anterior había revelado un patrón de nombres que afectaba a la elección del compilador. Eso nos dio una hipótesis más prometedora para la reconstrucción de Supervisor::LoadDat.
Reutilizar ese patrón para la variable del tamaño del archivo produjo la disposición necesaria sin añadir almacenamiento. Entonces coincidió la función completa.
Este es un detalle muy específico que un modelo de IA de propósito general puede no conocer cuando encuentra el problema por primera vez. Un modelo especializado para este compilador podría ver muchos de estos casos y aprender qué variaciones del código fuente vale la pena probar primero.
La oportunidad es especialmente clara en los problemas de coincidencia final, cuando ya entendemos el comportamiento. Entonces la pregunta es qué forma corriente de código fuente convierte este compilador en las instrucciones observadas. La especialización podría ayudar al modelo a proponer esas formas con más eficiencia, mientras que el objetivo sigue determinando qué hipótesis sobreviven.
Los patrones útiles deben conservar su contexto. TH08 utiliza una versión Visual C++ anterior a TH095 y TH09. TH04 utiliza un compilador diferente de la era DOS. Su reconstrucción del código del jugador necesitaba diferentes hipótesis sobre los patrones del código fuente y cómo el código compilado se vinculaba a un ejecutable. Tener el mismo autor nos da una expectativa inicial, pero cada objetivo nos dice si aplica. Un modelo especializado necesitaría distinguir estos contextos.
¿Dónde debería almacenarse esta experiencia?
Antes de decidir enseñar esos patrones mediante el entrenamiento de un modelo, miraría el conocimiento que ya guardamos en el repositorio. En el ensayo anterior escribí que se estaba convirtiendo en la memoria de trabajo del proyecto. Esa memoria incluye lecciones sobre el compilador, junto con el código fuente y los experimentos fallidos que las hicieron útiles.
Al recuperar ese registro, un agente puede comenzar con un resultado conocido e inspeccionar cómo llegamos a él. También puede evitar alternativas que ya han fracasado en el mismo contexto. El punto de partida mejora sin cambiar los parámetros entrenados del modelo.
Mientras reconstruía la función de TH09 para crear enemigos, una sesión GPT-6-Luna-max tomó una hipótesis del código fuente relacionado de TH08. Ese código anterior sugirió cómo organizar el bucle y gestionar los fallos dentro de él. La propia evidencia de TH09 proporcionó los detalles específicos del juego. Las recompilaciones limpias confirmaron que la función completa coincidía.
«El modelo no conocía esa peculiaridad del compilador» y «el modelo no supo usarla» son problemas distintos. La recuperación puede resolver el primero, pero convertir ese dato en un candidato útil sigue costando trabajo. Y si el candidato falla, el modelo debe decidir qué significa el resultado para su siguiente intento. Conocer el patrón relevante es solo el principio de ese proceso.
Por esa razón, incluiría en cualquier comparación un modelo de IA de propósito general más pequeño con buena recuperación. Darle la misma biblioteca de experiencia nos ayudaría a identificar qué aporta el entrenamiento: mejor generación de candidatos, mejores decisiones después de la retroalimentación, o ambas.
Aprender el siguiente experimento útil
Esas decisiones posteriores a la retroalimentación son lo que más me gustaría estudiar. En la reconstrucción con agentes, el modelo propone una explicación y la pone a prueba con el programa. Incluso cuando el candidato falla, el resultado puede acotar las posibilidades restantes y sugerir un siguiente experimento más útil.
Volvamos al ejemplo de los resultados temporales. Su código fuente final muestra la disposición que funcionó, pero el camino hasta ese código contiene más información. Cada uno de los experimentos siguientes ayudó a identificar qué faltaba por cambiar.
| Experimento | Lo que nos enseñó su resultado |
|---|---|
| Probar otra forma de copiar los resultados | El código de copia cambia, pero la función aún difiere. |
| Usar directamente los valores devueltos | La copia sigue el patrón original, pero el almacenamiento temporal aún difiere. |
| Mantener todas las variables temporales válidas al mismo tiempo | Se almacenan por separado, pero uno aún se superpone a un valor utilizado más adelante para las comprobaciones de colisiones. |
| Mantener aparte el valor de la comprobación de colisión | Una recompilación limpia del código fuente confirma la coincidencia completa. |
Experimentos seleccionados de la reconstrucción de la función de ataque anterior, agrupados según lo que nos enseñaron.
Un registro de entrenamiento que mantenga esta secuencia puede enseñar más que el código fuente final por sí solo. Conecta cada cambio propuesto con un resultado observado y la siguiente decisión. Mantener variaciones ineficaces también es importante: le dicen a un agente posterior qué hipótesis ya han sido probadas en ese contexto.
Querría que el modelo aprendiera a usar la retroalimentación. Un resultado neutro es un motivo para reconsiderar la variación; una discrepancia que cambia puede apuntar a otra causa. Cuando las ediciones locales dejan de aportar información, el agente debería poder replantear la representación del código fuente o volver a inspeccionar la evidencia.
Aprender a tomar esas decisiones requiere autonomía. A veces el siguiente paso útil es inspeccionar otro llamador en lugar de compilar otra edición. Una secuencia rígida de reescrituras obligatorias eliminaría esa elección, y con ella parte del comportamiento que queremos que el modelo aprenda.
Por qué la ingeniería inversa es interesante para el aprendizaje por refuerzo
La reconstrucción acotada nos da un entorno práctico para estudiar estas decisiones. Una vez fijados el objetivo y el compilador, muchos experimentos con el código fuente producen una retroalimentación rápida y repetible. El agente puede compilar un candidato, inspeccionar la discrepancia y usar esa observación para elegir su siguiente paso.
El aprendizaje por refuerzo podría entrenar ese proceso de toma de decisiones a través de la retroalimentación que recibe. Un candidato aceptado por una comprobación definida nos da un resultado concreto, mientras que la secuencia de intentos nos permite observar cuánto trabajo ha sido necesario para alcanzarlo.
Ya existen investigaciones que respaldan esta dirección. LLM4Decompile estudia modelos especializados para la descompilación. AutoDecompiler entrena un refinamiento en varios turnos usando la retroalimentación del compilador y de la ejecución. Sus estudios se centran en la recuperación funcional. Para este trabajo, los usaría como punto de partida para la tarea relacionada de encontrar código fuente que coincida con la salida de un compilador histórico.
Sin embargo, para alcanzar una tarea tan bien definida, es posible que primero necesitemos establecer qué recursos posee una función o diseñar una nueva forma de observar el comportamiento del programa durante su ejecución. En TH08, por ejemplo, una diferencia de colisión llevó a cómo el programa original manejaba los cálculos de coma flotante. Antes de que el agente pudiera probar una corrección útil, tenía que decidir qué medir.
Esto sugiere otra función para un modelo con amplias capacidades: ayudar a que el problema sea verificable en primer lugar. Una vez que exista esa verificación, podemos investigar hasta dónde puede llegar una política de búsqueda aprendida.
Cuando el verificador está equivocado
Al entrenar con una comprobación, su cobertura pasa a formar parte del entorno de aprendizaje. Llamo oracle a esa referencia o verificador. Aunque la respuesta sea repetible, debemos entender qué verifica realmente.
TH08 mostró cuánto se puede ocultar fuera de esa cobertura. Algunas funciones reconstruidas pasaron sus comparaciones exactas con constantes de coma flotante incorrectas. El comparador ajustó las direcciones reubicadas antes de verificar las instrucciones, pero verificó los valores detrás de esas direcciones solo cuando se habían registrado explícitamente para su verificación. Otras referencias a literales podían pasar sin que se examinaran sus valores.
Para abordar esta brecha, una auditoría más amplia encontró constantes incorrectas en funciones que ya habían pasado la verificación. En un cálculo, el código fuente reconstruido sumaba 1.0f donde el original sumaba 32.0f.
Un modelo recompensado por la comprobación anterior podría aprender a producir una reconstrucción incorrecta. No entrenamos un modelo RL usando ese verificador. El fallo que observamos estaba en la propia comprobación. Pero si lo usáramos como recompensa, el mismo punto ciego pasaría a formar parte del entorno de aprendizaje.
Una prueba funcional puede tener un punto ciego parecido. La investigación con fuzzing diferencial sobre descompiladores basados en LLM ha encontrado diferencias de comportamiento más allá de las pruebas suministradas. Por eso, superar esas pruebas debe leerse en términos de los casos que ejercitan, igual que una coincidencia de instrucciones debe leerse en términos de los bytes y los datos que comprueba.
Antes de usar como recompensa cualquiera de los dos tipos de comprobación, la pondría a prueba con fallos deliberados. También mantendría la aceptación final fuera del código fuente que el candidato puede editar, de modo que el modelo tenga que superar la comprobación mediante su reconstrucción. De lo contrario, algo como un array de bytes copiado del objetivo podría satisfacer una puntuación ingenua sin recuperar código fuente útil.
Mejorar el modelo que aprende y mejorar su verificador forman parte del mismo problema de investigación. A medida que ese modelo optimiza mejor la retroalimentación que le damos, entender esa retroalimentación también se vuelve más importante.
Una comparación que vale la pena realizar
Con esas comprobaciones en marcha, empezaría la comparación con una familia fija de tareas de VC7.1. Primero establecería líneas de base para un modelo general potente y otro más pequeño. Añadir el conocimiento del repositorio al modelo pequeño mostraría qué cambia la recuperación. A partir de ahí, la especialización supervisada y una versión entrenada con RL nos permitirían examinar qué añade el entrenamiento.
Para que esas comparaciones sean informativas, cada modelo recibiría la misma evidencia del objetivo y las mismas herramientas. En las comparaciones específicas del entrenamiento, también mantendría fijos el modelo base y el conocimiento disponible. Repetir los ensayos ayudaría a distinguir una estrategia de búsqueda fiable de un candidato afortunado.
Luego separaría dos condiciones iniciales: reconstruir una función a partir de sus instrucciones y cerrar las últimas diferencias en el código fuente mantenido. Un modelo de IA especializado podría ser excelente en la segunda tarea, mientras que un modelo de IA de propósito general hace gran parte del trabajo necesario para alcanzarla. Medirlos por separado revelaría esa división del trabajo.
Ambas tareas necesitan ejemplos de prueba excluidos del entrenamiento y la recuperación. Los juegos Touhou relacionados comparten el código del motor. Excluir un juego del entrenamiento aún podría dejar funciones casi idénticas en el conjunto de entrenamiento. En cambio, excluiría grupos enteros de código fuente relacionado y mantendría sus respuestas verificadas fuera de los datos de entrenamiento y de la biblioteca de recuperación.
Para estos ejemplos, el resultado serían coincidencias completas y verificadas de forma independiente. La igualdad de presupuestos para las propuestas de los candidatos o los intentos de compilación ayudaría a comparar la calidad de la búsqueda. Medir el tiempo y el costo total, incluida la compilación, mostraría si esa calidad produce un flujo de trabajo eficiente. Los costos de entrenamiento también necesitarían su propia contabilidad.
Ambas medidas importan. Una propuesta barata puede generar un flujo de trabajo costoso si genera más compilaciones que no proporcionan información útil. Por el contrario, un modelo más lento puede resultar más económico si encuentra antes un experimento útil. La comparación debe incluir estos costos.
Contar los resultados aceptados también ayuda a interpretar los avances intermedios. Un candidato para guardar repeticiones de TH09 parecía prometedor porque la función compilada tenía el tamaño esperado, pero la comparación completa aún encontró diferencias importantes. La forma en que el compilador ordena las instrucciones puede hacer que un candidato parezca más cercano sin resolver el problema de fondo. Estos diagnósticos orientan el siguiente experimento; antes de premiar una mayor cercanía, la contrastaría con la comprobación completa de aceptación.
Me interesaría conocer el patrón de estos resultados. Si un modelo de IA especializado funciona bien dentro de una familia de compiladores conocida, ¿esa ventaja sobrevive a un cambio en la cadena de herramientas? Y una vez que ambos modelos de IA tengan una buena recuperación, ¿cuánto aporta aún el entrenamiento? Las respuestas nos ayudarían a decidir dónde es más útil cada tipo de modelo.
¿Qué tipo de agente de IA sugiere esto?
Si los modelos resultan útiles en etapas distintas, una disposición útil podría ser un agente generalista con acceso a un especialista. Cuando una tarea se convierte en una búsqueda sobre un compilador conocido, podría pedir candidatos al especialista. Si los resultados dejan de tener sentido, el agente generalista podría volver a la evidencia del objetivo o investigar la propia medición.
En esa disposición, la especialización pasa a ser una herramienta que el agente puede elegir a medida que avanza la investigación. El agente conserva la libertad de cambiar de dirección que hizo posibles los avances anteriores.
Esto se deriva naturalmente del cambio industrial que describí en el ensayo anterior. Poder realizar muchos más experimentos cambia la forma en que organizamos el trabajo. También nos da una razón para preguntar qué decisiones requieren un juicio amplio y cuáles mejoran a través de experiencias repetidas con un oficio en particular.
Por ahora, el modelo general más potente se ha ganado su lugar en mi flujo de trabajo al resolver problemas que había dejado pendientes. Esos éxitos me llevan a examinar el proceso: ¿cuánto dependía de la amplitud del modelo y cuánto podría asumir uno entrenado específicamente para esta clase de reconstrucción?
Los repositorios nos dan una forma de poner a prueba la pregunta. Me gustaría usar ese registro para montar la comparación y ver qué aprendemos.
Evidencia y atribución de modelos
Las notas detalladas de evidencia incluyen las comparaciones registradas y el contexto de los experimentos.
Los ejemplos describen comparaciones históricas a nivel de función registradas en los commits enlazados. Las comprobaciones en tiempo de ejecución del juego completo son hitos aparte. El código fuente y los registros de coincidencia se revisaron el 13 de octubre de 2026.
La etiqueta TH09 gpt-dots significa GPT-6-Astra. El modelo asociado con gpt-web cambió con el tiempo, por lo que esa etiqueta por sí sola no puede identificar el modelo utilizado en una ejecución específica. Los nombres de modelos explícitos en los demás commits citados proporcionan la atribución registrada. Estos historiales no incluyen mediciones consistentes de costo o esfuerzo para cada ejecución.
- Duración de los objetos temporales en TH09: la revisión de contexto anterior y la reconstrucción completa verificada mediante una recompilación limpia del código fuente.
- Callback Front de TH09: regiones de diagnóstico no exactas, el nuevo grafo de Astra y su recompilación de comprobación aceptada.
- Conocimiento del compilador: reutilización de cubos de identificadores en TH095, código fuente del jugador y orden del enlazador en TH04 y cierre de la creación de enemigos de TH09 por Luna.
- Comprobaciones y diagnósticos: auditoría de literales de coma flotante de TH08, investigación numérica de TH08 y reconstrucción del guardado de repeticiones de TH09.
Las comparaciones propuestas de modelos especializados y entrenamiento RL son experimentos futuros. Los historiales de los proyectos las motivan. Para este ensayo no se evaluó ningún modelo especializado entrenado.