Un equipo de la Universidad de Toronto y la EPFL (Suiza) presentó un método de entrenamiento que busca resolver un problema creciente en los modelos de razonamiento de IA: a medida que se vuelven más capaces mediante aprendizaje por refuerzo, su forma de «pensar» se vuelve cada vez menos comprensible para sistemas más débiles, incluyendo humanos que intentan supervisarlos.
El paper, publicado el 26 de junio en arXiv, propone «Tandem Reinforcement Learning» (TRL), una técnica que entrena dos copias de un mismo modelo: una activa que aprende y otra congelada que actúa como «socio débil», para que generen las respuestas en conjunto, alternando palabra por palabra. La idea es que el modelo que se está entrenando solo reciba recompensa si su razonamiento puede ser continuado exitosamente por su versión congelada y menos entrenada.
El hallazgo central es que esto se puede lograr sin sacrificar capacidad: el modelo entrenado con TRL resolvió competencias de matemáticas (AIME, AMC, Minerva) con el mismo desempeño que un modelo entrenado con el método estándar (GRPO), pero su razonamiento permaneció 14% más cercano a la distribución de su versión base y resultó hasta 17% menos «sorpresivo» para el modelo débil que debía seguirlo.
El problema que motiva la investigación
El aprendizaje por refuerzo con recompensas verificables (RLVR), el método detrás de los saltos de capacidad en modelos como DeepSeek-R1, ha probado ser extremadamente efectivo para mejorar el razonamiento matemático y de código. Pero tiene un efecto secundario documentado: los modelos entrenados así tienden a alejarse de patrones de lenguaje legibles, mezclando idiomas, desarrollando «jerga» interna o, en casos extremos, generando cadenas de razonamiento que ocultan información relevante para la respuesta final sin que un supervisor externo pueda detectarlo (lo que la literatura llama razonamiento «esteganográfico»).
Esto es un problema de fondo para la supervisión de sistemas de IA: si un modelo razona de manera cada vez más opaca, se vuelve más difícil para humanos u otros modelos verificar si ese razonamiento es confiable.
Cómo funciona el método
Los autores, Difan Jiao y Ashton Anderson (Toronto), junto con Raghav Singhal y Robert West (EPFL), parten de un paradigma llamado «tandem training«, probado antes en ajedrez y en una versión simplificada de modelos de lenguaje, pero nunca dentro del pipeline moderno de RLVR usado en los modelos de razonamiento actuales.
En TRL, un modelo «senior» (entrenable) y un modelo «junior» (congelado, copia idéntica antes del entrenamiento) coescriben cada respuesta: en cada límite de palabra, una moneda decide cuál de los dos continúa el texto. La respuesta conjunta recibe una sola recompensa binaria de un verificador matemático, pero solo el modelo senior se actualiza, y únicamente sobre los tokens que él mismo generó.
El equipo entrenó Qwen3-4B-Instruct con este método sobre problemas de matemáticas de competencia (DeepScaleR) y lo comparó contra un entrenamiento estándar con GRPO.
Los resultados fueron:
- Capacidad intacta: el modelo entrenado con TRL igualó el desempeño de GRPO en razonamiento individual, sin penalización.
- Mejor «traspaso» a un socio débil: cuando se empareja en inferencia con la versión congelada y deben alternar turnos de razonamiento, el modelo TRL superó a GRPO hasta por 6.6 puntos porcentuales en AIME.
- Menos desviación distribucional: el vocabulario usado por el modelo TRL se mantuvo más cercano al modelo base original, revirtiendo el 87% de los términos que GRPO había desplazado más.
- Más legible: el modelo junior «predijo» mejor, token por token, el razonamiento generado por la versión TRL que por la versión GRPO.
Un experimento de control descartó que el efecto se debiera simplemente a una penalización estadística de divergencia (KL) hacia el modelo congelado —una técnica estándar en RLHF—: ese ajuste no reprodujo las mismas mejoras, lo que sugiere que el beneficio viene específicamente de la estructura de generación conjunta, no de un término de regularización añadido.
Limitaciones que reconocen los propios autores
El método no generaliza automáticamente a modelos «junior» que no participaron del entrenamiento: al emparejar el modelo TRL con versiones más pequeñas de Qwen3 (0.6B y 1.7B) nunca vistas durante el entrenamiento, la ventaja de legibilidad se diluye o desaparece. Los autores también reportan una caída de desempeño tras entrenamientos muy prolongados, un patrón ya observado en trabajos previos de tandem training, y dejan sin resolver la explicación mecanística de por qué emergen estas tres propiedades juntas.
El costo computacional es otro punto: entrenar dos modelos en paralelo, incluso optimizando el motor de inferencia vLLM (una contribución técnica aparte del paper), implica un tiempo de entrenamiento mayor (9.4 horas frente a 7.8 de GRPO) para alcanzar el mejor punto de control.
El trabajo se inserta en una línea de investigación sobre supervisión de modelos cada vez más capaces («weak-to-strong generalization») y llega en un momento en que distintos laboratorios, incluido Anthropic, con sus estudios sobre razonamiento esteganográfico y fidelidad de cadenas de pensamiento, han señalado la opacidad del razonamiento de los LLM como un riesgo de gobernanza técnica, no solo un problema de rendimiento.
