El trabajo se suma a una línea de investigación reciente sobre destilación on-policy y autosuperación de modelos de lenguaje, un área que, según reconocen los propios autores, ha crecido rápidamente en publicaciones concurrentes o posteriores a la primera versión de su estudio. Los investigadores sostienen que su enfoque se distingue por tratar el aprendizaje continuo como un problema de arquitectura de memoria, con expansión gradual de parámetros, y no únicamente como un objetivo de post-entrenamiento sobre un modelo de capacidad fija.
Un equipo de investigadores de Google Research, en colaboración con la Universidad de Cornell, presentó un nuevo paradigma de entrenamiento que busca resolver uno de los problemas más persistentes de los modelos de lenguaje grandes (LLM): su incapacidad para aprender de manera continua sin perder conocimiento previamente adquirido.
El estudio, titulado «Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories«, fue publicado en arXiv el 10 de julio de 2026 y firmado por Ali Behrouz, Farnoosh Hashemi, Adel Javanmard y Vahab Mirrokni. Los autores señalan que una versión previa del trabajo estuvo disponible públicamente desde septiembre de 2025 en OpenReview.
El problema: modelos que no pueden aprender después de su entrenamiento
Los modelos de lenguaje actuales quedan prácticamente congelados una vez terminado su entrenamiento. Pueden usar información nueva dentro de una conversación gracias al aprendizaje en contexto, pero esa información se pierde al cerrar la sesión. Actualizar sus parámetros de forma permanente, ya sea reentrenando el modelo completo o aplicando ajustes ligeros, resulta costoso o provoca un fenómeno conocido como «olvido catastrófico»: el modelo pierde habilidades previas al adquirir unas nuevas.
Los autores comparan esta limitación con la amnesia anterógrada en humanos, una condición neurológica en la que una persona conserva sus recuerdos antiguos pero no puede formar recuerdos nuevos, quedando atrapada en un presente que se repite. Según el equipo, los LLM actuales muestran un patrón similar: su conocimiento se limita a lo que cabe en su ventana de contexto o a lo aprendido antes del fin del preentrenamiento, sin un mecanismo intermedio que consolide la experiencia reciente en memoria estable.
La propuesta: un ciclo de vigilia y sueño
Inspirados en la neurociencia del sueño humano, los investigadores proponen que un sistema de aprendizaje continuo no debería dividirse en las fases tradicionales de entrenamiento y prueba, sino alternar entre un estado «activo» (de vigilia), en el que el modelo recibe y procesa información nueva, y un estado de «sueño», en el que no recibe información externa pero reorganiza internamente lo aprendido.
El proceso de sueño que describen tiene dos etapas:
- Consolidación de memoria (Knowledge Seeding): un proceso de destilación «hacia arriba», en el que las memorias de una versión más pequeña del propio modelo se transfieren a una red más grande, preservando el conocimiento previo mientras se gana capacidad. El mecanismo combina destilación on-policy con aprendizaje por imitación basado en aprendizaje por refuerzo.
- Soñar (Dreaming): una fase de autosuperación en la que el modelo genera de forma autónoma un currículo de datos sintéticos para repasar el conocimiento nuevo y afinar sus capacidades existentes, sin supervisión humana adicional.
El diseño se apoya en la arquitectura Hope, presentada previamente por parte del mismo equipo en el paradigma de «Nested Learning» (NeurIPS 2025), que organiza los parámetros del modelo en bloques con distintas frecuencias de actualización, desde componentes que cambian con cada token hasta otros prácticamente fijos tras el preentrenamiento.
Resultados
Según el equipo, los experimentos muestran mejoras consistentes frente a métodos existentes en cuatro tipos de tareas: incorporación de conocimiento factual, aprendizaje con pocos ejemplos (few-shot), comprensión de contextos largos y aprendizaje continuo.
Entre los resultados reportados:
- En clasificación con aprendizaje incremental por clases (datasets CLINC, Banking y DBpedia), la arquitectura Hope con el mecanismo de sueño superó a enfoques de referencia como Elastic Weight Consolidation (EWC) y aprendizaje en contexto con un aprendiz externo.
- En el benchmark BABILong, el modelo alcanzó un desempeño cercano al perfecto en contextos de hasta 10 millones de tokens, superando a arquitecturas como Titans y ARMT.
- En razonamiento matemático (AIME-24, AIME-25, HMMT-25) con modelos Qwen3, el método de sueño superó tanto a ajuste fino supervisado (SFT) como a GRPO.
- En incorporación de conocimiento factual sobre el dataset SQuAD, el método superó a SEAL, un enfoque previo de auto-adaptación mediante aprendizaje por refuerzo en el que se apoya parcialmente este trabajo.
- En razonamiento abstracto de pocos ejemplos sobre el benchmark ARC, el modelo alcanzó una tasa de éxito de 80%, frente a 72.5% de SEAL y 0% de aprendizaje en contexto simple.
