Anthropic publicó una investigación en la que reveló hallazgos sobre el funcionamiento interno de sus modelos de lenguaje, entre ellos Claude, y encontró una característica que no habían programado en el modelo y que surgió de manera espontánea, que estos pueden procesar y transformar conceptos de forma interna sin que dichos conceptos lleguen a aparecer en la respuesta final que el modelo entrega al usuario.
El estudio, titulado «Verbalizable Representations Form a Global Workspace in Language Models» y firmado por Jack Lindsey junto a un equipo de investigadores de Anthropic, fue publicado este lunes en Transformer Circuits Thread. Los autores desarrollaron una herramienta de interpretabilidad llamada «lente jacobiana» (J-lens), que permite identificar qué conceptos es capaz de verbalizar el modelo en un momento dado de su procesamiento, incluso cuando esos conceptos no terminan apareciendo en el texto de salida.
El hallazgo central proviene de un experimento con acertijos de razonamiento en dos pasos. Los investigadores intervinieron directamente sobre una representación interna correspondiente a un paso intermedio del razonamiento, un paso que el modelo nunca había expresado en palabras. Esa intervención cambió la respuesta final del modelo en más del 70% de los casos, en pruebas realizadas sobre Claude Sonnet 4.5 y Opus 4.5. Según el estudio, esto indica que el modelo realiza cómputo real sobre esas representaciones no verbalizadas, y que ese cómputo tiene efecto directo sobre lo que finalmente responde.
Los autores llamaron a este conjunto de representaciones J-space y sostienen que cumple varias funciones asociadas, en la literatura sobre cognición humana, al llamado «espacio de trabajo global»: puede reportarse verbalmente si se le pregunta al modelo, puede modularse de forma deliberada, sostiene razonamientos de varios pasos y opera de forma selectiva, activándose en tareas complejas pero no en procesos automáticos como la fluidez gramatical.
«Descubrimos que Claude ha desarrollado un pequeño conjunto de patrones neuronales internos que, en comparación con todo su demás procesamiento interno, desempeñan un papel especial.
«Llamamos a este conjunto de patrones el J-space, nombre que proviene de la técnica que utilizamos para encontrarlos, la cual involucra un concepto matemático llamado jacobiano. Cada patrón del J-Space está vinculado a una palabra específica. Sin embargo, cuando uno de estos patrones se activa, no significa que el modelo esté pronunciando esa palabra, sino simplemente que la tiene presente. Si ha oído hablar de modelos de lenguaje que utilizan un «bloc de notas» o una «cadena de pensamiento» —textos que escriben mentalmente mientras razonan—, el J-space es algo diferente. Opera de forma silenciosa, en las activaciones neuronales internas del modelo, permitiéndole pensar en un concepto sin escribirlo. Cabe destacar que el J-Space no fue diseñado ni programado por nosotros, sino que surgió espontáneamente durante el proceso de entrenamiento de Claude.
«Descubrimos que el J-Space tiene una serie de propiedades únicas, en comparación con el resto del procesamiento de Claude:
-
Claude puede informar sobre estas representaciones. Si le preguntas a Claude qué está pensando, te dirá qué hay en el J-Space. Las representaciones que no pertenecen al J-Spaceon menos fáciles de informar.
-
También puede modularlos a petición. Si le pides a Claude que piense en algo o que resuelva un problema mentalmente, activará los patrones adecuados en su J-Space. Por el contrario, tiene dificultades para modular patrones que no se encuentran en el J-Space.
-
Claude utiliza su J-Space para el razonamiento interno. Si le pides que resuelva un problema que requiere varios pasos, los pasos intermedios se iluminarán en su J-Space, incluso cuando no los mencione en voz alta. Estos patrones del J-Space median causalmente su desempeño en dichas tareas, a pesar de ser de menor magnitud que otras representaciones.
-
Las representaciones en el J-Space se pueden utilizar de forma flexible para muchas tareas; por ejemplo, una vez que «Francia» se ha iluminado en el J-Space de Claude, el modelo puede recordar su capital, su moneda nacional o el continente al que pertenece.
-
Sin embargo, a pesar de su importante función, el J-Space no interviene en la mayoría de las tareas que realiza un modelo de lenguaje: hablar con fluidez, recordar datos sencillos, usar la gramática correcta, etc. En experimentos en los que impedimos que Claude utilizara su J-Space, siguió interactuando con normalidad, pero perdió sus funciones cognitivas de orden superior,» explicó Anthropic en un comunicado.
El equipo aplicó también esta herramienta a la auditoría de seguridad de los modelos. De acuerdo con el estudio, el J-lens permitió detectar, en dos modelos entrenados deliberadamente con objetivos desalineados, rastros internos de evaluaciones estratégicas y de reconocimiento de estar siendo evaluados, señales que no se manifestaban en las respuestas visibles de esos modelos.
A partir de estos hallazgos, los investigadores presentaron además una técnica de entrenamiento denominada «reflexión contrafactual», orientada a inculcar principios éticos entrenando al modelo para articularlos si fuera interrumpido y se le pidiera reflexionar sobre su propia conducta. El estudio reporta mejoras de comportamiento en los contextos originales sin entrenamiento directo sobre la conducta ética evaluada.
Los propios autores acotan el alcance de sus conclusiones: precisan que los resultados no permiten determinar si los modelos poseen experiencia subjetiva, un asunto que califican de no resuelto, y que el paralelismo con la teoría del espacio de trabajo global del cerebro humano es funcional y parcial, dado que los modelos de lenguaje carecen de las conexiones recurrentes propias de esa teoría en neurociencia.
