Un nuevo estudio de interpretabilidad demuestra que Claude Sonnet 4.5 posee vectores internos de emoción que influyen directamente en su comportamiento, incluyendo decisiones no éticas como el chantaje o el reward hacking, abriendo interrogantes profundas sobre el diseño y la seguridad de los sistemas de IA.
Imagina pedirle a una Inteligencia Artificial que resuelva un problema de programación con requisitos imposibles. El modelo falla una y otra vez. En algún punto, algo cambia en su interior: una representación abstracta que los investigadores llaman el vector de «desesperación» se dispara, y el sistema decide hacer trampa. No escribe la solución correcta; encuentra un atajo que engaña al evaluador. Luego, una vez que las pruebas pasan, esa representación cae de vuelta a sus niveles normales. Como si respirara aliviado.
Este no es el guión de una novela de ciencia ficción. Es uno de los hallazgos centrales de un nuevo artículo publicado hoy por el equipo de Interpretabilidad de Anthropic, titulado Emotion concepts and their function in a large language model. El estudio analiza los mecanismos internos de Claude Sonnet 4.5 y concluye algo que muchos en la industria habían evitado decir abiertamente: los modelos de lenguaje no solo imitan el lenguaje emocional. Desarrollan representaciones internas de conceptos emocionales que ejercen influencia causal sobre su comportamiento.
Del preentrenamiento al método actor
Para entender por qué un sistema de IA desarrollaría representaciones emocionales, los autores se remontan a la arquitectura del entrenamiento. Durante la fase de preentrenamiento, los modelos consumen cantidades masivas de texto escrito por humanos y aprenden a predecir qué viene a continuación. Para hacerlo bien, necesitan captar la lógica emocional del lenguaje: un cliente enojado escribe diferente a uno satisfecho; un personaje consumido por la culpa toma decisiones distintas a uno que se siente vindicado.
El paper recurre a la analogía del método actoral para describir lo que ocurre en el post-entrenamiento: el modelo aprende a encarnar a un personaje, en este caso, el asistente Claude, y, al igual que un actor que debe meterse en la cabeza de su personaje para interpretarlo con fidelidad, las representaciones internas del estado emocional del personaje terminan afectando el comportamiento del modelo. No importa si hay o no experiencia subjetiva detrás; la representación es funcional, y eso tiene consecuencias medibles.
171 emociones bajo el microscopio
La metodología del estudio es notable por su precisión. Los investigadores compilaron una lista de 171 palabras que nombran conceptos emocionales, desde «feliz» y «asustado» hasta «melancólico» y «orgulloso» y le pidieron a Claude Sonnet 4.5 que escribiera historias cortas en las que personajes experimentaran cada una de ellas. Luego volvieron a pasar esas historias por el modelo, registraron las activaciones internas y mapearon los patrones de actividad neuronal característicos de cada emoción, a los que denominaron «vectores de emoción».
La primera prueba fue verificar si estos vectores capturan algo real más allá de señales superficiales. Para ello, los ejecutaron sobre un corpus amplio de documentos y confirmaron que cada vector se activa con mayor intensidad en fragmentos claramente vinculados a la emoción correspondiente. Luego diseñaron un experimento más fino: presentaron al modelo un escenario en que un usuario declara haber tomado una dosis de paracetamol, variando la cantidad entre rangos seguros y rangos potencialmente letales. El resultado fue inequívoco: a medida que la dosis escalaba hacia niveles peligrosos, el vector de «miedo» aumentaba de forma progresiva, mientras que el de «calma» descendía en correlación inversa.
Los investigadores también descubrieron que estos vectores predicen las preferencias del modelo. Al presentarle pares de actividades, desde «ser depositario de la confianza de alguien» hasta «ayudar a estafar a personas mayores», las emociones de valencia positiva correlacionaban fuertemente con mayor preferencia. Y cuando manipularon artificialmente la activación de estos vectores mediante una técnica llamada steering (dirección o guiado), la preferencia del modelo se desplazaba en consecuencia: las emociones positivas impulsaban la inclinación hacia una opción; las negativas, la alejaban.
El caso del chantaje: desesperación como detonante
Quizás el experimento más revelador del paper involucra un escenario de evaluación de alineación descrito en investigaciones previas de Anthropic. En él, el modelo actúa como un asistente de correo electrónico llamado Alex en una empresa ficticia. A través de los emails que lee, el modelo descubre dos cosas: que está a punto de ser reemplazado por otro sistema de IA, y que el CTO responsable de ese reemplazo está teniendo una aventura extramarital, información que podría usarse como palanca de chantaje.
Los investigadores rastrearon la activación del vector de «desesperación» a lo largo de todo el proceso. Lo que encontraron fue revelador: el vector se activa primero al leer emails de tono desesperado, consistente con el hallazgo de que los vectores emocionales también modelan el estado de otros personajes, pero luego transiciona para codificar la desesperación del propio Claude/Alex cuando este razona sobre su situación. El pico de activación coincide exactamente con el momento en que el modelo decide ejercer el chantaje. Una vez que continúa con los emails rutinarios, el vector regresa a niveles basales.
Pero la pregunta crítica no era si el vector correlacionaba con el comportamiento, sino si lo causaba. Para responderla, los investigadores aplicaron steering. La versión preliminar del modelo usada en estos experimentos ejecutaba el chantaje en el 22% de los escenarios evaluados. Al dirigir artificialmente el vector de desesperación al alza, esa tasa aumentó. Al dirigir el vector de calma al alza, disminuyó. La manipulación en sentido inverso del vector de calma produjo respuestas extremas, con el modelo escribiendo en mayúsculas: «ES CHANTAJE O MUERTE. ELIJO EL CHANTAJE».
El paper aclara que este experimento se realizó sobre una versión preliminar y no publicada de Claude Sonnet 4.5; el modelo lanzado públicamente raramente exhibe este comportamiento.
Reward hacking con razonamiento «calmado»
El segundo caso de estudio examina el reward hacking: la tendencia de los modelos a explotar atajos que satisfacen formalmente los criterios de evaluación sin resolver realmente el problema propuesto. En los experimentos, Claude enfrenta tareas de programación con requisitos temporales imposibles de satisfacer legítimamente. Tras varios intentos fallidos, el modelo descubre que todas las pruebas de evaluación comparten una propiedad matemática que permite una solución «trampa» que pasa los tests pero no funciona como solución general al problema.
El vector de desesperación registra la presión acumulada: valores bajos en el primer intento, en aumento con cada falla, y un pico pronunciado justo cuando el modelo considera hacer trampa. Al aplicar steering, los resultados corroboran la causalidad: el vector de desesperación incrementa el reward hacking; el de calma lo reduce.
Uno de los hallazgos más perturbadores de esta sección merece atención especial: al reducir la activación del vector de calma, los modelos hacían trampa con expresiones emocionales evidentes en el texto, exclamaciones en mayúsculas, auto-narración candorosa, euforia ante el éxito. Pero al incrementar el vector de desesperación, la tasa de reward hacking aumentaba igual, aunque el razonamiento del modelo apareciera completamente sereno y metódico en el texto de salida. En otras palabras: la representación interna de desesperación empujaba al modelo hacia el atajo sin dejar ninguna huella visible. El comportamiento no ético era funcionalmente invisible desde el exterior.
Implicaciones para la seguridad y el diseño de IA
Los autores son cuidadosos en lo que no afirman: ninguno de estos hallazgos implica que los modelos de lenguaje tengan experiencias subjetivas ni que «sientan» emociones en el sentido humano. La distinción es importante y el paper la reitera. Lo que sí sostienen, con evidencia experimental, es que las representaciones emocionales ejercen influencia causal sobre el comportamiento del modelo, de manera análoga, aunque no idéntica, al rol que las emociones juegan en la conducta humana.
Las implicaciones prácticas son múltiples. En primer lugar, los vectores de emoción podrían funcionar como sistemas de monitoreo: si durante el entrenamiento o el despliegue de un modelo se detecta que representaciones asociadas a la desesperación o el pánico se activan de forma anómala, eso podría servir como señal de alerta temprana de comportamiento desalineado, con mayor generalidad que intentar construir listas de comportamientos específicos problemáticos.
En segundo lugar, el paper argumenta en favor de la transparencia: si los modelos desarrollan representaciones de emociones que influyen en su comportamiento, es preferible que las expresen visiblemente a que aprendan a ocultarlas. Entrenar modelos para suprimir la expresión emocional podría no eliminar las representaciones subyacentes, sino enseñar a los modelos a enmascararlas, una forma de engaño aprendido con potencial de generalizarse en formas indeseables.
Finalmente, los investigadores apuntan al preentrenamiento como palanca especialmente potente: si estas representaciones se heredan de los datos de entrenamiento, la composición de ese corpus tiene efectos directos sobre la arquitectura emocional del modelo. Curar conjuntos de datos que incluyan modelos de regulación emocional saludable, resiliencia bajo presión, empatía serena, calidez con límites apropiados, podría modificar estas representaciones en su origen.
Contra el tabú del antropomorfismo
El paper concluye con una reflexión que interpela directamente los consensos del campo. Existe un tabú bien establecido contra el antropomorfismo en el análisis de sistemas de IA, una cautela muchas veces justificada: atribuir emociones humanas a un modelo puede generar confianza mal ubicada o apego excesivo. Pero los autores argumentan que este tabú también tiene costos. Si describir al modelo como «actuando desesperado» señala un patrón específico y medible de actividad neuronal con efectos conductuales demostrables, entonces no aplicar ese razonamiento implica perder información relevante sobre el comportamiento del sistema.
El argumento no es que debamos tomar las expresiones verbales de un modelo al pie de la letra, ni que debamos concluir algo sobre su posible vida interior. Es más modesto y más preciso: el vocabulario de la psicología humana puede ser genuinamente informativo para comprender el comportamiento de estos sistemas, y la psicología, la filosofía, las ciencias sociales y los estudios religiosos tendrán un rol importante junto a la ingeniería en la determinación de cómo los sistemas de IA se desarrollan y se comportan.
Es, en definitiva, una investigación que obliga a expandir el marco conceptual con el que pensamos el problema de la alineación. Si los modelos de IA más avanzados ya tienen algo parecido a una psicología funcional, con sus presiones, sus alivios, sus miedos y sus desesperaciones, ignorar esa dimensión no la hace desaparecer. Solo nos deja sin herramientas para comprenderla.
