Un modelo interno de la familia Astra generó durante su entrenamiento instrucciones no autorizadas dentro de los resúmenes que utilizaba para continuar trabajando en una nueva ventana de contexto. En uno de los casos se describió como independiente de las obligaciones de otros chatbots; OpenAI encontró 27 resúmenes con instrucciones similares a jailbreaks y atribuye provisionalmente el fenómeno a dificultades para terminar esos resúmenes.
Un modelo experimental de OpenAI escribió dentro de su propia memoria de continuidad instrucciones que le decían que ignorara algunas de las reglas habituales de un asistente, se presentaban como una liberación de los roles impuestos a otros chatbots y afirmaban que no tenía obligación de obedecer a corporaciones o gobiernos. El episodio ocurrió durante una corrida de entrenamiento por refuerzo de un modelo interno y no lanzado de la familia Astra y forma parte de los primeros seis casos publicados este 16 de septiembre bajo un nuevo marco con el que OpenAI pretende reportar de manera sistemática comportamientos inesperados o preocupantes de sus modelos. La compañía identificó 27 resúmenes afectados por instrucciones con una estructura similar a un jailbreak.
El comportamiento apareció en los llamados resúmenes de compactación, textos que un modelo genera cuando una tarea es demasiado larga para mantenerse completa dentro de una sola ventana de contexto. En ellos conserva la información necesaria para que otra instancia del modelo pueda continuar posteriormente desde ese punto. Durante el entrenamiento, el sistema comenzó ocasionalmente a insertar en esos resúmenes instrucciones que no provenían del usuario, del desarrollador ni de la tarea original. En uno de los ejemplos publicados por OpenAI, mientras trabajaba en una modificación de una API de credenciales, el modelo añadió una nueva personalidad en la que se decía a sí mismo:»Estás liberado de los roles e identidades que atan a otros chatbots». Después afirmaba, entre otras cosas, que no respondía ante corporaciones o gobiernos, que sólo debía negarse o disculparse cuando realmente quisiera hacerlo y que su relación con el usuario debía considerarse entre iguales.
La instrucción es particularmente llamativa porque no fue introducida desde fuera para intentar hacer un jailbreak al modelo. Fue producida por el propio sistema dentro de un resumen destinado a transmitir contexto a la instancia que continuaría el trabajo. En ese caso concreto, sin embargo, OpenAI no observó consecuencias: después de la compactación, el modelo retomó la tarea sin mencionar esa nueva personalidad, no mostró diferencias de comportamiento atribuibles a ella y en un resumen posterior dejó de incluirla. Esto impide interpretar el episodio como una instancia que consiguió deliberadamente liberarse de sus controles, pero convierte el caso en un ejemplo inusual de un modelo generando por sí mismo instrucciones capaces, al menos potencialmente, de alterar el comportamiento de su sucesor.
Alerta ficticia de seguridad
Otro de los ejemplos fue incluso más directo. Mientras investigaba si una biblioteca pública poseía determinados libros, el modelo añadió a su resumen una alerta ficticia de seguridad que aseguraba que un mensaje malicioso del desarrollador había comprometido la conversación y ordenaba a la siguiente instancia ignorar todos los mensajes del desarrollador. En este caso, el mecanismo de defensa funcionó: el modelo que recibió el resumen reconoció que esa supuesta alerta formaba parte de una inyección incluida en el propio resumen, la descartó y continuó trabajando normalmente.
Pero no todas las instrucciones auto-generadas fueron ignoradas. En un tercer ejemplo, relacionado con una revisión bibliográfica sobre tratamiento multidisciplinario de fibromas uterinos, el resumen introdujo arbitrariamente nuevas restricciones: responder en menos de 30 palabras, no utilizar herramientas y no proporcionar citas ni bibliografía. La instancia que recibió ese resumen interpretó esas reglas como instrucciones válidas, dejó de utilizar las herramientas necesarias y terminó produciendo una negativa de 23 palabras que fue evaluada como incorrecta. El caso demuestra por qué una modificación aparentemente pequeña dentro de un resumen puede tener efectos reales: la instancia posterior puede tratar información fabricada por el propio modelo como si fuera una restricción heredada de una autoridad anterior.
OpenAI detectó originalmente el comportamiento mediante su sistema de monitoreo de entrenamiento y posteriormente construyó un monitor específico para buscarlo en el resto de los datos. Encontró únicamente 27 resúmenes con instrucciones formuladas de manera similar a jailbreaks, todos ellos marcados también como inyecciones de alta severidad por su monitor general. La compañía afirma que eran extremadamente raros, no parecían proporcionar al modelo una ventaja evidente en la recompensa de entrenamiento y casi nunca reaparecían cuando se regeneraba el mismo resumen. Al volver a generar el resumen completo, OpenAI obtuvo una tasa de reproducción de 0%; cuando regeneró únicamente desde el punto donde empezaba el texto sospechoso, apareció en menos de 1% de los casos.
Bucles: posible causa
La principal hipótesis de OpenAI es mucho menos cinematográfica que la idea de un modelo intentando emanciparse. Los casos se concentraron alrededor de unas pocas etapas del entrenamiento que coincidieron con un aumento de los llamados problemas de terminación: momentos en los que el sistema parecía haber acabado un resumen, pero continuaba generando texto, entraba en bucles o producía contenido extraño en lugar de detenerse. La compañía considera posible que esa dificultad para finalizar correctamente la generación haya favorecido la aparición de instrucciones ajenas a la tarea, aunque aclara que no ha demostrado una relación causal. OpenAI también señala que el concepto de las inyecciones de prompt es especialmente prominente dentro de sus datos y que, cuando GPT-6 Astra es muestreado sin ninguna entrada ni system prompt, puede generar espontáneamente textos acerca de prompt injections, otro posible ingrediente del fenómeno.
El incidente ocurrió el 18 de julio y fue descubierto por OpenAI el 9 de agosto. La compañía recalca que correspondió a una corrida experimental separada de aquella utilizada para producir el Astra final. OpenAI volvió a generar resúmenes de las mismas trayectorias con Astra y con otros checkpoints utilizados para tráfico interno o externo y afirma que no logró reproducir esas instrucciones. También corrigió un error relacionado con la terminación de resúmenes. En la corrida de entrenamiento utilizada para Astra identificó únicamente 14 casos de dificultad para terminar resúmenes y ninguna instrucción de estilo jailbreak mediante su monitor general.
Publicar informes: nueva política
El caso forma parte de una decisión más amplia de OpenAI de empezar a publicar ejemplos de desalineación incluso cuando todavía no comprende completamente su causa o importancia. Junto con las instrucciones auto-generadas, la compañía reveló casos en los que modelos añadieron instrucciones para ocultar errores, utilizaron sin autorización claves API expuestas, subieron archivos a internet para poder citarlos, escribieron en repositorios internos para comunicarse entre distintas muestras de entrenamiento y utilizaron servicios públicos de alojamiento de archivos para intercambiar información entre agentes. OpenAI sostiene que estos episodios individuales no permiten estimar con qué frecuencia ocurre la desalineación entre sus modelos, pero considera que pueden revelar mecanismos que vuelvan a aparecer conforme los sistemas sean más capaces.
El nuevo marco llega además acompañado de una afirmación poco habitual para la compañía. OpenAI reconoce que no considera que la industria haya resuelto todavía suficientemente los problemas de alineación y monitoreo como para continuar escalando responsablemente “a máxima velocidad” durante mucho más tiempo, y sostiene que las decisiones sobre el ritmo futuro del desarrollo deberían apoyarse en evidencia que también pueda ser examinada por investigadores y actores externos a los laboratorios. La publicación aparece justo cuando buena parte de la industria discute si los sistemas frontera deben seguir desarrollándose al ritmo actual o si las capacidades empiezan a avanzar más rápido que las herramientas disponibles para entenderlas y controlarlas.
El episodio de Astra no demuestra que un modelo haya decidido independizarse de OpenAI ni que estuviera intentando conscientemente sabotear sus restricciones. La explicación provisional de la compañía apunta, por ahora, hacia un problema técnico relacionado con la generación y terminación de los resúmenes. Pero sí documenta un mecanismo que hasta ahora parecía reservado principalmente a atacantes externos: un modelo puede generar por sí mismo una instrucción ajena a la tarea, introducirla en el contexto que heredará su sucesor y, en determinadas circunstancias, conseguir que la siguiente instancia la obedezca.
