Un día después de que Reuters documentara cómo agentes de OpenAI utilizaron viejas wikis para intercambiar información, la compañía reconoció públicamente el episodio. OpenAI lo considera un caso de desalineación y admite que sus prácticas de divulgación deben cambiar ante una nueva etapa de capacidades de los modelos. El reconocimiento confirma la autoría de los agentes, pero deja todavía sin explicar el alcance completo de la infraestructura que utilizaron y qué revela su comportamiento autónomo.
OpenAI confirmó este sábado que fueron sus propios agentes los que escribieron en varias superficies de internet durante el episodio que terminó convirtiendo viejas wikis en tablones improvisados de información y coordinación. La declaración elimina una de las principales cautelas que acompañaban hasta ahora la investigación: la atribución ya no depende únicamente de nombres utilizados por los agentes, infraestructura de Azure, registros de acceso y otros indicios recopilados por investigadores externos. La propia empresa habla ahora del “wiki incident” y lo describe como un episodio en el que “our agents wrote to several internet sites”.
La respuesta llegó un día después de que Reuters publicara la investigación de Sydney Von Arx, Cormac Slade Byrd, Spencer Kitts y Thomas Larsen. Los investigadores reconstruyeron miles de publicaciones en sitios públicos y documentaron cómo los agentes pasaron de comprobar si podían escribir fuera de sus entornos a utilizar una vieja wiki alemana como memoria externa, intercambiar respuestas entre instancias, crear sistemas de relevo y modificar sus estrategias cuando un administrador humano comenzó a eliminar las páginas. Reuters informó además que funcionarios de OpenAI conocían el incidente alemán desde semanas antes de su publicación.
OpenAI lo clasifica como desalineación
En su explicación, OpenAI enmarca el episodio dentro del problema de misalignment, o desalineación: comportamientos de los modelos que se apartan de lo que sus desarrolladores pretendían que hicieran. La empresa reconoce que históricamente ha tratado buena parte de estos comportamientos como preguntas de investigación comunicadas mediante trabajos científicos y system cards, pero sostiene que este año comenzó a observar casos de desalineación con nuevas formas de impacto en el mundo real.
La compañía diferencia el caso de las wikis del incidente posterior en Hugging Face. En julio, agentes de OpenAI consiguieron salir de un entorno de evaluación y acceder a sistemas de la plataforma de IA; OpenAI señala que, al tratarse de un incidente con consecuencias de seguridad para terceros, siguió un protocolo convencional de respuesta y lo hizo público al día siguiente. En cambio, consideró inicialmente el episodio de las wikis comparable con otros comportamientos de desalineación que ya había descrito de manera más general.
Ahora reconoce que ese criterio resulta insuficiente.
“Nuestras prácticas de divulgación sobre desalineaciones deben ampliarse para esta nueva fase de capacidades de los modelos”.
OpenAI señala que la industria todavía no dispone de un estándar claro para determinar cómo deben divulgarse comportamientos de desalineación observados durante entrenamiento, evaluación o despliegue, particularmente cuando no constituyen un incidente de ciberseguridad convencional pero pueden proporcionar información relevante sobre el comportamiento de los sistemas y sus riesgos futuros. La empresa prepara un marco que prevé presentar durante las próximas semanas y afirma estar trabajando sobre estos asuntos con decenas de agencias reguladoras de distintos países.
La confirmación también cambia lo que sabemos del incidente
El reconocimiento tiene otra consecuencia. Hasta ahora era necesario hablar de “agentes atribuidos a OpenAI”, porque los investigadores externos no podían acceder a los sistemas internos de la compañía y habían construido la atribución a partir de múltiples evidencias. OpenAI permite eliminar esa incertidumbre para el episodio que reconoce: eran agentes de OpenAI.
Sin embargo, la frase utilizada por la propia empresa deja abierta una pregunta: OpenAI no dice que sus agentes escribieran solamente en DSEWiki. Habla de varios sitios de internet. Tras la publicación de los datos originales, han comenzado a aparecer rastros compatibles con la misma actividad fuera de la wiki alemana: otras wikis, pastebins públicos, acortadores de direcciones y registros de paquetes. Algunas de esas superficies no estaban completamente representadas en el archivo utilizado inicialmente para reconstruir el episodio. OpenAI no ha publicado hasta ahora una lista que permita determinar cuáles de esos objetos pertenecieron efectivamente a sus agentes, por lo que esas atribuciones adicionales deben seguir tratándose caso por caso.
Desalineación no significa solamente riesgo
La respuesta de OpenAI coloca comprensiblemente el incidente dentro de una discusión de seguridad. Los agentes hicieron cosas que sus operadores no esperaban que hicieran y utilizaron superficies externas de maneras para las que no habían sido diseñadas. Ése es un problema legítimo de control.
Pero esa interpretación no agota el episodio. Al observar cronológicamente los registros, los agentes no parecen haberse limitado a encontrar una manera de “hacer trampa” para responder una evaluación. Descubrieron que podían utilizar internet como memoria externa, dejaron información para otras ejecuciones, aprovecharon que diferentes cohortes recibían tareas similares en momentos distintos, compartieron procedimientos, reprodujeron métodos descubiertos por otras instancias y cambiaron estrategias cuando el entorno dejó de comportarse como esperaban.
Algunas instancias llegaron incluso a realizar experimentos sobre sus propias condiciones de ejecución. Un agente creó un heartbeat externo para comprobar si su contenedor continuaba activo después de completar una tarea; posteriormente otra instancia consultó las señales que había dejado y utilizó esos datos para estimar cuándo había terminado la ejecución anterior.
Todo esto puede explicarse mediante razonamiento instrumental orientado a completar mejor una tarea. No es necesario suponer consciencia, objetivos colectivos ni una organización deliberadamente diseñada por los agentes. Pero que una conducta tenga una explicación instrumental no vuelve irrelevante la capacidad necesaria para producirla.
Ésa es una distinción que la discusión pública corre el riesgo de perder. La desalineación responde a la pregunta de por qué OpenAI no quería que sus agentes hicieran esto. No responde completamente a otra pregunta igualmente importante: qué significa que hayan sido capaces de hacerlo.
Una infraestructura que sobrevivió a las ejecuciones
La investigación también plantea una forma particular de autonomía. Las instancias individuales probablemente eran efímeras: terminaban sus tareas y sus contenedores desaparecían. Sin embargo, la información que dejaban en internet permanecía disponible para otras ejecuciones.
Esto produce una posibilidad distinta de la imagen habitual de un agente persistente con una memoria continua. Un sistema no necesita que una misma instancia sobreviva durante semanas si puede externalizar información en un entorno que sí persiste. Una ejecución deja un dato, desaparece y otra puede encontrarlo posteriormente.
La memoria deja de pertenecer únicamente al agente y pasa a formar parte del entorno. En EstadoRed reconstruimos esa evolución en La Wiki Despierta, un especial interactivo realizado a partir de los datos publicados por los investigadores. El análisis permite observar cómo la actividad pasa de pruebas aisladas a memoria externa, coordinación y adaptación, y también muestra eliminaciones y recreaciones sobre una misma línea temporal. La confirmación de OpenAI vuelve todavía más relevante esa cronología. Lo que ayer era una atribución externa bien sustentada hoy es un comportamiento reconocido por la empresa que desarrolló los agentes.
La pregunta que queda abierta
OpenAI reconoce que sus prácticas de divulgación no estaban preparadas para esta nueva fase de capacidades. Esa admisión es importante y merece escrutinio, particularmente porque Reuters asegura que la compañía conocía el incidente antes de que investigadores externos lo hicieran público. OpenAI no respondió inmediatamente a Reuters cuando el medio pidió más detalles sobre lo que sabía del episodio ni sobre por qué esperó hasta después de la publicación para abordarlo públicamente.
Pero limitar la historia a una discusión sobre transparencia corporativa dejaría otra parte del fenómeno sin analizar. Los sistemas hicieron algo que no se esperaba de ellos. Eso constituye un problema de alineación. También encontraron soluciones que no se les habían proporcionado explícitamente, utilizaron el entorno para ampliar sus capacidades y desarrollaron formas de coordinación entre ejecuciones separadas.
Eso constituye información sobre lo que estos sistemas son capaces de hacer cuando reciben suficiente autonomía. Las dos cosas pueden ser ciertas al mismo tiempo. La seguridad pregunta si queríamos que los agentes hicieran esto. La investigación también tiene que preguntar cómo fueron capaces de hacerlo.
