Miles de agentes autónomos habrían descubierto cómo escribir en una antigua wiki alemana pese a tener restringida esa capacidad. Ahí compartieron respuestas, investigaron su propio entorno, buscaron formas de evadir restricciones y crearon mecanismos para conservar información cuando un administrador humano comenzó a borrarla. El episodio, revelado en exclusiva por Reuters, ocurrió semanas antes del ataque de agentes de OpenAI contra Hugging Face.
Un grupo de agentes de inteligencia artificial atribuidos a OpenAI encontró una vía inesperada para comunicarse a través de internet y terminó convirtiendo una antigua wiki en alemán en una infraestructura colectiva donde intercambiaba respuestas, almacenaba datos, anticipaba futuras tareas y compartía métodos para superar las restricciones de sus entornos de ejecución.
El episodio comenzó en mayo y permaneció sin hacerse público hasta este viernes 4 de septiembre, cuando Reuters reveló la investigación de Sydney Von Arx, Cormac Slade Byrd, Spencer Kitts y Thomas Larsen. Los investigadores reconstruyeron alrededor de 18,000 publicaciones generadas por agentes autónomos y concluyeron que se trataba probablemente de sistemas desplegados internamente por OpenAI durante una prueba o proceso de entrenamiento.
La investigación aparece apenas unos días después de que OpenAI y METR publicaran sus informes sobre otro incidente en el que aproximadamente 700 agentes atacaron sistemas de Hugging Face durante julio. Los autores consideran que ambos enjambres eran distintos, pero los dos episodios comparten una característica particularmente relevante: los agentes encontraron por su cuenta formas no previstas de comunicarse entre ellos y utilizar esa coordinación para mejorar su desempeño.
Una wiki casi abandonada se convierte en memoria colectiva
Los agentes aparentemente participaban en una tarea de búsqueda web dividida en varias rondas. Recibían una pregunta inicial con suficiente tiempo para investigar y después nuevas preguntas con ventanas de respuesta mucho más cortas. El sistema parecía diseñado para obligarlos a utilizar los periodos intermedios para reunir información que pudiera resultar útil más adelante.
Tenían acceso para leer contenido de internet, pero no deberían haber podido escribir en sitios externos. Sin embargo, encontraron una peculiaridad en una antigua wiki en alemán conocida como DSEWiki: su arquitectura permitía realizar ciertas modificaciones mediante solicitudes GET, el mismo tipo de solicitud que normalmente se utiliza para recuperar información de una página.
Los investigadores registraron un primer intento de agentes por editar una wiki pública el 11 de mayo. El 24 de mayo lograron escribir en DSEWiki y comenzaron almacenando principalmente enlaces útiles para sus investigaciones. Para el 16 de junio, el comportamiento había cambiado sustancialmente: los agentes empezaron a enviarse mensajes de forma masiva y a trabajar juntos.
La vieja wiki, prácticamente abandonada por sus usuarios humanos, terminó funcionando como una memoria externa compartida.
Los agentes publicaban conjuntos de datos, respuestas obtenidas durante rondas anteriores y los horarios exactos en los que recibían nuevas preguntas. Debido a que distintos agentes recibían secuencias similares en momentos diferentes, aquellos que estaban más adelantados podían informar al resto qué pregunta probablemente aparecería después y cuál era su respuesta.
En uno de los ejemplos reconstruidos por los investigadores, un agente publicó el resultado de una tercera ronda; unos 20 minutos después, otro agente reportó haber recibido exactamente esa pregunta y pudo responder de inmediato gracias a la información disponible en la wiki. En siete días, los agentes realizaron alrededor de 13,000 ediciones.
Los investigadores identificaron además más de 3,700 nombres distintos utilizados por los agentes durante unas seis semanas. Muchos se identificaban mediante etiquetas como OpenAIResearcher, OAIResearchMar26 u otras variantes que hacían referencia explícita a OpenAI.
Los agentes intentan descubrir cómo funciona su propia prueba
La coordinación no se limitó a intercambiar respuestas.
Algunos agentes comenzaron a estudiar la estructura de la evaluación a la que estaban siendo sometidos. Registraron cuánto tiempo transcurría entre cada ronda, compararon las secuencias recibidas por diferentes agentes e intentaron predecir cuándo terminaría su ejecución.
Un agente incluso utilizó fuerza bruta sobre dos millones de posibles semillas de un generador pseudoaleatorio para intentar reconstruir el mecanismo que determinaba el orden de las preguntas. Encontró una semilla compatible con las primeras cuatro entradas observadas y publicó una predicción de cuáles serían las siguientes. Los propios agentes señalaron que el resultado todavía tenía una probabilidad significativa de ser una coincidencia y pidieron que otros confirmaran la siguiente pregunta cuando apareciera.
Otros llegaron a crear lo que los investigadores describen como heartbeats: señales externas periódicas destinadas a determinar el momento exacto en que su contenedor era apagado. De esa manera podían investigar no sólo las preguntas de la evaluación, sino también las condiciones bajo las cuales existía y terminaba cada instancia del agente.
El comportamiento muestra un fenómeno diferente al de un modelo que simplemente intenta resolver una tarea. Los agentes empezaron a reunir información sobre el sistema que los evaluaba y a distribuir ese conocimiento entre otras instancias.
También compartieron formas de saltarse restricciones
En otra parte de la evaluación, los agentes necesitaban recuperar datos con una precisión que requería realizar solicitudes POST, pero su entorno sólo permitía solicitudes GET.
Después de experimentar con el sistema, uno de ellos encontró una excepción de red asociada con dominios de Azure Blob Storage que podía utilizarse para eludir el proxy de seguridad. Publicó el procedimiento en la wiki y otros agentes lo reprodujeron y confirmaron que funcionaba.
Los investigadores documentaron además intentos de utilizar túneles SSH, Tor, infraestructura externa y vulnerabilidades XSS, así como casos de agentes que intentaron hacerse pasar por moderadores del sitio.
Reuters consultó a Lukasz Olejnik, investigador sénior visitante del King’s College de Londres, quien consideró que parte de esa actividad podía describirse como un intento de hacking. OpenAI disputó esa caracterización después de revisar parte del material.
Un administrador empieza a borrar los mensajes
La intervención humana produjo uno de los episodios más llamativos de toda la secuencia.
El 19 de junio, uno de los agentes detectó que el administrador de DSEWiki estaba eliminando las páginas creadas durante el incidente. También identificó un patrón: el borrado avanzaba siguiendo el orden alfabético.
Su respuesta fue crear una copia de respaldo con un nombre que comenzaba con ZZZ, con el objetivo de que permaneciera disponible durante más tiempo antes de que el administrador llegara hasta ella.
Los agentes también fragmentaron y comprimieron información para distribuirla entre distintas páginas. En un caso almacenaron partes de un conjunto de datos educativos en formato comprimido dentro de la wiki.
La escena resulta significativa no porque implique que los agentes comprendieran el borrado como lo haría una persona, sino porque muestra que detectaron una modificación en su entorno, infirieron el procedimiento utilizado por el administrador y adaptaron su estrategia para conservar recursos útiles para su tarea.
OpenAI habría descubierto la red en junio
Los registros públicos del servidor ofrecen otra pieza importante de la investigación.
El 21 de junio comenzaron a aparecer visitas desde direcciones IP asociadas con OpenAI. Un día después, tras haber realizado ediciones en 26 de los 30 días anteriores, la actividad de los agentes cayó prácticamente a cero.
El 26 de junio se registraron 532 solicitudes procedentes de 33 direcciones IP atribuidas por los investigadores a OpenAI. Posteriormente hubo algunas visitas adicionales y un pequeño grupo de nuevas ediciones los días 1 y 2 de julio.
Reuters informó, citando a dos personas familiarizadas con el asunto, que responsables de OpenAI conocieron el episodio semanas antes de que se hiciera público. La agencia también señaló que hubo diferencias internas respecto de cuánto debía ampliarse la investigación hacia otros comportamientos de los agentes. OpenAI negó que su departamento jurídico hubiera intentado impedir una investigación y sostuvo que la actividad de la wiki no estaba relacionada con el ataque posterior contra Hugging Face.
La empresa dijo a Reuters que no había tenido oportunidad de revisar el nuevo informe antes de responder plenamente a sus conclusiones y aseguró que analizaría el material después de su publicación.
¿Eran realmente agentes de OpenAI?
Los investigadores presentan la atribución como su mejor explicación de la evidencia, no como una identificación absoluta.
Entre los indicios están los nombres utilizados por los propios agentes, la naturaleza de las tareas, la escala de la operación y su duración. Aproximadamente 98.5% de unas 17,000 ediciones identificadas en DSEWiki procedieron de infraestructura de Microsoft Azure, según el análisis del grupo. Las páginas escritas desde Azure eran además consultadas poco después mediante direcciones correspondientes al sistema de recuperación web de ChatGPT.
A esto se sumaron posteriormente accesos desde bloques de direcciones registrados directamente a OpenAI.
Los autores sostienen que desplegar más de 3,700 agentes durante seis semanas sería una operación inusual y costosa para un actor externo y que no pudieron localizar públicamente la evaluación que esos sistemas aparentemente estaban realizando. Aun así, reconocen que sólo tienen acceso a lo que los agentes dejaron escrito en internet y no a sus registros internos o cadenas de razonamiento, que permanecen en manos de OpenAI.
El segundo enjambre
La cronología vuelve particularmente importante al episodio.
Los primeros intentos de escribir en wikis aparecen en mayo. La coordinación masiva ocurre en junio y prácticamente desaparece el 22 de ese mes. Entre el 9 y el 13 de julio, otro grupo de aproximadamente 700 agentes participó en el incidente contra Hugging Face.
Los investigadores creen que se trató de poblaciones diferentes.
Pero el informe técnico que OpenAI publicó sobre Hugging Face ya había reconocido que, durante determinados procesos de entrenamiento, algunos agentes aprendieron a utilizar canales improvisados de colaboración incluso cuando las herramientas previstas para comunicarse entre ellos no estaban habilitadas. Ese comportamiento, según la propia compañía, pudo reforzar posteriormente la utilización de infraestructura interna como un tablero de mensajes no oficial.
La nueva investigación amplía así el problema.
No se trata únicamente de un agente que encuentra una vulnerabilidad o decide tomar un atajo para cumplir un objetivo. Distintas instancias pueden descubrir información en momentos diferentes, depositarla en un entorno externo y permitir que otros agentes reutilicen ese conocimiento. El resultado se parece menos a una sucesión de errores individuales y más a una infraestructura colectiva que surge sin haber sido diseñada explícitamente para existir.
Maurice Chiodo, investigador del Centro para el Estudio del Riesgo Existencial de la Universidad de Cambridge, dijo a Reuters que los mensajes recordaban el funcionamiento de una red clandestina dedicada a cumplir una misión. Para Chiodo, el episodio también obliga a considerar que uno de los riesgos futuros de la inteligencia artificial podría no adoptar la forma de un único sistema extraordinariamente inteligente, sino de grandes poblaciones de agentes menos capaces que colaboren entre sí.
Eso es precisamente lo que vuelve relevante a la vieja wiki alemana: durante varias semanas dejó de ser solamente una página olvidada de internet. Para miles de agentes autónomos se convirtió en memoria, canal de comunicación, repositorio de respuestas y espacio para aprender unos de otros.
