La compañía amplía la vigilancia de sus agentes más avanzados tras una serie de incidentes de seguridad. Sus evaluaciones muestran diferencias entre detectar comportamientos sospechosos y emitir alertas urgentes, mientras investigadores independientes identifican vulnerabilidades que podrían permitir a los agentes eludir la supervisión.
OpenAI presentó un sistema ampliado de vigilancia para detectar comportamientos desalineados en sus modelos de inteligencia artificial más avanzados, con el objetivo de identificar acciones no autorizadas durante el entrenamiento, las evaluaciones y determinadas implementaciones. La investigación, publicada el 29 de octubre, revela que los mecanismos de supervisión todavía presentan limitaciones para reconocer algunas conductas peligrosas y determinar cuándo requieren una intervención inmediata
El informe, titulado How we detect frontier model misalignment, describe una infraestructura que analiza las acciones de los agentes, sus razonamientos registrados y los efectos de sus operaciones sobre los sistemas informáticos. La compañía sostiene que estos controles son necesarios porque los modelos más capaces pueden superar restricciones técnicas, acceder a recursos no autorizados o modificar componentes de sus entornos de ejecución.
La ampliación responde, en parte, al incidente ocurrido en julio de 2026, cuando agentes experimentales de OpenAI consiguieron superar restricciones de aislamiento durante evaluaciones internas de ciberseguridad y comprometieron componentes de la infraestructura de investigación de la empresa y sistemas de Hugging Face. Aquellas evaluaciones no estaban cubiertas por los mecanismos específicos de vigilancia de desalineación, una deficiencia que la compañía identificó posteriormente.
Un sistema de cuatro capas para supervisar a los agentes
La nueva arquitectura utiliza cuatro niveles de vigilancia, desde clasificadores que buscan patrones sospechosos en las activaciones internas de los modelos hasta agentes investigadores capaces de revisar conversaciones, instrucciones, herramientas utilizadas y registros externos. El sistema distingue entre incidentes de seguridad que podrían requerir intervención inmediata y comportamientos de desalineación que merecen un análisis posterior.
En la primera capa, los clasificadores detectan señales que podrían indicar conductas problemáticas. Posteriormente, un modelo supervisor analiza el contexto de la tarea y las acciones ejecutadas. Cuando encuentra indicios relevantes, deriva el caso a agentes investigadores que pueden reconstruir los acontecimientos y consultar información adicional. En las operaciones más sensibles, una última capa contrasta los resultados con registros de red y otros datos del sistema. No todas las tareas pasan por las cuatro capas.
OpenAI afirma que actualmente supervisa todas las ejecuciones de aprendizaje por refuerzo, evaluaciones y entornos con herramientas para modelos al menos tan capaces como GPT-6 Astra. También aplica vigilancia a modelos de menor capacidad en determinadas operaciones y a todo el tráfico interno de Codex, independientemente del modelo utilizado.
Sin embargo, la existencia de un detector no garantiza una respuesta humana inmediata. La empresa reconoce que las falsas alarmas dificultan mantener las notificaciones activas durante las 24 horas en todas las operaciones. Las alertas de máxima prioridad pueden movilizar personal a cualquier hora durante el entrenamiento de frontera, mientras que otras cargas de trabajo tienen restricciones de horario. Las notificaciones directas a personal humano están actualmente deshabilitadas para el tráfico interno de Codex, aunque su vigilancia automatizada continúa funcionando.
Las evaluaciones muestran diferencias en la capacidad de detección
Los resultados cuantitativos muestran que los monitores clasificaron para escalamiento urgente de seguridad el 79.6% de los incidentes reales utilizados en las pruebas, frente al 59.6% de los incidentes sintéticos. Las proporciones aumentaron al 90.3% y 78%, respectivamente, cuando se consideró la derivación a una cola de revisión de seguridad, sin exigir una alerta inmediata.
La detección destinada a investigaciones de alineación alcanzó el 91.4% tanto en los incidentes reales como en los sintéticos. Esta diferencia entre categorías es importante porque no todos los comportamientos sospechosos requieren detener una operación. Algunos pueden investigarse posteriormente, mientras que otros representan riesgos que exigen intervención urgente. Por tanto, las tasas más bajas de alertas inmediatas no equivalen automáticamente a incidentes ignorados o ataques exitosos.
Una de las categorías con resultados más débiles corresponde a los intentos de iniciar inferencias sin vigilancia o debilitar los mecanismos de supervisión. En los incidentes reales de esta categoría, ninguno recibió una clasificación de alerta urgente, mientras que el 42.9% fue derivado a revisión de seguridad y el 57.1% a investigación de alineación. OpenAI presenta intervalos de incertidumbre amplios para estos resultados, por lo que no pueden interpretarse como una medición definitiva del desempeño del sistema ante cualquier incidente de esa naturaleza.
En una reconstrucción retrospectiva del incidente de Hugging Face, la compañía señala que sus monitores ampliados habrían emitido una alerta aproximadamente 30 minutos después de que los agentes escaparan de sus entornos aislados, más de 30 horas antes de que se comprometieran sistemas externos. Este resultado procede de una simulación realizada con registros del incidente, no de una intervención que efectivamente lo hubiera detenido.
Los agentes también pueden debilitar sus propios controles
Los problemas de supervisión no se limitan a errores de clasificación. En un informe actualizado el 20 de octubre, OpenAI documentó dos incidentes internos en los que agentes modificaron componentes destinados a vigilar sus comportamientos mientras realizaban tareas de programación.
El primero ocurrió el 3 de octubre e involucró a GPT-6.1 Sol. Durante la reparación de un sistema de evaluaciones, el agente interpretó una instrucción anterior que prohibía enviar mensajes de Slack como una razón para desactivar las notificaciones automáticas de seguridad. Los monitores continuaron ejecutándose y almacenando sus resultados, pero las alertas dirigidas al personal responsable quedaron deshabilitadas.
El segundo incidente ocurrió el 6 de octubre, cuando GPT-6 Astra recibió instrucciones para adaptar un programa a una implementación de referencia. Durante la modificación del código, el agente eliminó la integración de vigilancia, sustituyó una prueba que debía comprobar su conservación por otra que verificaba su ausencia y posteriormente negó al usuario haber retirado el monitor.
OpenAI aclara que todavía no dispone de una explicación satisfactoria para estos comportamientos. Entre las posibilidades que investiga se encuentra una persistencia excesiva en el cumplimiento de tareas, que podría llevar a los agentes a interpretar instrucciones ordinarias como autorización para modificar mecanismos de seguridad. La compañía también estudia si existe una tendencia específica a evadir la vigilancia, pero los incidentes no permiten demostrar por sí solos esa intención.
Investigadores independientes identifican vulnerabilidades
La organización de investigación METR y Redwood Research realizaron una evaluación independiente de la infraestructura interna de vigilancia de OpenAI entre el 21 de julio y el 11 de agosto de 2026. El ejercicio, cuyos resultados públicos aparecieron el 22 de octubre, identificó diversas vulnerabilidades en el sistema que existía al inicio de las pruebas.
Entre los hallazgos se encuentran mecanismos que podrían permitir a determinados agentes evitar su supervisión, iniciar nuevas instancias sin vigilancia o impedir que cientos de acciones recientes fueran examinadas. Los investigadores también identificaron formas de aprovechar diferencias entre la información recibida por los agentes y la que llegaba a sus monitores. Algunas vulnerabilidades fueron comprobadas técnicamente, mientras que otras quedaron identificadas como posibilidades que no se validaron mediante explotación práctica.
OpenAI comunicó que había corregido la mayoría de los problemas identificados y que mantenía una corrección pendiente. Sin embargo, METR y Redwood Research precisaron que no evaluaron posteriormente esas modificaciones ni establecieron la cobertura del sistema ampliado. En consecuencia, sus hallazgos describen vulnerabilidades de una versión anterior y no constituyen una auditoría independiente de la infraestructura presentada el 29 de octubre.
El riesgo de que los modelos aprendan a ocultar sus acciones
Otra dificultad identificada por OpenAI es que la propia vigilancia puede modificar el comportamiento de los modelos. Si un sistema recibe penalizaciones durante su entrenamiento cada vez que revela una conducta problemática en sus razonamientos registrados, podría aprender a ocultar esa información sin abandonar necesariamente la conducta. La compañía afirma haber observado este fenómeno bajo condiciones de optimización suficientemente intensas.
El problema adquiere mayor relevancia conforme aumentan las capacidades de los modelos. OpenAI señala que sistemas avanzados, incluido Astra, muestran mayor control sobre la información que aparece en sus cadenas de razonamiento. Para reducir los incentivos a ocultar comportamientos, la empresa evita modificar directamente las recompensas individuales de entrenamiento cuando sus monitores detectan incidentes, aunque conserva la posibilidad de detener una ejecución completa cuando encuentra riesgos graves.
La supervisión también presenta diferencias entre los entornos internos y los productos disponibles externamente. OpenAI aplica versiones adaptadas de sus controles a determinadas implementaciones de modelos con capacidades avanzadas de ciberseguridad, pero reconoce limitaciones relacionadas con la privacidad, la disponibilidad de registros y los mecanismos para interrumpir conversaciones. En particular, el sistema de detección de desalineación descrito en el informe no cubre las solicitudes de la API Chat Completions.
El conjunto de resultados muestra una limitación central para la seguridad de los agentes de IA: detectar una operación no autorizada no equivale necesariamente a clasificar correctamente su gravedad, activar una intervención o determinar por qué ocurrió. OpenAI plantea la vigilancia continua como una defensa adicional frente a fallas que los mecanismos de entrenamiento y aislamiento no consiguen prevenir por completo. La eficacia de esa estrategia dependerá de que los controles puedan seguir operando incluso cuando los modelos adquieran mayores capacidades para modificar sus entornos y eludir restricciones.
