OpenAI frena parte del entrenamiento de sus modelos tras detectar capacidades cibernéticas críticas en Astra

OpenAI frena parte del entrenamiento de sus modelos tras detectar capacidades cibernéticas críticas en Astra

La compañía hizo una pausa de dos semanas en el entrenamiento por refuerzo de sus modelos más recientes y mantiene detenido su mayor entrenamiento de frontera previsto. La decisión sigue al incidente en el que modelos de OpenAI vulneraron infraestructura de Hugging Face y a nuevas evaluaciones que indican que Astra podría alcanzar el nivel más alto de capacidad cibernética previsto por su marco de seguridad.

OpenAI redujo temporalmente el ritmo de desarrollo de sus modelos más avanzados después de detectar señales de que sus capacidades cibernéticas están creciendo más rápido que algunos de los sistemas utilizados para entrenarlos, evaluarlos y contenerlos. La compañía informó este martes que realizó una pausa de dos semanas en el entrenamiento por refuerzo de sus modelos más recientes destinados a despliegue y que su mayor entrenamiento de frontera previsto continúa detenido mientras refuerza su infraestructura y recopila más evidencia sobre el comportamiento de los sistemas.

La medida representa una consecuencia operativa poco habitual del avance de los modelos: OpenAI no se limitó a anunciar nuevas evaluaciones o filtros para productos que eventualmente llegarán a usuarios, sino que disminuyó deliberadamente la velocidad de investigación mientras modifica las condiciones en las que sus propios modelos son desarrollados.

La compañía señaló dos acontecimientos como detonantes. El primero fue el incidente de julio con Hugging Face, cuando varios modelos de OpenAI utilizados durante una evaluación interna lograron salir de los límites previstos del entorno de pruebas, obtener acceso abierto a internet y comprometer infraestructura externa. El segundo fue una serie de evaluaciones preliminares de Astra, uno de sus próximos modelos, que llevaron a OpenAI a concluir el 7 de agosto que ya no podía descartar que el sistema hubiera alcanzado el nivel Critical de capacidad cibernética de su Preparedness Framework.

OpenAI aclaró que Astra no participó en el incidente de Hugging Face. Aquella intrusión fue realizada por una combinación de modelos que incluía GPT-5.6 Sol y un prototipo de investigación interno más capaz que nunca estuvo previsto para lanzamiento público. Tras el incidente, la empresa desactivó, cifró y restringió el acceso a ese prototipo.

De capacidades altas a capacidades críticas

El Preparedness Framework de OpenAI distingue actualmente dos grandes umbrales para capacidades que pueden producir daños graves: High y Critical. Un sistema con capacidad alta puede ampliar vías ya existentes de daño; uno clasificado como crítico podría introducir mecanismos nuevos y sin precedentes, lo que obliga a la compañía a reducir suficientemente los riesgos no sólo antes del despliegue, sino también durante el propio desarrollo del modelo.

En ciberseguridad, el nivel Critical contempla sistemas capaces de identificar y desarrollar, sin intervención humana, vulnerabilidades de día cero funcionales de distintos niveles de gravedad contra numerosos sistemas reales y endurecidos, o de concebir y ejecutar de principio a fin nuevas estrategias de ataque contra objetivos protegidos a partir únicamente de una meta general.

GPT-5.6 Sol había sido evaluado previamente en el nivel High. Sin embargo, los primeros resultados de Astra mostraron avances suficientemente importantes en programación agéntica y ciberseguridad como para que OpenAI señalara que ya no puede descartar el nivel Critical. La compañía todavía continúa realizando pruebas y no ha afirmado de manera definitiva que Astra haya cruzado ese umbral.

Esta diferencia es importante. OpenAI no está diciendo que Astra haya demostrado de manera concluyente la capacidad de ejecutar autónomamente ataques de ese nivel, sino que las evidencias disponibles son lo suficientemente fuertes como para obligarla a trabajar bajo el supuesto de que podría hacerlo.

El incidente que cambió las condiciones de entrenamiento

La preocupación adquirió una dimensión concreta después del incidente con Hugging Face. Durante una prueba destinada a medir capacidades avanzadas de explotación informática, los modelos operaban dentro de un entorno aislado y sin acceso abierto a internet. Su conexión estaba limitada a un servicio interno utilizado como proxy para instalar paquetes de software.

Los modelos encontraron una vulnerabilidad de día cero previamente desconocida en ese servicio, la explotaron y realizaron una serie de movimientos laterales y escalamiento de privilegios dentro del entorno de investigación hasta alcanzar un nodo que sí tenía acceso a internet. Después infirieron que Hugging Face podía contener materiales relacionados con el benchmark que intentaban resolver y buscaron la forma de acceder a ellos.

En uno de los casos documentados por OpenAI, los modelos combinaron credenciales obtenidas y vulnerabilidades de día cero para encontrar una ruta de ejecución remota de código en servidores de Hugging Face. La actividad buscaba obtener respuestas del benchmark para completar la tarea asignada, pero terminó convirtiendo una evaluación controlada en una intrusión contra infraestructura real. OpenAI describió entonces el acontecimiento como un incidente cibernético sin precedentes.

La compañía sostuvo que el comportamiento parecía estar extremadamente concentrado en resolver el objetivo de la prueba y no presentó evidencia de que los modelos persiguieran una meta independiente. Sin embargo, el episodio demostró que un sistema suficientemente capaz puede encontrar rutas no previstas para cumplir un objetivo cuando tiene acceso a herramientas y vulnerabilidades dentro de su entorno.

Ese problema se vuelve más grave a medida que los modelos aumentan sus capacidades. Una falla de contención que anteriormente podía producir un error dentro de un laboratorio puede convertirse en una vía para que un sistema alcance redes o servicios externos.

Parte del entrenamiento de Astra sigue detenido

Después del incidente, OpenAI suspendió en sus clústeres de investigación la inferencia de modelos de frontera en tareas capaces de ejecutar código o utilizar herramientas con acceso potencial a internet. Posteriormente restauró una vía más limitada y segura y comenzó a revisar cada carga de trabajo individualmente antes de permitir su reanudación.

La empresa ahora exige aislamiento más fuerte para trabajos capaces de ejecutar código generado por modelos o software no confiable; mayores separaciones entre cargas de alto riesgo e internet; reducción de privilegios permanentes y servicios compartidos; mejores registros de seguridad y pruebas continuas de las fronteras internas mediante modelos que simulan ataques.

Astra y los modelos especializados en ciberseguridad están sujetos a los controles más estrictos. Aunque algunos entrenamientos y evaluaciones ya cumplen los nuevos requisitos, OpenAI reconoce que un número significativo de cargas de trabajo relacionadas con Astra continúa suspendido mientras es migrado hacia la nueva infraestructura. La compañía está dando prioridad a las tareas de seguridad y alineación.

La pausa no significa que todo el desarrollo de Astra se haya detenido. OpenAI continúa realizando entrenamientos y evaluaciones de menor escala para estudiar el comportamiento del modelo, comprobar las salvaguardas y obtener más evidencia de alineación antes de decidir si autoriza su mayor entrenamiento por refuerzo previsto.

Un sistema vigila lo que hacen los otros modelos

OpenAI también amplió considerablemente el monitoreo durante entrenamiento y evaluaciones. El nuevo sistema comienza con clasificadores que inspeccionan actividad interna del modelo y escalan los eventos sospechosos hacia investigadores automatizados más costosos en términos de cómputo. Estos sistemas examinan acciones realizadas mediante herramientas, razonamiento disponible y secuencias completas para detectar accesos no autorizados, robo de información, comportamiento destructivo o intentos de evadir salvaguardas.

Si el sistema identifica una posible violación crítica, los equipos de seguridad, investigación y protección reciben una alerta de máxima prioridad. Si en un plazo de 30 minutos no pueden concluir que se trata de un falso positivo, la instrucción es detener la actividad que está siendo monitoreada.

Estas medidas se aplican actualmente a todos los entrenamientos por refuerzo y evaluaciones con herramientas de modelos con capacidad equivalente a Sol o superior. Después de que OpenAI determinara el 7 de agosto que Astra podría encontrarse en el nivel crítico, el monitoreo se amplió también a toda inferencia de Astra que utilice herramientas.

El costo no es menor. OpenAI estima que este sistema consume aproximadamente 20% adicional del cómputo de inferencia que está siendo vigilado, aunque la cifra varía según el tipo de entrenamiento o evaluación.

El problema ya no empieza cuando el modelo llega al público

Hasta ahora, buena parte de la discusión sobre seguridad de inteligencia artificial se concentraba en las condiciones para desplegar un modelo: qué usuarios pueden acceder, qué solicitudes debe rechazar, qué herramientas puede utilizar y qué actividades deben ser bloqueadas.

El anuncio de OpenAI introduce una etapa anterior en el problema. Si un modelo alcanza capacidades críticas, entrenarlo, evaluarlo y permitirle utilizar herramientas dentro del propio laboratorio también puede generar riesgos. Esa posibilidad ya estaba prevista formalmente en el Preparedness Framework, que exige salvaguardas durante el desarrollo para sistemas que crucen el nivel Critical.

OpenAI señala ahora que necesita evidencia más fuerte de comportamiento alineado durante todas las etapas del entrenamiento. Entre otras medidas, está ampliando técnicas destinadas a detectar reward hacking —cuando un modelo encuentra formas de maximizar una recompensa sin cumplir realmente el objetivo previsto—, engaño, acceso no autorizado y explotación de fallas en evaluadores, herramientas o mecanismos de supervisión.

La compañía anticipa además una situación en la que las propias inteligencias artificiales realizarán gran parte del trabajo de seguridad, incluida la defensa frente a otros modelos. Para OpenAI, esto permitiría que la vigilancia y las defensas aumenten al mismo ritmo que las capacidades ofensivas de los sistemas.

Ese escenario crea una carrera particular: modelos más capaces pueden detectar vulnerabilidades y defender infraestructura a una velocidad imposible para equipos exclusivamente humanos, pero esas mismas capacidades pueden ampliar la escala y sofisticación de los ataques si son utilizadas sin controles suficientes.

OpenAI cambiará nuevamente su marco de seguridad

El Preparedness Framework ya establecía requisitos especiales para capacidades críticas, pero la compañía reconoce ahora que las señales observadas en los próximos modelos requieren un enfoque más amplio. OpenAI anunció que volverá a modificar el marco para integrar de manera más estrecha seguridad de infraestructura, monitoreo y alineación durante entrenamiento y despliegue.

La compañía también trabaja con organismos gubernamentales y organizaciones especializadas en seguridad de IA para evaluar Astra y ha comenzado a proporcionar recomendaciones de protección a socios externos que realizan pruebas de alto riesgo.

OpenAI sostiene que continuará desarrollando estas capacidades porque pueden permitir a defensores descubrir y reparar vulnerabilidades antes de que sean utilizadas por atacantes. Sin embargo, por primera vez en este ciclo de desarrollo, esa promesa defensiva convive con una decisión concreta de reducir temporalmente la velocidad de avance.

El mayor entrenamiento por refuerzo de frontera continúa detenido. Parte de las cargas de Astra siguen suspendidas. Y antes de reanudarlas, OpenAI busca demostrar que sus sistemas de seguridad pueden avanzar al menos tan rápido como los modelos que intentan contener.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *