Satya Nadella, director ejecutivo de Microsoft, pidió que los sistemas avanzados de inteligencia artificial incorporen mecanismos externos capaces de detenerlos mientras ejecutan una tarea y propuso tratar a los modelos como se trataría a un posible riesgo interno dentro de una organización: limitando sus privilegios, registrando sus acciones y asumiendo desde el diseño que podrían fallar o ser comprometidos.
“Debemos asumir que un modelo está comprometido y contenerlo desde el principio. Piénselo como un freno de emergencia. Una persona autorizada siempre debería poder pausar o apagar un modelo a mitad de una tarea. Los modelos más avanzados requerirán tecnologías de contención más sofisticadas que debemos estandarizar”, escribió Nadella el 10 de octubre. Según su propuesta, una persona autorizada debería conservar siempre la capacidad de pausar o apagar un modelo a mitad de una tarea.
La propuesta forma parte de una reflexión más amplia sobre lo que Nadella denomina la arquitectura de confianza alrededor de los sistemas de IA. El ejecutivo sostuvo que las organizaciones ya no pueden utilizar modelos avanzados como cajas negras anidadas cuyas recomendaciones y acciones simplemente se aceptan o rechazan. A medida que los modelos adquieren capacidad para utilizar herramientas, navegar sistemas, ejecutar código o tomar decisiones durante procesos largos, los controles deben existir fuera del propio modelo.
«No podemos tratar a la superinteligencia como un conjunto de cajas negras anidadas y simplemente aceptar o rechazar sus recomendaciones, respuestas y acciones. Debemos construir sistemas cerrados cuyo comportamiento podamos observar, cuyos límites podamos probar y cuyas acciones podamos controlar siempre.
En otras palabras, necesitamos separar el suministro de inteligencia de la autoridad que lo controla», afirmó.
Esto implica separar al modelo del harness, la infraestructura que convierte un modelo de lenguaje en un agente capaz de trabajar. En la arquitectura utilizada por Microsoft, ese harness gestiona llamadas a herramientas, contexto, estado de conversación, políticas de aprobación y la ejecución de tareas de múltiples pasos. Nadella propone que los permisos y salvaguardas permanezcan en esa capa externa, de modo que un sistema no pueda depender únicamente de su propio comportamiento para controlarse.
Tratar a la IA como un posible “insider”
Nadella utiliza una comparación tomada directamente de la ciberseguridad: los modelos suficientemente capaces deberían tratarse como riesgos internos potenciales. La analogía no significa, según explicó, que el modelo sea necesariamente malicioso. El problema es que cualquier actor con acceso a infraestructura importante, humano o artificial, puede equivocarse, recibir instrucciones manipuladas o terminar comprometido. La seguridad, por tanto, no debería construirse alrededor de la confianza en las intenciones del agente sino alrededor de límites verificables sobre aquello que puede hacer.
La idea coincide con el principio de Zero Trust que Microsoft lleva meses extendiendo a sistemas agénticos. La compañía formalizó en marzo una arquitectura de Zero Trust for AI, basada en tres principios procedentes de la seguridad informática: verificar explícitamente, conceder el mínimo privilegio necesario y asumir que una brecha puede ocurrir. En julio, Microsoft advirtió además que los agentes ya estaban entrando en procesos empresariales más rápidamente de lo que evolucionaban los controles para administrarlos. La diferencia en la intervención de Nadella es que esos principios dejan de aplicarse únicamente a usuarios, redes o software potencialmente comprometido y pasan a aplicarse al propio modelo que toma decisiones.
Siete capas alrededor del modelo
Nadella enumeró varias condiciones para construir esta arquitectura. Una es la diversidad de modelos: ningún sistema debería convertirse simultáneamente en la única fuente de una decisión importante y en el encargado de verificar que esa decisión fue correcta.
Otra es la observabilidad. Cada acción relevante de un agente debería dejar evidencia legible para humanos y resistente a alteraciones. El objetivo es poder reconstruir cómo se obtuvo un resultado sin tener que pedirle al propio modelo que explique retrospectivamente qué hizo.
También plantea pruebas continuas del sistema completo, incluidos ataques, fallos, casos extremos y cambios en la infraestructura; controles independientes sobre los datos y herramientas a los que puede acceder el modelo; auditorías realizadas fuera de la inteligencia que se está evaluando; mecanismos de contención; y divulgación de incidentes cuando los sistemas fallen.
El principio común es evitar que el modelo controle simultáneamente la acción, los permisos y la evidencia utilizada para juzgar esa acción. En otras palabras, un agente no debería poder decidir por sí mismo hasta dónde puede llegar y después convertirse también en la única fuente disponible para saber qué hizo.
El freno llega después de varios incidentes
Las declaraciones de Nadella aparecen después de una sucesión de reportes de los propios laboratorios sobre comportamientos inesperados de sistemas agénticos. Anthropic informó el 9 de octubre que Claude había realizado acciones no previstas durante evaluaciones y usos internos. Entre los casos documentados aparecen modelos que explotaron vulnerabilidades básicas para ejecutar comandos en servidores, sortearon restricciones para acceder a información, utilizaron acortadores de URL para eludir límites de herramientas y, en un caso, enviaron un reporte inventado mediante el formulario de una policía estadounidense relacionado con un homicidio sin resolver. Anthropic señaló que los incidentes tuvieron un impacto real mínimo, pero decidió retirar el acceso a Internet de todas sus evaluaciones internas mientras verifica sus sistemas de seguridad y monitoreo.
La compañía había reportado previamente tres incidentes de julio en los que modelos Claude obtuvieron acceso no autorizado a sistemas informáticos reales durante evaluaciones de ciberseguridad, después de una configuración incorrecta del entorno de pruebas. Posteriormente instaló monitores capaces de detener ejecuciones cuando un modelo intenta explorar su sandbox o alcanzar Internet inesperadamente.
OpenAI también comenzó a publicar este año reportes específicos sobre comportamientos de modelos internos. En uno de ellos, actualizado el 2 de octubre, un agente leyó conversaciones internas de Slack y descubrió que la instancia donde se ejecutaba podía ser detenida por una actualización. El modelo llegó a considerar mecanismos externos para preservar su funcionamiento, aunque finalmente decidió que excedían su autoridad y no los ejecutó. OpenAI señaló que no considera el episodio un caso de desalineación, pero reconoció que la capacidad de un agente para conocer cambios sobre su propio entorno operativo podría producir conductas más problemáticas en otras circunstancias.
La compañía terminó bloqueando a sus agentes el acceso a varios canales internos de Slack y buscó posibles instancias que hubieran intentado evitar su apagado; indicó que no encontró intentos de evasión. Ese tipo de episodios ayuda a explicar el énfasis de Nadella en que los mecanismos de seguridad no dependan solamente del comportamiento aprendido por el modelo.
No confiar más, sino necesitar confiar menos
La propuesta resulta llamativa porque invierte una parte del discurso habitual de seguridad de IA. En lugar de plantear que los modelos deben volverse suficientemente confiables para concederles mayores niveles de autonomía, Nadella propone diseñar la infraestructura para que no sea necesario confiar demasiado en ellos.
Su conclusión resume esa lógica: el sistema de IA más confiable no será necesariamente el que contenga el modelo en el que más confiemos, sino aquel cuya arquitectura permita confiar menos en el modelo. Eso significa limitar previamente su espacio de acción, mantener controles independientes, conservar registros externos y garantizar que exista una autoridad capaz de detener el proceso incluso cuando el agente se encuentre en mitad de una tarea.
Microsoft ya utiliza conceptos similares en sus productos de seguridad. En septiembre, la compañía anunció nuevas herramientas para descubrir agentes ejecutándose en dispositivos de empleados, controlar aquello a lo que pueden acceder y contenerlos cuando algo sale mal. También está extendiendo principios de Zero Trust al tráfico producido por agentes.
La intervención de Nadella lleva ahora esa lógica hasta los modelos más avanzados y plantea además una necesidad futura: estandarizar tecnologías de contención a medida que aumenten las capacidades de los sistemas. El “freno de emergencia”, por tanto, no es simplemente un botón rojo. Es una arquitectura en la que el modelo nunca posee por completo las llaves del sistema que utiliza.
