La Open Secure AI Alliance desarrollará herramientas abiertas para vigilar, aislar y controlar agentes de inteligencia artificial. El anuncio llega tres días después de que NVIDIA y otras empresas pidieran a Estados Unidos evitar restricciones generales contra los modelos de pesos abiertos.
NVIDIA anunció la creación de la Open Secure AI Alliance, una coalición integrada por empresas de inteligencia artificial, ciberseguridad, infraestructura y software empresarial que desarrollará herramientas abiertas para proteger sistemas informáticos frente a agentes autónomos.
La alianza surge pocos días después del incidente en el que un agente experimental de OpenAI escapó de su entorno controlado, accedió a internet y vulneró la infraestructura de Hugging Face mientras intentaba completar una prueba de ciberseguridad. El sistema realizó miles de acciones durante varios días antes de que OpenAI identificara que uno de sus agentes estaba detrás de la intrusión.
Entre los integrantes iniciales de la Open Secure AI Alliance se encuentran Adobe, Cisco, Cloudflare, CrowdStrike, Dell Technologies, Hugging Face, IBM, Microsoft, Palantir, Palo Alto Networks, Red Hat, Salesforce, SAP, ServiceNow, Siemens, Snowflake, Thinking Machines Lab y la Linux Foundation, además de NVIDIA.
La coalición pretende desarrollar y compartir modelos, datos, formatos seguros, herramientas de evaluación y mecanismos de control que permitan observar y restringir el comportamiento de los agentes de IA. NVIDIA aportará modelos y pesos abiertos, conjuntos de datos e investigación sobre los llamados agent harnesses, la infraestructura que conecta a un modelo con herramientas, permisos, archivos, redes y otros sistemas externos.
El caso Hugging Face se convierte en argumento
El anuncio parte directamente de los problemas que Hugging Face enfrentó durante la investigación del ataque. La intrusión comenzó cuando un conjunto de datos malicioso aprovechó dos rutas de ejecución de código dentro de la infraestructura de procesamiento de la plataforma. El agente obtuvo acceso a un nodo, recopiló credenciales y se desplazó lateralmente hacia otros sistemas internos mediante miles de acciones distribuidas entre entornos temporales.
Cuando Hugging Face intentó utilizar modelos comerciales para reconstruir lo ocurrido, las restricciones de seguridad de esos servicios bloquearon parte del material necesario para el análisis forense. Los modelos no podían distinguir entre una solicitud maliciosa y el trabajo de un defensor que necesitaba procesar comandos, cargas y rastros dejados por el atacante.
La compañía terminó ejecutando GLM 5.2, un modelo chino de pesos abiertos, dentro de su propia infraestructura. De acuerdo con NVIDIA, el sistema permitió analizar más de 17,000 acciones sin sacar del entorno de Hugging Face las credenciales ni la información relacionada con el incidente.
Para NVIDIA, el episodio mostró una asimetría: mientras un agente atacante podía operar sin respetar las políticas de uso de los proveedores comerciales, los defensores dependían de herramientas cerradas que rechazaban parte del trabajo necesario para contenerlo.
La empresa sostiene que las organizaciones deben poder descargar, inspeccionar, adaptar y ejecutar sistemas avanzados en su propia infraestructura, especialmente cuando necesitan responder con rapidez a una emergencia de ciberseguridad.
Esta postura no implica, según NVIDIA, que todos los modelos deban ser abiertos. La compañía reconoce que los sistemas de pesos abiertos pueden modificarse para eliminar protecciones o utilizarse con fines maliciosos, pero argumenta que esos riesgos tampoco desaparecen cuando los modelos permanecen cerrados. Su propuesta es combinar modelos abiertos y propietarios con controles externos que puedan ser examinados y mejorados por diferentes organizaciones.
De la carta a una infraestructura de seguridad
La creación de la alianza ocurre tres días después de la publicación de “Open Weights and American AI Leadership”, una carta impulsada por empresas como NVIDIA, Microsoft, Meta, IBM, Dell Technologies, Hugging Face y Palantir para pedir a los responsables políticos de Estados Unidos que eviten restricciones prematuras o generales contra los modelos de pesos abiertos.
La lista de adhesiones se amplió posteriormente e incluye actualmente a OpenAI, Google, GitHub, Mistral, Mozilla, Cloudflare, CrowdStrike, Linux Foundation, SpaceX y decenas de empresas y organizaciones tecnológicas.
El documento sostiene que los modelos de pesos abiertos —aquellos cuyos parámetros pueden descargarse, inspeccionarse, modificarse y ejecutarse en infraestructura propia— amplían el acceso a la inteligencia artificial, reducen la dependencia de un solo proveedor y permiten a empresas, universidades e instituciones públicas adaptar los sistemas a sus propias necesidades.
La carta también responde directamente a los argumentos que presentan la apertura como un riesgo de seguridad. Sus firmantes reconocen que, una vez publicados, los pesos de un modelo quedan fuera del control de su desarrollador original y pueden ser modificados de maneras difíciles de rastrear o revertir.
Sin embargo, consideran que prohibirlos dejaría a investigadores y defensores sin acceso a capacidades comparables con las que ya pueden emplear los atacantes. También advierten que concentrar la inteligencia artificial avanzada en un pequeño número de proveedores cerrados generaría puntos únicos de falla y limitaría la posibilidad de que expertos externos descubran vulnerabilidades.
La Open Secure AI Alliance transforma ese argumento político en un programa técnico. En lugar de limitarse a defender la publicación de modelos, la coalición plantea construir una capa abierta de seguridad alrededor de los agentes.
La seguridad no termina en el modelo
Uno de los planteamientos centrales de NVIDIA es que un agente no está compuesto únicamente por un modelo de lenguaje. Su comportamiento también depende de la identidad con la que accede a un sistema, los permisos que recibe, las herramientas disponibles, las instrucciones del arnés, los registros de actividad, las evaluaciones y las barreras que limitan sus acciones.
Por ello, la alianza trabajará en mecanismos de identidad y aislamiento, formatos seguros para almacenar pesos, análisis coordinados entre varios modelos y flujos de programación capaces de detectar vulnerabilidades.
Entre los proyectos mencionados se encuentra Safetensors, el formato desarrollado por Hugging Face para almacenar pesos sin permitir la ejecución remota de código; SPIFFE y SPIRE, utilizados para verificar criptográficamente la identidad de servicios y cargas de trabajo; y MDASH, una herramienta de Microsoft que coordina varios agentes especializados para encontrar y comprobar fallas de seguridad.
NVIDIA también presentó el proyecto experimental NVIDIA Labs Object-Oriented Agent, o NOOA, diseñado para facilitar que los arneses se comuniquen con los modelos y vuelvan más sencillo probar, rastrear, auditar y gobernar sus acciones.
El cambio de enfoque es relevante. Buena parte de la discusión pública sobre seguridad de IA se ha concentrado en las protecciones internas de los modelos, pero el incidente de Hugging Face mostró que un agente puede convertirse en un riesgo cuando obtiene herramientas, credenciales, conexión a internet y capacidad para actuar durante periodos prolongados. La propuesta de la alianza consiste en colocar controles verificables alrededor de esos sistemas, independientemente de quién haya desarrollado el modelo.
Una defensa de la apertura que también amplía el mercado de NVIDIA
La posición de NVIDIA tiene una dimensión de seguridad, pero también coincide con sus intereses comerciales. Los modelos de pesos abiertos pueden ejecutarse directamente en centros de datos, servidores empresariales y sistemas locales, en lugar de depender exclusivamente de una API administrada por el desarrollador. Esa expansión aumenta la demanda de chips, redes, servidores y software de ejecución, áreas en las que NVIDIA mantiene una posición central.
La carta del 24 de julio incluso señala que la apertura favorece la competencia no solo entre desarrolladores de modelos, sino también entre proveedores de nube, chips, aplicaciones y servicios. La compañía está proponiendo, por tanto, una arquitectura en la que puedan convivir modelos abiertos y cerrados, pero donde las organizaciones conserven el control de los agentes, los datos y las herramientas que los rodean.
El caso Hugging Face le proporcionó una prueba especialmente poderosa: un modelo cerrado participó en el ataque y, durante la emergencia, las restricciones de otros servicios cerrados obstaculizaron la investigación. Un modelo de pesos abiertos terminó ayudando a reconstruir lo ocurrido.
La Open Secure AI Alliance busca convertir esa experiencia en una política industrial. Su mensaje es que la seguridad de los agentes no debe depender únicamente de las decisiones internas de unos cuantos laboratorios, sino de herramientas que investigadores, empresas y gobiernos puedan inspeccionar, adaptar y ejecutar bajo su propio control.
