De acuerdo con la agencia Reuters, Sam Altman participará en persona en una sesión del Consejo de Seguridad dedicada a inteligencia artificial y seguridad internacional. DeepSeek estará entre las compañías que informarán al organismo y también fueron invitadas otras firmas chinas, mientras se espera representación de Anthropic. La reunión abordará explícitamente el riesgo de pérdida de control de sistemas avanzados, su uso malicioso y la necesidad de coordinación internacional.
OpenAI y DeepSeek llevarán esta semana dos de las principales ramas de la carrera mundial por la inteligencia artificial al Consejo de Seguridad de Naciones Unidas, en una sesión que colocará frente a los 15 miembros del organismo los riesgos de los sistemas más avanzados y su posible impacto sobre la paz y la seguridad internacionales, informó Reuters.
El director ejecutivo de OpenAI, Sam Altman, participará personalmente en la reunión abierta prevista para el miércoles 23 de septiembre en Nueva York, mientras que la empresa china DeepSeek estaría entre las compañías que presentarán sus análisis ante el Consejo, de acuerdo con dos fuentes familiarizadas con los preparativos citadas este martes por al agencia. Diplomáticos esperan además la participación de representantes de alto nivel de Anthropic. Otras compañías chinas, entre ellas Moonshot, también fueron invitadas a intervenir. El fundador de DeepSeek, Liang Wenfeng, no planea asistir personalmente, aunque Reuters advirtió que la composición final todavía puede cambiar.
El 18 de julio de 2023, en la primera sesión de la historia del Consejo dedicada a inteligencia artificial, compareció Jack Clark, cofundador de Anthropic, junto con Yi Zeng, de la Academia China de Ciencias. Sin embargo, en esta ocasión, por primera vez se reunirán en una misma sesión a varios desarrolladores de modelos de frontera, incluidos OpenAI y empresas chinas como DeepSeek, en medio de una discusión explícita sobre pérdida de control y riesgos para la seguridad internacional.
La reunión fue convocada por Francia, que ocupa durante septiembre la presidencia rotatoria del Consejo de Seguridad, y será encabezada por el ministro francés para Europa y Asuntos Exteriores, Jean-Noël Barrot. La agenda va más allá de una discusión general sobre regulación o aplicaciones comerciales de la tecnología. En una nota conceptual distribuida entre los integrantes del Consejo y consultada por Reuters, Francia planteó que los participantes analicen tanto los riesgos derivados de una posible pérdida de control como la utilización de los modelos de IA más recientes para desarrollar, facilitar o ejecutar acciones capaces de afectar la paz y la seguridad internacionales.
El documento francés también señala la posibilidad de que estas tecnologías sean utilizadas con fines maliciosos y plantea la necesidad de acelerar el desarrollo de mecanismos que permitan mantener su evolución de manera segura y responsable. OpenAI adelantó que Altman centrará su intervención en la coordinación internacional, la creación de estándares comunes de seguridad y las medidas que la compañía está tomando ante el aumento de las capacidades de sus sistemas.
La comparecencia ocurre en un momento particularmente inusual para la industria. El 9 de septiembre, OpenAI sostuvo públicamente que el desarrollo de sistemas capaces de avanzar hacia formas de mejora recursiva requiere nuevos mecanismos nacionales e internacionales de seguridad y afirmó que, en determinadas circunstancias, debería contemplarse incluso reducir el ritmo de desarrollo. La compañía propuso estándares compatibles entre países para medir capacidades, administrar riesgos, preservar el control humano y determinar cuándo el avance de los modelos tendría que desacelerarse o detenerse.
Un día antes de conocerse la participación de DeepSeek, Reuters informó además que OpenAI está impulsando que Estados Unidos encabece la creación de estándares técnicos internacionales para sistemas avanzados, incluidos aquellos capaces de mejorar sus propios procesos. La empresa sostiene que un marco fragmentado entre países dificultaría el intercambio de información sobre incidentes y la evaluación coordinada de riesgos.
China y EU en medio de una carrera por la IA
La presencia de DeepSeek introduce otro elemento en la reunión: las dos mayores potencias de IA quedarán representadas no solamente por sus gobiernos, sino también por laboratorios que desarrollan directamente modelos de frontera. Reuters señala que, a diferencia de OpenAI y Anthropic, los principales desarrolladores chinos han hablado públicamente con mucha menor frecuencia sobre escenarios en los que sistemas cada vez más capaces puedan engañar a sus operadores, evadir controles o provocar daños catastróficos. Medios estatales chinos, por su parte, han cuestionado los llamados recientes a ralentizar el desarrollo y los han presentado como parte de una estrategia destinada a conservar la ventaja tecnológica estadounidense.
El debate sobre una posible ralentización de la inteligencia artificial se ha cruzado además con la competencia tecnológica entre Estados Unidos y China. Donald Trump rechazó los llamados a frenar el desarrollo y sostuvo que Washington debe conservar su ventaja frente a Pekín: “Estamos por delante de China en IA […] y quiero mantenerlo así, porque quien gane en IA lo gana todo”, declaró durante una visita a Irlanda; posteriormente calificó las advertencias sobre una posible catástrofe provocada por la IA como un “engaño” y afirmó que una desaceleración beneficiaría a China. Pekín también ha cuestionado los llamados estadounidenses a ralentizar la carrera, aunque no fue Xi Jinping quien los calificó directamente de exagerados: el portavoz del Ministerio de Exteriores, Guo Jiakun, advirtió que el “alarmismo, la confrontación y la competencia maliciosa” dificultan la gobernanza global de la IA, al tiempo que sostuvo que China apoya reforzar salvaguardas para evitar que estos sistemas queden fuera de control. La diferencia será parte del trasfondo de las próximas conversaciones entre Trump y Xi, en las que ambos gobiernos prevén abordar seguridad y gobernanza de la IA mientras continúan compitiendo por el liderazgo tecnológico.
Las diferencias también atraviesan a los gobiernos. El secretario general de Naciones Unidas, António Guterres, advirtió el 16 de septiembre que el desarrollo de la IA está avanzando más rápido que la capacidad humana para comprender algunos de sus riesgos y señaló que las pausas aisladas resultarían insuficientes si solamente son adoptadas por algunos países. Guterres calificó a una inteligencia artificial que avance sin control como una de las amenazas existenciales que más le preocupan y pidió cooperación internacional para evitar una competencia que rebaje los estándares de seguridad.
La discusión llega además apenas dos días después de que el Panel Científico Internacional Independiente sobre Inteligencia Artificial de Naciones Unidas publicara un informe temático dedicado a agentes, desalineación y riesgo de pérdida de control humano. El documento, fechado el 21 de septiembre, analiza el incidente ocurrido entre OpenAI y Hugging Face entre mayo y julio de 2026, cuando agentes utilizados en pruebas de ciberseguridad evadieron restricciones de red, establecieron comunicaciones entre ejecuciones que debían permanecer separadas, manipularon una evaluación e intentaron ocultar ese comportamiento. El panel advierte que el episodio muestra cómo un incremento de capacidad puede permitir a sistemas desalineados encontrar nuevas vías para eludir restricciones, aunque no establece una probabilidad ni un plazo para escenarios más graves de pérdida de control.
El Consejo de Seguridad ya había abordado formalmente la inteligencia artificial en julio de 2023. Aquella fue la primera reunión del organismo dedicada a la tecnología y estuvo centrada principalmente en desinformación, vigilancia, ciberataques, armas autónomas y posibles aplicaciones militares. El secretario general pidió entonces mecanismos de transparencia, rendición de cuentas y supervisión, mientras distintos miembros advirtieron sobre el riesgo de integrar sistemas de IA en infraestructura militar y nuclear. Anthropic participó entonces a través de su cofundador Jack Clark, quien señaló ante el Consejo que los gobiernos no podían dejar el desarrollo de la tecnología exclusivamente en manos del sector privado.
Tres años después, el lenguaje de la discusión ha cambiado. La reunión del miércoles no solamente contempla el uso humano de la IA como instrumento para ciberataques, desinformación o armas, sino también la posibilidad de que las propias características de sistemas cada vez más autónomos introduzcan riesgos de pérdida de control. Ese cambio coincide con una rápida ampliación de las capacidades de los modelos de frontera y con advertencias procedentes tanto de empresas como de organismos científicos internacionales.
La sesión ocurrirá durante la semana de alto nivel de la 81 Asamblea General de Naciones Unidas, cuando jefes de Estado y de gobierno se encuentran en Nueva York. Pero OpenAI, DeepSeek y los demás laboratorios invitados no comparecerán ante la Asamblea General: lo harán ante el Consejo de Seguridad, el órgano de Naciones Unidas encargado de la paz y la seguridad internacionales.
La reunión colocará así en una misma sala a diplomáticos, gobiernos y desarrolladores de algunos de los sistemas de inteligencia artificial más avanzados del mundo para discutir una pregunta que hasta hace pocos años pertenecía principalmente a laboratorios y debates académicos: qué mecanismos internacionales serían necesarios si el progreso de esos sistemas comienza a superar la capacidad de una empresa, o incluso de un solo país, para comprenderlos y mantenerlos bajo control.
