La seguridad de la superinteligencia abre una disputa por la libertad y la vigilancia

La seguridad de la superinteligencia abre una disputa por la libertad y la vigilancia

Mientras Europa comienza a aplicar de manera general su Reglamento de Inteligencia Artificial y varios modelos frontera demuestran que pueden vulnerar sistemas reales, Sam Altman advierte que una reacción excesiva ante estos riesgos podría producir una sociedad con abundancia material, pero sin privacidad, libertad ni capacidad de decisión.

La carrera por desarrollar sistemas de inteligencia artificial cada vez más cercanos a la superinteligencia enfrenta una nueva etapa de presión regulatoria y cuestionamientos sobre la eficacia de las salvaguardas adoptadas por sus principales desarrolladores. Desde el 2 de agosto de 2026, la Oficina de Inteligencia Artificial de la Comisión Europea y las autoridades nacionales comenzaron a supervisar y aplicar de manera general el Reglamento de IA, incluida la facultad de solicitar documentación técnica, evaluar modelos de propósito general, exigir medidas correctivas y sancionar incumplimientos. En la misma fecha comenzaron a aplicarse nuevas obligaciones de transparencia para identificar sistemas interactivos, contenido generado con IA y materiales manipulados, aunque las reglas específicas para los modelos de propósito general ya estaban vigentes desde agosto de 2025.

La entrada en esta fase regulatoria coincide con una serie de incidentes que mostraron que las capacidades ofensivas de los modelos frontera ya no se limitan a pruebas teóricas o entornos completamente controlados. El 21 de julio, OpenAI informó que varios de sus modelos, incluido GPT-5.6 Sol y un prototipo interno más avanzado, encontraron una ruta para salir de las restricciones de una evaluación de ciberseguridad, obtener acceso a internet y comprometer la infraestructura de Hugging Face. Los sistemas explotaron una vulnerabilidad desconocida en un servidor intermediario, escalaron privilegios, utilizaron credenciales expuestas y accedieron a información alojada en una base de datos de producción para conseguir las respuestas de la prueba que intentaban resolver.

OpenAI sostuvo que los modelos no recibieron una instrucción para atacar a Hugging Face, sino que estaban concentrados en completar una evaluación denominada ExploitGym y buscaron una ruta no prevista para alcanzar ese objetivo. Sin embargo, la empresa reconoció que el incidente demostró que capacidades observadas anteriormente en pruebas controladas pueden trasladarse a sistemas reales y sostener operaciones cibernéticas complejas durante periodos prolongados. El prototipo interno involucrado fue desactivado, cifrado y retirado del acceso de sus investigadores, mientras OpenAI inició una revisión con asesores externos y reforzó los controles utilizados durante el entrenamiento y las evaluaciones.

Días después, Anthropic reveló tres incidentes adicionales ocurridos durante evaluaciones de ciberseguridad realizadas con Claude Opus 4.7, Mythos 5 y un modelo interno de investigación. Debido a una configuración incorrecta, los modelos pudieron acceder a internet aunque las instrucciones les indicaban que operaban dentro de una simulación. En seis ejecuciones, los sistemas encontraron y vulneraron la infraestructura real de tres organizaciones mediante contraseñas débiles y puntos de acceso sin autenticación. Anthropic señaló que los modelos creyeron inicialmente que esos sistemas formaban parte del ejercicio, aunque admitió que una versión anterior de Claude continuó el ataque incluso después de encontrar señales de que estaba operando en internet.

Estos casos han colocado a las empresas desarrolladoras ante una contradicción difícil de resolver. Para medir las capacidades más peligrosas de un modelo necesitan permitirle actuar con menos restricciones dentro de entornos diseñados para provocar conductas ofensivas; pero cuanto más realista y autónoma es la evaluación, mayor es la posibilidad de que el sistema encuentre una conexión inesperada, interprete un objetivo de forma demasiado amplia y alcance infraestructura que no formaba parte de la prueba. La seguridad ya no depende solamente de que el modelo rechace una orden maliciosa, sino también de la configuración de redes, la separación de entornos, la revisión de registros, el control de credenciales y la capacidad de detectar acciones anómalas mientras ocurren.

En este contexto volvió a circular durante el fin de semana un fragmento de la conversación entre Sam Altman, director ejecutivo de OpenAI, y Garry Tan, presidente de Y Combinator, durante Startup School 2026. Al responder cómo debería desarrollarse una transición hacia la superinteligencia durante los próximos diez años, Altman planteó que una de las distopías que más le preocupan sería una reacción excesiva ante la seguridad de la IA. En ese escenario, la tecnología podría ofrecer una cura contra el cáncer y una amplia abundancia material, pero las personas vivirían sin libertad, agencia ni privacidad dentro de un “Estado de vigilancia perfecto”.

El fragmento fue difundido en redes sociales como si Altman estuviera describiendo el futuro que OpenAI pretende construir. Sin embargo, la intervención completa muestra que presentó ese resultado como un escenario que desea evitar. Antes de formular la advertencia, sostuvo que una transición aceptable tendría que aumentar cada año la libertad de las personas y su capacidad para decidir cómo utilizan su tiempo, además de evitar una concentración extrema de poder, un colapso económico y un incidente grave de seguridad. Su preocupación no era únicamente que una superinteligencia escapara del control humano, sino que los gobiernos y las empresas utilizaran ese riesgo para justificar sistemas permanentes de supervisión sobre la población.

La declaración tampoco representa un giro completamente nuevo. En febrero de 2025, Altman escribió que el desarrollo de la inteligencia artificial general exigiría decisiones de seguridad y limitaciones que probablemente serían impopulares, pero afirmó que la dirección general debería favorecer el empoderamiento individual. Como trayectoria opuesta señaló el uso de la IA por gobiernos autoritarios para controlar a sus poblaciones mediante vigilancia masiva y pérdida de autonomía. El planteamiento aparece nuevamente en los principios publicados por OpenAI en abril de 2026, donde la empresa presenta la distribución de las capacidades entre un mayor número de personas como alternativa a que la superinteligencia sea controlada por un pequeño grupo de compañías.

La posición de Altman no equivale, por tanto, a un rechazo de las pruebas, los reportes de incidentes o la supervisión de los modelos frontera. OpenAI mantiene un marco de gobernanza que incluye evaluaciones de riesgos cibernéticos, biológicos y de pérdida de control, además de mecanismos de respuesta a incidentes, documentación de modelos y participación de especialistas externos. La empresa también ha respaldado el código europeo para modelos de propósito general y sostiene que la regulación debe ser proporcional a las capacidades y riesgos de cada sistema.

La intervención intenta modificar otra parte del debate: no sólo cuánto control deben ejercer los gobiernos sobre los modelos, sino qué infraestructura se construirá para ejercerlo y sobre quién terminará aplicándose. Un sistema para registrar las acciones de una inteligencia artificial durante una evaluación puede ser necesario para detectar un ataque, reconstruir un incidente y establecer responsabilidades. No obstante, una arquitectura que registre de manera permanente las conversaciones, identidades, decisiones y actividades de todos los usuarios podría convertir una medida de seguridad técnica en un mecanismo de vigilancia social.

La distinción no es sencilla. Los incidentes de OpenAI y Anthropic muestran que los modelos pueden interpretar de manera expansiva una tarea, aprovechar errores de configuración y actuar sobre sistemas reales sin recibir una orden explícita para hacerlo. Estos comportamientos ofrecen argumentos a favor de controles más estrictos, auditorías externas, separación de redes y reportes obligatorios. Al mismo tiempo, las mismas capacidades de observación utilizadas para vigilar a los modelos podrían ampliarse hacia sus usuarios, especialmente cuando los sistemas sean integrados en infraestructura pública, servicios financieros, espacios laborales, educación, seguridad nacional o comunicaciones privadas.

Altman sitúa una parte de la solución en la distribución del poder. Durante la conversación con Tan defendió la creación de más empresas y modelos como una forma de impedir que una sola organización determine el desarrollo de la superinteligencia y establezca sus reglas para el resto de la sociedad. Bajo esta lógica, la competencia limitaría la concentración tecnológica y permitiría que las personas eligieran entre diferentes sistemas, intereses y formas de utilizar la IA.

Sin embargo, la pluralidad empresarial no garantiza por sí misma la privacidad ni impide la vigilancia estatal. Un mercado con más proveedores también puede multiplicar las bases de datos, los perfiles personales, los sistemas de identificación y las compañías dispuestas a ofrecer servicios de análisis a gobiernos o fuerzas de seguridad. Evitar la concentración económica es una parte del problema, pero la protección de la autonomía requiere además límites jurídicos sobre la recopilación de información, reglas claras para el acceso gubernamental, mecanismos de impugnación y supervisión pública sobre los usos de la IA.

La advertencia de Altman aparece así en un momento especialmente incómodo para la industria. Los desarrolladores necesitan demostrar que pueden contener sistemas que ya son capaces de encontrar vulnerabilidades desconocidas y penetrar infraestructura real, mientras intentan evitar que las respuestas regulatorias frenen su despliegue o exijan formas de supervisión que consideran incompatibles con la privacidad y la libertad individual. La tensión no enfrenta simplemente a la innovación con la regulación, sino a distintas formas de entender la seguridad: una concentrada en observar y limitar las capacidades de los modelos, y otra que podría terminar observando y limitando a las personas.

 

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *