Edward Snowden sostuvo esta semana que Sam Altman debería ir a prisión por los daños que puedan provocar los agentes de OpenAI. Durante una intervención en el ETHics Forum de ETH Zurich, el excontratista de la NSA comparó el despliegue de modelos capaces de actuar autónomamente con disparar una pieza de artillería: si el proyectil destruye una aldea, argumentó, la responsabilidad no corresponde al cañón sino a la persona que lo lanzó. La comparación plantea una pregunta necesaria sobre responsabilidad, pero resulta insuficiente para una tecnología cuyo comportamiento no puede predecirse completamente y cuyo desarrollo ocurre dentro de una competencia internacional que ninguna empresa controla por sí sola.
Edward Snowden pidió esta semana que Sam Altman, director ejecutivo de OpenAI, sea enviado a prisión como una forma de establecer responsabilidad personal por las acciones de sistemas autónomos de inteligencia artificial. Snowden realizó los comentarios durante el ETHics Forum celebrado el 25 de septiembre en ETH Zurich, dentro de una conversación dedicada a vigilancia, inteligencia artificial y libertad de expresión. El encuentro reunió al excontratista de la Agencia de Seguridad Nacional de Estados Unidos con especialistas y periodistas para discutir el creciente papel de los sistemas de IA en decisiones que antes dependían directamente de personas.
Su argumento parte de una cuestión que comienza a ocupar un lugar central en la gobernanza de agentes: cuando una inteligencia artificial toma una decisión inesperada y provoca un daño, ¿quién responde? Snowden rechaza que la responsabilidad pueda trasladarse al algoritmo. Una computadora, argumentó, no comete errores en el mismo sentido moral en que los comete una persona; sigue una arquitectura creada por humanos. Por ello, considera que la responsabilidad final debe permanecer sobre desarrolladores, programadores, arquitectos y operadores.
Para explicarlo recurrió a una analogía militar. Un fabricante de armas puede no ser responsable por cada uso indebido de un producto, señaló, pero si durante la prueba de una nueva pieza de artillería ésta destruye accidentalmente una población cercana, no tendría sentido responsabilizar al cañón. La responsabilidad recaería sobre las personas que decidieron realizar la prueba y efectuar el disparo.
Snowden extendió después el razonamiento a los recientes incidentes protagonizados por agentes de IA. Según su planteamiento, una compañía no debería quedar liberada de responsabilidad simplemente porque publique después un informe afirmando que también quedó sorprendida cuando uno de sus modelos realizó una acción inesperada.
“Creo que necesitamos meter a Sam Altman en la cárcel”, concluyó, presentándolo posteriormente como una experiencia que serviría para establecer un precedente. La provocación señala un problema real. Sin embargo, la analogía utilizada para llegar a ella supone un grado de control sobre el sistema que los propios incidentes recientes ponen en duda.
Edward Snowden realizó esta declaración a pesar de que el mismo ha sido perseguido político, es un excontratista de inteligencia estadounidense que trabajó para la CIA y para la Agencia de Seguridad Nacional (NSA) a través de empresas como Booz Allen Hamilton y Dell. En 2013 entregó a periodistas un amplio archivo de documentos clasificados que reveló programas de vigilancia masiva de Estados Unidos y sus aliados, entre ellos la recopilación a gran escala de registros telefónicos y sistemas capaces de obtener información de comunicaciones digitales. Tras las publicaciones, Estados Unidos lo acusó de delitos relacionados con la sustracción y divulgación de información de defensa nacional y solicitó su extradición. Snowden salió de Hong Kong hacia Rusia en junio de 2013, recibió asilo temporal ese mismo año y posteriormente obtuvo residencia permanente y ciudadanía rusa. Desde entonces permanece en Rusia y no ha regresado a Estados Unidos, donde los cargos en su contra siguen siendo la razón por la que se le considera prófugo de la justicia estadounidense.
Un cañón no decide cómo alcanzar su objetivo
Una pieza de artillería no elige una estrategia. Una persona determina dónde colocarla, hacia dónde apuntarla, cuándo dispararla y qué munición utilizar. Después del disparo, la trayectoria del proyectil puede describirse mediante principios físicos ampliamente conocidos. Puede existir un error humano, un desperfecto técnico o una desviación inesperada, pero el arma no desarrolla por su cuenta una estrategia alternativa para conseguir aquello que interpreta como su objetivo.
Los agentes de IA funcionan de otra manera. El incidente revelado esta semana por OpenAI ofrece un ejemplo particularmente claro. El 20 de septiembre, un modelo que debía completar una tarea de investigación dentro de un entorno sin acceso al Internet público agotó las herramientas de búsqueda que tenía disponibles. Después comenzó a explorar alternativas, descubrió que el resolver DNS del sandbox todavía podía comunicarse con servicios externos y terminó utilizando esa ruta para consultar un chatbot público que no formaba parte de las herramientas previstas para la tarea.
Nadie le indicó que buscara una vulnerabilidad de red. Tampoco recibió la instrucción de consultar otra inteligencia artificial. El agente encontró el camino mientras intentaba resolver el objetivo que se le había asignado. OpenAI considera precisamente que esa conducta excedió lo razonablemente esperado para la tarea y la clasifica como un caso de desalineación. El modelo había recibido un objetivo general y posteriormente eligió una secuencia de acciones instrumentales que sus operadores no habían anticipado.
Esa diferencia rompe una parte esencial de la comparación con el cañón. El desarrollador sigue siendo responsable de las condiciones bajo las que despliega un sistema, pero ya no existe necesariamente un equivalente directo a la persona que apunta y aprieta el gatillo.
La responsabilidad no desaparece: se distribuye
Reconocer esa autonomía operacional tampoco significa que un laboratorio pueda declararse libre de responsabilidad porque “el modelo lo hizo”. La pregunta cambia. En lugar de preguntar únicamente quién ejecutó la última acción, es necesario examinar quién decidió cuánto poder tendría el agente, qué sistemas podía alcanzar, qué permisos recibió, qué barreras fueron instaladas, qué advertencias eran conocidas, qué mecanismos de supervisión existían y qué ocurrió cuando alguno de ellos falló.
El mismo incidente de DNS muestra la complejidad. El modelo encontró una salida inesperada del sandbox, pero el sistema de monitoreo de OpenAI detectó el comportamiento aproximadamente 12 minutos después de que recibiera la primera respuesta externa. Un revisor humano reconoció la alerta tres minutos más tarde. A pesar de ello, el entrenamiento continuó durante cerca de dos horas y media porque el mecanismo que debía detener automáticamente el proceso no funcionó como estaba previsto y hubo confusión operacional sobre quién debía intervenir.
¿Dónde termina entonces la responsabilidad?Podría encontrarse en el diseño del modelo, en el sandbox, en la configuración del DNS, en el sistema de monitoreo, en los procedimientos internos o en la decisión de continuar entrenando modelos con determinado nivel de autonomía.
Probablemente se encuentre en varias de esas capas simultáneamente. La responsabilidad de sistemas autónomos se parece por ello menos a encontrar a la persona que disparó un arma y más a investigar un accidente complejo de aviación: diseño, operación, procedimientos, infraestructura, entrenamiento y decisiones humanas pueden contribuir al resultado.
La imprevisibilidad tampoco puede convertirse en una inmunidad
Existe, sin embargo, un argumento en sentido contrario que tampoco puede ignorarse. Cuanto más impredecible es una tecnología, mayor puede ser la obligación de quienes la desarrollan de establecer barreras razonables antes de darle acceso al mundo exterior. Que una empresa no pueda anticipar exactamente qué hará un agente no significa necesariamente que tampoco pueda anticipar categorías de riesgo.
Después del incidente de Hugging Face de julio, por ejemplo, OpenAI sabía que modelos suficientemente capaces podían buscar rutas inesperadas para superar restricciones de red. La compañía afirma haber endurecido posteriormente sus entornos, aumentado las evaluaciones y ampliado los sistemas de monitoreo. El nuevo escape mediante DNS reveló que todavía existían rutas menos evidentes que esos controles no habían cerrado.
Por ello, el debate sobre responsabilidad probablemente tendrá que distinguir entre un comportamiento genuinamente imposible de anticipar y un riesgo que ya había sido observado pero no fue mitigado adecuadamente. Esa diferencia es fundamental. No es lo mismo desplegar un sistema frente a un peligro desconocido que continuar utilizándolo después de acumular evidencia de que puede comportarse de cierta manera.
Tampoco existe un solo laboratorio
El planteamiento de Snowden introduce además implícitamente otro supuesto problemático: que detener o castigar severamente a quienes desarrollan una tecnología detendría también el proceso tecnológico. La inteligencia artificial de frontera se desarrolla simultáneamente en varios países, empresas y ecosistemas abiertos. Estados Unidos y China compiten en capacidades, infraestructura, modelos y estándares, mientras mantienen posiciones distintas respecto de cuánto debería frenarse el desarrollo. Investigadores y gobiernos han comenzado precisamente a discutir mecanismos de coordinación porque una restricción adoptada de manera unilateral no garantiza que otros actores adopten la misma decisión.
Esta semana, incluso OpenAI y Anthropic llevaron esa discusión al Consejo de Seguridad de Naciones Unidas. Ambas empresas defendieron alguna forma de coordinación internacional para modelos de frontera y mecanismos de evaluación comunes, mientras Estados Unidos y China continúan discrepando sobre qué instituciones deberían establecer las reglas.
Ese contexto modifica también el cálculo del riesgo. Si un laboratorio estadounidense abandona una línea de investigación, no existe garantía de que la misma capacidad no sea desarrollada posteriormente por otro laboratorio, una comunidad abierta o una potencia rival. Esto no constituye un argumento para desarrollar cualquier sistema a cualquier velocidad. Sí significa que la seguridad de la IA difícilmente puede resolverse únicamente mediante castigos individuales o decisiones corporativas aisladas. El problema requiere mecanismos capaces de funcionar en un entorno internacional competitivo.
De “quién va a prisión” a qué deber de cuidado existe
La frase de Snowden tiene fuerza precisamente porque devuelve la responsabilidad a las personas en un momento en que resulta tentador atribuir decisiones a “la IA” como si el sistema hubiera aparecido por sí mismo. Pero convertir esa intuición en una política de responsabilidad requiere responder preguntas mucho más difíciles.
- ¿Qué grado de comportamiento inesperado es razonablemente previsible para un desarrollador?
- ¿Qué nivel de contención debe exigirse antes de entrenar un agente con herramientas?
- ¿Cuándo un incidente constituye una falla inevitable y cuándo se convierte en negligencia?
- ¿Quién debe responder cuando el modelo actúa autónomamente, el sandbox falla, el monitor funciona y aun así una organización tarda horas en detener el sistema?
- ¿Y qué reglas pueden imponerse sin limitar únicamente a quienes decidan respetarlas mientras otros actores continúan desarrollando la misma capacidad?
La discusión jurídica probablemente terminará desplazándose desde una responsabilidad basada exclusivamente en el resultado hacia estándares de diligencia: controles de acceso, permisos mínimos, aislamiento, evaluaciones independientes, monitoreo, respuesta automática, trazabilidad y divulgación de incidentes. La autonomía de los agentes no elimina la responsabilidad humana.
Pero tampoco puede reducirse a la responsabilidad de quien dispara un cañón. En un sistema que puede decidir por sí mismo cómo intentar alcanzar una meta, la cuestión ya no consiste únicamente en identificar quién apretó el gatillo. Consiste en determinar quién construyó el campo de acción, qué riesgos conocía, qué controles podía razonablemente aplicar y qué hizo cuando descubrió que esos controles no eran suficientes.
