El llamado más duro del primer Diálogo Mundial de la ONU sobre Gobernanza de la Inteligencia Artificial no fue sobre chatbots, empleos o derechos de autor. Fue sobre guerra. António Guterres, secretario general de Naciones Unidas, advirtió en Ginebra que aunque el foro estaba dedicado a la IA civil, esa frontera ya no se sostiene: los mismos modelos y chips que impulsan sistemas comerciales también están llegando al campo de batalla.
Guterres puso nombre al riesgo: “killer robots”. No se refería a robots humanoides de ciencia ficción, sino a sistemas de armas autónomas capaces de seleccionar y atacar objetivos sin control ni juicio humano. Para el secretario general, entregar a una máquina la decisión de quitar una vida es moralmente inaceptable, políticamente inadmisible y debe ser prohibido por el derecho internacional.
«El Diálogo Global trata sobre la IA civil. Pero la IA no respeta esa línea. Los mismos modelos y chips se han trasladado al campo de batalla. Mi principal preocupación son los «sistemas de armas autónomas letales». Llamémoslas por su nombre: Robots asesinos. Máquinas que seleccionan y atacan a su objetivo y le quitan la vida, sin control ni juicio humano. Eso es moralmente repugnante. Es políticamente inaceptable. Y debe estar prohibido por el derecho internacional» declaró Guterres.
La expresión puede sonar espectacular, pero el problema técnico y jurídico es muy concreto. El Comité Internacional de la Cruz Roja define los sistemas de armas autónomas como armas que, una vez activadas por una persona, pueden seleccionar y aplicar fuerza contra objetivos sin intervención humana adicional, a partir de sensores y perfiles generales de objetivo. Eso significa que el operador no necesariamente sabe qué blanco específico será atacado, ni el momento o lugar exacto en que ocurrirá el ataque.
Esa es la línea roja: no toda IA militar es un “killer robot”. Un sistema que ayuda a analizar imágenes satelitales, clasificar información o apoyar decisiones tácticas no es lo mismo que un arma que identifica, selecciona y ataca por sí misma. La discusión se concentra en el momento en que la decisión letal deja de ser una decisión humana situada y pasa a depender de sensores, modelos, software y perfiles de clasificación.
La ONU lleva años empujando esta discusión. Desde 2018, Guterres ha sostenido que los sistemas de armas letales autónomas son políticamente inaceptables y moralmente repugnantes. En su Nueva Agenda de Paz de 2023, pidió a los Estados concluir, para 2026, un instrumento jurídicamente vinculante que prohíba los sistemas que funcionen sin control u observación humana, o que no puedan utilizarse conforme al derecho internacional humanitario, y que regule el resto de armas autónomas.
«Sobre la base de los progresos realizados en las negociaciones multilaterales, concluir, para 2026, un instrumento jurídicamente vinculante para prohibir los sistemas de armas autónomos letales que funcionen sin control o supervisión humana y que no puedan utilizarse de conformidad con el derecho internacional humanitario, y regular todos los demás tipos de sistemas de armas autónomos», señala el documento.
El problema es que la tecnología avanza más rápido que la diplomacia. Desde 2014, más de cien Estados han discutido el tema dentro de la Convención sobre Ciertas Armas Convencionales. En marzo de 2026, el grupo de expertos de esa convención entró en una fase crítica: 128 Estados discutían un texto no vinculante que podría servir como base para futuras negociaciones. Pero incluso ese paso enfrenta obstáculos. Reuters reportó que Estados Unidos y Rusia, entre otros, se oponen a nuevos instrumentos jurídicamente vinculantes y sostienen que las normas existentes son suficientes.
Ahí está el nudo político. Casi todos aceptan que el derecho internacional humanitario debe aplicarse también a estas armas. Pero no todos aceptan que haga falta una nueva prohibición. Para algunos Estados, basta con revisar cada arma conforme a reglas existentes. Para otros, ese enfoque no alcanza porque las obligaciones legales recaen sobre Estados y personas, no sobre máquinas. Si una máquina selecciona el objetivo, ejecuta el ataque y produce daño no previsto, la pregunta de responsabilidad se vuelve más difícil: ¿responde el comandante, el programador, el fabricante, el Estado o nadie?
El texto que se discute en Ginebra intenta resolver esa tensión con una fórmula: “juicio y control humano adecuados al contexto”. La idea es que los sistemas capaces de identificar, seleccionar y atacar objetivos no puedan operar al margen de una cadena humana de mando, evaluación legal y responsabilidad. Sin embargo, el propio resumen del grupo de expertos muestra que el concepto sigue siendo disputado: algunas delegaciones lo ven como el núcleo de la futura regulación; otras temen que sea demasiado ambiguo o que cree un nuevo estándar legal no acordado.
El debate técnico tampoco está cerrado. Algunas delegaciones pidieron reintroducir lenguaje sobre previsibilidad, fiabilidad, trazabilidad y explicabilidad, al considerar que no son solo características técnicas, sino garantías legales y humanitarias. También se discutieron medidas como monitoreo, desactivación, autodestrucción o autodesactivación, aunque varios Estados advirtieron que esos mecanismos no sustituyen una supervisión humana real y que los sistemas autónomos pueden ser vulnerables a manipulación cibernética o comportarse de forma impredecible en entornos digitales hostiles.
Para el Comité Internacional de la Cruz Roja, la prohibición debería cubrir al menos dos categorías: armas autónomas impredecibles, cuyos efectos no puedan entenderse, preverse o explicarse de manera suficiente, y armas autónomas diseñadas o utilizadas para atacar directamente a seres humanos. El resto de sistemas autónomos, si no quedan prohibidos, deberían estar sujetos a límites estrictos: tipo de objetivo, duración, escala, zona geográfica, situaciones de uso, supervisión humana efectiva e intervención o desactivación oportuna.
El argumento humanitario es que la guerra requiere evaluaciones situadas. Distinguir entre combatientes y civiles, calcular proporcionalidad, tomar precauciones y decidir si un ataque es legal depende de contexto, interpretación y juicio humano. El CICR advierte que estos problemas son especialmente graves cuando se usan armas autónomas contra personas, porque el estatus y la protección de una persona pueden cambiar rápidamente antes de un ataque.
Las organizaciones de derechos humanos han ampliado el problema más allá del campo de batalla. Human Rights Watch sostiene que estos sistemas también podrían usarse en operaciones de seguridad o aplicación de la ley, no solo en conflictos armados, y que implican riesgos para derechos como la vida, la reunión pacífica, la dignidad, la no discriminación, la privacidad y el acceso a remedio. Su posición es que un tratado debe prohibir los sistemas que operen sin control humano significativo o que tengan como objetivo a personas.
El riesgo tampoco es puramente hipotético. Reuters ha reportado preocupaciones crecientes por el uso de armas semiautónomas asistidas por IA en conflictos como Ucrania, Sudán, Gaza, Irán y el Golfo. El presidente del grupo de expertos de la ONU sobre armas autónomas, Robert in den Bosch, advirtió que si los Estados esperan demasiado, el proceso puede ser rebasado por los avances tecnológicos.
La Asamblea General ya ha mostrado que existe mayoría política para mover el tema. En diciembre de 2025, adoptó la resolución A/RES/80/57 sobre sistemas de armas letales autónomas por 164 votos a favor, 6 en contra y 7 abstenciones. La resolución no prohíbe estas armas, pero mantiene el tema en la agenda y aumenta la presión para que el proceso diplomático avance.
El gran límite es que el sistema actual depende del consenso. El grupo de expertos de la Convención sobre Ciertas Armas Convencionales trabaja bajo reglas que facilitan el bloqueo de avances por parte de grandes potencias militares. Por eso, una de las posibilidades mencionadas por Reuters es que, si no hay acuerdo dentro de esa convención, algunos países busquen una vía alternativa: un tratado fuera del marco tradicional, como ocurrió con otras iniciativas de desarme humanitario.
La frase de Guterres en Ginebra debe leerse en ese contexto. No fue solo una advertencia moral, sino un intento de empujar una negociación que probablemente no cumplirá el plazo de 2026 para producir un instrumento vinculante. El propio presidente de las conversaciones en Ginebra reconoció que la meta de concluir este año un tratado obligatorio difícilmente se alcanzará.
Por eso la nota de fondo no es que la ONU descubrió ahora el problema de los “killer robots”. La noticia es que el problema ya llegó al centro de la gobernanza global de la IA. Mientras la discusión pública suele concentrarse en productividad, desinformación o regulación de plataformas, la dimensión militar obliga a formular una pregunta más radical: qué decisiones deben quedar definitivamente fuera de la automatización.
El problema es que esa línea roja todavía no existe como derecho internacional vinculante. Y mientras los Estados discuten si basta con normas existentes o si hace falta una prohibición nueva, la autonomía en sistemas militares sigue avanzando. La gobernanza de la IA, en su punto más extremo, no se juega en una interfaz de chat. Se juega en la posibilidad de que la guerra deje de ser una decisión humana y se convierta en una cadena automática de detección, clasificación y muerte.
