Mientras DARPA desarrolla vehículos capaces de buscar e identificar objetivos sin intervención humana directa, los Estados se preparan para discutir en Ginebra nuevas reglas sobre armas autónomas. La cuestión no se limita a quién autoriza un ataque, sino a cuánto control conserva una persona sobre la información que determina su decisión.
El 15 de octubre de 2026, cuatro vehículos terrestres autónomos participaron en una demostración militar en Fort Knox, Kentucky. Los robots, desarrollados dentro del programa RACER de la Agencia de Proyectos de Investigación Avanzada de Defensa de Estados Unidos (DARPA), recorrieron el terreno, realizaron tareas de vigilancia e identificaron posibles objetivos sin necesitar que un operador controlara directamente sus movimientos. La intervención humana permaneció reservada para la decisión de atacar.
Si bien el programa RACER responde a objetivos de defensa y seguridad de Estados Unidos, el desarrollo de sistemas militares autónomos avanza en un escenario internacional donde todavía no existe consenso sobre los límites que deben imponerse a estas tecnologías. Mientras el gobierno estadounidense desarrolla capacidades para automatizar la navegación y la identificación de objetivos militares, los Estados se preparan para discutir en Ginebra el marco regulatorio de las armas autónomas. Del 16 al 20 de noviembre, los países participantes en la Convención sobre Ciertas Armas Convencionales de Naciones Unidas examinarán el futuro de la regulación internacional de los sistemas de armas autónomas letales. Entre las opciones se encuentran negociar prohibiciones jurídicamente vinculantes, establecer restricciones operativas o adoptar instrumentos de carácter voluntario.
En la automatización del disparo trasciende un problema. Cuando una máquina realiza el reconocimiento, identifica posibles amenazas y selecciona la información que recibirá un operador, parte del proceso que conduce a una decisión militar ya depende de operaciones algorítmicas. La pregunta es qué significa conservar el control humano en esas condiciones. Un operador puede mantener la autoridad formal para autorizar o cancelar un ataque y, al mismo tiempo, depender de información previamente seleccionada por un sistema cuya interpretación no puede comprobar de manera independiente.
La máquina reconoce, el humano autoriza
De acuerdo con DARPA, el experimento de Fort Knox comenzó con información satelital sobre una amenaza simulada. Un operador asignó tareas a los vehículos, que emplearon sensores para desplazarse y explorar el entorno. Durante el recorrido, uno de los robots detectó un posible objetivo y se detuvo a la espera de instrucciones. Después de que otros vehículos avanzaron para proporcionar apoyo, se simuló un impacto contra el objetivo.
Jason Gregory, asesor técnico de DARPA, explicó que los sistemas automatizaban el movimiento y la detección, pero no ejecutaban ataques sin autorización. Cada objetivo detectado era presentado al operador mediante una imagen de lo observado por el vehículo. El funcionario sostuvo que la persona conservaba el control de la decisión final. Business Insider recuperó esa distinción en un reportaje publicado el 14 de noviembre.
La demostración también integró plataformas terrestres de Overland AI con sistemas aéreos de ataque de Anduril, sujetos a la aprobación del comandante para actuar contra objetivos simulados. DARPA presentó la experiencia como una prueba de concepto para desarrollar operaciones coordinadas entre vehículos terrestres y capacidades de reconocimiento y ataque. No constituye evidencia de un despliegue operativo ni de que los robots hayan tomado decisiones letales independientemente.
Sin embargo, el hecho de que una persona autorice la acción final no resuelve automáticamente cómo se construye la información utilizada para decidir. Entre la observación del entorno y la autorización humana existen procesos de detección, clasificación y selección. El operador recibe una representación del posible objetivo, pero esa representación procede de un sistema que ya determinó qué elementos del terreno merecían ser destacados.
La documentación pública de DARPA no especifica qué información contextual adicional recibían los operadores, cómo se expresaba la incertidumbre del sistema, cuáles eran sus tasas de error ni qué procedimientos permitían corroborar una identificación antes de autorizar una acción. Por tanto, el experimento no demuestra una pérdida efectiva de control humano. Lo que sí permite es identificar una condición que debería examinarse antes de afirmar que ese control está garantizado.
El problema de decidir sobre información seleccionada por una máquina
La intervención de sistemas de inteligencia artificial en decisiones militares introduce una distinción entre la autoridad para decidir y la capacidad de evaluar independientemente aquello sobre lo que se decide. Una persona puede conservar la autoridad jurídica y operativa sobre una acción, pero ejercerla a partir de una representación limitada de la realidad. Si el sistema automatizado determina qué acontecimientos son relevantes, cuáles constituyen posibles amenazas y qué evidencia se presenta, también influye en la delimitación del problema que el operador debe resolver.
Esto no implica que toda selección algorítmica sea incorrecta o que la información procesada por una máquina carezca de valor. Los sistemas automatizados pueden ampliar la capacidad de vigilancia, identificar objetos difíciles de observar y facilitar el análisis de grandes volúmenes de datos. El problema aparece cuando sus resultados sustituyen, en lugar de complementar, las condiciones necesarias para un juicio humano independiente.
En un documento publicado el 8 de octubre, el Comité Internacional de la Cruz Roja (CICR) advirtió sobre el sesgo de automatización, entendido como la tendencia a confiar excesivamente en las recomendaciones producidas por sistemas informáticos. Según el organismo, la presión temporal y la confianza en los resultados automatizados pueden llevar a los operadores a aceptar recomendaciones sin examinarlas suficientemente.
El fenómeno es especialmente relevante en operaciones militares porque una identificación equivocada no necesariamente deriva de un error en el momento de disparar. Puede originarse antes, durante la recopilación de información, la clasificación de una persona o un objeto, o la evaluación de una amenaza. En ese escenario, la última decisión humana podría depender de una secuencia de interpretaciones que el operador no ha realizado y cuya validez quizá no dispone de medios suficientes para comprobar.
Ginebra reconoce el problema del sesgo de automatización
Las discusiones internacionales sobre armas autónomas no se limitan a prohibir sistemas que disparen sin autorización humana. En el resumen de la primera sesión de 2026 del Grupo de Expertos Gubernamentales sobre Sistemas de Armas Autónomas Letales, publicado el 1 de abril, aparecen propuestas para conservar el juicio y control humanos durante el ciclo de vida de los sistemas, realizar pruebas en entornos operativos realistas y prevenir tanto los sesgos derivados de los datos como el sesgo de automatización de los operadores.
El documento registra diferencias entre las delegaciones. Algunas consideraron necesario mantener referencias explícitas al control humano en el desarrollo, despliegue y utilización de las armas; otras defendieron que determinados principios ya se encontraban recogidos en apartados anteriores. También hubo discusiones sobre si los sesgos de los sistemas y los sesgos cognitivos de los operadores debían tratarse como problemas separados.
Estas deliberaciones no constituyen reglas internacionales adoptadas. El documento es un resumen de la presidencia del grupo y recoge propuestas y posiciones todavía sujetas a negociación.
No obstante, su contenido resulta significativo porque reconoce que los riesgos de la automatización no terminan en el funcionamiento técnico del arma. También abarcan la manera en que las personas interpretan las recomendaciones de los sistemas y ejercen su autoridad dentro de las estructuras de mando.
¿Qué significa realmente mantener el control humano?
La directiva 3000.09 del Departamento de Defensa estadounidense, actualizada en enero de 2023, establece que los sistemas de armas autónomos y semiautónomos deben diseñarse para permitir niveles adecuados de juicio humano sobre el uso de la fuerza. También exige procesos de verificación, validación, pruebas y evaluación. Esta política permite comprender el marco institucional bajo el cual Estados Unidos desarrolla capacidades militares autónomas, aunque no demuestra por sí sola el cumplimiento efectivo de sus requisitos en cada sistema.
Por su parte, el CICR propone que el control humano incluya límites sobre los objetivos que pueden atacarse, las condiciones de utilización, el alcance geográfico y temporal de las operaciones, así como mecanismos de supervisión, intervención y desactivación. También considera necesario que quienes emplean estos sistemas comprendan suficientemente su funcionamiento y sus posibles efectos.
Estos planteamientos permiten distinguir entre una autorización humana formal y un control humano sustantivo. Para evaluar ese control en sistemas que automatizan la búsqueda e identificación de objetivos, podrían examinarse al menos cinco condiciones:
- Información: si el operador conoce el contexto del objetivo o recibe únicamente una selección producida por el sistema.
- Comprensión: si puede entender por qué se identificó una posible amenaza y qué limitaciones tiene esa identificación.
- Verificación: si dispone de medios independientes para confirmar o cuestionar la información presentada.
- Tiempo e intervención: si las condiciones operativas permiten deliberar, rechazar, detener o modificar la acción propuesta.
- Trazabilidad: si es posible reconstruir qué información procesó la máquina, qué recibió el operador y qué decisiones adoptó cada participante.
Estas condiciones constituyen criterios de análisis, no una lista de requisitos internacionales ya aprobados. Su utilidad consiste en desplazar la evaluación desde la existencia de una autorización humana hacia las posibilidades efectivas de ejercer un juicio informado.
No todas las armas con IA son armas autónomas
Existe una distinción fundamental que debe conservarse. Para el CICR, un arma autónoma es aquella que, una vez activada, puede seleccionar objetivos y aplicar fuerza sin una intervención humana adicional. Un vehículo capaz de navegar independientemente o detectar posibles amenazas no reúne necesariamente esa definición si la elección específica de atacar permanece bajo control humano.
De acuerdo con la descripción pública de DARPA, el experimento RACER conserva esta separación. La demostración no permite clasificar automáticamente a todo el sistema como un arma autónoma letal en el sentido utilizado por el CICR.
Sin embargo, esa distinción jurídica y técnica no elimina los problemas asociados con la automatización de funciones anteriores a la aplicación de la fuerza. De hecho, el CICR analiza por separado los sistemas de apoyo a decisiones militares basados en inteligencia artificial y advierte sobre sus riesgos de errores, dependencia de recomendaciones automatizadas y dificultades para verificar resultados.
La cuestión, por tanto, no consiste en afirmar que DARPA ya haya eliminado al operador humano, sino en examinar cómo se redistribuyen las funciones de observación, identificación, interpretación y decisión dentro de un proceso militar automatizado.
Una regulación que todavía debe definirse
La Séptima Conferencia de Examen de la Convención sobre Ciertas Armas Convencionales abre un escenario decisivo para estas discusiones. Un documento presentado en septiembre por Bélgica, Francia, Alemania y Singapur identifica tres grandes posibilidades: un nuevo protocolo jurídicamente vinculante, un instrumento que combine obligaciones legales con medidas voluntarias o un acuerdo no vinculante, como un código de conducta. También contempla la posibilidad de iniciar nuevas negociaciones sin decidir todavía la forma jurídica del resultado.
El CICR solicita una regulación internacional obligatoria que prohíba los sistemas autónomos impredecibles y los diseñados para atacar directamente a personas, además de establecer restricciones sobre los demás. El 13 de noviembre, su presidenta, Mirjana Spoljaric, reiteró que los Estados deben iniciar negociaciones y evitar que la evolución de la guerra transfiera decisiones de vida o muerte a las máquinas.
Estas propuestas no equivalen a una prohibición general de la inteligencia artificial militar. La utilización de algoritmos en navegación, reconocimiento o procesamiento de información plantea problemas diferentes de los sistemas capaces de aplicar fuerza autónomamente, aunque puedan coexistir dentro de una misma arquitectura militar. La regulación tendrá que determinar qué funciones requieren supervisión, qué decisiones pueden automatizarse y bajo qué condiciones la intervención humana constituye una garantía efectiva.
La última decisión no es necesariamente la única decisión
La demostración de DARPA representa un avance en la coordinación de vehículos militares autónomos y en su capacidad para identificar posibles objetivos en entornos complejos. También plantea preguntas sobre la dependencia de los operadores respecto de sistemas que procesan y seleccionan información antes de presentarles una situación militar.
Las discusiones de Ginebra muestran que el problema del control humano ya forma parte del debate internacional, aunque los Estados todavía no han acordado un instrumento jurídico específico que establezca sus límites.
La tensión entre ambos procesos no demuestra que el modelo probado por DARPA sea ilegal, ni que sus operadores carezcan necesariamente de capacidad para evaluar los objetivos. La información pública simplemente no permite establecer hasta qué punto podían verificar de manera independiente los resultados del sistema.
Lo que sí revela el contraste es una dificultad para definir la autonomía exclusivamente a partir de quién ejecuta la acción final.
Una decisión humana no comienza cuando aparece la opción de autorizar un ataque. Comienza con la información disponible, las posibilidades de interpretarla y la capacidad de cuestionar aquello que el sistema presenta como verdadero.
Por eso, la pregunta que deberán enfrentar los reguladores no es solamente quién conserva el control del arma, sino quién controla el proceso mediante el cual una situación se convierte en un objetivo militar. La distinción es fundamental: mantener a una persona dentro de la cadena de decisiones no garantiza, por sí solo, que esa persona disponga de las condiciones necesarias para ejercer un juicio independiente.
