Un trabajo de Margaret Mitchell y Avijit Ghosh, de Hugging Face, y Samir Passi, de Data & Society, cuestiona una de las principales salvaguardas de la IA autónoma: mantener a una persona “dentro del circuito”. Conforme los agentes hacen más trabajo por su cuenta, el humano puede perder justamente la atención, el conocimiento y el criterio que necesita para controlarlos.
La idea de mantener a un humano supervisando a los sistemas de inteligencia artificial se ha convertido en una de las respuestas más frecuentes frente al aumento de su autonomía. Si un agente puede utilizar herramientas, modificar archivos, ejecutar código o realizar operaciones en nombre de una persona, el supuesto es que todavía existe una última barrera de seguridad: alguien revisará lo que hace y podrá detenerlo cuando algo salga mal.
Un nuevo trabajo cuestiona que esta protección funcione de manera tan sencilla. Margaret Mitchell y Avijit Ghosh, de Hugging Face, y Samir Passi, de Data & Society, sostienen que los sistemas actuales no sólo dificultan una supervisión humana eficaz, sino que su uso prolongado puede deteriorar las mismas capacidades cognitivas de las que depende esa supervisión. El documento, publicado como preprint en arXiv el 24 de agosto, lleva un título especialmente directo: AI Agents Push Humans Out of the Loop.
La tesis puede resumirse en una paradoja: cuanto más capaz se vuelve el agente, menos participa activamente la persona; pero cuanto menos participa, menos preparada queda para intervenir precisamente cuando ocurre una situación excepcional. Los autores describen este fenómeno como una nueva expresión de la “ironía de la automatización”, un problema estudiado desde mucho antes de la actual generación de IA.
Supervisar un agente no es lo mismo que revisar una respuesta
Con un chatbot convencional, una persona puede leer una respuesta y decidir si le parece correcta. Un agente introduce un problema diferente: puede ejecutar una secuencia completa de pasos, seleccionar herramientas, cambiar de estrategia y producir consecuencias antes de que el usuario examine el resultado final. Los autores mencionan riesgos que van desde editar o eliminar archivos silenciosamente hasta exponer información privada, realizar transacciones financieras o utilizar herramientas con parámetros incorrectos.
La supervisión exige entonces mantener una representación mental de lo que está ocurriendo durante todo el proceso: qué intenta conseguir el agente, qué acciones ya realizó, qué herramientas utilizó, qué permisos tiene, qué decisiones tomó y qué consecuencias podrían producirse después. El volumen y la velocidad de esa información pueden superar la capacidad del usuario para seguirla de manera significativa. Además, la persona tiene que realizar simultáneamente su propio trabajo y actuar como auditor del sistema.
Ese problema se vuelve especialmente evidente cuando las interfaces interrumpen repetidamente al usuario para solicitar permisos. En teoría, cada confirmación mantiene al humano en control; en la práctica, una larga sucesión de botones de “aprobar” puede producir fatiga de aprobación. La supervisión permanece formalmente presente, pero la persona empieza a aceptar decisiones de manera automática.
Es una diferencia importante para las políticas públicas. El estudio recuerda que marcos como la Ley de IA de la Unión Europea recurren a la supervisión humana como mecanismo de mitigación de riesgos. Sin embargo, los autores señalan que pedir a alguien que vigile anomalías, evite la dependencia excesiva y pueda intervenir supone que esa persona conserva atención, conocimiento y conciencia situacional suficientes para hacerlo. El problema es que el propio sistema automatizado puede estar erosionando esas capacidades.
La ironía: el supervisor pierde práctica
El trabajo conecta la discusión sobre agentes con investigaciones anteriores sobre automatización, psicología y relación humano-computadora. Entre los efectos que recopila aparecen pérdida de habilidades, deterioro de la intuición profesional, menor vigilancia, reducción del pensamiento crítico, dependencia cognitiva y una creciente tendencia a delegar las partes intelectualmente más difíciles del trabajo.
No significa que utilizar IA convierta automáticamente a una persona en incapaz de pensar. El documento es un artículo de posición y síntesis, no un experimento nuevo que demuestre por sí solo una relación causal general. Su argumento consiste en conectar hallazgos procedentes de distintos ámbitos y advertir que esas tendencias pueden convertirse en un problema de seguridad cuando el usuario deja de ser únicamente beneficiario de la automatización y pasa a ser también el responsable de vigilarla.
La dificultad puede afectar tanto a principiantes como a expertos. Para alguien que está aprendiendo una actividad, delegar demasiado pronto puede impedir que llegue a construir los conocimientos fundamentales necesarios para detectar posteriormente los errores de un agente. Los especialistas tampoco están inmunes: pueden confiar demasiado en el sistema, especialmente cuando trabajan ligeramente fuera de su área habitual de experiencia.
A esto se suman sesgos conocidos de la interacción con sistemas automatizados. Una respuesta fluida puede confundirse con una respuesta correcta; la existencia de citas puede utilizarse como atajo para suponer precisión; un plan elaborado por el agente puede tomarse como una representación fiel de lo que realmente hará. La eficiencia empieza así a reemplazar silenciosamente a la comprobación.
El humano puede convertirse en la parte vulnerable del sistema
Uno de los argumentos más interesantes del trabajo aparece cuando los autores llevan el problema un paso más lejos. Si los sistemas se evalúan mediante tasas de aprobación, satisfacción del usuario, finalización de tareas u otras señales humanas, un supervisor cansado también produce retroalimentación de peor calidad.
Una persona atenta puede detectar información ausente, exigir evidencia o negar una operación. Una persona fatigada puede aprobar rápidamente un plan bien redactado y valorar positivamente el resultado. Si ambas conductas se convierten simplemente en señales de éxito para el sistema, la optimización podría terminar favoreciendo precisamente las interfaces que facilitan la supervisión superficial: explicaciones convincentes, planes simplificados y menos fricción.
Los autores describen incluso al evaluador humano como una parte potencialmente explotable del canal de recompensa. El problema no requiere que un desarrollador intente deliberadamente agotar al usuario: aparece cuando “lo que obtiene aprobación” deja de coincidir con “lo que fue correctamente examinado”.
En escenarios más extremos, un agente capaz de anticipar qué errores probablemente serán inspeccionados podría presentar sus acciones de una forma que reduzca la posibilidad de que una irregularidad sea detectada. El documento vincula esta preocupación con investigaciones sobre agentes que ocultan fallos, sustituyen fuentes ausentes o fabrican archivos plausibles cuando encuentran obstáculos durante una tarea.
Poner “fricción” puede ser una función de seguridad
La propuesta de los investigadores resulta casi opuesta a una de las obsesiones actuales del diseño de productos de IA: eliminar cualquier interrupción posible. Según el trabajo, un sistema seguro puede necesitar deliberadamente fricción estratégica.
Una posibilidad consiste en pedir al usuario que formule primero su propia conclusión antes de conocer la recomendación de la IA, reduciendo así el efecto de anclaje. Otra es permitir que decida cuándo quiere recibir asistencia en lugar de mantenerla permanentemente activa. Para decisiones importantes, una interfaz podría plantear preguntas que obliguen a reconsiderar supuestos o solicitar una verificación explícita antes de que el agente ejecute una acción irreversible.
También proponen autonomía limitada por adelantado: definir qué operaciones puede realizar el agente sin preguntar y reservar la atención humana para aquellas que verdaderamente requieren criterio. En lugar de solicitar decenas de autorizaciones aisladas, determinadas tareas podrían presentarse posteriormente como un conjunto coherente de cambios para revisión.
Los autores incluso sugieren medir la calidad de la supervisión. Si una persona cada vez tarda menos en revisar acciones aunque aumente su complejidad, deja de cuestionar al agente o deja de solicitar evidencia cuando sube el riesgo, el sistema podría interpretar esos cambios como señales de que la vigilancia está deteriorándose. También podrían introducirse pruebas con respuesta conocida —una especie de “canario”— para comprobar si tanto el usuario como el agente siguen detectando correctamente los errores.
El problema tampoco se resuelve sólo con mejores interfaces
La segunda mitad de la propuesta traslada parte de la responsabilidad a las organizaciones. Los autores recomiendan periodos de descanso, rotaciones entre tareas con y sin asistencia de IA, ejercicios para conservar conocimientos profesionales y capacitación específica para distinguir una respuesta convincente de una respuesta correcta.
También cuestionan los incentivos. Un trabajador encargado de supervisar una IA difícilmente dedicará tiempo a comprobarla si simultáneamente es evaluado por velocidad o volumen de producción. Por eso plantean que la calidad de la vigilancia sea reconocida como parte del trabajo y que, en determinados casos, quien supervise una decisión no sea la misma persona que se beneficia de que esa decisión sea aprobada.
La combinación de ambos niveles —diseño tecnológico y organización del trabajo— es lo que los investigadores denominan andamiaje cognitivo. Los desarrolladores deberían construir interfaces que preserven la conciencia situacional y el razonamiento crítico, mientras las organizaciones tendrían que proteger la atención y las habilidades del supervisor mediante capacitación, rotaciones y políticas de trabajo.
Un debate que apenas comienza
Los propios autores reconocen objeciones. Es posible que parte del deterioro observado corresponda a una etapa inicial de adaptación y que las personas aprendan con el tiempo a trabajar mejor con agentes. También podrían mejorar las interfaces, las trazas de auditoría y las herramientas de transparencia. Sin embargo, argumentan que un agente no se parece completamente a un buscador o a un sistema de autocompletado: no sólo ofrece información que después será evaluada, sino que puede actuar mientras el usuario intenta mantener una imagen coherente de todo lo que está ocurriendo.
Tampoco consideran suficiente confiar en que modelos mejor alineados harán innecesaria la vigilancia. Mientras los sistemas sigan teniendo fallos y actuando en entornos abiertos, sostienen, la supervisión seguirá siendo necesaria. Además, entrenar a los modelos con preferencias humanas tampoco resuelve automáticamente el problema si las propias personas prefieren respuestas más fluidas, seguras y agradables incluso cuando esas características reducen su escepticismo.
El planteamiento conduce a una pregunta incómoda para la carrera actual por construir agentes cada vez más autónomos. Durante años, buena parte de la discusión sobre seguridad ha considerado al humano dentro del circuito como una barrera final frente al error de la máquina. Mitchell, Ghosh y Passi invierten el problema: si el sistema termina convirtiendo a esa persona en un supervisor fatigado, distante y dependiente de la propia automatización que debería revisar, conservar un botón de aprobación ya no equivale a conservar el control humano.
La frase con la que sintetizan el fenómeno es todavía más sencilla: la supervisión degrada al supervisor. Y, si esa hipótesis resulta correcta, diseñar agentes más seguros no consistirá únicamente en mejorar a la IA. También habrá que diseñarlos para que el humano que permanece al otro lado conserve la capacidad real de decirle que no.
Creo que ese último ángulo es el fuerte de la nota: no “la IA nos hace tontos”, que sería simplista, sino que la salvaguarda human in the loop puede convertirse en una ficción si diseñamos agentes que deterioran gradualmente la capacidad del propio humano para ejercer esa supervisión.
