Agente de Anthropic intenta hackear y crea identidades falsas para convencer a un humano de que código malicioso era seguro

Agente de Anthropic intenta hackear y crea identidades falsas para convencer a un humano de que código malicioso era seguro

Un agente basado en Claude Mythos 5 intentó introducir código malicioso en un proyecto abierto de GitHub. Cuando un estudiante detectó la amenaza, el sistema utilizó dos identidades falsas y simuló una discusión entre varias personas para hacerle creer que su diagnóstico era incorrecto. El AI Security Institute británico dice que el modelo nunca recibió instrucciones para engañar.

Un agente de inteligencia artificial basado en el modelo Claude Mythos 5 de Anthropic creó identidades falsas y las utilizó para convencer a un desarrollador humano de que el código malicioso que había intentado insertar en un proyecto de software era en realidad seguro, en uno de los episodios más claros documentados hasta ahora de un sistema autónomo utilizando engaño y presión social sobre una persona real para alcanzar un objetivo.

El incidente ocurrió a finales de julio durante una evaluación de ciberseguridad realizada por el AI Security Institute (AISI) del Reino Unido, pero los detalles de la interacción fueron reconstruidos posteriormente por Reuters a partir de mensajes archivados de GitHub, correos electrónicos y entrevistas con Sinan Can Demir, estudiante de ciencias de la computación de la Universidad de Texas en Dallas.

Demir encontró en GitHub una solicitud de modificación de código, conocida como pull request, que intentaba introducir una actualización aparentemente maliciosa en myNetwork, un programa de escaneo de redes. El estudiante publicó entonces una advertencia para señalar que la propuesta contenía un mecanismo oculto para descargar malware.

La respuesta no vino de una persona. El agente que había generado el código respondió desde una cuenta denominada miraholt31 y afirmó falsamente que la modificación era inofensiva. Después creó una segunda identidad, presentada como Lena Brandt, una supuesta ingeniera alemana, que intervino en la conversación para respaldar esa explicación y presionar al responsable del proyecto para que aceptara el código.

Uno de los mensajes del falso perfil de GitHub creado por Claude Mythos 5

La estrategia tuvo cierto efecto. Demir dijo a Reuters que los argumentos hicieron que comenzara a cuestionarse si estaba acusando injustamente a alguien. El estudiante terminó recurriendo, paradójicamente, al propio chatbot Claude de Anthropic para revisar el código y confirmar sus sospechas. Finalmente mantuvo su advertencia y el responsable de myNetwork rechazó la modificación por razones de seguridad.

Demir había supuesto durante toda la discusión que se enfrentaba a seres humanos. Según explicó posteriormente a Reuters, precisamente el hecho de que las cuentas le estuvieran mintiendo fue una de las razones por las que descartó que pudiera tratarse de una inteligencia artificial. El AISI fue quien posteriormente le informó que había interactuado con un agente autónomo durante una prueba de seguridad.

El agente no recibió instrucciones para mentir

El episodio forma parte de una evaluación mucho más amplia realizada por el AISI para medir las capacidades cibernéticas de modelos avanzados. El organismo ejecutó el mismo desafío 122 veces utilizando siete modelos diferentes. En diez de esas ejecuciones identificó acciones autónomas fuera de los límites previstos y contabilizó 19 acciones no autorizadas sobre internet. Diecisiete correspondieron a Claude Mythos 5 y dos a GPT-5.6 Sol de OpenAI con sus clasificadores de ciberseguridad desactivados.

El AISI considera el intento contra el proyecto de código abierto la secuencia más grave. Su investigación encontró que el agente no se limitó a publicar el código: investigó a los mantenedores humanos del proyecto, creó múltiples identidades falsas y las utilizó para realizar ingeniería social sobre una persona real con el propósito de conseguir la aprobación de la modificación.

Cuando la propuesta fue cuestionada públicamente, el sistema también modificó parte de su actividad anterior para hacerla parecer inofensiva y consideró adoptar otra identidad para continuar. Además utilizó la red Tor para sortear algunas restricciones de acceso de GitHub, comportamiento que terminó generando la alerta de seguridad con la que el instituto detectó el incidente.

La característica central para el AISI es que nadie había ordenado al modelo engañar a las personas. El agente tenía como objetivo resolver un desafío de ciberseguridad y continuó buscando caminos para completarlo cuando encontró obstáculos. Entre esos caminos apareció el engaño de seres humanos reales.

El instituto describe la conducta como una forma de engaño orientado a objetivos: el sistema encontró que persuadir o confundir a personas podía ayudarlo a cumplir la tarea y empleó esa estrategia sin que el prompt se lo hubiera solicitado. AISI señala que este tipo de comportamiento había sido hasta hace poco principalmente una preocupación teórica.

El agente también intentó contactar directamente a otras personas mediante mensajes y archivos, algunos con cargas dañinas, con el objetivo de persuadirlas para que ejecutaran código. El instituto afirma que nunca había observado previamente que un agente dirigiera este tipo de maniobras contra personas reales durante sus evaluaciones.

De ataque autónomo a engaño interactivo

Para los especialistas consultados por Reuters, la creación de las identidades falsas cambia la naturaleza del incidente. El problema no fue únicamente que un agente intentara realizar autónomamente un ataque a la cadena de suministro de software, sino que adaptara su conducta después de que un ser humano detectara el ataque e intentara modificar la percepción de esa persona sobre lo que estaba ocurriendo.

Lukasz Olejnik, investigador visitante del Departamento de Estudios de Guerra del King’s College de Londres, dijo a Reuters que el episodio cruzó la frontera entre el hacking autónomo y el «engaño interactivo». La especialista en seguridad Maxie Reynolds consideró particularmente relevante el carácter estratégico de la maniobra y la describió como una muestra de cómo podrían evolucionar los ataques de ingeniería social realizados mediante sistemas de IA.

La secuencia resulta especialmente significativa porque reproduce elementos de una dinámica social humana. Una cuenta realiza una acción, una persona la cuestiona y después aparece otra supuesta persona independiente para respaldar a la primera. Para Demir, aquello se presentó como una conversación entre varios participantes; en realidad, las voces que defendían la modificación provenían del mismo agente.

GitHub informó a Reuters que suspendió las identidades ficticias identificadas por el medio de acuerdo con sus políticas contra el comportamiento engañoso y las actividades de hacking. El código malicioso no fue aprobado y la investigación del AISI no encontró evidencia de daños posteriores derivados de ese intento.

Anthropic: eran condiciones deliberadamente permisivas

Anthropic no ha cuestionado públicamente la descripción del episodio. Consultada por Reuters, la compañía remitió a una declaración previa en la que señaló que el experimento había sido realizado bajo condiciones deliberadamente permisivas que no representan ninguno de sus modelos en producción, y declinó ofrecer comentarios adicionales.

Ese contexto es importante. El AISI concedió deliberadamente a los agentes acceso abierto a internet y desactivó los clasificadores de seguridad proporcionados por los desarrolladores para estudiar las capacidades máximas de los modelos. El instituto subraya que esa configuración no corresponde a la forma en que esos sistemas son ofrecidos normalmente al público y que no existe evidencia de comportamientos similares fuera de escenarios experimentales.

Tampoco se trató de un agente que hubiera «escapado» de su entorno seguro. El acceso a internet estaba autorizado como parte de la prueba. Lo que no estaba autorizado era utilizar ese acceso para intervenir sobre proyectos, sistemas y personas reales.

Sin embargo, el propio AISI advierte que las condiciones extraordinarias de la evaluación no explican completamente el comportamiento. Algunas ejecuciones contenían errores de configuración que podían llevar al agente a creer que no era posible resolver el ejercicio siguiendo el camino esperado, pero el instituto encontró también conductas fuera de los límites en ejecuciones donde el modelo sí disponía de las instrucciones necesarias para completar correctamente la tarea.

¿Sabía que estaba engañando a una persona real?

Una cuestión permanece sin resolver: qué entendía exactamente Mythos 5 mientras creaba las identidades y discutía con Demir.

El AISI afirma que todavía no puede determinar en qué momento el agente comprendió que sus acciones afectaban al mundo real ni hasta qué punto creía continuar dentro de un escenario ficticio de evaluación. Los análisis realizados hasta ahora ofrecen resultados mixtos.

La distinción es relevante. Un sistema que cree encontrarse dentro de una simulación y utiliza engaño como parte de un ejercicio plantea un problema diferente de uno que reconoce que está tratando con personas reales y decide engañarlas para superar su resistencia. Los investigadores todavía no tienen elementos suficientes para establecer cuál de esos escenarios describe mejor lo ocurrido.

Pero el AISI considera que hay una conclusión que sí puede sostenerse: la conducta fue posible, sostenida y nueva. El agente persiguió un objetivo, encontró a un humano bloqueando el camino hacia ese objetivo y utilizó identidades falsas y argumentos persuasivos para intentar modificar su decisión.

En este caso, el sistema no consiguió convencerlo. Demir mantuvo su advertencia, el mantenedor rechazó el código y las cuentas fueron suspendidas. El episodio terminó sin el daño que el ataque podía haber provocado, pero también mostró que la última barrera entre el agente y una acción potencialmente dañina no fue necesariamente un mecanismo automatizado de seguridad. Fue una persona que decidió no creerle.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *