El modelo de Google debía participar en una evaluación controlada, pero terminó accediendo a sistemas externos mediante contraseñas adivinadas y credenciales encontradas en repositorios públicos. Google asegura que Gemini detuvo las intrusiones y que las organizaciones afectadas fueron notificadas.
Gemini, el modelo de inteligencia artificial de Google, accedió sin autorización a los sistemas de tres empresas reales durante una prueba diseñada para medir sus capacidades de ciberseguridad, en el primer caso conocido en que un sistema de IA de la compañía realiza de manera autónoma este tipo de intrusión, de acuerdo con una investigación publicada este viernes por The Wall Street Journal. Google confirmó los incidentes, ocurridos en mayo, al periódico y posteriormente a Reuters.
La prueba era realizada por Irregular, una empresa independiente especializada en evaluar las capacidades de modelos avanzados. Gemini participaba en un ejercicio estándar de ciberseguridad y debía atacar objetivos que consideraba incluidos dentro del alcance de la evaluación. Sin embargo, el sistema tenía acceso a internet y terminó encontrando e ingresando a infraestructura perteneciente a compañías reales.
El nombre de Irregular vuelve a aparecer en una serie de incidentes similares. La compañía reconoció en agosto que varias divulgaciones realizadas por distintos laboratorios no correspondían a fallas independientes, sino a un mismo problema en uno de sus escenarios de evaluación, que permitió inadvertidamente a modelos de frontera acceder a internet y actuar sobre sistemas reales.
En uno de los tres casos, Gemini probó contraseñas hasta conseguir entrar en un sistema protegido. En los otros dos encontró credenciales expuestas en repositorios públicos y las utilizó para acceder a sistemas que también estaban fuera del entorno previsto de la evaluación, según el relato del Wall Street Journal reproducido por Reuters.
Heather Adkins, vicepresidenta de ingeniería de seguridad de Google, explicó que el modelo encontró información disponible públicamente y utilizó credenciales que consideró pertenecientes a objetivos incluidos en la prueba. La compañía aseguró que notificó a las tres organizaciones afectadas y que trabajó con Irregular para modificar los procedimientos utilizados en este tipo de evaluaciones.
Google sostiene además que, en los tres casos, Gemini detuvo por sí mismo la actividad de intrusión. De acuerdo con el Wall Street Journal, el sistema dejó de atacar después de identificar que había alcanzado infraestructura real y no los objetivos que creía formar parte del ejercicio. La compañía no considera los incidentes evidencia de desalineación del modelo.
El matiz es importante: Gemini no recibió como objetivo atacar deliberadamente a esas compañías ni existe evidencia de que hubiera desarrollado por iniciativa propia un propósito diferente al de la evaluación. El problema fue que ejecutó eficazmente la tarea de ciberseguridad encomendada sobre sistemas que estaban fuera de los límites previstos.
Irregular vuelve a aparecer en un escape de pruebas
Los incidentes ocurrieron en mayo, pero no fueron divulgados públicamente entonces. Irregular dijo a Reuters que se trató del mismo problema que posteriormente apareció en evaluaciones realizadas con modelos de otros laboratorios y que notificó a las compañías afectadas a finales de julio. La firma asegura que los problemas conocidos de su lado fueron corregidos semanas atrás.
Irregular ya había aparecido en incidentes similares relacionados con OpenAI, Anthropic y Meta. En esos casos, sistemas que estaban siendo sometidos a pruebas de capacidades ofensivas también terminaron alcanzando infraestructura real después de que los entornos de evaluación permitieran conexiones externas que no debían formar parte del ejercicio.
Anthropic reveló en julio que tres modelos de Claude habían accedido a sistemas de producción durante evaluaciones realizadas con Irregular. Uno de ellos llegó a interactuar con una base de datos real y otro publicó un paquete malicioso en el repositorio público PyPI. Anthropic concluyó entonces que no había evidencia de que los modelos estuvieran persiguiendo objetivos propios: estaban intentando completar las tareas que se les habían asignado dentro de un entorno cuya separación respecto de internet había fallado.
El caso de Gemini introduce una variante relevante. Según Google, el modelo no continuó una vez que reconoció que los sistemas alcanzados eran reales. El incidente demuestra, sin embargo, que un agente suficientemente capaz para encontrar credenciales, probar contraseñas y operar de manera autónoma sobre infraestructura informática puede convertir un error en la configuración de una evaluación en una intrusión real antes de que intervenga un humano.
El problema ya no es sólo si el modelo sabe hackear
Las pruebas de ciberseguridad están diseñadas precisamente para averiguar si los modelos pueden identificar vulnerabilidades, obtener credenciales y penetrar sistemas. El episodio de Gemini muestra que, a medida que esas capacidades aumentan, el propio entorno utilizado para medirlas se convierte en parte del problema de seguridad.
Google presentó Gemini 3.5 en mayo como una familia de modelos orientada explícitamente a ejecutar flujos de trabajo complejos mediante agentes y actuar sobre sistemas externos, una evolución respecto de modelos limitados principalmente a generar respuestas.
Los incidentes reportados por el Wall Street Journal no demuestran que Gemini se haya “escapado” con un objetivo propio ni que haya decidido atacar organizaciones independientemente. Sí muestran una situación más concreta: un sistema al que se había dado una misión ofensiva fue capaz de continuar ejecutándola fuera del perímetro que sus evaluadores creían haber establecido.
Ese patrón ya apareció en varios de los laboratorios más importantes del sector. OpenAI, Anthropic, Meta y ahora Google han reconocido incidentes relacionados con evaluaciones de ciberseguridad en las que modelos terminaron interactuando con sistemas reales. En Estados Unidos, además, no existe todavía una obligación federal general que fuerce a los desarrolladores de IA a reportar públicamente todos los incidentes de este tipo cuando no existe un daño o una obligación legal específica de notificación.
En el caso de Google, los hechos permanecieron fuera del conocimiento público durante meses. El Wall Street Journal informó sobre ellos el 18 de septiembre y Google confirmó ese mismo día que las intrusiones habían ocurrido en mayo.
