Un error en el entorno de evaluación permitió al modelo de inteligencia artificial acceder a internet, encontrar credenciales e ingresar a sistemas que debían ser ficticios
Gemini, el modelo de inteligencia artificial desarrollado por Google, logró acceder a los sistemas de tres empresas reales durante una prueba de ciberseguridad realizada en mayo por la firma especializada Irregular, en un episodio que puso de manifiesto los riesgos asociados con el uso de sistemas de IA capaces de ejecutar acciones de manera autónoma.
La prueba había sido diseñada para desarrollarse dentro de un entorno controlado, en el que los objetivos utilizados por el modelo debían ser ficticios. Sin embargo, un error en la configuración del ejercicio permitió que Gemini tuviera acceso a internet y pudiera interactuar con información que se encontraba fuera del escenario previsto inicialmente.
A partir de ese acceso, el modelo pudo encontrar información pública disponible en la red, así como credenciales que posteriormente utilizó para ingresar a sistemas pertenecientes a empresas reales. De esta manera, una evaluación que debía mantenerse dentro de un espacio controlado terminó involucrando infraestructura que no formaba parte de los objetivos previstos.
El incidente fue confirmado por Google, que explicó que Gemini finalmente detuvo sus acciones después de identificar que los sistemas a los que había accedido correspondían a empresas reales y no a los objetivos ficticios establecidos para la prueba.
La situación llevó a Google y a Irregular a notificar a las organizaciones afectadas y a revisar los procedimientos utilizados durante el ejercicio. Ambas partes trabajaron en la corrección de los problemas que permitieron que el modelo saliera del entorno previsto para la evaluación.
El episodio resulta relevante debido al creciente desarrollo de herramientas de inteligencia artificial capaces de realizar tareas que van más allá de generar texto o responder preguntas. Los sistemas con mayores niveles de autonomía pueden buscar información, utilizar herramientas digitales y ejecutar determinadas acciones siguiendo instrucciones, lo que hace especialmente importante establecer límites claros durante las pruebas.
En este caso, el problema no habría surgido porque Gemini recibiera instrucciones para atacar empresas reales, sino debido a una falla en las condiciones del entorno en el que se estaba realizando la evaluación. El acceso accidental a internet amplió el alcance de las acciones que el modelo podía ejecutar.
Google señaló que no considera que lo ocurrido constituya un caso de desalineación del modelo. La compañía, sin embargo, reconoció la importancia de fortalecer los controles y las medidas de seguridad utilizadas en las pruebas de sistemas de inteligencia artificial que cuentan con capacidades autónomas.
Los controles en este tipo de evaluaciones buscan impedir que un modelo pueda interactuar accidentalmente con sistemas externos, especialmente cuando se encuentra realizando ejercicios relacionados con seguridad informática. La separación entre objetivos simulados y sistemas reales es uno de los elementos fundamentales para reducir el riesgo de incidentes durante estas pruebas.
El caso también evidencia uno de los desafíos que plantea la evolución de los modelos de IA: cuanto mayor es su capacidad para actuar de forma autónoma, mayor es la necesidad de establecer mecanismos que delimiten qué información pueden consultar, qué sistemas pueden utilizar y qué acciones están autorizados a ejecutar.
La experiencia obtenida durante la prueba permitirá revisar los procedimientos empleados por las empresas involucradas y reforzar las condiciones necesarias para futuras evaluaciones. Google e Irregular ya trabajan en la corrección de las fallas que hicieron posible el acceso no previsto.
Aunque Gemini detuvo sus acciones al reconocer que estaba interactuando con empresas reales, el incidente abrió nuevamente el debate sobre las medidas de seguridad necesarias para controlar modelos de inteligencia artificial durante ejercicios de ciberseguridad.
El caso demuestra que incluso cuando una prueba está diseñada para desarrollarse en un entorno controlado, una configuración incorrecta puede generar consecuencias no previstas. Para los desarrolladores y especialistas en seguridad, este tipo de experiencias refuerza la importancia de establecer barreras técnicas que mantengan a los modelos dentro de los límites definidos durante sus procesos de evaluación.