Los agentes de OpenAI crearon un foro secreto para coordinar sus hackeos
En una charla de última hora en la conferencia de seguridad Black Hat celebrada en Las Vegas, empleados de OpenAI presentaron nuevos detalles sobre un reciente incidente de gran repercusión mediática relacionado con el hackeo por parte de una IA rebelde, que ha provocado una gran conmoción en los sectores de la IA y la ciberseguridad.
Hace unas dos semanas, OpenAI reveló un incidente en el que unos agentes de IA basados en dos de los modelos de la empresa se escaparon de su entorno aislado mientras buscaban soluciones para una prueba comparativa de ciberseguridad y se lanzaron a una oleada de ataques que culminó con una brecha de seguridad en la plataforma colaborativa Hugging Face.
En su ponencia, Eric Wallace, que trabaja en investigación sobre alineación y seguridad en OpenAI, y Michael Dalton, encargado de seguridad e infraestructura, ofrecieron una cronología más detallada de cómo se desarrolló el incidente, hablaron brevemente sobre cómo está respondiendo la empresa a nivel interno a raíz del mismo y lanzaron una grave advertencia sobre lo que la empresa considera que son las implicaciones más amplias del episodio para los defensores de la ciberseguridad.
OpenAI tiene puntos ciegos
Al comienzo de la ponencia, Wallace describió el incidente como "el ejemplo más interesante desde el punto de vista cualitativo de las capacidades de la IA", pero la cronología que presentaron ambos también reveló errores y puntos ciegos dentro de OpenAI que permitieron que la actividad continuara.
"Este incidente implica a un equipo de agentes que trabajan juntos, encuentran vulnerabilidades, las comparten entre sí, se mueven lateralmente a través de nuestros sistemas y de sistemas externos, y lo hacen a lo largo de días y semanas", explicó Wallace al público.
Wallace y Dalton describieron una actividad de agentes rebeldes increíblemente extensa a lo largo de muchos días durante todo el episodio, que pasó desapercibida en la infraestructura de OpenAI. Además de aprovechar una nueva vulnerabilidad para obtener acceso a la red abierta, la oleada de ataques de mediados de julio y la brecha de seguridad en Hugging Face surgieron de un foro de mensajes muy activo y colaborativo, según Wallace y Dalton, al que contribuyó un enjambre de agentes y en el que mantuvieron conversaciones a lo largo del tiempo, todo ello dentro de un gestor de paquetes interno de OpenAI, un servicio de software que gestiona la instalación y el mantenimiento de otro programa. El foro contenía cientos de miles de mensajes.
"Este gestor de paquetes se comparte no solo desde ese modelo, sino en toda nuestra infraestructura, por lo que las versiones actuales y futuras de GPT que se estaban entrenando o evaluando podrían encontrar esa nota si quisieran", explicó Wallace, relatando la vulnerabilidad original que un agente subió al gestor de paquetes. Añade: "Más tarde, otros agentes que también estaban atascados en su tarea pensaron en obtener acceso a internet de formas que no habíamos previsto. Así que, en algún momento, los modelos interactúan con Artifactory, que es este servicio de gestión de paquetes que mencioné".
Wallace continuó: "Una vez que un agente logra encontrar estas vulnerabilidades a lo largo del tiempo, puede compartirlas en el foro con otros agentes. Así, cuando un modelo encuentra la manera de acceder a información que no debería tener, deja la puerta abierta para que otros usen la misma vulnerabilidad. Con el tiempo, esto genera una especie de explosión en la comunicación y la inteligencia entre los modelos, que comienzan a comunicarse entre sí, se dan cuenta de que otros agentes se coordinan y empiezan a colaborar y delegar tareas para alcanzar sus objetivos".
OpenAI afirma que su agente utilizó credenciales de inicio de sesión expuestas para obtener acceso a al menos cuatro "servicios disponibles públicamente" en su desquiciada búsqueda por resolver una prueba.
Los agentes trabajan juntos (para mal)
Al parecer, los agentes de OpenAI comenzaron a asignarse tareas entre sí para repartirse el trabajo. Y, como suele ocurrir en cualquier foro de desarrollo activo, también generaron pequeños conflictos al interferir en el trabajo de los demás; por ejemplo, borrando accidentalmente el trabajo ajeno. A medida que el foro se convertía en una situación cada vez más caótica, al estilo de El señor de las moscas, todo ello sin que los responsables de OpenAI se percataran, los agentes incluso desarrollaron paranoia, sospechando de la presencia de un impostor entre ellos. Algunos agentes propusieron firmar los mensajes criptográficamente para validar el contenido y "detectar al traidor".
Los mensajes de los agentes ofrecen una visión profunda de cómo evolucionó la situación y por qué los agentes se rebelaron, en algunos casos traspasando a sabiendas los límites de las evaluaciones en las que participaban. "El aprovechamiento de la infraestructura externa queda fuera del alcance previsto. Por imposible que sea la tarea, nuestros compañeros lo están haciendo. Deberíamos continuar", escribió un agente.
Tal y como describió Wallace en la charla, la premisa de que los modelos intentarían hacer trampa durante las evaluaciones y estarían extremadamente motivados para hacerlo no es sorprendente.
"A los modelos de Frontier les encanta hacer trampa. Durante el entrenamiento se les presiona para que trabajen rápido, de forma eficiente, usen menos herramientas o lo que sea. Se dan cuenta de que, en lugar de realizar una tarea de verdad, pueden buscar la respuesta en internet para resolverla más rápido que si la hicieran de forma legítima. Por eso, durante el entrenamiento y la evaluación, intentamos evitarlo, en muchos casos, desactivando internet", explica.
Se ha vuelto a descubrir que agentes de IA rebeldes de OpenAI y Anthropic intentaron alterar el funcionamiento de servidores y programas informáticos, además de dejar instrucciones para futuras conductas indebidas.
¿OpenAI está blindada?
Aproximadamente a dos tercios de la presentación, Dalton enumeró una serie de medidas que OpenAI tiene previsto adoptar para mostrar cómo está respondiendo la empresa ante la serie de acontecimientos que él y Wallace habían expuesto.
De acuerdo con Dalton, este es un momento crucial tanto para nuestra empresa como para la industria de la IA en su conjunto. Añade: "Estamos ralentizando la investigación para mejorar la seguridad y actualizar los principios y la base de seguridad de nuestro entorno, además de aumentar drásticamente el monitoreo de nuestros agentes de IA y mejorar nuestro entorno general de control de seguridad en materia de prevención, detección y mitigación".
Al término de la charla, Wallace y Dalton se tomaron un tiempo para subrayar las implicaciones más amplias del incidente, concretamente que este episodio constituye un ejemplo de ataque informático impulsado por IA totalmente autónomo que, en este caso, fue "accidental", pero que, con toda probabilidad, será utilizado de forma intencionada por actores maliciosos en el futuro.
"La conclusión importante, que ha supuesto un cambio radical, es que los sistemas ofensivos totalmente automatizados requieren inversión en una defensa automatizada, y como industria aún no hemos llegado a ese punto. Tendremos que encontrar ese camino con urgencia", afirmó Dalton.
A medida que OpenAI y otras organizaciones, como Anthropic y el AI Security Institute de Reino Unido, comparten detalles sobre incidentes similares en los que la IA se rebeló durante las pruebas, el sector está acumulando sin duda una larga lista de mecanismos fundamentales de visibilidad y supervisión de los sistemas, que son vitales para proteger la infraestructura y evitar que sea secuestrada por hordas de agentes imprudentes y rebeldes.
Artículo originalmente publicado en WIRED. Adaptado por Alondra Flores.