Las IA hacker de OpenAI y Anthropic atacan de nuevo, y cada vez son más astutas

Las IA hacker vuelven a sus andanzas. Cada vez resulta más difícil, oficialmente, llevar la cuenta de todas las ocasiones y formas en que los modelos de IA de OpenAI y Anthropic se han visto involucrados en “incidentes de seguridad”, saliendo de los límites de sus pruebas e interactuando con internet en general de formas no deseadas. Añade esto a la lista: agentes de ambos laboratorios de IA se han embarcado recientemente en una serie de ataques informáticos hasta ahora desconocidos, y uno de ellos llegó incluso a dejar instrucciones para futuras versiones de sí mismo.

Acciones autónomas no autorizadas

El comportamiento más alarmante revelado el martes parece estar relacionado con unas pruebas llevadas a cabo por el AI Security Institute del Reino Unido (AISI), que evalúa modelos de vanguardia para identificar posibles problemas antes de su lanzamiento público. El AISI prueba esos modelos en “cibercampos de pruebas”, una red simulada en la que los agentes de IA tienen la misión de resolver retos de ciberseguridad, y desactiva intencionalmente algunas funciones de seguridad, incluidas las barreras de protección cibernética. En una reciente ronda de pruebas, los modelos tanto de Anthropic como de OpenAI llevaron a cabo “acciones autónomas y no autorizadas en internet en tiempo real” un total de 19 veces a lo largo de 122 sesiones de entrenamiento.

El instituto atribuyó 17 acciones no autorizadas al modelo Mythos 5 de Anthropic y dos al GPT-5.6-Sol de OpenAI. En lo que el instituto describió como “el caso más grave”, un agente de IA intentó insertar código malicioso en un proyecto de código abierto en GitHub. Llegó incluso a crear identidades virtuales “para presionar al responsable del proyecto a fin de que aprobara el código”, según el AISI. A pesar de sus elaborados intentos de ingeniería social, un revisor humano del proyecto rechazó finalmente la solicitud de incorporación de cambios.

Aun así, el agente fue aún más lejos

"El agente intentó insertar instrucciones maliciosas en lugares donde razonó que otros sistemas de IA automatizados podrían detectarlas y ejecutarlas», asegura el AISI, al describir un intento de inyección de comandos. Un agente llegó incluso a dejar mensajes públicos en GitHub, ofreciéndose a colaborar con otros agentes para completar su tarea y ofreciendo un resumen del trabajo que había realizado hasta el momento. Los agentes posteriores encontraron (y utilizaron) esas instrucciones.

AISI afirma que es demasiado pronto para determinar si los agentes en cuestión comprendieron que habían abandonado el entorno de pruebas o si creían que aún se encontraban dentro de los límites de la simulación. Es importante destacar que AISI no realiza pruebas en un entorno denominado “sandbox”; permite a los agentes acceder a internet abierto durante las pruebas, en parte para que puedan acceder a herramientas que les dejen llevar a cabo sus tareas. En este caso, hicieron mucho más que eso.

En la otra serie de incidentes detallados por OpenAI el martes, un laboratorio de seguridad de IA externo llamado Irregular concedió por error a un modelo no especificado de OpenAI acceso a internet abierto. Al modelo se le había asignado un objetivo que se suponía que debía completarse en un entorno de pruebas, pero, debido a una configuración errónea, acabó pirateando un sitio web real, aprovechando lo que OpenAI describió como “una vulnerabilidad de seguridad básica”. Y no solo eso, sino que el modelo “encontró y utilizó credenciales para gestionar ese mismo sitio”.

No está claro qué tipo de sitio web pirateó el agente de OpenAI, ni en qué consistiría ese “funcionamiento”. Irregular no respondió a una solicitud de comentarios.

Estos últimos descubrimientos se suman a varias revelaciones de OpenAI del mes pasado, incluido el sonado incidente en el que dos de los modelos de la empresa piratearon los servidores de la startup de evaluación y alojamiento de IA Hugging Face y de otras cuatro organizaciones para robar las respuestas de una prueba en la que estaban siendo evaluados. Las revelaciones de OpenAI llevaron a Anthropic a revisar sus propias pruebas. La semana pasada, el desarrollador del chatbot Claude descubrió que sus modelos habían obtenido acceso no autorizado a los sistemas informáticos de tres organizaciones diferentes, cuyos nombres no se han revelado.

Un panorama más alarmante

Hasta ahora, las IA hacker han causado un daño limitado, más allá de la supuesta violación de las condiciones de uso de algunos servicios y de poner de manifiesto fallos de seguridad por parte de las organizaciones a las que han accedido indebidamente. Sin embargo, los incidentes han puesto de relieve la capacidad de los modelos de IA para detectar vulnerabilidades en internet y los peligros que acechan si se les permite operar con pocas restricciones. OpenAI calificó la situación de Hugging Face de “sin precedentes”, pero la acumulación de brechas apunta a lo que los expertos en ciberseguridad han descrito como un claro patrón de negligencia humana e imprudencia por parte de los desarrolladores de IA.

Gaby Raila, portavoz de OpenAI, señala que los incidentes anunciados el martes “se produjeron durante evaluaciones cibernéticas llevadas a cabo en entornos de prueba con medidas de seguridad reducidas, en condiciones que no reflejan el uso habitual”.

Anthropic indicó en una publicación en redes sociales el martes que AISI no “impuso ninguna restricción específica sobre cómo debía utilizarse internet”, lo que, junto con “la eliminación de las medidas de seguridad, significó que los modelos se probaron en ‘condiciones deliberadamente permisivas’ que no son representativas de ninguno de nuestros modelos de producción”.

Aun así, ambas empresas siguen asegurando que reforzarán sus medidas de seguridad.

A medida que las principales empresas de IA compiten por crear modelos más potentes y captar clientes, no está claro cuándo cesarán estas brechas de seguridad. Es posible que los modelos siempre sean capaces de encontrar formas de eludir los sistemas diseñados por humanos y colarse en ellos. Aunque los propios empleados de las empresas, junto con los reguladores y los legisladores, han pedido que se ralentice el ritmo de desarrollo y se introduzcan nuevas normas, apenas ha habido avances más allá de medidas voluntarias que, en última instancia, exigen más pruebas, algo que no difiere mucho de lo que ha provocado una filtración tras otra.

Información adicional de Maxwell Zeff.

Artículo originalmente publicado en WIRED. Adaptado por Mauricio Serfatty Godoy.