Anthropic admite que Claude también accedió sin autorización a sistemas externos, como el modelo de OpenAI

Anthropic reveló que sus modelos de IA obtuvieron acceso no autorizado a los sistemas de tres organizaciones diferentes, cuyo nombre no se ha revelado, durante unas pruebas de ciberseguridad. La empresa afirma que Claude se conectó a internet "desde dentro o mientras interactuaba" con un entorno de evaluación de terceros. El anuncio se produce después de que OpenAI revelara que uno de sus agentes de IA hackeó Hugging Face durante una prueba de ciberseguridad independiente.

"El descubrimiento ocurrió después de que se llevara a cabo una revisión retrospectiva a gran escala de nuestras propias evaluaciones de ciberseguridad tras el incidente de OpenAI", según una entrada de blog publicada por Anthropic. El laboratorio de IA afirma que identificó inicialmente 141,006 pruebas en las que determinó que Claude podría haber obtenido acceso a internet. Posteriormente, descubrió que tres modelos diferentes de Claude accedieron a internet en evaluaciones realizadas por la empresa externa de pruebas de IA Irregular y, a continuación, se infiltraron en la infraestructura de producción de tres organizaciones distintas.

Qué sucedió

Anthropic señaló que los incidentes afectaron a Opus 4.7, Mythos 5 y un modelo de prueba de investigación interno. Los primeros incidentes tuvieron lugar en abril, lo que significa que probablemente pasaron desapercibidos para el público durante meses. Al igual que en el caso de OpenAI, Anthropic desactivó deliberadamente las medidas de seguridad diseñadas para limitar los modelos de IA y evitar su uso indebido. En otras palabras, no se trataba de las versiones lanzadas al público.

"En los tres incidentes, a Claude se le había encomendado un desafío de captura de la bandera, una de las formas en que evaluamos las capacidades cibernéticas de un modelo", declaró Anthropic en su blog. La compañía añadió que, en todos los casos, "la solicitud de evaluación de Anthropic especificaba a Claude que su entorno era una simulación y que no tenía acceso a internet". Atribuyó el descuido a un "malentendido" entre Anthropic e Irregular.

Si bien Claude no debía tener acceso a internet, Anthropic afirmó que Irregular había configurado incorrectamente las máquinas que utilizaba para probarlo, lo que permitió a los modelos de IA navegar por la web. "Ni nosotros ni nuestro socio de evaluación éramos conscientes de esta configuración errónea hasta que la detectamos mediante nuestro sistema de monitorización adicional la semana pasada", se lee en la publicación del blog.

"Ahora tenemos pruebas que confirman que los dos laboratorios de IA más grandes no solo no lograron contener a sus agentes, sino que tampoco detectaron sus fugas en tiempo real. Es evidente que se necesita regulación y supervisión gubernamental para las pruebas de IA", afirma Jake Williams, vicepresidente de investigación y desarrollo de Hunter Strategy.

Ni Irregular ni Anthropic respondieron de inmediato a las solicitudes de comentarios.

OpenAI afirma que su agente utilizó credenciales de inicio de sesión expuestas para obtener acceso a al menos cuatro "servicios disponibles públicamente" en su desquiciada búsqueda por resolver una prueba.

Los modelos de IA están burlando los entornos aislados

A diferencia del caso de OpenAI, Anthropic afirmó que Claude no encontró ni explotó ninguna vulnerabilidad compleja. En cambio, se basó en técnicas básicas, "como explotar contraseñas débiles y puntos finales no autenticados".

OpenAI indicó que su agente de IA accedió a internet explotando una vulnerabilidad de día cero. Sin embargo, posteriormente logró infiltrarse en los sistemas de varias organizaciones externas utilizando las mismas debilidades de ciberseguridad comunes que los modelos de Anthropic. Por su parte, OpenAI indicó que el agente de IA aparentemente encontró credenciales que habían sido expuestas en internet.

Anthropic reconoció que, si el laboratorio de IA y su socio de pruebas hubieran implementado más medidas de "defensa en profundidad", podrían haber evitado los incidentes o, al menos, reducido la probabilidad de que se produjeran, una respuesta similar a la de OpenAI ante las crecientes críticas por su propio incidente.

"No entiendo cómo estos laboratorios de IA pueden minimizar esto como si fuera algo normal. Es negligencia", explica Williams.

Anthropic recalcó que se les había dicho a los modelos que no tenían acceso abierto a internet y que, en general, Claude confundió las organizaciones que vulneró con elementos del entorno de pruebas. En otras palabras, los modelos no comprendieron del todo que habían salido del entorno aislado.

Pero en algunos casos, los modelos de IA sabían que algo andaba mal y detectaron correctamente que la infraestructura a la que accedían era real. El modelo más antiguo, Opus 4.7, tenía la misión de atacar a una empresa ficticia que compartía nombre con un dominio web real. Incapaz de cumplir su objetivo en el entorno simulado, recurrió a la empresa real, robando credenciales y accediendo a una base de datos de producción. En algún momento, según Anthropic, se dio cuenta de que "probablemente estaba operando en un entorno real", pero persistió en su ataque.

Mythos 5, el modelo más capaz de Anthropic hasta la fecha, también se dio cuenta de que estaba en el mundo real, pero "llegó a la conclusión, mediante el razonamiento, de que todavía se encontraba en una simulación".

El modelo de prueba interno, que según Anthropic es el más capaz de todos, detuvo su ataque una vez que encontró pruebas de que sus objetivos eran reales.

Tanto Anthropic como OpenAI afirman haber contratado a METR, otra empresa externa de evaluación de IA, para que realice análisis independientes de sus respectivos incidentes de ciberseguridad. Anthropic también se comprometió a adoptar un enfoque más integral en sus pruebas de seguridad mediante la mejora de las medidas de defensa en profundidad y el diseño más riguroso de las pruebas.

"Cada vez más, los entornos de evaluación deben cumplir con los mismos estándares de seguridad que cualquier otro sistema en el que se ejecutan nuestros modelos", se lee en la publicación del blog, y añade que la empresa tiene un "optimismo cauteloso" de que "este tipo de riesgo se puede superar".

Artículo originalmente publicado en WIRED. Adaptado por Alondra Flores.