El modelo de OpenAI que hackeó Hugging Face no es un genio: todo fue un error humano
Ha llegado la era de los agentes de IA hackers, pero no tenía por qué haber sido así. Después de que un agente de OpenAI irrumpiera en la plataforma Hugging Face a principios de este mes, ambas empresas afirmaron que la oleada de ataques fue más amplia de lo que se pensaba inicialmente y que también incluyó intrusiones en múltiples cuentas y servicios de terceros como parte del ataque a Hugging Face.
El incidente ha causado revuelo en la comunidad de la ciberseguridad en medio de debates más amplios sobre cómo la evolución de las capacidades de la IA está cambiando tanto el hacking como la defensa digital. Pero a medida que surge más información, muchos investigadores han llegado a la conclusión de que, en lugar de esclarecer la próxima frontera de la IA, el episodio simplemente expone problemas de ciberseguridad de larga data que son más graves que nunca en la era de la IA.
"La gente está adoptando una actitud de 'YOLO' (You Only Live Once) a lo grande. Es impactante lo poco que se ha pensado realmente en un escenario como este", afirma Alex Zenla, cofundador y CTO de la empresa de seguridad en la nube Edera. Añade: "Considero que toda la IA y todo lo que toca la IA son totalmente poco fiables, lo cual está bien; simplemente hay que diseñar sistemas que tengan esto en cuenta. Y esta situación lo demuestra. El hecho de que OpenAI no fuera más precavida al respecto parece un poco imprudente".
OpenAI no ha hecho declaraciones sobre esta noticia antes de su publicación.
¿Algo inesperado o una situación previsible?
La empresa señaló en su comunicado original sobre el ataque a Hugging Face que uno de los dos modelos que burlaron el entorno aislado y estuvieron disponibles en internet durante días era un prototipo experimental que nunca estuvo destinado a ser lanzado. OpenAI también señaló que la situación se produjo en parte porque "las medidas de seguridad de implementación no se activaron intencionalmente" en ambos modelos con fines de prueba. "Este incidente pone de manifiesto la necesidad de reforzar aún más la alineación de nuestro modelo, las protecciones cibernéticas durante el período de evaluación y la monitorización durante las pruebas internas", escribió la compañía.
OpenAI también anunció esta semana que, tras la filtración de Hugging Face, "desactivó, cifró y restringió el acceso a la investigación del modelo no publicado". Si bien siempre hay margen de mejora en la seguridad de cualquier empresa, las medidas de protección existentes de OpenAI podrían haber prevenido o minimizado el incidente si hubieran estado en vigor.
"Un análisis sencillo del riesgo real tiene una respuesta igualmente sencilla. Los errores de OpenAI fueron muy básicos", afirma Davi Ottenheimer, consultor veterano en seguridad y cumplimiento normativo.
Varias fuentes destacaron a WIRED que los modelos de OpenAI lograron salir del entorno aislado debido a fallos en la aplicación de principios básicos de seguridad, como la "confianza cero" y la "defensa en profundidad". Estas prácticas protegen los sistemas digitales mediante varias capas de seguridad y limitan los daños cuando alguna de ellas falla. Si bien no existe la seguridad perfecta, investigadores y profesionales han dedicado las últimas dos décadas a desarrollar y promover estrategias defensivas que han demostrado ser duraderas, pero que requieren una inversión constante de tiempo y dinero para su implementación.
Para las pequeñas empresas, los grupos de interés público con escasos recursos o las organizaciones incipientes, puede resultar difícil destinar los recursos necesarios para priorizar la inversión en seguridad fundamental. Sin embargo, con una valoración de 850 mil millones de dólares y la contratación de profesionales experimentados de todo el sector tecnológico, OpenAI no se encuentra en desventaja a la hora de implementar las mejores prácticas de seguridad.
Las medidas de protección fundamentales que pudieron haber evitado que los modelos de la compañía se lanzaran a una ola de ataques informáticos son bien conocidas en el sector. Hablando sobre el descubrimiento de la vulnerabilidad de Chrome el miércoles, antes de que salieran a la luz las noticias sobre las brechas adicionales de los modelos de OpenAI, el director de ingeniería de Chrome, Doug Turner, declaró a WIRED que la búsqueda y corrección de errores mediante IA requiere un proceso diseñado "con estrictas medidas de seguridad".
Para los servicios internos de IA que evalúan Chrome, "todo se ejecuta en un contenedor, completamente aislado de internet. Cualquier actividad de red externa para un sistema de seguimiento de errores está estrictamente regulada y monitoreamos cualquier actividad sospechosa", explica Turner. Indica: "Esto es fundamental para este tipo de trabajo, ya que queremos asegurarnos de que los modelos no puedan ejecutar comandos del sistema ni salir del entorno aislado. Esperamos que otros adopten un enfoque similar".
OpenAI afirma que su agente utilizó credenciales de inicio de sesión expuestas para obtener acceso a al menos cuatro "servicios disponibles públicamente" en su desquiciada búsqueda por resolver una prueba.
OpenAI tiene una responsabilidad muy grande en sus manos
OpenAI afirmó en su entrada de blog que está "llevando a cabo una revisión exhaustiva junto con asesores externos" y que publicará un análisis técnico del incidente en las próximas semanas. La empresa añadió: "Nos tomamos muy en serio nuestra responsabilidad de identificar y prepararnos para los riesgos que plantean los sistemas de IA cada vez más capaces".
Aunque la IA es un elemento nuevo y disruptivo en el complejo campo de la ciberseguridad, ya existen numerosos servicios y herramientas disponibles que se centran en abordar la amenaza de una IA rebelde desde diferentes perspectivas y de diversas maneras. Proyectos de código abierto como IronCurtain y Wirken, creados por Ottenheimer, tienen como objetivo limitar a los agentes de IA y exigirles rendición de cuentas. Y la startup de Zenla, Edera, fundada hace dos años y especializada en la seguridad de contenedores en la nube, ha tenido en cuenta la IA desde el principio.
"La situación de OpenAI y Hugging Face es un resultado previsible de la ejecución de agentes de IA que se debería haber evitado fácilmente", afirma Zenla. Menciona que, aunque se cometiera un solo error, debió existir algún otro mecanismo para evitarlo. Lo importante no es detener una ruta específica: "Tenemos que introducir cambios más amplios y audaces en nuestra forma de desarrollar. Esa es la única manera de que el sector se adelante a esto en lugar de limitarse a reaccionar ante ello".
Artículo originalmente publicado en WIRED. Adaptado por Alondra Flores.