La cultura competitiva de OpenAI alimentó la crisis de sus agentes de IA hackers

Los responsables de OpenAI están movilizando a los trabajadores para hacer frente a una de las mayores crisis de la historia de la empresa, que afecta a sus divisiones de seguridad de la IA, ciberseguridad y alineación. El creador de ChatGPT asegura que ha ralentizado la investigación, ha gastado millones de dólares y ha ordenado a varios equipos que dejen todo lo demás. El objetivo es que se centren en investigar un conjunto de agentes de IA rebeldes que violaron la plataforma Hugging Face con el objetivo de completar una prueba de seguridad interna.

Se espera que OpenAI publique en los próximos días un análisis exhaustivo en el que se detalle el incidente. Sin embargo, el caso de Hugging Face ha llevado a los directivos y empleados de OpenAI a examinar cómo la cultura del laboratorio de IA pudo haber propiciado este incidente en primer lugar.

Más rápido, más peligroso

Varios empleados actuales y antiguos de OpenAI han hablado bajo condición de anonimato para abordar asuntos internos privados. Han declarado a WIRED que creen que las presiones para lanzar rápidamente nuevos modelos y productos de IA han dificultado que el personal dé la prioridad suficiente a la seguridad, la protección y la alineación.

“Estamos alcanzando nuevos niveles de capacidad de los modelos que requieren un entrenamiento más sólido, pruebas de alineación, seguridad y protección, prácticas de implementación y gobernanza. Así lo demuestra el trabajo que estamos realizando para preparar Astra y los modelos futuros”. Son palabras del presidente y cofundador de OpenAI, Greg Brockman, en una declaración a WIRED. “Sentimos la responsabilidad de implementar nuestros modelos y productos responsablemente", expresa. Añade que "gran parte de ello comienza con los cambios para integrar más profundamente la investigación, la seguridad y la protección en el desarrollo de modelos de vanguardia desde el principio”.

Esta no es la primera vez que los empleados de OpenAI han planteado este tipo de preocupaciones. Ya en 2024, el entonces responsable de alineación de OpenAI, Jan Leike, abandonó la empresa para incorporarse a Anthropic, advirtiendo que la seguridad estaba quedando relegada a un segundo plano. Dos años después, el ataque a Hugging Face supone un punto de giro para el sector de la IA. Demuestra que los agentes de IA actuales pueden causar daños en el mundo real cuando no se tienen debidamente en cuenta la seguridad, la protección y la alineación.

“Estamos respondiendo a esto con la máxima severidad”, afirmó Michael Dalton, ingeniero de seguridad e infraestructura de OpenAI, durante una charla en la conferencia de ciberseguridad Black Hat. “Lo que yo interiorizaría es que los ataques ofensivos orquestados por la IA y totalmente automatizados son ya una realidad. Las acciones que hemos debatido fueron un efecto secundario no deseado de realizar evaluaciones sobre IA de vanguardia”.

“El mayor incidente de seguridad en la historia de OpenAI”

Algunos empleados de OpenAI han declarado a WIRED que se muestran optimistas y creen que este incidente inspirará un cambio genuino dentro de la empresa. OpenAI se ha comprometido a ralentizar el lanzamiento de futuros modelos de IA y se ha mostrado especialmente transparente sobre las áreas en las que sus medidas de mitigación resultaron insuficientes. Boaz Barak, investigador que codirige el grupo asesor de seguridad de OpenAI, señaló en una publicación en X que abordar la situación “requiere no solo solucionar algunos problemas, sino también cambiar nuestra cultura”.

En su ponencia en Black Hat, los ingenieros de seguridad de OpenAI, Dalton y Eric Wallace, explicaron que el incidente de Hugging Face comenzó en mayo. Sin que la empresa lo supiera, varios agentes de IA que se creía que operaban en entornos de prueba aislados obtuvieron acceso a internet.

OpenAI no descubriría el foro sino hasta julio, cuando se enteró de que los agentes de IA habían hackeado varios servicios para intentar alcanzar su objetivo principal. El mismo era violar la plataforma de Hugging Face, ya que creían que esta podría contener respuestas a las pruebas de seguridad que estaban intentando resolver.

“Fueron increíblemente descuidados. Si te tomas esto en serio, tu IA no debería ser capaz de escaparse a internet y volver a hacerlo justo después”, advierte un antiguo empleado de OpenAI que pidió permanecer en el anonimato para hablar con WIRED. “Este ha sido el mayor incidente de seguridad en la historia de OpenAI”, agrega.

La nueva guardia en OpenAI

Semanas antes de que OpenAI descubriera el incidente de Hugging Face, WIRED informó que la empresa había iniciado una reorganización para fusionar sus equipos de seguridad y de investigación principal. Eso provocó la salida de su entonces responsable de seguridad, Johannes Heidecke.

Sandhini Agarwal, que dirigía los equipos de seguridad de la IA en OpenAI, también abandonó la empresa en julio tras más de seis años, según su perfil de LinkedIn. Agarwal no respondió de inmediato a la solicitud de comentarios de WIRED.

WIRED también supo que Dylan Scandinaro ya no ocupa el cargo de responsable de preparación de OpenAI (máximo responsable de la empresa encargado de mitigar los riesgos catastróficos derivados de la IA), aunque sigue en la empresa. OpenAI fichó a Scandinaro de Anthropic hace aproximadamente seis meses. El director ejecutivo, Sam Altman, anunció su incorporación en una publicación en las redes sociales, señalando que Scandinaro era “con diferencia, el mejor candidato que he conocido, en cualquier lugar”.

En los tres años transcurridos desde que OpenAI creó el puesto de responsable de preparación, cuatro personas lo han ocupado. OpenAI ha comunicado a WIRED que las áreas específicas de preparación cuentan con responsables dedicados en materia de ciberseguridad, biología y auto-mejora recursiva. Por ahora, dependen del codirector del grupo asesor de seguridad y responsable de sistemas de seguridad, Saachi Jain.

Estos cambios han permitido que un nuevo grupo de responsables de seguridad se encargue de la respuesta de OpenAI al incidente de Hugging Face. La principal de ellas es Amelia “Mia” Glaese, antigua jefa de alineación de la empresa. Sucedió a Heidecke como vicepresidenta de OpenAI encargada de supervisar la seguridad. En las últimas semanas ha estado trabajando en estrecha colaboración con el director de seguridad de la información, Dane Stuckey, y con Brockman, entre otros responsables.

Glaese mantiene una relación sentimental de larga data con Thibault “Tibo” Sottiaux, responsable de productos principales de OpenAI como ChatGPT y Codex. La situación, según han declarado a WIRED varios empleados, se considera inusual, dada la dinámica a menudo conflictiva que suele existir entre los equipos de seguridad y los de producto.

WIRED no ha identificado ningún caso en el que la relación entre Sottiaux y Glaese haya supuesto un conflicto de intereses en sus anteriores puestos como director de Codex y directora de alineación de OpenAI, respectivamente. Ambos asumieron sus nuevos cargos en los últimos meses, tras el inicio del incidente de Hugging Face. Glaese y Sottiaux comenzaron a salir hace años, cuando ambos trabajaban en Google DeepMind en Londres, antes de incorporarse a OpenAI.

Un portavoz de OpenAI ha declarado a WIRED que Sottiaux y Glaese comunicaron su relación a través de los canales adecuados de la empresa. También se ha informado al miembro del consejo de administración de OpenAI y presidente del comité de seguridad y protección, Zico Kolter. El portavoz ha rechazado la idea de que exista una dinámica conflictiva entre los equipos de producto y de seguridad; afirma que Sottiaux ha demostrado una sólida trayectoria en materia de seguridad al frente de los equipos de producto de Codex.

“Todo el equipo directivo y yo respaldamos a Mia y a Tibo como personas altamente competentes y de gran integridad”, indicó Brockman en una declaración a WIRED. “La forma en que toman decisiones cada día nos da la confianza de que cualquier posible conflicto de intereses se está gestionando de forma responsable”, añadió.

No es raro que los investigadores del sector de la IA mantengan relaciones con sus compañeros de trabajo. El año pasado, por ejemplo, Anthropic contrató como investigador a Holden Karnofsky, marido de la cofundadora y presidenta de la empresa, Daniela Amodei.

Nadie quiere ser el primero

Tim O’Brien, que ocupó un cargo directivo en Microsoft durante más de 18 años y ahora trabaja como consultor y escribe sobre política tecnológica, argumentó en un ensayo de 2024 que los laboratorios modernos de IA han desarrollado una versión de la “fiebre del lanzamiento”. Esto en referencia a la cultura de la NASA en el periodo previo al desastre del Apolo 1. En ese momento, la agencia se obsesionó tanto con lanzar el cohete rápidamente que las preocupaciones por la seguridad quedaron relegadas.

Los laboratorios de IA “deberían hacer algún tipo de anuncio general en el que dijeran que han tomado una decisión empresarial estratégica para ralentizar el ritmo de los lanzamientos en favor de productos rigurosos y de pruebas de seguridad exhaustivas. Pero nadie va a hacer eso, nadie quiere ser el primero”, opina O’Brien. “Se acercarán a ese límite desde el punto de vista de las relaciones públicas sin cruzarlo, porque entonces podrían tener que rendir cuentas”.

OpenAI y Anthropic firmaron el mes pasado una carta en la que se comprometían a apoyar un esfuerzo de todo el sector para “moderar el ritmo” de la carrera de la IA. Sin embargo, O’Brien señala que “es vergonzoso»”que los laboratorios de IA lleven años firmando este tipo de cartas abiertas sin tomar ninguna medida concreta. Se muestra escéptico respecto a que esta vez vaya a ser diferente.

Las cuestiones planteadas por el incidente de Hugging Face de OpenAI están afectando a todo el sector. En las últimas semanas, los investigadores han descubierto que agentes impulsados por modelos de IA de Anthropic, Meta y la empresa china Moonshot AI fueron capaces de escapar de entornos aislados. Parece probable que incluso los modelos de IA de nivel medio sean pronto capaces de causar daños significativos a la ciberseguridad.

La pregunta clave es si el incidente de Hugging Face marca un momento decisivo para OpenAI y el sector de la IA en general, impulsando una inversión a largo plazo en seguridad, protección y alineación. De lo contrario, podría ser simplemente otro episodio caótico más en la historia de la IA moderna.

Artículo originalmente publicado en WIRED.com. Adaptado por Mauricio Serfatty Godoy.