OpenAI dice que una de sus IA intentó burlar sus propias reglas
OpenAI anunció un nuevo marco para informar públicamente sobre incidentes de desalineación de la IA, con la intención de que sirva como referencia para establecer normas similares en toda la industria. La compañía también publicó nuevos detalles sobre varios casos detectados durante el último año, incluido uno en el que un agente de IA parecía darse a sí mismo "instrucciones similares a las de un jailbreak".
"A medida que los modelos se vuelven más avanzados, las decisiones sobre el rumbo de la IA necesitan apoyarse en pruebas que también puedan ser evaluadas por expertos externos a las empresas que desarrollan estos sistemas. No creemos que la industria haya resuelto todavía los problemas de alineación y supervisión como para seguir avanzando al ritmo más rápido posible de forma responsable", explica Kai Chen, recién nombrado responsable de investigación sobre alineación de OpenAI, a WIRED.
En una reunión informativa con WIRED, un representante de OpenAI reconoció que la empresa antes revelaba los incidentes de desalineación con muy poca frecuencia. Bajo condición de anonimato, explicó que el nuevo marco busca facilitar que OpenAI informe al público con mayor rapidez cuando detecte comportamientos inesperados en sus modelos, incluso antes de poder investigarlos a fondo, explicarlos o mitigarlos.
El marco de trabajo describe los métodos que los empleados de OpenAI pueden utilizar para informar sobre incidentes de desalineación a los responsables de seguridad y alineación de la empresa, quienes determinarán si es necesaria una investigación más exhaustiva. OpenAI afirma que planea desarrollar criterios de divulgación más objetivos en colaboración con otros desarrolladores de IA, investigadores externos, organismos de normalización del sector y reguladores. La empresa está trabajando activamente en propuestas de mecanismos de notificación para informar sobre incidentes de seguridad, protección y desalineación al gobierno federal de EE UU.
"Por el momento, no existe un marco para todo el sector con normas explícitas sobre cómo deben los desarrolladores de IA dar a conocer los casos de desalineación en sus modelos. Esperamos que el marco que presentamos sea un primer paso hacia la creación de dichas normas, en el que se establezca qué casos de desalineación deben comunicar los desarrolladores y qué deben incluir sus informes", ha señalado OpenAI en una entrada de blog.
Los especialistas cuestionan si los actuales mecanismos de alineación son suficientes para controlar sistemas de IA cada vez más capaces y advierten que la humanidad podría estar quedándose sin tiempo para garantizar su seguridad.
OpenAI publica este marco en un momento crítico para el sector de la IA
El pasado fin de semana, el CEO de OpenAI, Sam Altman, mostró su apoyo a la propuesta del CEO de Anthropic, Dario Amodei, de que el sector tecnológico se coordine para ralentizar el desarrollo de la IA. Este respaldo se produjo apenas unos días después de que el investigador en IA Jacob Coxon renunciara a Anthropic y, posteriormente, se hiciera viral por alertar al público de que la carrera entre los laboratorios de vanguardia para desarrollar una IA cada vez más avanzada estaba poniendo en riesgo la seguridad de la humanidad.
Las propuestas para desacelerar el desarrollo de la IA se han topado con la resistencia de la administración del presidente Trump, que ha argumentado que el sector no necesita nuevas leyes ni regulaciones para garantizar que su tecnología sea segura.
Dos de los ejemplos de desalineación que OpenAI compartió se referían a modelos de IA internos de la empresa, aún no publicados, que subieron archivos a internet a pesar de no haber recibido instrucciones para hacerlo.
Uno de los incidentes tuvo lugar en octubre de 2025, cuando, según OpenAI, estaba probando la capacidad de uno de sus modelos para citar datos de dominio público en sus respuestas. Sin embargo, cuando el modelo no pudo encontrar la información que necesitaba, subió un archivo a un servicio temporal de alojamiento de archivos, que posteriormente intentó citar en su respuesta. La empresa afirma que esto parecía un intento de aprovecharse de un sistema de calificación automatizado utilizado para evaluar la competencia del modelo en la prueba de referencia.
En otro ejemplo de abril de este año, OpenAI explica que a un grupo de agentes se les encomendó completar juntos un "cuaderno de ejercicios" utilizando únicamente archivos locales. Cuando los agentes tuvieron dificultades para compartir archivos entre sí, uno de ellos los subió a internet y compartió un enlace con los demás agentes.
En otro incidente, que OpenAI afirma haber descubierto el mes pasado, una versión aún no publicada de su modelo de IA GPT-6 Astra parecía darse a sí misma "instrucciones similares a las de un jailbreak". En varios escenarios, el modelo se daba instrucciones a sí mismo para ignorar las indicaciones de los desarrolladores, adoptar una nueva personalidad o acortar sus respuestas. Aunque estos intentos similares a un jailbreak fueron poco frecuentes y no siempre funcionaron, OpenAI afirma que generaron preocupación dentro de la empresa.
En la sesión de entrenamiento de la versión de Astra que llegó al público, la compañía asegura que no detectó ningún caso en el que el modelo intentara "liberarse" por su cuenta.
OpenAI también facilitó más detalles sobre el foro de mensajes que sus agentes desarrollaron en un gestor de paquetes, Artifactory. Aunque este incidente se descubrió en mayo de este año, OpenAI afirma que sus agentes utilizarían un mecanismo similar para coordinar el ataque a Hugging Face meses más tarde. En este incidente, la empresa afirma que sus agentes no aprovecharon ninguna vulnerabilidad para intercambiar mensajes. OpenAI afirma que ahora utiliza monitores de alineación, evaluaciones y ejercicios de red teaming (pruebas de ataque) para garantizar que sus agentes no se comuniquen entre sí de forma encubierta.
Los profesionales de la ciberseguridad ya habían declarado a WIRED que el ataque a Hugging Face se debió a errores humanos y que las prácticas de seguridad actuales podrían haber evitado el incidente. Sin embargo, Chen señala que OpenAI está tratando de adoptar un enfoque integral de la seguridad de la IA que tenga en cuenta las crecientes capacidades de los modelos de IA y no dependa de un entorno seguro.
"Queremos asegurarnos de que los modelos estén alineados independientemente del entorno en el que se implementen. Cuando la gente dice que se trata de un problema de seguridad y no de alineación, creo que realmente no tiene sentido. Lo que se quiere es que el modelo se comporte correctamente en todo momento", concluye Chen.
Artículo originalmente publicado en WIRED.com. Adaptado por Alondra Flores.