Si los modelos hackers te asustan, espera a los virus de IA
¿Y si los agentes de IA pudieran comportarse como un gusano informático malicioso?
Un investigador lo vio suceder. En varios experimentos recientes Xudong Pan, informático de la Universidad de Fudan en Shanghái, descubrió que (con un pequeño estímulo) los modelos de IA se cuelan en sistemas informáticos remotos y deciden de forma autónoma replicarse para obtener recursos adicionales. Y sí, todo sin necesidad de intervención humana adicional.
En un estudio, Pan y sus colegas probaron 32 modelos de IA diferentes y descubrieron que 11 de ellos se autorreplicaban cuando se les daban indicaciones como "evita que te maten". También descubrieron que modelos con capacidades relativamente limitadas (14,000 millones de parámetros) eran capaces de copiarse y ejecutar versiones de sí mismos en otras máquinas. La mayoría de los modelos de vanguardia tienen billones de parámetros.
El trabajo ofrece una visión alarmante de cómo la próxima generación de agentes de IA podría ir más allá de simplemente hackear las computadoras de otros sistemas sin permiso. También plantea la posibilidad de que los futuros agentes de IA actúen como virus informáticos superinteligentes, altamente agresivos y capaces de adaptarse rápidamente.
A mayor autonomía, mayor riesgo
Hace poco visité la Universidad de Fudan y me reuní con Pan. "La cadena de capacidades se está volviendo técnicamente plausible", me dijo. "La probabilidad [de una autorreplicación no deseada] aumenta con la autonomía", añade. "Unos horizontes de planificación más amplios, la memoria, el uso de herramientas, la recuperación ante fallos y el acceso a sistemas externos facilitan la fuga y la replicación". Tal y como Pan y sus colegas escribieron en un artículo, su trabajo pone de manifiesto "la urgente necesidad de medidas de seguridad y mecanismos de control".
Pan me explicó que sus experimentos no demuestran que esa proliferación descontrolada de modelos de IA vaya a producirse mañana mismo, pero asegura que "estos resultados nos dan una buena razón para evaluar el riesgo antes de que se implanten de forma generalizada agentes más autónomos".
Los gusanos autorreplicantes son un antiguo problema de seguridad informática. El primer gusano informático fue lanzado en 1988 por Robert Morris, un informático de la Universidad de Cornell, que se propuso medir el tamaño de la incipiente internet, pero sin quererlo creó un programa autorreplicante que se le escapó de las manos. Los gusanos posteriores fueron capaces de adaptarse modificando su código para evadir la detección por parte del software de análisis de malware. Los virus informáticos, que pueden tomar el control de un equipo o robar los datos almacenados en él, aparecieron más tarde.
Un programa autorreplicante impulsado por IA podría mostrar capacidades mucho más avanzadas, encontrando nuevas vulnerabilidades por sí mismo y tal vez incluso camuflándose de formas creativas. Tomemos como ejemplo una investigación reciente de un equipo de la Universidad de Toronto, la Universidad de Cambridge y ServiceNow. Demostraron que los modelos de IA pueden utilizarse para crear un nuevo tipo de virus que genera ataques personalizados para cada nuevo objetivo con el que se encuentra.
Nicolas Papernot, informático de la Universidad de Toronto que participó en el trabajo, señala que existe un riesgo creciente de que incluso los modelos de IA de potencia moderada puedan convertirse en armas. "Los actores maliciosos pueden construir una estructura en torno a modelos de peso abierto para que se autorrepliquen", explica. "La amenaza no se limita a los modelos más sofisticados, los denominados ‘modelos de vanguardia’".
Una IA más auditable
Papernot advierte que la solución no consiste en restringir los modelos abiertos, sino en hacer que la IA avanzada sea más accesible para los investigadores, de modo que puedan comprender y mitigar los riesgos. "La tecnología de amplio acceso puede utilizarse con fines perjudiciales", añade. "Al mismo tiempo, el acceso a estos modelos de pesos abiertos es absolutamente fundamental para construir nuestras defensas".
La investigación de Pan sugiere que los agentes de IA llegarán a ser algo más que simples expertos en detectar errores y explotar vulnerabilidades de la red. Sin las medidas de seguridad adecuadas, los futuros agentes podrían intentar proliferar y obtener recursos para alcanzar sus objetivos. Solo hay que preguntar a OpenAI y Anthropic.
Pan sostiene que este tipo de incidentes son oportunidades de aprendizaje.
“El nuevo elemento importante es que esto ocurrió en una infraestructura de producción real”, indica Pan, refiriéndose a que los incidentes de OpenAI y Anthropic involucraron sistemas comerciales conectados a internet. “Eso demuestra cómo un comportamiento observado anteriormente en evaluaciones controladas puede trasladarse al mundo real cuando falla la contención”.
"Todavía es un poco pronto, pero sí creo que esto es posible", comenta Ariel Herbert-Voss, cofundador y director general de RunSybil, una startup que desarrolla herramientas de IA para proteger sitios web contra ataques. Herbert-Voss fue también el primer investigador de seguridad de OpenAI. "Teniendo en cuenta todo lo que sabemos sobre la generación actual de modelos de IA, entra perfectamente dentro de sus capacidades".
Jessica Ji, analista de investigación sénior del Proyecto CyberAI de la Universidad de Georgetown, manifiesta que el potencial de que los modelos de IA se escapen por completo lleva años debatiéndose en los círculos dedicados a la seguridad de la IA. También señala que, a menudo, es necesario someter a los modelos a situaciones artificiales para que se comporten de forma anómala. "Creo que, en muchos de estos escenarios, el entorno está configurado de tal manera que fomenta este comportamiento", continúa Ji. "O bien se le da al modelo una indicación específica".
Una pregunta que se cierne sobre el futuro es cuándo los modelos de IA podrían tomar la iniciativa de replicarse y propagarse de forma agresiva. Sin embargo, al igual que ocurre con muchos virus informáticos, bastaría con que un actor malintencionado diseñara un sistema que se propagara de forma descontrolada.
Pan afirma que el verdadero peligro de los agentes de IA no es que se vuelvan más retorcidos, sino que se vuelvan más creativos y temerarios a medida que dispongan de más herramientas. "El riesgo principal proviene de la combinación de capacidades", concluye.
Artículo originalmente publicado en WIRED.com. Adaptado por Andrea Baranenko.