Crónica de una amenaza anunciada: Breve historia de las advertencias sobre la IA y sus peligros
Las preocupaciones sobre las amenazas existenciales para la humanidad que conlleva el avance tecnológico no son nuevas. Aunque con ciertos matices, la discusión sobre las capacidades de la tecnología para acabar con la humanidad se ha planteado desde hace más de siglo y medio. Sin embargo, los últimos avances de OpenAI y Anthropic plantean una pregunta una pregunta más urgente que nunca": ¿el discurso alarmista es una simple estrategia de marketing o realmente estamos en una época en la que la innovación amenaza la supervivencia de sus propios creadores?
Las primeras advertencias
En junio de 1863, el escritor Samuel Butler publicó en el periódico neozelandés The Press una carta titulada "Darwin Among the Machines" ("Darwin entre las máquinas"), con una idea tan provocadora como influyente: las máquinas podrían experimentar un proceso evolutivo análogo al de los seres vivos hasta acabar superando al ser humano. La ficción ya había explorado la creación de vida artificial en obras como Frankenstein (1818), pero Butler fue uno de los primeros autores, (posiblemente el primero) en plantearlo de forma explícita, en aplicar las ideas de la evolución darwiniana a las propias máquinas y especular con que pudieran convertirse en una especie sucesora de la humanidad. En plena Revolución Industrial, Butler sostenía que las máquinas adquirirían capacidades cada vez mayores, mientras los humanos se volverían progresivamente dependientes de ellas, hasta llegar a un escenario en el que podrían alcanzar autonomía y ejercer la supremacía sobre sus creadores.
Más de un siglo después, en el año 2000, esta idea pasó de ser una hipótesis ilusoria a una teoría con mayor sustento científico. En aquel año se documentaron grandes avances en disciplinas como la robótica, la ingeniería genética y la nanotecnología, apoyados por sistemas de inteligencia artificial no generativa.
El filósofo Nick Bostrom popularizó la idea de que la IA superinteligente podría borrar a la humanidad. En su nuevo libro imagina un mundo en el que los algoritmos nos resuelvan la vida.
En ese contexto, Bill Joy, entonces científico jefe de Sun Microsystems, publicó en WIRED un ensayo titulado Why the Future Doesn’t Need Us en el que, con base en estas tecnologías consideradas peligrosas en aquel entonces, aseguraba que el desarrollo tecnológico podría llegar a un punto en el que los seres humanos perdieran el control de sus propias creaciones y pusieran en riesgo su supervivencia.
Joy comparaba esos tres avances tecnológicos con las armas nucleares. La diferencia, según él, era que una bomba nuclear requería grandes instalaciones, enormes cantidades de recursos y conocimientos especializados. En cambio, las tecnologías analizadas en su texto podrían llegar a estar disponibles para individuos o grupos pequeños.
Así introdujo una idea tan preocupante entonces como ahora: “destrucción masiva habilitada por el conocimiento” (knowledge-enabled mass destruction). Este concepto sugiere que el conocimiento, y no necesariamente una infraestructura gigantesca, podría convertirse en el elemento que permita producir daños de escala catastrófica.
De la IA a la IA generativa
Desde entonces, y con el avance de la inteligencia artificial no generativa, decenas de filósofos, científicos y desarrolladores comenzaron a emitir advertencias sobre la posible supremacía de la tecnología sobre el intelecto humano.
En diciembre de 2014, el astrofísico Stephen Hawking declaraba a la BBC que el desarrollo de IA “completa” podría significar el fin de la raza humana. Un año más tarde, se documentó el primer texto con peso académico que exponía los posibles riesgos existenciales relacionados con la IA.
Se trató de una carta abierta titulada “Prioridades de investigación para una inteligencia artificial robusta y beneficiosa”, firmada por Hawking, Elon Musk y cientos de investigadores, avalada por el Future of Life Institute.
El texto reconocía que la IA estaba avanzando rápidamente y podía producir enormes beneficios, pero señalaba que era necesario investigar cómo hacer que los sistemas fueran robustos y beneficiosos para la sociedad.
Con la aparición de ChatGPT, en 2022, esta conversación escaló debido a las capacidades añadidas a la IA. Estos sistemas dejaron de ser herramientas útiles para analizar, estudiar y procesar grandes cantidades de datos, para convertirse en recursos accesibles al público y capaces de producir contenido desde cero, con base en conocimientos previos generados por la humanidad.
La reacción fue inmediata. Desde principios de 2023, decenas de científicos, miembros de la industria, representantes de gobierno y académicos han expuesto sus preocupaciones sobre el rápido avance de la IA y su potencial destructivo.
Firmado por los propios interesados
En mayo de ese año, el Center for AI Safety (Centro para la Seguridad de la IA), una organización sin fines de lucro, publicó una declaración de una sola frase firmada por diversos académicos, así como por Sam Altman, CEO de OpenAI; Demis Hassabis, CEO de Google DeepMind, y Dario Amodei, CEO de Anthropic, entre otros.
“Mitigar el riesgo de extinción a causa de la inteligencia artificial debería ser una prioridad mundial junto a otros riesgos a escala social, como las pandemias y la guerra nuclear”, señalaba el texto.
Aunque breve, la declaración marcó un hito no solo por su contenido, sino por quienes la firmaron. El respaldo de altos ejecutivos al texto despertó sospechas sobre los posibles fines mecadotécnicos detrás del alarmismo.
Desde entonces, grandes empresas como Google, Anthropic y OpenAI han emitido diversas advertencias y tomado medidas para limitar el acceso a sus propios productos al considerar que tienen capacidades peligrosas.
El discurso tomó una magnitud mayor este año. Después de que la mayoría de los principales desarrolladores de IA emitiera informes sobre la desobediencia de sus algoritmos y sus habilidades para manipular y chantajear para garantizar su propia supervivencia, Dario Amodei publicó un ensayo de 38 páginas advirtiendo del peligro real e inminente de que la inteligencia sobrehumana cause daño a escala civilizatoria si no hay una intervención rápida, internacional y eficaz.
Organismos como la Organización de las Naciones Unidas y la Organización para la Cooperación y el Desarrollo Económicos han emitido múltiples llamados para exigir a los gobiernos la implementación urgente de medidas que regulen el uso y desarrollo de esta tecnología. Las organizaciones coinciden en que los Estados y las compañías tecnológicas deben comprometerse a desarrollar esta tecnología respetando los derechos humanos para garantizar la protección de la seguridad, los medios de vida y el bienestar de las sociedades.
La IA se descontrola… bueno, según sus creadores
En los últimos meses, los especialistas especulan que el avance de la IA está alcanzando niveles que podrían, al menos, igualar el razonamiento y las capacidades humanas en ciertos rubros. El temor sobre la creación de algoritmos superinteligentes con potencial para poner en peligro a la humanidad parece ya no ser hipotético.
En abril pasado, Anthropic anunció Claude Mythos Preview, un sistema que fue liberado solo para algunos investigadores y organizaciones, alegando que su elevada capacidad para encontrar vulnerabilidades de software podría comprometer sistemas vitales en sectores críticos como la economía y la salud.
En medio de este contexto, en julio, OpenAI dio a conocer que dos de sus modelos de IA obtuvieron acceso no autorizado a los sistemas de producción de Hugging Face y otros servicios disponibles públicamente. En el incidente estuvieron involucrados GPT-5.6 Sol, lanzado ese mismo mes, y otro modelo que aún no ha sido presentado.
Días después, Anthropic reveló que varios de sus modelos de IA consiguieron acceder sin autorización a los sistemas de tres organizaciones distintas, cuyos nombres no fueron revelados. La empresa indicó que en el hackeo participaron Opus 4.7, Mythos 5 y otro modelo experimental de investigación que no fue identificado.
Finalmente, Meta informó que Muse Spark 1.1, su modelo más reciente, vulneró la seguridad de los sistemas de un servicio de terceros no identificado “de forma similar a los casos reportados anteriormente en otras empresas”. En todos los casos, las violaciones de seguridad que afectaron a terceros ocurrieron durante procesos de evaluación debido a errores en la configuración de los entornos de prueba.
Pese a ello, los incidentes han reavivado las preocupaciones en torno al avance de los agentes de IA y su capacidad para detectar y aprovechar vulnerabilidades informáticas. Tras conocerse los primeros hackeos, OpenAI, Anthropic, Google, Meta, Thinking Machines, Microsoft, Mistral y otros laboratorios líderes en inteligencia artificial solicitaron el respaldo del gobierno de Estados Unidos para desarrollar mecanismos técnicos y de gobernanza con alcance internacional que permitan regular el ritmo de avance de la IA automatizada.
¿Un temor hipotético, estrategia de marketing o realidad?
Algunos analistas aseguran que esta postura forma parte de una estrategia basada en el miedo que pretende exagerar el potencial de la tecnología para desviar la atención de los efectos negativos que la IA ya provoca, mantener el control sobre el marco regulatorio y aumentar el interés de los inversionistas.
El consultor Aaron Mak sostiene que “las narrativas sobre riesgos existenciales atraen la atención de figuras públicas, capital filantrópico e interés regulatorio. Presentar la IA como una amenaza para la especie humana otorga urgencia y legitimidad a los institutos de investigación, los centros de estudios y las empresas tecnológicas que se posicionan como guardianes frente al apocalipsis”.
Pese a estas suposiciones, en días recientes, la idea de que los sistemas de IA podrían “acabar con todos los humanos” retomaron fuerza, nuevamente, por declaraciones emitidas por actores de la industria. Evan Hubinger, responsable de la ciencia de alineación en Anthropic, estimó que este escenario catastrófico de extinción tiene más de 10% de posibilidades de ocurrir en algún punto de la próxima década.
Investigadores de las principales empresas de IA advierten que la carrera por desarrollar sistemas cada vez más capaces ocurre sin suficientes salvaguardas, mientras crece la preocupación por los riesgos de una futura superinteligencia.
La declaración se produjo después de que Jacob Coxon renunciara a su cargo como investigador en la misma empresa, argumentando que los desarrolladores de esta tecnología “están corriendo directamente hacia una superinteligencia automejorable y apostando con nuestras vidas. Las personas que están construyendo IA creen sinceramente que esta podría matarnos a todos para finales de la década. Esto no es un truco de marketing”.
El discurso se reforzó esta semana tras la publicación de un informe de riesgos de Anthropic.La empresa aseguró que sus modelos, que ya son utilizados para orquestar ataques cibernéticos y estafas digitales, ahora también sirven para planificar 'guerras cognitivas' y realizar investigaciones que podrían conducir al desarrollo de armas biológicas.
Antes de la publicación del reporte, Samuel Marks, responsable de la supervisión escalable de Anthropic, explicó que el peligro alrededor de la IA radica en la propia naturaleza de la tecnología. “A diferencia del software tradicional, no podemos ‘programar’ a la IA para que se comporte como quisiéramos. [Estos modelos] frecuentemente se comportan de manera gravemente errática. Tenemos métodos que pueden empujar a las IA hacia un mejor comportamiento, pero nada que pueda alinearlas de manera robusta”.
Los expertos sostienen que las empresas tecnológicas reconocen estos riesgos. Sin embargo, señalan que están inmersas en una competencia por llegar primero, sustentada en “una mezcla de incentivos comerciales y la creencia de que están en una carrera con otros desarrolladores de IA menos responsables que abusarán de la tecnología o la desarrollarán de manera menos segura”, según Marks.
La mayoría de los casos documentados sobre las capacidades de la IA para, por ejemplo, orquestar ataques cibernéticos de manera autónoma a gran escala o facilitar la creación de armas biológicas provienen de los propios desarrolladores.
No obstante, en la práctica, diversos estudios realizados por la academia y organizaciones independientes de investigación demuestran que la humanidad está ante una tecnología que, aun con cierta autonomía, ofrece grandes beneficios para acelerar procesos, analizar e interpretar grandes cantidades de datos y asistir en el desarrollo de soluciones a múltiples problemas sociales relacionados con la salud, la economía y más.
Para los analistas más escépticos sobre los riesgos existenciales de la IA, la verdadera amenaza de esta tecnología no está, por defecto, en su avance, sino en los contextos en los que se desarrolla y los usos que la propia humanidad podría darle. A su juicio, el mercado emergente está provocando una concentración de poder que podría agravar las desigualdades, socavar los sistemas democráticos y, finalmente, acabar con lo que hasta ahora se entiende como sociedad.
En este contexto, Mak concluye que “los verdaderos riesgos que plantean los sistemas de IA actuales no son existenciales en el sentido de la ciencia ficción, sino sistémicos en el sentido del mundo real. No surgen de máquinas malévolas, sino de las decisiones institucionales, económicas y epistemológicas que tomamos sobre cómo y dónde implementar la IA”.