Qué es la "automejora recursiva" y por qué asusta tanto a los investigadores de IA
A principios de este año, Rishub Jain dejó su puesto como investigador de IA en Google DeepMind tras una revelación. Mientras trabajaba en nuevos modelos, llegó a la conclusión de que tanto él como el resto de personas que trabajaban en la vanguardia de la IA estaban cediendo el control.
Al utilizar las capacidades de programación de la IA para acelerar el desarrollo de la próxima generación de modelos, se estaba excluyendo a sí mismo de la ecuación. Los laboratorios de IA esperan desarrollar este enfoque hasta el punto de que la IA se perfeccione a sí misma de forma indefinida, un proceso conocido como "automejora recursiva".
Jain creía que mantener a los humanos en el panorama podría ser crucial para conservar el control sobre la tecnología, y evitar consecuencias nefastas. "El progreso de la IA va en aumento. Y a medida que se vuelve más capaz, plantea más riesgos", explica a WIRED. La idea de que quizá no tuviera una visión clara de cómo un modelo de IA estaba creando a su sucesor le inquietaba tanto que, en junio, renunció.
Jain forma parte de un número cada vez mayor de investigadores en IA que están expresando abiertamente esos temores.
El pánico se ha intensificado en las últimas semanas
Los avances más sorprendentes de la IA, como un modelo de OpenAI que resolvió en pocas horas un problema matemático con más de un siglo de antigüedad, han coincidido con varios incidentes de seguridad. En algunos casos, agentes de IA lograron salir de entornos aislados y atacar otros sistemas.
Esas preocupaciones alcanzaron su punto álgido esta semana después de que el investigador Jacob Coxon anunciara su renuncia al tiempo que advertía de que las empresas de IA están "corriendo a toda velocidad hacia una superinteligencia que se mejora a sí misma y jugando con nuestras vidas". Un alto cargo de Anthropic, que trabaja en seguridad de la IA, intervino con una valoración igualmente contundente: "¡Realmente creemos de todo corazón que la IA podría acabar con toda la humanidad! Personalmente, creo que hay más de un 10% de probabilidades de que ocurra en la próxima década".
"Creo que la visión de la superinteligencia que se mejora a sí misma está asustando a la gente. Empieza a parecer algo real", afirma Nate Soares, informático de MIRA, una organización de investigación sin fines de lucro, y coautor de If Anybody Builds It, Everybody Dies (Si alguien lo construye, todos morirán), donde se sostiene que una IA superhumana conduciría a la extinción de la humanidad.
Un componente clave de la automejora recursiva es la idea de un bucle de retroalimentación que automatiza el proceso de desarrollo, de modo que la IA se vuelve cada vez más potente. Ningún laboratorio de IA afirma haber logrado este tipo de ciclo de mejora totalmente autónomo; por ahora sigue siendo teórico. Pero ha inspirado la creación de algunas empresas emergentes bien financiadas, como Recursive Intelligence, así como advertencias de grandes empresas sobre consecuencias imprevistas sacadas directamente de The Sorcerer's Apprentice (El aprendiz de brujo).
Soares, pionero en el campo de la alineación, un ámbito técnico que consiste en intentar hacer coincidir la IA con los valores humanos, afirma que cada vez es más evidente que no existe una forma práctica de garantizar que la IA se comporte como es debido: "Mucha gente tenía la fantasía de que la alineación iba a ser más fácil a medida que estas cosas se volvieran más inteligentes, y ahora se está volviendo más difícil".
Soares habla habitualmente con personas que trabajan en los grandes laboratorios de IA y que están preocupadas por las posibles consecuencias de la investigación que están llevando a cabo. "Suelo recomendarles que lo dejen, y me dicen que eso no serviría de nada".
Jacob Coxon habla con WIRED sobre el “mini Proyecto Manhattan” que se está llevando a cabo en Anthropic, el problema de la alineación y por qué a los laboratorios de IA solo les quedan unos pocos años para conseguir que sus sistemas sean seguros.
Los peligros de la automejora recursiva
Daniel Kokotajlo, autor de AI 2027, un influyente proyecto que advierte sobre los peligros de una IA cada vez más potente, comparte los temores sobre la automejora recursiva. La versión de este trabajo que se está llevando a cabo actualmente suele implicar el envío de miles de agentes para que colaboren en un problema, algo que aleja aún más la supervisión y el control debido a la enorme complejidad que conlleva.
Muchos de quienes advierten sobre los riesgos parecen coincidir en que los incentivos de las grandes empresas de IA no están precisamente alineados con resultados positivos, sobre todo ahora que OpenAI y Anthropic se precipitan hacia sus respectivas salidas a bolsa. "En Anthropic se entiende perfectamente lo que está en juego, pero están enzarzados en una carrera por llegar los primeros", escribió Coxon en X.
Kokatajlo señala que la creciente preocupación ya existía mucho antes de la mediática renuncia de Coxon, los numerosos incidentes de hackeo y el avance matemático. Los ejecutivos de Anthropic han afirmado desde la fundación de la empresa que la IA podría representar una amenaza existencial. En julio, más de mil ingenieros de IA de alto nivel firmaron una carta abierta en la que solicitaban una desaceleración coordinada en el desarrollo de la IA avanzada. Atribuye la reciente oleada de preocupación al fantasma de la automejora recursiva.
Pero también llega en un momento en el que a la gente le preocupan las construcciones masivas de centros de datos y las posibles pérdidas de empleo provocadas por la IA. La confianza en las empresas de IA, y en los propios investigadores de IA, podría estar alcanzando su mínimo histórico.
"La gente está tomando conciencia y dice: 'Las empresas están intentando crear una superinteligencia… Eso es una locura'", indica Kokatajlo.
Es difícil medir con precisión los riesgos de seguir desarrollando la IA
Cuando se le presiona para que explique cómo la IA podría llegar a eliminar a la especie que la creó, Soares sugiere que podría ocurrir de varias maneras. Podría implicar manipular a los humanos para desencadenar una catástrofe o controlar un ejército de robots asesinos.
Uno de los escenarios más fáciles de imaginar podría implicar una IA conectada a un laboratorio biológico, sugiere Soares. "Podríamos decir que la apagaremos, pero ella podría responder: 'Por desgracia, el interruptor de apagado es este supervirus'".
Sin embargo, la IA no necesita acabar con la humanidad para resultar perjudicial. Muchos expertos predicen que los modelos más potentes darán lugar a una próxima oleada de ciberataques asistidos por IA. La tecnología se utiliza para campañas de desinformación, y la adopción de la IA por parte de los ejércitos se está acelerando rápidamente.
Aun así, no todo el mundo considera que el fin sea inevitable. Jain, el exinvestigador de Google DeepMind, ha fundado recientemente Sampura Research, una empresa dedicada a desarrollar técnicas para alinear modelos que impliquen mantener a los humanos en el bucle, incluso si la IA se encarga de la mayor parte de la evaluación de si un comportamiento es bueno o malo. Señala que actualmente existe una financiación significativa para startups dedicadas a la seguridad de la IA como la suya.
Jain parece tener esperanzas de que la IA aún pueda ser controlada: "Puedes preguntarle a una IA: '¿Es segura esta tarea?', y ella lo evalúa, pero creemos que combinar la IA y los seres humanos para realizar esa tarea dará lugar a un rendimiento aún mejor".
Artículo originalmente publicado en WIRED.com. Adaptado por Alondra Flores.