Pangram lidera la detección de IA, pero sus falsos positivos amenazan con arruinar reputaciones
Pangram es una startup de IA con 24 empleados, cuya sede se encuentra encima de un Popeyes en Brooklyn. Hasta la fecha ha recaudado 13 millones de dólares, aproximadamente el 0.0072% de lo que tiene OpenAI, y era prácticamente desconocida hasta principios de este año.
Hay que creer en ella, Pangram es una de las principales barreras frente al avance de la IA sobre la palabra escrita.
Pangram promete detectar cuánta IA se utilizó en la generación de cualquier texto, y lo hace como un porcentaje estimado. En enero, surgieron rumores en Reddit y YouTube de que la autora Mia Ballard podría haber usado IA para escribir Shy Girl, una novela autopublicada que Hachette había adquirido para su publicación tradicional. Aunque Ballard lo negó, el CEO de Pangram publicó en X que el libro había sido generado en un 78% por IA. Posteriormente, Hachette canceló el lanzamiento.
A esto le siguió una avalancha de acusaciones similares. Por ejemplo, el New York Times fue criticado por publicar en su columna Modern Love una entrega que Pangram calificó con un 100% de probabilidad de haber sido generada por IA. Después aparecieron más casos: un ganador del Premio Commonwealth de Relato Corto obtuvo también un 100%; la novela Daggermouth, un 60%; y el thriller Call Me, I’ll Hide the Body, vendido por 2.4 millones de dólares, un 97%.
A finales de julio, Substack anunció que integraría Pangram en su plataforma para que los lectores pudieran detectar rápidamente un posible uso de IA. No todos los escritores ven esto como algo positivo. "Hay mucho rechazo y enfado hacia el software de detección de IA. Existe la sensación de que son más malvados que las propias empresas de IA", menciona Jane Friedman, autora y experta en edición.
Fuera del ámbito editorial y de la educación superior, Pangram no es un nombre muy conocido, pero sospecho que está a punto de serlo; la demanda de distinguir la producción de los grandes modelos de lenguaje (LLM) de la escritura humana crece día a día. La pregunta que hay que plantearse ahora es: ¿hasta qué punto se puede confiar en la empresa?
El uso generalizado de herramientas como ChatGPT, Claude y Gemini ha obligado a los profesores a replantear sus métodos de evaluación.
Detección de IA con… IA
Max Spero, cofundador y CEO de Pangram, de 30 años, se conecta a nuestra reunión de Google Meet desde su teléfono, con una caja de comida para llevar en una mano y los rascacielos de fondo. Lleva una camiseta beige, tiene el pelo corto y oscuro, una expresión juvenil y una amplia sonrisa. Dice que está en camino a su casa y que volverá a llamar. Diez minutos más tarde, Spero reaparece. Lleva toda la mañana haciendo entrevistas de trabajo. En julio, Pangram recaudó 9 millones de dólares y anunció el lanzamiento de su nuevo modelo, el Pangram 4. La página web de la empresa muestra seis nuevas ofertas de empleo, lo que supondría un aumento de la plantilla del 25%.
Le pregunto a Spero por su infancia en California, la pregunta le incomoda. Hablar de los matices de la tecnología de Pangram le resulta más natural que responder a preguntas personales, o hablar de la implicación de la empresa en escándalos literarios. Spero da un bocado y dice que se crió en La Crescenta, un barrio residencial de Los Ángeles. Le encantaba programar y se unió al equipo de robótica de su colegio. Mientras estudiaba en Stanford, conoció a Bradley Emi, cofundador de Pangram.
Tras terminar la carrera, Spero se incorporó a Google, donde trabajó en FLoC, una tecnología diseñada para sustituir las cookies de terceros agrupando a los usuarios de Chrome según sus intereses. Más tarde, Spero trabajó para la empresa de vehículos autónomos Nuro, mientras que Emi pasó por Tesla y la empresa de biotecnología especializada en IA Absci. Tras el lanzamiento de ChatGPT en 2022, el dúo vio una oportunidad para hacer frente a un futuro repleto de contenido generado por IA.
En 2023, fundaron Checkfor.ai, empresa que un año más tarde pasó a llamarse Pangram. Para entonces, al menos una docena de empresas más se disputaban el mercado de la detección de plagio, entre ellas Originality.ai, GPTZero y Turnitin; Pangram obtuvo buenos resultados en algunas de las primeras pruebas independientes y se situó como uno de los principales competidores.
A medida que avanza nuestra entrevista, las respuestas de Spero parecen titubeantes, con pausas y reinicios, y no solo porque esté comiendo. Le pregunto por su filosofía de contratación. Transcurren quince largos segundos de silencio. Finalmente, vuelve a mirarme y dice: "La gente que trabaja en Pangram está aquí porque le importa la misión".
Para detectar la IA, Pangram utiliza un método denominado "reflejo sintético", mediante el cual toma textos escritos por humanos y hace que los LLM generen una réplica muy parecida. Esto enseña a su modelo cómo escribe la IA. Pangram también utiliza la 'hard negative mining' (minería de negativos duros), que consiste en buscar en los conjuntos de datos falsos positivos que pueda reflejar sintéticamente y utilizar para ampliar su conjunto de entrenamiento.
"Todos nuestros conjuntos de datos cuentan con las licencias adecuadas, algo que es poco habitual en el mundo actual de la IA", esboza Spero, aunque eso se debe a que el producto de Pangram consume muchos menos datos que ChatGPT o Claude. "No quiero criticar a las empresas de IA, pero creo que han perdido mucha confianza, especialmente en el mundo de los creativos". Pangram presta servicio a varios sectores, entre ellos la educación, el ámbito jurídico y la selección de personal, pero la escritura creativa constituye el segmento más importante del texto de entrenamiento.
La historia de The Shy Girl expuso Pangram al mundo
Spero ya había señalando casos sospechosos de escritura generada por IA en sus redes, así que no fue una sorpresa que, en enero, lo etiquetaran en una publicación de Reddit y, posteriormente, le enviaran un PDF del manuscrito de Ballard. "Lo introduje en Pangram, lo publiqué y, más tarde, New York Times me pidió declaraciones. Creo que la gente exagera la importancia de Pangram en la historia de Shy Girl". Como en un juego de teléfono descompuesto por escándalos de IA, fue un ejecutivo de cuentas de Pangram quien habló de la historia con un analista de la industria editorial, quien a su vez la llevó al Times.
Otro giro inesperado: los críticos de Pangram, incluido el proyecto de investigación The Drey Dossier, señalaron que la copia del manuscrito de Spero provenía de un sitio web de piratería. Cuando le pregunto a Spero sobre esto, contesta: "Sí. No lo revisé con mucho cuidado. No leí el PDF completo. Simplemente lo introduje directamente en Pangram".
Desde entonces, la empresa no ha estado al margen de la polémica. Después de que Pangram atribuyera una alta probabilidad de uso de IA al ganador del Premio de Cuento Corto de la Commonwealth, la compañía analizó a todos los ganadores desde 2012 y señaló otros tres posibles casos. Aun así, Spero minimiza el papel de Pangram, especialmente en los contratos editoriales que terminaron cancelándose. "Que yo sepa, en ninguno de los contratos editoriales la puntuación de Pangram ha sido realmente el tema central. Forma parte del asunto, pero si hablas con cualquiera de los implicados, verás que es solo una pieza pequeña de un panorama mucho más amplio".
La conversación pasa entonces a la integración de Pangram con Substack. Spero sostiene que los autores no deberían temer revelar el uso de IA si su trabajo tiene calidad y la gente quiere leerlo. "Si el valor de tu trabajo depende de engañar al lector para que crea que no fue escrito por IA, entonces eso va a ser un problema".
Substack no ha querido confirmar ningún detalle concreto sobre la estructura de su colaboración con Pangram ni si Substack paga a la empresa por cada análisis. "La filosofía de Substack no es anti-IA. Simplemente creemos que deberías saber lo que estás consumiendo", me dice un representante. Algunos autores se muestran desconfiados. Existe la sensación, me comenta uno de ellos, de que toda una carrera puede quedar destruida con solo pulsar un botón.
Documentos desclasificados revelan detalles sobre el Proyecto Panamá: libros comprados, desmembrados y digitalizados para entrenar IA. Un método para eludir las leyes de derechos de autor.
La edición de libros se ha tardado en aceptar la IA
Aun así, la realidad es que un número cada vez mayor de autores, editoriales y agentes utiliza la IA. El año pasado, Gotham Ghostwriters encuestó a 1,481 escritores en activo y descubrió que el 61% utiliza herramientas de IA, mientras que el 7% afirmó haber publicado textos generados por IA. Cuando Tuhin Chakrabarty, profesor adjunto de informática en la Universidad de Stony Brook, utilizó Pangram a principios de este año para analizar 14,419 novelas autoeditadas, descubrió que casi el 20% presentaba puntuaciones sustanciales en la detección de IA. Su documento de trabajo ha sido ampliamente citado, y esos datos constituyeron la fuente original de las acusaciones contra Daggermouth.
Me puse en contacto con las cinco grandes editoriales para preguntarles si utilizan herramientas de detección de IA. Simon & Schuster y HarperCollins se negaron a hacer comentarios; Hachette y Macmillan no respondieron. Un portavoz de Penguin Random House confirmó que sus editores pueden utilizar herramientas homologadas de detección de IA "como un medio adicional para identificar posibles contenidos generados por IA", pero que "no son determinantes y solo constituyen un componente más de un proceso editorial más amplio". Algunos agentes también utilizan la detección, y por cada acuerdo editorial que se hace público, otros se descartan discretamente entre bastidores.
Quería conocer la perspectiva de Chakrabarty. Se enteró de la existencia de Pangram por primera vez a través de una de las publicaciones de Spero a finales de 2024. Tras registrarse, Spero le envió créditos para la API. Desde entonces, los dos se han convertido en grandes amigos, me cuenta Chakrabarty, y Pangram ha seguido proporcionándole créditos para apoyar su investigación. Chakrabarty publica los resultados de Pangram en las redes sociales y defiende regularmente a la empresa. Afirma que se ha reunido con editoriales para hablar sobre la detección a raíz de los escándalos relacionados con la IA. "Pangram no debería ser el criterio definitivo".
Chakrabarty también mantiene una relación con Todd Shuster, codirector ejecutivo de Aevitas, una de las principales agencias literarias de Nueva York. Chakrabarty animó a Shuster a reunirse con Pangram. "Resultó ser una herramienta muy útil desde el primer momento. Mantuvimos conversaciones difíciles con los autores, porque Pangram revelaba que sus obras estaban escritas, entre un 50% y un 95% por IA", cuenta Shuster.
Shuster utiliza ahora Pangram para analizar manuscritos y propuestas editoriales. También trabaja como asesor de Pangram, una función que incluye servir de enlace entre Pangram y las editoriales. Cuando se confronta a los autores, Shuster afirma que algunos se ponen a la defensiva o parecen mentir, mientras que otros son sinceros sobre su uso de la IA. Shuster afirma que ha pedido a los autores que reescriban sus obras con su propia voz e ideas.
Útil pero con falsos negativos
Los críticos señalan dos problemas principales con Pangram: el daño que pueden causar los falsos positivos y los posibles sesgos de su sistema de aprendizaje automático. Un estudio encontró que estos detectores eran más propensos a identificar como generados por IA los textos de personas cuyo idioma materno no es el inglés. Algunos escritores neurodivergentes también han denunciado que sus patrones de escritura son señalados con mayor frecuencia.
Las tres novelas mencionadas, Shy Girl, Daggermouth y Call Me, protagonistas de algunos de los mayores escándalos de detección de IA en el mundo editorial, fueron escritas por autores de color. WIRED se puso en contacto con ellos: dos no respondieron y uno prefirió no hacer comentarios por motivos legales.
"Como agente afroamericana, creo que realmente debemos prestar atención a algunas de las desigualdades existentes en el sector", afirma Regina Brooks, presidenta de la Asociación de Agentes Literarios Estadounidenses. A fin de cuentas, decidir qué obras se analizan y a quién se acusa es un proceso intrínsecamente humano y, por lo tanto, vulnerable a los sesgos.
En algunos casos en los que los escritores han afirmado que su obra fue señalada erróneamente como generada por IA, Spero ofrece una recompensa en efectivo si pueden demostrar que la escribieron ellos mismos. Hasta ahora nadie ha aceptado la oferta.
"Por supuesto, se puede engañar a Pangram", destaca Chakrabarty. Algunos autores han retocado el texto o han escrito imitando el estilo de la IA para obtener resultados falsos. Un nuevo documento de trabajo de Notre Dame, titulado Why AI Detection Fails for Academic Integrity (Por qué falla la detección de IA en materia de integridad académica), señala que el modelo 3.2 de Pangram identificó una ligera edición con IA en resúmenes académicos como texto generado por IA entre el 64% y el 80% de las veces. Sin embargo, tras pasar el texto generado por IA por un "humanizador", una herramienta que hace que el trabajo de la IA parezca más humano, Pangram detectó la escritura generada por IA en menos del 4% de los casos.
Pangram sí revela que su herramienta funciona peor con fragmentos de texto más cortos, especialmente con aquellos de menos de 100 palabras. Esto supone un inconveniente, teniendo en cuenta que el servicio gratuito de Pangram ofrece un número limitado de créditos al día, que suman un total de unas 2,000 palabras. La mediana de entrada es de 350 palabras. La empresa también reconoce que un pasaje idéntico puede recibir resultados diferentes dependiendo de si se analiza por sí solo o dentro de un contexto más amplio, que es precisamente lo que podría ocurrir si se copia y pega un breve fragmento de una novela.
Pangram afirma que los falsos positivos solo se producen en el 0.0041% de los casos con su nuevo modelo, una mejora respecto a la tasa del 0.01% comunicada anteriormente. Si un texto se encuentra en el límite, la herramienta peca de cautelosa y lo declara escrito por un humano. Esto explica la baja tasa de falsos positivos y significa que es más probable que los textos generados por IA pasen desapercibidos. Según las mediciones de Pangram, los ensayos escritos por humanos que han sido reescritos en gran medida por IA siguen detectándose como escritos por humanos en el 41.37% de los casos.
Desde las imágenes generadas por IA hasta los datos restringidos de satélites, los sistemas utilizados para verificar lo que es real en internet están luchando por mantenerse al día.
¿Quiénes trabajan en Pangram?
Por ahora, el pequeño equipo de Spero incluye a antiguos docentes y a un antiguo profesional del mundo editorial. Un portavoz de Pangram también señala que uno de los investigadores tiene una licenciatura en literatura inglesa. Ha habido indicios de que se están gestando demandas por difamación por parte de autores acusados, pero, cuando se le pregunta sobre posibles demandas, Spero dice: "No creo que haya llegado a producirse nada. Nuestra estrategia consiste en generar confianza a través de la transparencia, ser lo más abiertos posible e interactuar con la comunidad en línea". Tiene previsto seguir publicando informes técnicos sobre los modelos y el entrenamiento de Pangram.
La intención de Pangram es extraer todos los matices, variables e incógnitas de una comunicación y convertirlos en un número. No obstante, los seres humanos son mucho más ambiguos que eso.
Artículo originalmente publicado en WIRED.com Adaptado por Alondra Flores.