Cómo detectar si un texto ha sido escrito por una IA y cómo se intenta evadir la detección

Un artículo de Diario de Ibiza, firmado por Javier Arroyo Gallardo, profesor titular de Ciencias de la Computación en la Universidad de Alcalá, explica si es posible identificar textos generados por inteligencia artificial y qué técnicas se usan para camuflarlos. El punto de partida es el caso del escritor Thélyson Orélien, cuya novela superventas fue retirada de un certamen literario por sospechas de haber sido escrita con IA, después de que la aplicación Pangram, considerada el «estándar de referencia» entre los detectores, diera positivo.

El autor recuerda que una IA genera el texto token a token, es decir, fragmentos que pueden ser palabras, partes de palabras, signos de puntuación o espacios. Para ello calcula las palabras posibles con sus probabilidades, sortea una y repite el proceso. Como esas probabilidades dependen de la frecuencia en los datos de entrenamiento, y el modelo está optimizado para ser claro y didáctico, su escritura tiende a ser neutra y expositiva, con vocabulario común, muletillas como «realmente» o «fundamental» y fórmulas recurrentes como «en resumen» o «no solo… sino también».

Estos rasgos permiten aplicar la estilometría, que mide características estilísticas del texto, y el cálculo de la perplejidad, que evalúa lo sorprendente que resulta una secuencia para un modelo generador. Según el artículo, la perplejidad es más fiable en textos largos y tiende a ser uniforme en los textos generados por IA, mientras que en los humanos presenta mucha más variabilidad.

El texto también señala que usar modelos comerciales generalistas para detectar IA da malos resultados, mientras que los detectores entrenados específicamente para esta tarea, como Pangram, son la mejor opción actual. Aun así, ningún sistema es infalible. Entre las maniobras de camuflaje se citan pedir a la IA que escriba con un rol determinado, evitar palabras de una lista negra, reescribir fragmentos a mano o parafrasear repetidamente, lo que reduce sensiblemente la eficacia de los detectores, así como traducir el texto a otro idioma y volver a traducirlo.

Por último, el estudio citado indica que las personas sin familiaridad con la escritura de la IA fallan mucho y tienden a exceso de confianza, mientras que los expertos son difíciles de engañar, y que el veredicto combinado de varios expertos iguala los resultados de Pangram. El autor concluye que la carrera entre detección y camuflaje continuará, y que los lectores seguirán buscando la voz humana tras el texto.

Información elaborada a partir de Diario de Ibiza.