IdeaLens analiza el origen de los argumentos para detectar textos creados con IA

Un equipo de investigadores ha desarrollado IdeaLens, un sistema que trata de determinar si las ideas de un texto proceden de una persona o de un modelo generativo de inteligencia artificial. La herramienta alcanzó una detección media del 91,1 % de los documentos creados por IA y registró un 0,6 % de falsos positivos en 19 evaluaciones externas.

A diferencia de los detectores centrados en la prosa, que buscan patrones en las palabras y el estilo, IdeaLens convierte los documentos en esquemas con ideas resumidas y clasificadas según su función. Después, un sistema de análisis estudia esa estructura y su contenido para estimar el origen de los argumentos. El estudio ha sido publicado en arXiv, según informa Science.

El sistema se entrenó con un millón de documentos de internet. Como los investigadores no disponían de ejemplos verificados sobre quién había concebido cada idea, utilizaron las etiquetas de origen humano o artificial proporcionadas por Pangram, un detector basado en la prosa.

Las pruebas con autoría mezclada ofrecieron resultados especialmente relevantes. Cuando modelos de IA redactaron textos a partir de planes humanos cada vez más detallados, la proporción de documentos clasificados como artificiales bajó del 94,9 % al 6,8 % a medida que aumentaba la aportación de la persona. En cambio, un detector tradicional siguió identificando como IA más del 86 % de esos textos.

En otro experimento, 50 relatos fueron escritos por personas a partir de esquemas extraídos de historias generadas por IA. IdeaLens clasificó como artificiales el 68 % de esos relatos, frente al 8 % detectado por un sistema similar centrado en la prosa. La herramienta también obtuvo resultados positivos con documentos en 24 idiomas, pese a haberse entrenado en inglés.

Los investigadores observaron que las ideas clasificadas como artificiales tendían a incluir cifras o métodos sin suficiente contexto y afirmaciones más amplias que las pruebas disponibles. Las consideradas humanas incorporaban con mayor frecuencia fuentes concretas, limitaciones y cuestiones abiertas. Los autores advierten, no obstante, de que son patrones estadísticos y que el sistema pierde rendimiento en paráfrasis exigentes. El avance, de interés también para el debate sobre la autoría en Palma y el resto de Baleares, centra la discusión en el origen intelectual de los argumentos y no solo en la huella lingüística.

Información elaborada a partir de Diario de Ibiza.