IdeaLens intenta detectar el origen de los argumentos, no solo el estilo

Un equipo de investigadores ha desarrollado IdeaLens, un sistema que trata de determinar si las ideas de un texto proceden de una persona o de un modelo de inteligencia artificial. La herramienta, descrita en un estudio publicado en arXiv, analiza la estructura y el contenido de los argumentos en lugar de centrarse directamente en las palabras empleadas.

El sistema convierte cada documento en un esquema formado por ideas resumidas y etiquetadas según su función, como presentar una afirmación o desarrollar un argumento. Después, reformula esas descripciones para reducir la coincidencia con el texto original y un clasificador estima su procedencia. El modelo se entrenó con un millón de documentos de internet y utilizó etiquetas de origen humano o artificial procedentes de Pangram, un detector centrado en la prosa.

En 19 evaluaciones externas, IdeaLens identificó una media del 91,1 % de los documentos creados por IA cuando tanto las ideas como la redacción eran artificiales. La tasa de falsos positivos fue del 0,6 %, es decir, esa proporción de textos humanos se clasificó por error como generada por una máquina. El sistema superó a otros detectores abiertos comparados en el estudio, aunque uno de sus competidores obtuvo menos falsos positivos.

Las pruebas con autoría mezclada mostraron resultados más complejos. Cuando los modelos redactaban documentos a partir de planes humanos cada vez más detallados, la proporción de textos clasificados como artificiales cayó del 94,9 % al 6,8 %. En cambio, otro detector tradicional siguió señalando como IA más del 86 % de esos textos. En una prueba con 50 relatos escritos por personas a partir de esquemas extraídos de historias generadas por IA, IdeaLens marcó como artificiales el 68 %, frente al 8 % de un detector de prosa similar.

El sistema también funcionó en una evaluación con documentos de 24 idiomas, pese a haber sido entrenado en inglés. El análisis de 90.000 predicciones observó que las ideas clasificadas como artificiales tendían a incluir cifras o métodos sin suficiente contexto y afirmaciones más amplias que las pruebas disponibles. Las consideradas humanas incorporaban con mayor frecuencia fuentes concretas, limitaciones y cuestiones abiertas.

Los investigadores advierten de que se trata de patrones estadísticos y no de reglas infalibles. El rendimiento cayó en una prueba de paráfrasis exigente y los relatos humanos basados en ideas artificiales también generaron errores. El estudio, difundido por Diario de Mallorca y de interés para el debate tecnológico que afecta también a Palma, plantea desplazar la discusión desde la huella lingüística hacia la procedencia intelectual de los argumentos.

Información elaborada a partir de Diario de Mallorca.