¿Puede la IA Revisar la Literatura Científica?

La IA está avanzando en el campo de la síntesis de investigación, pero los expertos están divididos sobre su capacidad para analizar y resumir completamente el vasto panorama de la literatura científica, según se informó el miércoles en una revisión literaria publicada en Nature.

El artículo de Helen Pearson explora cómo esta tecnología parece tener un inmenso potencial para agilizar las revisiones científicas, sin embargo, aún quedan desafíos significativos.

Sam Rodriques, ex estudiante de neurobiología y director en la startup estadounidense FutureHouse, está entre aquellos que impulsan el uso de la IA para abordar la literatura científica, según se informó en Nature.

En septiembre, su equipo lanzó un sistema basado en IA que, en cuestión de minutos, creó resúmenes sobre miles de genes humanos, completando detalles que anteriormente no se habían registrado.

Esta herramienta, llamada PaperQA2, ha demostrado ser prometedora en la generación de resúmenes que a veces superan en precisión al contenido escrito por humanos, según las primeras pruebas, tal como se informó en Nature.

El atractivo de la IA para la revisión de literatura es claro. Las revisiones de investigación tradicionales, a menudo largas y que consumen mucho tiempo, pueden tardar años en completarse y corren el riesgo de estar desactualizadas para cuando se publican.

La IA, particularmente los grandes modelos de lenguaje (LLM) como ChatGPT, ofrece la posibilidad de recopilar datos rápidamente y resumir información de vastas bases de datos, aliviando la carga de los investigadores, según se señala en Nature.

A pesar de estos avances, las revisiones basadas en IA están lejos de reemplazar completamente las revisiones sistemáticas lideradas por humanos, que implican criterios rigurosos para evaluar estudios y sintetizar resultados, señala Pearson.

Herramientas como Consensus y Elicit, motores de búsqueda impulsados por inteligencia artificial, permiten a los investigadores filtrar y resumir artículos académicos, proporcionando una primera capa de información.

Sin embargo, están limitados en su capacidad para realizar revisiones exhaustivas y de oro. Paul Glasziou, un especialista en revisiones sistemáticas de la Universidad Bond, sugiere que la automatización completa de estas revisiones podría estar todavía a décadas de distancia, según lo informado por Pearson.

El artículo explica cómo las limitaciones de la IA suscitan preocupaciones sobre la precisión y la transparencia. Los LLM, por ejemplo, pueden generar contenido que carece de contexto o tergiversa los datos, a menudo extrayendo de fuentes poco fiables sin evaluar la calidad de la información.

Además, son propensos a “alucinar” errores: crean referencias o puntos de datos que no existen.

Para mitigar esto, algunos sistemas permiten a los usuarios subir documentos específicos a un LLM, que luego puede basar su análisis solo en las fuentes subidas, reduciendo las inexactitudes pero sin eliminarlas por completo, dice Pearson.

Los críticos advierten que la IA podría inundar el panorama científico con resúmenes de baja calidad o incluso engañosos. James Thomas del University College London advierte que las revisiones mal ejecutadas podrían socavar años de prácticas basadas en evidencia, como se señala en Nature.

Finalmente, aunque la IA ofrece una herramienta prometedora para acelerar el proceso de revisión, los expertos enfatizan la necesidad de una supervisión rigurosa y transparencia si realmente va a mejorar la comprensión científica.