Investigadores del MIT desarrollan “ContextCite” para verificar contenido generado por IA

Investigadores del Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL) del MIT han anunciado ContextCite, una herramienta destinada a mejorar la confiabilidad del contenido generado por IA.

Al rastrear las fuentes de las que dependen los sistemas de IA e identificar los orígenes de posibles errores, ContextCite ofrece una nueva forma de evaluar la confiabilidad de los grandes modelos de lenguaje (LLMs).

Los sistemas de IA a menudo generan respuestas utilizando fuentes externas, pero también pueden producir errores o fabricar información por completo. ContextCite aborda esto resaltando las partes exactas de una fuente que influyeron en la respuesta de una IA.

Por ejemplo, si un asistente afirma incorrectamente que un modelo tiene 1 billón de parámetros basándose en un contexto mal interpretado, ContextCite ayuda a identificar la frase específica que contribuyó al error.

Ben Cohen-Wang, estudiante de doctorado en el MIT y principal investigador, explica en el comunicado de prensa del MIT: “Los asistentes de IA pueden ser muy útiles para sintetizar información, pero aún cometen errores.”

“Los asistentes de IA existentes a menudo proporcionan enlaces a las fuentes, pero los usuarios tendrían que revisar tediosamente el artículo ellos mismos para detectar cualquier error. ContextCite puede ayudar a encontrar directamente la frase específica que un modelo utilizó, facilitando la verificación de afirmaciones y la detección de errores”, añadió.

La herramienta utiliza “ablaciones de contexto”, un método donde se eliminan sistemáticamente partes del contexto externo para determinar qué secciones fueron críticas para la respuesta de la IA. Este enfoque permite a los investigadores identificar de manera eficiente el material fuente más relevante sin un análisis exhaustivo.

ContextCite tiene aplicaciones más amplias, incluyendo la mejora de la precisión de las respuestas al eliminar información irrelevante y la detección de “ataques de envenenamiento”. Estos ataques implican la inserción de declaraciones engañosas en fuentes que parecen creíbles para manipular los resultados de la IA.

La herramienta puede rastrear respuestas erróneas hasta sus orígenes, lo que podría mitigar la propagación de información errónea.

A pesar de su potencial, los investigadores dicen que ContextCite tiene limitaciones. El sistema actual requiere múltiples pasadas de inferencia, lo que puede ralentizar su aplicación. Además, la interdependencia de las frases en textos complejos puede dificultar la tarea de aislar influencias específicas.

Las investigadoras están trabajando en perfeccionar la herramienta para abordar estos desafíos y optimizar sus procesos.

Harrison Chase, CEO de LangChain, ve la herramienta como significativa para los desarrolladores que construyen aplicaciones LLM. Señaló que verificar si los resultados están realmente basados en datos es una tarea crítica pero que consume muchos recursos, y herramientas como ContextCite podrían simplificar este proceso.

Aleksander Madry, investigador principal de CSAIL, enfatizó la importancia de los sistemas de IA confiables. ContextCite representa un enfoque para abordar esta necesidad, particularmente a medida que la IA sigue desempeñando un papel central en el procesamiento y la síntesis de información.