La Nueva Herramienta del MIT Mejora la Verificación de las Respuestas del Modelo de IA

Investigadores del MIT han anunciado recientemente el desarrollo de SymGen, una herramienta destinada a mejorar el proceso de verificación de las respuestas generadas por los grandes modelos de lenguaje (LLMs). Este sistema permite a los usuarios rastrear los datos a los que hace referencia la IA, aumentando potencialmente la fiabilidad de sus resultados.

Los LLMs, a pesar de sus avanzadas capacidades, a menudo producen información inexacta o no respaldada, un fenómeno conocido como “alucinación”.

Esto presenta desafíos en campos de alta importancia como la salud y las finanzas, donde a menudo se necesitan verificadores humanos para validar la información generada por la IA. Los métodos de verificación tradicionales pueden ser tediosos y propensos a errores, ya que requieren que los usuarios naveguen por documentos extensos, como se señaló en el anuncio.

Esto es particularmente relevante dado el creciente protagonismo de la IA en la medicina. Por ejemplo, la NHS ha recibido recientemente la aprobación para empezar a utilizar la tecnología de IA para mejorar la detección de fracturas en las radiografías.

SymGen aborda estos desafíos permitiendo que los LLM generen respuestas con citas directas al material fuente, como celdas específicas en una base de datos, según lo informado en el comunicado de prensa del MIT.

Los usuarios pueden pasar el cursor sobre el texto resaltado en la respuesta de la IA para acceder rápidamente a los datos subyacentes que informaron esa parte del texto. Esta característica tiene como objetivo ayudar a los usuarios a identificar qué segmentos de la respuesta requieren una verificación adicional.

Shannon Shen, estudiante de posgrado en ingeniería eléctrica y ciencias de la computación, y coautora principal del estudio sobre SymGen, declaró en el comunicado de prensa, “Damos a las personas la capacidad de enfocarse selectivamente en partes del texto que necesitan preocuparles más.”

Esta capacidad tiene como objetivo mejorar la confianza del usuario en los resultados del modelo al permitir un examen más detallado de la información presentada.

El estudio de usuarios indicó que SymGen reducía el tiempo de verificación en aproximadamente un 20% en comparación con los procedimientos estándar. Esta eficiencia podría ser beneficiosa en diversos contextos, incluyendo la generación de notas clínicas y la elaboración de resúmenes de informes financieros.

Los sistemas de verificación actuales a menudo consideran la generación de citas como un pensamiento secundario, lo que puede llevar a ineficiencias. Shen señaló que, aunque la IA generativa está destinada a agilizar las tareas de los usuarios, los engorrosos procesos de verificación socavan su utilidad.

La herramienta funciona requiriendo que los usuarios proporcionen datos en un formato estructurado, como una tabla con estadísticas relevantes. Antes de generar una respuesta, el modelo crea una representación simbólica, vinculando segmentos de texto a sus datos de origen.

Por ejemplo, cuando se menciona a los “Portland Trail Blazers”, el modelo cita la celda correspondiente en la tabla de entrada, permitiendo a los usuarios rastrear el origen de la información, como se señala en el comunicado de prensa.

Sin embargo, el artículo señala que la eficacia de SymGen depende de la calidad de los datos de origen. Si el modelo hace referencia a variables incorrectas, es posible que los verificadores humanos no detecten estos errores.

Actualmente, el sistema se limita a datos tabulares, pero el equipo de investigación está trabajando en ampliar sus capacidades para manejar varios formatos de texto y tipos de datos. Los planes futuros incluyen probar SymGen en entornos clínicos para evaluar su potencial en la identificación de errores en resúmenes médicos generados por IA.

Esta investigación tiene como objetivo contribuir al esfuerzo continuo por mejorar la fiabilidad y la rendición de cuentas de las tecnologías de IA a medida que se integran cada vez más en diversos campos.