El MIT Revela que los LLMs Pueden Desarrollar su Propia Comprensión de la Realidad

Investigadores del MIT han descubierto que los grandes modelos de lenguaje (LLM, por sus siglas en inglés) pueden crear sus propias representaciones internas de la realidad. Al entrenar un LLM en rompecabezas, se reveló que el modelo desarrolló una comprensión del entorno del rompecabezas por sí mismo, sin instrucción explícita. La investigación fue reportada ayer por MIT News.

Para probar esto, los investigadores utilizaron rompecabezas de Karel—tareas que implican dar instrucciones a un robot en un entorno simulado. Después de entrenar el modelo con más de 1 millón de estos rompecabezas, descubrieron que el LLM no solo mejoró en la generación de instrucciones correctas, sino que también pareció desarrollar una simulación interna del entorno del rompecabezas.

Charles Jin, el autor principal del estudio, explicó: “Al inicio de estos experimentos, el modelo de lenguaje generaba instrucciones aleatorias que no funcionaban. Al final de la capacitación, nuestro modelo de lenguaje generaba instrucciones correctas en un 92.4 por ciento de los casos.”

Este modelo interno, descubierto utilizando una técnica de aprendizaje automático llamada “sondeo”, reveló un modelo interno de cómo el robot respondía a las instrucciones, sugiriendo una forma de comprensión más allá de la sintaxis.

La sonda fue diseñada simplemente para “mirar dentro del cerebro de un LLM”, como dice Jin, pero había una posibilidad de que pudiera haber influido en el pensamiento del modelo.

Jin explica, “La sonda es como un analista forense: Le entregas este montón de datos al analista y le dices, ‘Aquí está cómo se mueve el robot, ahora intenta encontrar los movimientos del robot en el montón de datos’. El analista luego te dice que sabe lo que está sucediendo con el robot en el montón de datos.”

Jin añade, “Pero, ¿y si el montón de datos simplemente codifica las instrucciones puras y el analista ha encontrado alguna manera ingeniosa de extraer las instrucciones y seguirlas en consecuencia? Entonces, el modelo de lenguaje realmente no ha aprendido en absoluto lo que significan las instrucciones.”

Para probar esto, los investigadores llevaron a cabo un experimento de “Mundo Bizarro”, en el que los significados de las instrucciones se invirtieron. En este escenario, la sonda tuvo dificultades para interpretar las instrucciones alteradas, lo que sugiere que el LLM había desarrollado su propia comprensión semántica de las instrucciones originales.

Estos resultados desafían la visión predominante de que los LLM son simplemente máquinas sofisticadas de coincidencia de patrones. En cambio, sugiere que estos modelos podrían estar desarrollando una comprensión más profunda y matizada del lenguaje y del mundo que representa.

Un estudio de la Universidad de Bath a principios de esta semana indicó que los LLM son excelentes en el procesamiento de lenguaje, pero luchan con la adquisición independiente de habilidades. Esto reforzó la idea de la predictibilidad de los LLM. Sin embargo, la investigación del MIT ofrece una perspectiva contrastante.

Aunque los resultados del MIT parecen prometedores, los investigadores señalan algunas limitaciones. Específicamente, Jin reconoce que utilizaron un lenguaje de programación muy simple y un modelo relativamente pequeño para obtener sus percepciones.

En conclusión, aunque los resultados del MIT son alentadores, los investigadores advierten que se necesita más investigación para entender completamente las implicaciones.