El Estudio No Encuentra Pruebas de Habilidades Emergentes Peligrosas en Grandes Modelos de Lenguaje

Un estudio anunciado ayer por la Universidad de Bath afirma que los modelos de lenguaje a gran escala (LLMs) no representan una amenaza existencial para la humanidad. La investigación sostiene que estos modelos no pueden aprender o adquirir nuevas habilidades de forma independiente, lo que los mantiene controlables y seguros.

El equipo de investigación, dirigido por la profesora Iryna Gurevych, realizó más de 1,000 experimentos para probar la capacidad de los LLMs para habilidades emergentes: tareas y conocimientos no programados explícitamente en ellos. Sus hallazgos muestran que lo que se percibe como habilidades emergentes en realidad resulta del uso de aprendizaje en contexto de los LLMs, en lugar de cualquier forma de aprendizaje o razonamiento independiente.

El estudio indica que, mientras que los LLM son proficientes en el procesamiento del lenguaje y en seguir instrucciones, carecen de la capacidad para dominar nuevas habilidades sin una guía explícita. Esta limitación fundamental significa que estos modelos siguen siendo controlables, predecibles e inherentemente seguros. A pesar de su creciente sofisticación, los investigadores argumentan que es poco probable que los LLM desarrollen habilidades de razonamiento complejo o emprendan acciones inesperadas.

Dr. Harish Tayyar Madabushi, coautor del estudio, declaró en el anuncio de la Universidad de Bath, “La narrativa predominante de que este tipo de IA es una amenaza para la humanidad impide la adopción y desarrollo generalizados de estas tecnologías, y también desvía la atención de los problemas genuinos que requieren nuestro enfoque”

La Dra. Tayyar Madabushi recomienda centrarse en los riesgos reales, como el posible mal uso de las LLMs para generar noticias falsas o cometer fraude. Advierte contra la promulgación de regulaciones basadas en amenazas especulativas e insta a los usuarios a especificar claramente las tareas para las LLMs y a proporcionar ejemplos detallados para garantizar resultados eficaces.

La profesora Gurevych señaló en el anuncio, “Nuestros resultados no significan que la IA no sea una amenaza en absoluto. Más bien, demostramos que la supuesta aparición de habilidades de pensamiento complejo asociadas con amenazas específicas no está respaldada por evidencia y que podemos controlar muy bien el proceso de aprendizaje de las LLMs después de todo. Por lo tanto, las investigaciones futuras deberían centrarse en otros riesgos que plantean los modelos, como su potencial para ser utilizados para generar noticias falsas.”

Las investigadoras reconocen varias limitaciones en su estudio. Probaron varios modelos, incluyendo T5, GPT, Falcon y LLaMA, pero no pudieron igualar exactamente el número de parámetros debido a las diferencias en los tamaños de los modelos al momento de su lanzamiento. También consideraron el riesgo de fuga de datos, donde la información proveniente de los datos de entrenamiento podría afectar inadvertidamente los resultados. Aunque asumen que este problema no ha ido más allá de lo que se informa para modelos específicos, la fuga de datos aún podría impactar el rendimiento.