La IA se enfrenta a una crisis de datos: Musk advierte sobre el agotamiento del conocimiento humano

Las empresas de inteligencia artificial han agotado el conocimiento humano disponible para entrenar sus modelos, reveló Elon Musk durante una entrevista transmitida en vivo, según informó The Guardian.

El multimillonario sugirió que las empresas deben depender cada vez más de los datos “sintéticos”, contenido generado por la propia IA, para desarrollar nuevos sistemas, un método que ya está ganando terreno. “La suma acumulativa del conocimiento humano se ha agotado en el entrenamiento de la IA. Eso sucedió básicamente el año pasado”, dijo Musk, según lo informado por The Guardian.

Esto está destinado a marcar un desafío significativo para modelos de IA como GPT-4, que dependen de enormes conjuntos de datos obtenidos de internet para identificar patrones y predecir resultados de texto.

Musk, quien fundó xAI en 2023, destacó los datos sintéticos como la solución principal para avanzar en la IA. Sin embargo, advirtió sobre los riesgos asociados con la práctica, particularmente las “alucinaciones” de la IA, donde los modelos generan información inexacta o sin sentido, según lo informado por The Guardian.

The Guardian señala que las principales empresas tecnológicas, incluyendo Meta y Microsoft, han adoptado datos sintéticos para sus modelos de IA, como Llama y Phi-4. Google y OpenAI también han incorporado este enfoque.

Por ejemplo, Gartner estima que el 60% de los datos utilizados para proyectos de IA y análisis en 2024 fueron generados sintéticamente, según informó TechCrunch.

Además, la formación con datos sintéticos ofrece un ahorro de costos significativo. TechCrunch señala que la startup de inteligencia artificial Writer afirma que su modelo Palmyra X 004, desarrollado utilizando casi exclusivamente fuentes sintéticas, costó solo $700,000 para crear.

En comparación, las estimaciones sugieren que un modelo de tamaño similar de OpenAI costaría alrededor de $4.6 millones para desarrollar, dijo TechCrunch. Sin embargo, aunque los datos sintéticos permiten la continua refinación del modelo, los expertos advierten sobre posibles desventajas.

The Guardian informó que Andrew Duncan, director de IA fundamental en el Instituto Alan Turing, señaló que la dependencia de los datos sintéticos corre el riesgo de un “colapso del modelo”, donde las salidas pierden calidad con el tiempo.

“Cuando empiezas a alimentar un modelo con cosas sintéticas, empiezas a obtener rendimientos decrecientes”, dijo Duncan, añadiendo que también podrían surgir sesgos y una reducción de la creatividad.

La creciente prevalencia de contenido generado por IA en línea plantea otra preocupación. Duncan advirtió que dicho material podría ingresar inadvertidamente a los conjuntos de datos de entrenamiento, agravando aún más los desafíos, según lo informado por The Guardian.

Duncan hizo referencia a un estudio publicado en 2022 que predijo que los datos de texto de alta calidad para el entrenamiento de la IA podrían agotarse para 2026 si las tendencias actuales persisten. Los investigadores también proyectaron que los datos de lenguaje de baja calidad podrían agotarse entre 2030 y 2050, mientras que los datos de imagen de baja calidad podrían agotarse entre 2030 y 2060.

Además, un estudio más reciente publicado en julio advierte que los modelos de IA corren el riesgo de degradarse a medida que los datos generados por la IA saturan cada vez más internet. Los investigadores encontraron que los modelos entrenados con resultados generados por la IA producen resultados sin sentido con el tiempo, un fenómeno denominado “colapso del modelo”.

Esta degradación podría ralentizar los avances de la IA, destacando la necesidad de fuentes de datos de alta calidad, diversas y generadas por humanos.

¡Mira la entrevista del CEO de Stagwell, Mark Penn, a Elon Musk en CES! https://t.co/BO3Z7bbHOZ

— Live (@Live) 9 de enero de 2025