Investigadoras Descubren Fallos de Seguridad en Modelos de IA y ML de Código Abierto

Una reciente investigación ha descubierto más de 30 fallos de seguridad en modelos de inteligencia artificial (IA) y aprendizaje automático (ML) de código abierto, lo que genera preocupación sobre posibles robos de datos y ejecuciones de código no autorizadas, según informa The Hacker News (THN).

Estas vulnerabilidades se encontraron en herramientas ampliamente utilizadas, incluyendo ChuanhuChatGPT, Lunary y LocalAI, y fueron reportadas a través de la plataforma de recompensas por errores Huntr de Protect AI, que incentiva a los desarrolladores a identificar y divulgar problemas de seguridad.

Entre las vulnerabilidades más graves identificadas, dos defectos principales afectan a Lunary, un kit de herramientas diseñado para gestionar grandes modelos de lenguaje (LLMs) en entornos de producción.

El primer defecto, CVE-2024-7474, se categoriza como una vulnerabilidad de Referencia Directa a Objetos Insegura (IDOR). Permite a un usuario con privilegios de acceso ver o eliminar los datos de otros usuarios sin autorización, lo que podría llevar a violaciones de datos y pérdidas de datos no autorizadas.

El segundo problema crítico, CVE-2024-7475, es una vulnerabilidad de control de acceso inadecuado que permite a un atacante actualizar la configuración de SAML (Security Assertion Markup Language) del sistema.

Al explotar esta falla, los atacantes pueden eludir la seguridad de inicio de sesión para obtener acceso no autorizado a datos personales, lo que representa riesgos significativos para cualquier organización que dependa de Lunary para la gestión de LLMs.

Se ha identificado otra debilidad de seguridad en Lunary, CVE-2024-7473, que también involucra una vulnerabilidad IDOR que permite a los atacantes actualizar las indicaciones enviadas por otros usuarios. Esto se logra manipulando un parámetro controlado por el usuario, lo que hace posible interferir con las interacciones de otros en el sistema.

En ChuanhuChatGPT, una vulnerabilidad crítica (CVE-2024-5982) permite a un atacante explotar un defecto de recorrido de ruta en la función de carga de usuario, como señaló THN.

Este defecto puede conducir a la ejecución arbitraria de código, la creación de directorios y la exposición de datos sensibles, presentando un alto riesgo para los sistemas que dependen de esta herramienta. LocalAI, otra plataforma de código abierto que permite a los usuarios ejecutar LLMs autoalojados, tiene dos defectos mayores que plantean riesgos de seguridad similares, dijo THN.

El primer defecto, CVE-2024-6983, permite la ejecución de código malicioso al permitir a los atacantes subir un archivo de configuración dañino. El segundo, CVE-2024-7010, permite a los hackers inferir claves API midiendo los tiempos de respuesta del servidor, utilizando un método de ataque de tiempo para deducir cada carácter de la clave gradualmente, señaló THN.

En respuesta a estos hallazgos, Protect AI introdujo una nueva herramienta llamada Vulnhuntr, un analizador de código estático de Python de código abierto que utiliza modelos de lenguaje amplios para detectar vulnerabilidades en bases de código de Python, según THN.

Vulnhuntr desglosa el código en fragmentos más pequeños para identificar fallas de seguridad dentro de las limitaciones de la ventana de contexto de un modelo de lenguaje. Escanea los archivos del proyecto para detectar y rastrear posibles debilidades desde la entrada del usuario hasta la salida del servidor, mejorando la seguridad para los desarrolladores que trabajan con código AI.

Estos descubrimientos resaltan la importancia crítica de la evaluación continua de vulnerabilidades y las actualizaciones de seguridad en los sistemas de IA y ML para protegerse contra las amenazas emergentes en el paisaje en constante evolución de la tecnología de IA.