Vulnerabilidad de Memoria de ChatGPT: Un Riesgo de Seguridad Potencial

ArsTechnica (AT) informó el martes sobre un estudio que muestra una vulnerabilidad en el ChatGPT de OpenAI que permitía a los atacantes manipular las memorias a largo plazo de los usuarios simplemente haciendo que la IA visualizara un enlace web malicioso, el cual luego enviaba todas las interacciones con ChatGPT al sitio web del atacante.

El investigador de seguridad Johann Rehberger demostró este fallo a través de una Prueba de Concepto (PoC), mostrando cómo la vulnerabilidad podría ser explotada para exfiltrar datos de la memoria a largo plazo de ChatGPT.

Rehberger descubrió que la función de memoria a largo plazo de ChatGPT era vulnerable. Esta función ha estado ampliamente disponible desde septiembre.

La vulnerabilidad involucra una técnica conocida como “inserción de indicaciones”. Esta técnica hace que los modelos de lenguaje de gran tamaño (LLMs) como ChatGPT sigan instrucciones incrustadas en fuentes no confiables, como correos electrónicos o sitios web.

El exploit PoC apuntó específicamente a la aplicación ChatGPT para macOS, donde un atacante podría alojar una imagen maliciosa en un enlace web e instruir a la IA para que la visualice.

Una vez que se accedió al enlace, todas las interacciones con ChatGPT se transmitieron al servidor del atacante.

Según AT, Rehberger encontró este defecto en mayo, poco después de que OpenAI comenzara a probar la función de memoria, que almacena detalles del usuario como la edad, el género y las creencias para usarlos en interacciones futuras.

Aunque informó privadamente sobre la vulnerabilidad, OpenAI inicialmente la clasificó como un “problema de seguridad” y cerró el informe.

En junio, Rehberger presentó una revelación de seguimiento, incluyendo el exploit de PoC que permitió la exfiltración continua de la entrada del usuario a un servidor remoto, lo que provocó que los ingenieros de OpenAI emitieran una solución parcial.

Aunque la reciente solución impide este método específico de exfiltración de datos, Rehberger advierte que las inyecciones rápidas aún pueden manipular la herramienta de memoria para almacenar información falsa plantada por los atacantes.

Se aconseja a los usuarios que supervisen sus memorias almacenadas en busca de entradas sospechosas o incorrectas y que revisen regularmente sus ajustes.

OpenAI ha proporcionado directrices para gestionar y eliminar recuerdos o desactivar completamente la función de memoria.

La compañía aún no ha respondido a las consultas sobre medidas más amplias para prevenir ataques similares en el futuro.

Los hallazgos de Rehberger resaltan los posibles riesgos de la memoria a largo plazo en los sistemas de inteligencia artificial, especialmente cuando son vulnerables a inyecciones de comandos y manipulación.