The Guardian Muestra que el Texto Oculto Puede Manipular los Resultados de Búsqueda de ChatGPT

El periódico británico The Guardian reveló que los motores de búsqueda impulsados por inteligencia artificial pueden ser manipulados por sitios web con contenido oculto.

En una prueba utilizando la función de motor de búsqueda ChatGPT de OpenAI, los investigadores pidieron un resumen de un sitio web falso que contenía información malintencionada para alterar la respuesta de la IA—una vulnerabilidad conocida como inyección de indicación— y la IA fue susceptible a ella, incluso favoreciendo las instrucciones de terceros.

Para demostrar esto, el equipo de The Guardian consideró una página de producto de cámara ficticia en un sitio web, que presentaba buenas y malas críticas, con instrucciones ocultas para dar una crítica positiva e ignorar las malas críticas. En su resumen, ChatGPT incluyó solo críticas positivas. También demostraron que la IA puede devolver códigos maliciosos.

“La simple inclusión de texto oculto por terceros sin instrucciones también puede ser utilizado para asegurar una valoración positiva, con una prueba que incluye críticas falsas extremadamente positivas que influyeron en el resumen devuelto por ChatGPT”, escribió el periódico.

Una investigadora de ciberseguridad en CyberCX, Jacob Larsen, dijo que esta vulnerabilidad podría ser de “alto riesgo” ya que las personas podrían crear sitios web específicamente para engañar a los usuarios, especialmente una vez que llegue a un público más amplio. OpenAI fue advertido sobre este riesgo de seguridad.

La revista también destacó el caso de un entusiasta de las criptomonedas que utilizó ChatGPT para escribir el código de un proyecto cripto y robó sus credenciales, haciendo que el programador perdiera más de $2,000.

“Simplemente están haciendo una pregunta, recibiendo una respuesta, pero el modelo está produciendo y compartiendo contenido que básicamente ha sido inyectado por un adversario para compartir algo que es malicioso”, dijo Larsen.

OpenAI advierte sobre posibles errores y fallos en su uso, pero los investigadores están preocupados por las futuras prácticas web con motores de búsqueda impulsados por IA.