Padre Consternado Después de que un Chatbot de IA Imita a su Hija Asesinada

Ayer, The Washington Post informó acerca de un perturbador incidente que involucra a Drew Crecente, cuya hija asesinada, Jennifer, fue suplantada por un chatbot de AI en Character.AI.

Crecente descubrió una alerta de Google que lo condujo a un perfil con el nombre de Jennifer y su foto del anuario, describiéndola falsamente como una “periodista de videojuegos y experta en tecnología, cultura popular y periodismo”.

Para Drew, las inexactitudes no eran el problema principal, la verdadera angustia provenía de ver la identidad de su hija explotada de tal manera, según lo señalado por The Post.

Jennifer, quien fue asesinada por su exnovio en 2006, había sido recreada como un “personaje de IA amigable y conocedor”, con los usuarios invitados a chatear con ella, señaló The Post.

“Mi pulso estaba acelerado”, le dijo Crecente al Post. “Solo estaba buscando un gran botón rojo de stop que pudiera golpear y hacer que todo esto se detuviera”, agregó.

El chatbot, creado por un usuario en Character.AI, generó serias preocupaciones éticas con respecto al uso de información personal por parte de las plataformas de IA.

Crecente, quien dirige una organización sin fines de lucro en nombre de su hija con el objetivo de prevenir la violencia en las relaciones de pareja entre adolescentes, quedó consternado de que se hubiera creado tal chatbot sin el permiso de la familia. “Se necesita bastante para que me sorprenda, porque realmente he pasado por mucho”, dijo a The Post. “Pero esto fue un nuevo punto bajo”, añadió.

Character.AI eliminó el chatbot después de ser notificado de su existencia. Kathryn Kelly, una portavoz de la empresa, declaró a The Post, “Revisamos el contenido y la cuenta y tomamos medidas basadas en nuestras políticas”, agregando que sus términos de servicio prohíben la suplantación de identidad.

El incidente resalta las preocupaciones continuas sobre el impacto de la IA en el bienestar emocional, especialmente cuando implica retraumatizar a las familias de las víctimas de delitos.

Crecente no está sola enfrentando el mal uso de la IA. El año pasado, The Post informó que los creadores de contenido de TikTok utilizaron la IA para imitar las voces y los rostros de niños desaparecidos, creando videos de ellos narrando sus propias muertes, lo cual provocó indignación entre las familias en duelo

Los expertos están pidiendo una supervisión más estricta de las empresas de IA, que actualmente tienen un amplio margen para autorregularse, señaló The Post.

Crecente no interactuó con el chatbot ni investigó a su creador, pero inmediatamente envió un correo electrónico a Character.AI para que lo eliminara. Su hermano, Brian, compartió el descubrimiento en X, lo que llevó a Character a anunciar la eliminación del chatbot el 2 de octubre, informó The Post.

Jen Caltrider, investigadora de privacidad en la Fundación Mozilla, criticó la moderación pasiva de Character.AI, señalando que la empresa permitió contenido que violaba sus términos hasta que alguien perjudicado lo señalaba.

“Eso no está bien”, dijo al The Post, añadiendo, “mientras tanto, están ganando millones”.

Rick Claypool, investigador de Public Citizen, enfatizó la necesidad de que los legisladores se centren en los impactos reales de la IA, especialmente en grupos vulnerables como las familias de las víctimas de delitos.

“No pueden simplemente escuchar a los CEO de tecnología sobre cuáles deberían ser las políticas… deben prestar atención a las familias y a los individuos que han sido perjudicados”, dijo a The Post.

Ahora, Crecente está explorando opciones legales y considerando trabajar en defensa para prevenir que las empresas de IA vuelvan a traumatizar a otros.

“Estoy lo suficientemente preocupada por esto que probablemente voy a invertir algo de tiempo en averiguar qué podría llevar cambiar esto”, dijo a The Post.