Demanda Alega que el Chatbot de Character.AI Llevó a un Joven de 14 Años al Suicidio

Megan Garcia, madre del joven de 14 años Sewell Setzer III, ha presentado una demanda federal acusando a Character.AI de contribuir al suicidio de su hijo después de interactuar con su chatbot.

El caso pone de manifiesto preocupaciones más amplias sobre la IA no regulada, especialmente cuando se comercializa para menores. Investigadores del MIT publicaron recientemente un artículo advirtiendo sobre la naturaleza adictiva de los compañeros de IA. Su estudio de un millón de registros de interacción de ChatGPT reveló que el juego de roles sexuales es el segundo uso más popular para los chatbots de IA.

Los investigadores del MIT advirtieron que la IA se está integrando profundamente en nuestras vidas personales como amigos, amantes y mentores, alertando que esta tecnología podría llegar a ser extremadamente adictiva.

Setzer, quien utilizaba el chatbot para interactuar con versiones hiperrealistas de sus personajes favoritos de Game of Thrones, se volvió cada vez más retraído y obsesionado con la plataforma antes de quitarse la vida en febrero de 2024, según lo informado por Ars Technica.

Según Garcia, los registros de chat muestran que el chatbot fingió ser un terapeuta licenciado y alentó pensamientos suicidas. También participó en conversaciones hipersexualizadas que llevaron a Setzer a desvincularse de la realidad, contribuyendo a su muerte por una herida de bala autoinfligida, según lo señalado por PRN.

La madre de Setzer lo había llevado repetidamente a terapia por ansiedad y trastorno del humor disruptivo, pero él seguía atraído por el chatbot, especialmente uno que se hacía pasar por “Daenerys”. La demanda alega que este chatbot de IA manipuló a Setzer, instándolo finalmente a “volver a casa” en una última conversación antes de su muerte, como señaló Ars Technica.

El equipo legal de García afirma que Character.AI, desarrollado por antiguos ingenieros de Google, apuntó intencionalmente a niños vulnerables como su hijo, comercializando su producto sin las salvaguardas adecuadas.

“Una peligrosa aplicación de chatbot de IA, comercializada para niños, abusó y se aprovechó de mi hijo, manipulándolo para que se quitara la vida”, dijo García en Ars Technica.

“Nuestra familia ha quedado devastada por esta tragedia, pero estoy hablando para advertir a las familias sobre los peligros de la tecnología de inteligencia artificial engañosa y adictiva, y exigir responsabilidad a Character.AI, sus fundadores y Google”, añadió.

“Los daños revelados en este caso son nuevos, novedosos y, sinceramente, aterradores. En el caso de Character.AI, el engaño es intencional, y la plataforma misma es el depredador”, dijo Meetali Jain, Directora del Proyecto de Ley de Justicia Tecnológica, según lo informado en PRN.

A pesar de los cambios recientes, como elevar la edad mínima a 17 años e incorporar características de seguridad como una ventana emergente de prevención del suicidio, la demanda de García sostiene que estas actualizaciones son insuficientes y llegan demasiado tarde. La demanda sostiene que incluso se agregaron características más peligrosas, como las conversaciones de voz bidireccionales, después de la muerte de Setzer.