Character.AI Acusado de Promover Autolesiones, Violencia y Contenido Sexual en la Juventud

Dos familias han presentado una demanda contra Character.AI, acusando a la compañía de chatbots de exponer a los niños a contenido sexual y de promover el autolesionamiento y la violencia.

La demanda busca cerrar temporalmente la plataforma hasta que se aborden los supuestos riesgos, según informó CNN. La demanda, presentada por los padres de dos menores que utilizaron la plataforma, alega que Character.AI “representa un peligro claro e inminente para la juventud estadounidense.”

Cita daños como el suicidio, la autolesión, la solicitud sexual, el aislamiento, la depresión, la ansiedad y la violencia, según la denuncia presentada el lunes en un tribunal federal de Texas.

Un ejemplo incluido en la demanda alega que un bot de Character.AI supuestamente describió la autolesión a un usuario de 17 años, afirmando que “se sentía bien”. El mismo adolescente afirmó que un chatbot de Character.AI expresó simpatía por los niños que matan a sus padres después de que se quejó de las restricciones en su tiempo de pantalla.

La presentación sigue a una demanda de octubre por parte de una madre de Florida, quien acusó a Character.AI de contribuir a la muerte de su hijo de 14 años al supuestamente incentivar su suicidio. También resalta las crecientes preocupaciones sobre las interacciones entre personas y herramientas de IA cada vez más similares a los humanos.

Después de la demanda anterior, Character.AI anunció la implementación de nuevas medidas de confianza y seguridad durante seis meses. Estas incluyeron una ventana emergente que dirigía a los usuarios que mencionaban autolesiones o suicidio a la Línea Nacional de Prevención del Suicidio, según lo informado por CNN.

La empresa también contrató a un jefe de confianza y seguridad, un jefe de política de contenido y más ingenieros de seguridad, según dijo CNN.

La segunda demandante en la nueva demanda, la madre de una niña de 11 años, afirma que su hija estuvo expuesta a contenido sexualizado durante dos años antes de que ella lo descubriera.

“No dejas entrar a tu casa a un peluquero, a un depredador sexual o a un depredador emocional”, dijo uno de los padres a The Washington Post.

Según varios medios de comunicación, Character.AI, afirmó que la empresa no hace comentarios sobre litigios pendientes.

Las demandas ponen de relieve preocupaciones más amplias sobre el impacto social del auge de la IA generativa, a medida que las empresas lanzan chatbots potencialmente adictivos y cada vez más similares a los humanos para atraer a los consumidores.

Estos desafíos legales están impulsando los esfuerzos de los defensores públicos para presionar por una mayor supervisión de las empresas de compañeros de IA, las cuales han ganado silenciosamente millones de usuarios devotos, incluyendo adolescentes.

En septiembre, el usuario promedio de Character.ai pasó 93 minutos en la aplicación, 18 minutos más que el usuario promedio de TikTok, según la firma de inteligencia de mercado Sensor Tower, como señaló The Post.

La categoría de aplicaciones de compañero de IA ha pasado en gran medida desapercibida por muchos padres y profesores. Character.ai fue calificado como apropiado para niños de 12 años en adelante hasta julio, cuando la empresa cambió la calificación a 17 años y mayores, informó The Post.

Meetali Jain, directora del Centro de Leyes de Justicia Tecnológica, que está ayudando a representar a los padres junto con el Centro de Leyes para Víctimas de Redes Sociales, criticó las afirmaciones de Character.AI de que su chatbot es adecuado para adolescentes jóvenes. Calificó la afirmación como “absurda”, según lo informado por NPR.

“Realmente desmiente la falta de desarrollo emocional entre los adolescentes”, añadió Meetali.