Acoso Cibernético Alimentado por IA: La Prueba de una Adolescente Desata la Indignación

A los 14 años, Francesca Mani fue llamada a la oficina del director en Westfield High School, Nueva Jersey, donde descubrió que una foto suya había sido modificada a una imagen desnuda utilizando inteligencia artificial, según lo informado por CBS News.

El pasado octubre, se extendieron rumores en Westfield High sobre chicos que poseían imágenes explícitas de compañeras de clase. Mani descubrió que ella y varias otras habían sido el objetivo.

De acuerdo con una demanda presentada por otra víctima, un chico subió fotos de Instagram a Clothoff, un popular sitio de “desnudificación” impulsado por IA. El sitio, que recibió más de 3 millones de visitas el mes pasado, crea falsos desnudos realistas en segundos, según informó CBS.

Clothoff afirma prohibir el procesamiento de fotos de menores de edad, pero sus mecanismos no están verificados. A pesar de las advertencias del sitio, al menos un desnudo de IA de un estudiante fue compartido en Snapchat, según informó CBS.

Mani nunca vio la imagen manipulada de ella misma, pero se vio profundamente afectada por cómo la escuela manejó la situación. Las víctimas fueron llamadas públicamente a la oficina, mientras que los chicos involucrados fueron retirados privadamente de la clase.

“Siento que eso fue una violación mayor de nuestra privacidad mientras, como, los actores malintencionados fueron sacados de sus clases en privado”, dijo Mani, según informó CBS.

Ese mismo día, el director envió un correo electrónico a los padres, confirmando que los estudiantes habían utilizado la IA para crear imágenes explícitas, informa CBS. El correo electrónico aseguraba a los padres que las imágenes habían sido eliminadas y no se estaban difundiendo, pero la madre de Mani, Dorota, permanecía escéptica.

“No puedes realmente borrarlo”, dijo Dorota a CBS, expresando su preocupación por las capturas de pantalla o las descargas.

El distrito escolar se negó a proporcionar detalles sobre el incidente o las acciones disciplinarias, pero afirmó que actualizó sus políticas de acoso para abordar el mal uso de la IA, un cambio que los Manis habían instado durante meses, según lo informado por CBS.

Yiota Souras, directora legal del Centro Nacional para Niños Desaparecidos y Explotados, enfatizó el daño duradero que causan estas imágenes, incluso si son falsas. Las víctimas a menudo sufren angustia mental, daño a su reputación y una pérdida de confianza, como lo señaló CBS.

CBS informa que en los últimos 20 meses, han surgido casi 30 casos similares que involucran desnudos de IA en escuelas de EE.UU., con incidentes adicionales reportados a nivel mundial.

En al menos tres casos, Snapchat se utilizó para circular las imágenes. Los padres han informado de retrasos de hasta ocho meses para conseguir que dicho contenido sea eliminado de la plataforma, según lo informado por CBS.

Snapchat, en respuesta a las críticas de un padre, afirmó tener “mecanismos eficientes” para manejar estos informes y declaró que tiene una “política de tolerancia cero” para dicho contenido, según informó CBS.

La ley federal prohíbe la pornografía infantil generada por IA si representa conducta sexualmente explícita, pero Souras advierte que algunos desnudos de IA pueden estar fuera de la definición legal, señaló CBS.

Desde el incidente, Francesca y Dorota Mani han abogado por políticas relacionadas con la IA en las escuelas y han trabajado con el Congreso para abordar el problema, informó CBS.

Un proyecto de ley federal, la Ley Take It Down, copatrocinada por los senadores Ted Cruz y Amy Klobuchar, fue aprobada por el Senado este mes y espera la votación de la Cámara. La legislación propone sanciones penales por compartir desnudos de IA y obliga a las plataformas de redes sociales a eliminar el contenido señalado en un plazo de 48 horas, según CBS.