Proyectos de Código Abierto Luchando con Rastreadores de IA que Sobrecargan sus Sistemas

Los rastreadores web potenciados por IA han surgido como una gran amenaza para las comunidades de software de código abierto, lo que ha causado interrupciones generalizadas en su infraestructura.

Los repositorios populares enfrentan una presión de recursos debido a estos bots desplegados por empresas de IA para recopilar datos de entrenamiento para modelos de lenguaje, ralentizando así el desarrollo, tal como se informó por primera vez en ArsTechnica.

Drew DeVault de SourceHut compartió sus observaciones sobre estos rastreadores a través de una entrada de blog en la que describía sus efectos destructivos. Estos bots de IA eludieron las instrucciones del archivo robots.txt que dirigen a los rastreadores para evitar ciertas páginas, creando así importantes interrupciones en la plataforma SourceHut.

Los rastreadores atacaron puntos finales específicos, como registros de git y commits, a través de direcciones IP aleatorias para enmascarar su actividad como tráfico de usuario normal. Los bots hicieron que el bloqueo efectivo fuera imposible a través de sus métodos, lo que provocó retrasos prolongados en las tareas de los proyectos y interrupciones en el servicio de los usuarios.

La infraestructura de GitLab de KDE sufrió un corte temporal debido a bots que provenían del rango de IP de Alibaba. Los proyectos de código abierto como GNOME y otros sufrieron ataques idénticos, por lo que implementaron Anubis como un sistema que requiere que los bots completen desafíos computacionales antes de conceder acceso al sitio, según informó The LibreNews.

La “opción nuclear” introducida por Anubis resultó en tiempos de espera aumentados para los usuarios reales que experimentaron un crecimiento significativo del tráfico en las solicitudes de fusión de GNOME, informó LibreNews.

Ben, quien trabaja como sysadmin de KDE, observó que los bots disfrazaban su identidad utilizando agentes de usuario de Microsoft Edge para imitar a usuarios reales y evadir la detección del tráfico legítimo. El equipo de Fedora reaccionó a la interrupción cortando todo el tráfico web brasileño para evitar más problemas, dice LibreNews.

El informe de LibreNews indica que muchos proyectos de código abierto ahora experimentan el 97% de su tráfico web proveniente de los rastreadores de las empresas de IA. Los proyectos de código abierto enfrentan desafíos crecientes porque los gastos de ancho de banda continúan creciendo mientras que los mantenedores de sistemas enfrentan una presión creciente para mantener operaciones fluidas.

Los proyectos de código abierto actualmente utilizan listas de bloqueo y filtrado de agentes de usuario específicos para IA como soluciones de emergencia, sin embargo, las adaptaciones de los bots hacen que estos métodos sean ineficaces constantemente.

El creciente problema de los rastreadores de IA revela cómo los proyectos de código abierto se vuelven expuestos a amenazas porque dependen de la infraestructura pública y el apoyo de voluntarios.

Los beneficios de los datos abiertos para las empresas de IA son innegables, sin embargo, sus prácticas extremas de raspado de datos terminan dañando los sistemas que permiten la accesibilidad a internet abierto.