Preocupaciones sobre la imparcialidad ante el sesgo en la IA de detección de fraude en el bienestar social del Reino Unido

El sistema de inteligencia artificial del gobierno del Reino Unido para detectar el fraude en el bienestar social ha demostrado tener un sesgo basado en la edad, la discapacidad, el estado civil y la nacionalidad, según las evaluaciones internas, tal como se informó hoy en The Guardian.

El sistema, utilizado para evaluar las solicitudes de crédito universal en toda Inglaterra, señala desproporcionadamente a ciertos grupos para investigación, lo que genera temores de discriminación sistemática, según The Guardian.

El sesgo, descrito como una “disparidad de resultados estadísticamente significativa”, fue revelado en un análisis de equidad realizado por el Departamento de Trabajo y Pensiones (DWP, por sus siglas en inglés) en febrero.

El análisis descubrió que el programa de aprendizaje automático seleccionó a personas de algunos grupos demográficos con más frecuencia que a otras al determinar quién debería ser investigado por posible fraude, informa The Guardian.

Esta revelación contrasta con las afirmaciones anteriores del DWP de que el sistema de IA no presentaba riesgos inmediatos de discriminación o trato injusto.

El departamento defendió el sistema, enfatizando que las decisiones finales son tomadas por trabajadores sociales humanos y argumentando que la herramienta es “razonable y proporcional” dada la estimación de 8 mil millones de libras anuales en costos de fraude y errores en el sistema de beneficios, según informó The Guardian.

Sin embargo, el análisis no exploró posibles sesgos relacionados con la raza, el género, la religión, la orientación sexual o el embarazo, dejando importantes lagunas en la comprensión de la equidad del sistema.

Críticos, incluyendo el Proyecto de Ley Pública, acusan al gobierno de adoptar un enfoque de “dañar primero, reparar después”, pidiendo mayor transparencia y salvaguardas contra el ataque a grupos marginados, según informó The Guardian.

“Está claro que en una vasta mayoría de casos, el DWP no evaluó si sus procesos automatizados corrían el riesgo de apuntar injustamente a grupos marginados”, dijo Caroline Selman, una investigadora senior en el Proyecto de Ley Pública, según lo informado por The Guardian.

Los hallazgos surgen en medio de un creciente escrutinio del uso de la IA en los servicios públicos. Los informes independientes sugieren que al menos 55 herramientas automatizadas están en operación en todo el Reino Unido en las autoridades públicas, lo que potencialmente afecta las decisiones de millones, según The Guardian.

Sin embargo, el registro oficial de IA del gobierno solo enumera nueve sistemas, lo que revela una importante negligencia en la rendición de cuentas, dice The Guardian.

Además, el gobierno del Reino Unido está enfrentando críticas por no registrar el uso de IA en el registro obligatorio, generando preocupaciones sobre la transparencia y la responsabilidad a medida que crece la adopción de la IA.

El DWP eliminó detalles críticos de su análisis de equidad, incluyendo qué grupos de edad o nacionalidades fueron señalados de manera desproporcionada. Los funcionarios argumentaron que revelar tales especificidades podría permitir a los estafadores manipular el sistema, según lo señaló The Guardian.

Un portavoz del DWP enfatizó que el juicio humano sigue siendo central para la toma de decisiones, tal como reportó The Guardian. Las revelaciones aumentan las preocupaciones generales sobre la transparencia del gobierno en la implementación de la IA, con críticos instando a una supervisión más estricta y salvaguardas robustas para prevenir el mal uso.