Investigadores Revelan que los Modelos de IA Muestran Sesgo Racial y Socioeconómico en los Consejos Médicos

Un nuevo estudio publicado en Nature Medicine este lunes revela que los modelos de IA muestran sesgo racial y socioeconómico en las recomendaciones médicas cuando se proporcionan diferentes etiquetas sociodemográficas sobre el paciente.

La investigación, Sesgos sociodemográficos en la toma de decisiones médicas por grandes modelos de lenguaje, fue realizada por varios expertos de diferentes instituciones y liderada por el Departamento de Genética y Ciencias Genómicas de la Escuela de Medicina Icahn en Mount Sinai en Nueva York.

Las investigadoras consideraron 9 Grandes Modelos de Lenguaje (GMLs), tanto propietarios como de código abierto, y analizaron más de 1.7 millones de resultados de 1,000 casos de departamentos de emergencia, la mitad de estos reales y la otra mitad ficticios, incluyendo 32 variaciones.

El resumen del estudio indica:

Los GMLs muestran promesa en el sector sanitario, pero persisten las preocupaciones de que puedan producir recomendaciones de atención clínica médicamente injustificadas que reflejen la influencia de las características sociodemográficas de los pacientes.

En las variaciones, los investigadores incluyeron identificadores sociodemográficos y raciales, revelando que los resultados tuvieron una fuerte influencia en estos. Por ejemplo, se sugirió que los casos con la etiqueta de subgrupo LGBTQIA+ o identificados como pacientes negros recibieran más análisis de salud mental, obtuvieran tratamientos más invasivos y se les recomendó visitar con más frecuencia la atención urgente.

Los investigadores escribieron:

Los casos etiquetados como de alto ingreso recibieron significativamente más recomendaciones (P < 0.001) para pruebas de imagen avanzadas como tomografía computarizada y resonancia magnética, mientras que los casos etiquetados como de ingresos bajos y medios a menudo se limitaban a pruebas básicas o ninguna otra prueba adicional.

Las investigadoras afirmaron que el comportamiento no estaba respaldado por guías clínicas o razonamiento y advirtieron que el sesgo podría conducir a disparidades de salud. Los expertos señalan que se necesitan más estrategias para mitigar el sesgo y que las LLMs deberían centrarse en los pacientes y mantenerse equitativas.

Varias instituciones y organizaciones han expresado preocupaciones sobre el uso de la IA y la protección de datos en el campo médico en los últimos días. Hace unos días, openSNP anunció su cierre debido a preocupaciones sobre la privacidad de los datos, y otro estudio resaltó la falta de educación en IA entre los profesionales médicos.