Sesgo algorítmico

El sesgo algorítmico se refiere a errores sistemáticos y repetibles en un sistema de Inteligencia Artificial (IA) que dan lugar a resultados injustos o discriminatorios. A diferencia de los sesgos derivados exclusivamente de datos defectuosos, el sesgo algorítmico se origina en el diseño, la implementación o la aplicación del propio algoritmo. Esto puede ocurrir incluso cuando los datos de entrenamiento de entrada parecen equilibrados. Es un problema crítico en el aprendizaje automático (AM) y en campos como la visión por ordenador (CV), ya que puede socavar la fiabilidad e imparcialidad de los sistemas de IA, afectando a todo, desde las recomendaciones de productos hasta las decisiones críticas en finanzas y sanidad. Abordar este tipo de sesgo es esencial para construir una IA fiable, como destacan organizaciones de investigación como el NIST.

Fuentes de sesgo algorítmico

El sesgo algorítmico, aunque a menudo se entremezcla con los problemas de datos, surge específicamente de la mecánica del algoritmo:

• Decisiones de diseño: Las decisiones tomadas durante el desarrollo del algoritmo, como la elección de características específicas o el algoritmo de optimización utilizado, pueden introducir sesgos inadvertidamente. Por ejemplo, la optimización exclusiva de la precisión puede hacer que un modelo funcione mal en grupos minoritarios si estos representan casos extremos.
• Ingeniería y selección de rasgos: El proceso de selección, transformación o creación de características(ingeniería de características) puede incorporar sesgos. Un algoritmo puede aprender correlaciones que reflejen sesgos sociales presentes indirectamente en las características.
• Variables sustitutivas: Los algoritmos pueden utilizar variables aparentemente neutras (como el código postal o el historial de compras) como sustitutas de atributos sensibles (como la raza o los ingresos). Este uso de variables indirectas puede dar lugar a resultados discriminatorios incluso sin datos sensibles explícitos.
• Circuitos de retroalimentación: En los sistemas que aprenden con el tiempo, los sesgos algorítmicos iniciales pueden reforzarse a medida que los resultados sesgados del sistema influyen en la futura recopilación de datos o en el comportamiento del usuario.

Ejemplos reales

El sesgo algorítmico puede manifestarse en diversas aplicaciones:

1. Herramientas de contratación: Los sistemas de IA diseñados para filtrar currículos podrían aprender patrones de los datos históricos de contratación. Si las prácticas anteriores favorecían a determinados grupos demográficos, el algoritmo podría perpetuar este sesgo, penalizando a los candidatos cualificados de grupos infrarrepresentados, como ocurrió infamemente con una herramienta experimental de Amazon.
2. Servicios financieros: Los algoritmos utilizados para la calificación crediticia o la aprobación de préstamos pueden denegar de forma desproporcionada solicitudes de personas de determinados barrios o grupos demográficos, incluso si se excluyen las características protegidas. Esto puede ocurrir si el algoritmo identifica correlaciones entre factores aparentemente neutros (como patrones de navegación por Internet o minoristas específicos frecuentados) y el riesgo crediticio que se alinean con prejuicios sociales. La preocupación por el sesgo algorítmico en las finanzas es cada vez mayor.

Sesgo algorítmico frente a conceptos afines

Es importante distinguir el sesgo algorítmico de los términos relacionados:

• Sesgo en la IA: se trata de un término amplio que engloba todas las formas de injusticia sistemática en los sistemas de IA. El sesgo algorítmico es una fuente específica de sesgo en IA, junto con otras como el sesgo de conjunto de datos.
• Sesgo del conjunto de datos: se refiere a los sesgos originados por los datos utilizados para entrenar el modelo (por ejemplo, muestras no representativas, anotaciones sesgadas). Aunque el sesgo del conjunto de datos puede causar o amplificar el sesgo algorítmico, éste también puede surgir de forma independiente debido al diseño del algoritmo, incluso con datos perfectamente representativos. Es fundamental comprender la interacción entre el sesgo de la IA y el sesgo del conjunto de datos.
• Compensación entre sesgo y varianza: se trata de un concepto fundamental en el ML en relación con la complejidad del modelo y los tipos de error. En este contexto, "sesgo" se refiere a los supuestos simplificadores de un modelo que conducen a errores sistemáticos(ajuste insuficiente), no a sesgos sociales o relacionados con la equidad.

Estrategias de mitigación

Abordar el sesgo algorítmico requiere un enfoque proactivo y polifacético a lo largo del ciclo de vida de la IA:

• Métricas de equidad: Incorpore métricas de equidad en el proceso de formación y validación de modelos, junto con métricas de rendimiento tradicionales como la precisión.
• Auditoría de algoritmos: Audite periódicamente los algoritmos para detectar resultados sesgados en diferentes subgrupos. Herramientas como AI Fairness 360 y Fairlearn pueden ayudar a detectar y mitigar los sesgos.
• Técnicas de mitigación de sesgos: Emplear técnicas diseñadas para ajustar los algoritmos, como volver a ponderar los puntos de datos, modificar las restricciones de aprendizaje o posprocesar los resultados de los modelos para garantizar resultados más justos.
• IA explicable (XAI): Utilizar métodos XAI para comprender por qué un algoritmo toma determinadas decisiones, ayudando a identificar sesgos ocultos en su lógica. Aumentar la transparencia en la IA es clave.
• Equipos diversos y pruebas: Involucre a equipos diversos en el proceso de desarrollo y realice pruebas exhaustivas con grupos de usuarios representativos para descubrir posibles sesgos.
• Conciencia normativa: Manténgase informado sobre la evolución de normativas como la Ley de IA de la UE, que incluye disposiciones relacionadas con la parcialidad y la imparcialidad.
• Supervisión continua de modelos: Supervise los modelos desplegados para detectar la degradación del rendimiento o los sesgos emergentes a lo largo del tiempo.

Al comprender los matices del sesgo algorítmico y trabajar activamente para mitigarlo mediante un diseño cuidadoso, pruebas rigurosas y la adhesión a los principios de imparcialidad en la IA y ética de la IA, los desarrolladores pueden crear aplicaciones de IA más fiables, equitativas y beneficiosas. Organizaciones como Partnership on AI y Algorithmic Justice League abogan por un desarrollo responsable de la IA. Plataformas como Ultralytics HUB y modelos como Ultralytics YOLO proporcionan marcos que apoyan el desarrollo y la evaluación cuidadosos de modelos, teniendo en cuenta factores como la privacidad de los datos y contribuyendo a la creación de sistemas más justos. La Conferencia ACM sobre Imparcialidad, Responsabilidad y Transparencia (FAccT) es uno de los principales foros de investigación en este ámbito.