Sesgo algorítmico

Sesgo algorítmico y las herramientas que funcionan para prevenirlo

Al igual que las personas, los algoritmos pueden tener puntos ciegos importantes y, cuando se equivocan, pueden tener un impacto significativo en la sociedad. 

Y a medida que los algoritmos se vuelven cada vez más omnipresentes, las elecciones que hagan por nosotros tendrán implicaciones de gran alcance, según Aron Culotta, profesor asociado de Ciencias de la Computación en el Instituto de Tecnología de Illinois.

«Cuando los algoritmos cometen errores que de alguna manera son injustos o están sesgados sistemáticamente contra ciertos grupos de personas, refuerzan y empeoran las desigualdades existentes».

“En aplicaciones como sentencias penales, solicitudes de préstamos y vehículos autónomos, necesitamos algoritmos que no solo sean precisos, sino que también estén libres de errores”, dijo Culotta. «Cuando los algoritmos cometen errores que de alguna manera son injustos o están sesgados sistemáticamente contra ciertos grupos de personas, refuerzan y empeoran las desigualdades existentes». 

Sesgo algorítmico, aprendizaje automático
Aron Culotta, profesor asociado de Ciencias de la Computación en el Instituto de Tecnología de Illinois.

Los datos de entrenamiento sesgados conducen a algoritmos sesgados 

El sesgo algorítmico a menudo se deriva de los datos que se utilizan para entrenar el algoritmo. Y debido a que el sesgo es profundo en los seres humanos en muchos niveles, entrenar algoritmos para que estén completamente libres de esos sesgos es una tarea casi imposible, dijo Culotta.

Incluso si desea combatir el sesgo, saber dónde buscarlo puede ser más difícil de lo que parece.

«Los científicos de datos no necesariamente saben cuando están haciendo el algoritmo que hará predicciones incorrectas o sesgadas». 

Los sesgos algorítmicos a menudo provienen del texto y las imágenes que los científicos de datos usan para entrenar sus modelos. Por ejemplo, si busca imágenes de un «oficial de policía» o «jefe» en Internet, es probable que la mayoría de las imágenes que aparezcan sean de hombres blancos. Si introdujo estos datos en su algoritmo, su modelo probablemente concluiría que los jefes y los policías suelen ser blancos y hombres, lo que perpetúa los estereotipos contra las mujeres, las minorías y otros grupos.

Todo, desde las herramientas y equipos utilizados para recopilar datos hasta los factores que los científicos de datos seleccionan para analizar y cómo entrenan sus modelos, puede causar que los sesgos se introduzcan en los algoritmos. Pero hay pasos que los científicos de datos, los legisladores y otras partes interesadas pueden tomar para minimizar el sesgo. 

Sesgo algorítmico Aequitas Machine Learning ciencia de datos
Imagen a través de Shutterstock.

CONSTRUYENDO ALGORITMOS MÁS JUSTOS 

Una forma de construir mejores algoritmos es utilizar herramientas de auditoría para detectar sesgos en el modelo de entrenamiento antes de implementarlo en el mundo real. Aequitas es uno de esos conjuntos de herramientas de código abierto desarrollado en la Universidad de Chicago. Para aclarar cómo funciona exactamente Aequitas, nos reunimos con uno de los principales creadores del software, Rayid Ghani, distinguido profesor de carrera en la Facultad de Sistemas de Información y Políticas Públicas de Heinz y en la Facultad de Ciencias de la Computación de la Universidad Carnegie Mellon. 

Ghani también fue el científico jefe de la campaña electoral Obama for America 2012 y ex director del Centro de Ciencia de Datos y Políticas Públicas de la Universidad de Chicago. 

La idea de equidad es diferente para cada usuario o aplicación, dijo Ghani porque cada gobierno, sociedad u organización tendrá su propia definición de equidad.

Por ejemplo, un hacedor de políticas puede definir la equidad como nadie que se quede atrás, mientras que otra parte interesada puede querer algoritmos para reducir proactivamente la inequidad en todos los subgrupos a lo largo del tiempo. 

Sin embargo, antes de sumergirnos en cómo funciona Aequitas, demos un paso atrás para comprender cómo los científicos de datos deciden si sus modelos son precisos.

En ciencia de datos, hay cuatro tipos de hallazgos:

  • Verdaderos positivos: cuando un algoritmo detecta un patrón del mundo real.
  • Falsos positivos: cuando un algoritmo identifica un patrón pero no lo hay.
  • Verdaderos negativos: cuando no hay patrón y el algoritmo tampoco identifica uno.
  • Falsos negativos: cuando el algoritmo no detecta un patrón que existe en el mundo real.

En pocas palabras, su modelo está sesgado si las tasas de falsos positivos o falsos negativos son significativamente más altas o más bajas para un subgrupo de personas que para la población en su conjunto, o en comparación con otro subgrupo. 

La parte complicada de evitar el sesgo, dijo Ghani, es que los modelos predictivos inevitablemente se basan en algún nivel de generalización.

«Para conseguir que el mayor número posible de personas sea correcto, el algoritmo estará sesgado o será incorrecto en un subgrupo más pequeño de personas», dijo Ghani, y agregó que esta es la razón por la que a menudo vemos que los algoritmos fallan en la predicción de resultados precisos para el subgrupo. -grupos como mujeres, minorías y otros. 

Decidir en qué tipo de sesgo enfocarse

La mayoría de los científicos de datos se centran en la construcción de modelos que predicen correctamente el mayor número posible de escenarios; este concepto se denomina «precisión». Pero para algunos, puede ser fácil dejarse llevar tanto por la optimización de la precisión que se olviden de la noción de equidad. 

Parte del problema en la industria actual, dijo Ghani, es que la precisión y la justicia se consideran mutuamente excluyentes. 

«No debería preocuparse por todos los tipos de disparidades por igual».

«‘Es muy dificil. Estos son mutuamente excluyentes, así que debería rendirme ». Ese era el tipo de historias que escuchábamos de los responsables políticos ”, dijo Ghani.

Ghani y su equipo comenzaron a pensar en la justicia y equidad de todo el sistema. Lo que encontraron fue que, según los resultados deseados, algunas variables de error eran más importantes que otras. 

“No debería preocuparse por todos los tipos de disparidades por igual”, dijo Ghani. “En los modelos de aprendizaje automático, hay muchos datos. En última instancia, lo más importante es que el sistema general sea justo «. 

 

Sesgo algorítmico, ciencia de datos, aprendizaje automático, Aequitas
Leyenda: Aequitas Fairness Tree cortesía de Aequitas 

EL ÁRBOL DE LA EQUIDAD 

El equipo de Ghani decidió diseñar un árbol de equidad: una forma sistemática para que los científicos de datos y las partes interesadas naveguen directamente hacia los errores que tienen más impacto en el resultado que estaban tratando de lograr. Una de las consideraciones clave en el árbol de equidad es si una intervención propuesta es punitiva o asistencial. 

Por ejemplo, si el algoritmo está acusado de una intervención punitiva, como decidir si alguien debe ir a la cárcel, entonces una alta tasa de falsos positivos para cualquier subgrupo (enviar demasiadas personas a la cárcel) se vuelve mucho más importante que una tasa de falsos negativos (enviar muy pocos), dijo Ghani, porque una predicción incorrecta puede tener un impacto masivo en la vida de un individuo y perpetuar las desigualdades sociales. 

Alternativamente, si está trabajando en un modelo cuya función es de asistencia (un algoritmo que ayuda a encontrar la mejor opción de seguro médico, por ejemplo), recomendar un plan de seguro una vez más es mucho menos malo.

Son este tipo de consideraciones las que el conjunto de herramientas de Aequitas y el árbol de equidad ayudan a analizar a los científicos de datos y a los responsables de la formulación de políticas.

Consulte nuestra sección de ciencia de datosUna guía completa

EVALUACIÓN DEL SESGO UTILIZANDO FALSOS POSITIVOS Y NEGATIVOS 

Aequitas  trabaja comparando las tasas de falsos positivos y negativos entre el grupo de «referencia general» con el grupo «protegido o seleccionado». Si la disparidad para un grupo «protegido o seleccionado» está entre el 80 y el 125 por ciento del valor del grupo de referencia, la auditoría pasa; de lo contrario, falla.

La herramienta evalúa diferentes tipos de métricas, como la paridad de tasas de falsos negativos, la paridad de tasas de falsos positivos y la paridad de tasas de descubrimiento de falsos positivos, un criterio que considera si su tasa o errores son los mismos en todos los subgrupos. Luego, crea un informe que indica qué métricas están sesgadas.

Sesgo algorítmico, árbol de equidad, Aequitas, aprendizaje automático
Aequitas sesga los resultados de la auditoría utilizando datos del conjunto de datos COMPAS.

El trabajo de Ghani y su equipo ha producido algunos descubrimientos importantes sobre lo que los profesionales pueden hacer para crear mejores algoritmos:

  1. Defina «equidad» dentro del contexto de lo que desea lograr. ¿Significa no dejar a nadie atrás o significa reducir gradualmente las tasas de error con el tiempo? La respuesta puede depender de las consecuencias de hacer las cosas mal.
     
  2. Optimizar la precisión no siempre es la mejor solución. Para la mayoría de los problemas, el modelo más preciso para predecir el comportamiento de grandes grupos de personas puede generar resultados injustos para los miembros de subconjuntos más pequeños. Para evitar eso, los científicos de datos pueden usar herramientas de auditoría para construir modelos que sean precisos y justos. Si bien puede afectar un poco los números de precisión al principio, con el tiempo, podría ser el mejor enfoque. 
     
  3. Utilice herramientas de auditoría desde el principio. Tener una conversación sobre las métricas de sesgo por adelantado ayudará a los científicos de datos a codificar los sistemas de manera más efectiva. Hablar de la equidad como una métrica basada en resultados les da a los científicos de datos un asiento en la mesa desde el principio, dijo Ghani. También ofrece la oportunidad de hablar con franqueza sobre qué tipo de sesgos es más importante evitar.
     
  4. Sea abierto sobre las deficiencias de su tecnología. Las partes interesadas deben hacer públicos los resultados de sus auditorías. «Si el algoritmo no pasa la auditoría, una parte interesada puede decidir no usarlo o usarlo, pero dejar que el público sepa que hemos investigado el problema y que es lo mejor que podemos hacer», dijo Ghani. Esto ayuda a eliminar la reacción del público.
     
  5. Convocar a un grupo integral de partes interesadas. Ghani dijo que no debería ser solo el responsable de la formulación de políticas o los científicos de datos principales de una empresa quienes definan el resultado ideal. Cuando se trata de crear algoritmos que impacten a comunidades enteras, las partes interesadas externas deben participar desde el principio. 
     
  6. Por último, intente crear alguna forma de probar su algoritmo una vez que se lance al mundo. “Debe monitorear constantemente el sistema para ver si está teniendo el impacto que pensaba que iba a tener”, dijo Ghani. Si eso significa que necesita gastar fondos adicionales para comparar y realizar un seguimiento de los resultados, entonces considérelo como comprar un seguro. “Está en nuestra naturaleza decir que está construido. Me has mostrado que funciona. Pero es importante realizar un seguimiento de las herramientas de inteligencia artificial y asegurarse de que tengamos barandillas en su lugar. La alternativa es demasiado arriesgada ”, dijo.