ciencia de los datos sesgo recompensas hed

¿Debería su empresa ofrecer una recompensa por los algoritmos sesgados?

Twitter ofreció la primera recompensa por sesgo en 2021. Ahora, algunas empresas más pequeñas están siguiendo su ejemplo.

En julio pasado, Twitter anunció el primer desafío de recompensas por prejuicios. El desafío único se publicó en HackerOne , un popular tablero de recompensas por errores. Siguió el mismo patrón general de un programa público de recompensas por errores, donde las empresas ofrecen recompensas monetarias a aquellos que identifican y reportan fallas de seguridad en sus sitios y sistemas. El objetivo de la generosidad de sesgo de Twitter: identificar el daño potencial causado por su algoritmo de recorte de imágenes, que utiliza un modelo de prominencia.

Ocho días después, Bogdan Kulynych, Ph.D. estudiante del Instituto Federal Suizo de Tecnología en el Laboratorio de Ingeniería de Seguridad y Privacidad de Lausana, obtuvo el primer lugar en la competencia y pagó la recompensa de $ 3,500. Su presentación involucró ajustar la apariencia de 16 rostros fotorrealistas que generó con StyleGAN2-ADA para que sean más destacados de acuerdo con el algoritmo de recorte de Twitter. Kulynych demostró que el algoritmo prefería imágenes de personas con un tono de piel más claro o más cálido, una piel más suave y que parecían más femeninas, más jóvenes y más delgadas.

Si bien Twitter fue el primero en ofrecer una recompensa por el sesgo público, no será el último. Un portavoz de HackerOne confirmó a Built In que «un puñado» de empresas de tecnología que ya alojan recompensas por errores en la plataforma están explorando el potencial de ofrecer «recompensas que buscan encontrar fallas en los sistemas de IA o ML».

Consideraciones de recompensa por sesgo para pequeñas empresas

Después de que Twitter ofreció la primera recompensa por sesgo en 2021, las empresas más pequeñas ahora están considerando hacer lo mismo. Hacerlo permitiría a estas empresas identificar rápidamente el sesgo algorítmico a través de modelos de crowdsourcing y mejorar los servicios a los clientes. Aunque las preocupaciones clave siguen siendo la exposición involuntaria de fallas de seguridad o la exposición de datos de clientes o propiedad intelectual que podría ser robada.

Además, en su Informe de predicciones de 2022, Forrester descubrió que «al menos cinco grandes empresas introducirán recompensas por sesgo en 2022». Llamó específicamente a Google y Microsoft como posibles candidatos. 

No son solo las grandes empresas las que están, o deberían estar, considerando ofrecer recompensas de sesgo para mejorar sus productos y servicios respaldados por IA. Las empresas más pequeñas y nuevas también están pensando en ofrecer recompensas por sesgo en 2022. Un atractivo es el potencial para identificar rápidamente problemas algorítmicos y mejorar sus productos o servicios. La capacidad de mejorar la confianza del cliente y hacer lo correcto es otra. Pero las pequeñas empresas que piensan en recompensas por sesgo no están exentas de reservas.

Relacionado: Hackers de sombrero blanco: dentro del mundo del hacking ético

El crowdsourcing conduce a una mejora rápida

Para las empresas más pequeñas y nuevas que ofrecen servicios impulsados ​​por la tecnología, establecer recompensas de sesgo les ayuda a mejorar rápidamente los servicios para sus usuarios.

Las recompensas de sesgo basadas en recompensas de errores, como lo fue Twitter, tienen la ventaja de identificar problemas rápidamente a través del poder del crowdsourcing. Solo habían pasado ocho días desde que Twitter anunció su recompensa hasta que la presentación de Bogdan fue nombrada ganadora. Aunque expresó algunas preocupaciones sobre lo que podría significar ese cronograma para el rigor de una investigación, la velocidad que permiten las recompensas por sesgo, según Bogdan, podría ser algo bueno.

“Si esto evoluciona de la misma manera que las recompensas por errores de seguridad, esta sería una situación mucho mejor para todos” , tuiteó, luego del anuncio de Twitter de su presentación ganadora. “El software dañino no permanecería allí durante años hasta que se recopilen las pruebas rigurosas de los daños”.

Para muchas empresas, ofrecer recompensas por sesgo en un esfuerzo por reducir el sesgo algorítmico en sus sistemas tiene sentido comercial. Sentido legal, también.

“Cualquier forma de discriminación sistémica o impacto desigual en una clase protegida puede resultar en un reclamo por discriminación. Por lo tanto, hay valor en cualquier metodología que ayude a reducir esa posible exposición”.

Peter Cassat, socio de Culhane Meadows PLLC , un bufete de abogados nacional de servicio completo, señaló que a medida que una empresa traslada los procesos y sistemas tradicionales a procesos y sistemas automatizados impulsados ​​por IA, sigue siendo la empresa la que toma las decisiones en última instancia, y puede rendir cuentas.

“Existen riesgos asociados con el sesgo de la IA que pueden equivaler a riesgos legales”, dijo, hablando de su experiencia trabajando con clientes. “Cualquier forma de discriminación sistémica o impacto desigual en una clase protegida puede resultar en un reclamo por discriminación. Por lo tanto, hay valor en cualquier metodología que ayude a reducir esa posible exposición”.

Para Ruben Gamez, CEO y fundador de SignWell, una empresa de firma de documentos electrónicos, ofrecer recompensas por sesgo se trata más de la relación entre la empresa y sus clientes que de una estrategia de reducción de riesgos. Lo describió como una especie de ejercicio de construcción de confianza con sus clientes y base de usuarios, particularmente a medida que la empresa crece.

“Dependemos principalmente de nuestros sistemas de inteligencia artificial para la automatización simple de decisiones complejas basadas en datos”, dijo. “Será emocionante ver a los usuarios identificar posibles fallas. Esto nos dará la oportunidad de ponernos en contacto con nuestros conjuntos de datos de entrada y redefinirlos para que sean más diversos”.

Existen preocupaciones de recompensas por sesgo para las pequeñas empresas

Pero no todos están completamente de acuerdo con las recompensas por sesgo. Jared Stern, fundador y director ejecutivo de Uplift Legal Funding, una compañía de préstamos para demandas, dijo que su compañía no está considerando ofrecer recompensas por prejuicios en el futuro cercano, aunque podría ser algo que considere más adelante. Si bien su empresa emplea IA en sus operaciones, todavía está en el proceso de optimizar sus conjuntos de datos, lo que hace que las recompensas por sesgo sean prematuras.

“No creo que [las recompensas por sesgo sean] un movimiento productivo, especialmente para las empresas que todavía están controlando sus operaciones con IA”, dijo.

Además de la posibilidad de que las recompensas por sesgo no se adapten bien a la situación de una empresa en particular, a las pequeñas empresas les preocupa abrir su funcionamiento interno al público como lo hizo Twitter. Cuando publicó su recompensa, Twitter les dio a los posibles cazadores de sesgos acceso al código que había usado en su propia investigación sobre la equidad en el recorte de imágenes que descubrió que su algoritmo tendía a recortar los rostros de las personas negras.

“Va a ser complicado cómo asegurarse de que está protegiendo la confidencialidad de los datos que, en cierto sentido, desea limpiar, pero al mismo tiempo, debe asegurarse de que no está violando cualquier derecho de privacidad de cualquiera de sus empleados o clientes”.

Cassat señaló que hay dos áreas principales de riesgo para las empresas que ejecutan recompensas por sesgo similares a las que hizo Twitter: exponer a los clientes a amenazas potenciales al invitar a las personas a descubrir fallas que de otro modo no podrían descubrir y el potencial de exponer la propiedad intelectual que pertenece a la empresa o sus socios.

“Por ejemplo, si usamos SAP en el espacio de recursos humanos y la gente viene para ver cómo estamos reclutando, contratando y promoviendo dentro de nuestros sistemas de recursos humanos usando algoritmos automatizados, ¿estamos exponiendo información confidencial de SAP que no conocemos? ¿Tienes permiso para exponer? él dijo. 

La confidencialidad del cliente en una situación en la que una recompensa por sesgo podría necesitar el uso de datos en vivo es otra preocupación. “Va a ser complicado cómo asegurarse de que está protegiendo la confidencialidad de los datos que, en cierto sentido, desea limpiar, pero al mismo tiempo, debe asegurarse de que no está violando cualquier derecho de privacidad de cualquiera de sus empleados o clientes”, dijo Cassat.

Relacionado: 6 formas de combatir el sesgo en el aprendizaje automático

Lograr el equilibrio entre la seguridad y abordar el sesgo

Las pequeñas empresas tienen algunas estrategias potenciales para eludir los riesgos de abrirse al público que pueden considerar. Una es contratar codificadores de terceros para que actúen como editores de sesgos que puedan revisar los algoritmos de una empresa. Esto tendría el beneficio de las perspectivas externas, pero sin muchos de los riesgos de dirigirse al público como lo hizo Twitter.

Los esfuerzos internos para identificar el sesgo algorítmico son otra forma en que las empresas pueden sortear las preocupaciones relacionadas con las recompensas por sesgo público, según Cassat. Esto podría ser tan simple como tener un sistema para reportar sesgos u ofrecer premios a los empleados que los identifiquen y reporten, o modelar la búsqueda de sesgos en hackatones de seguridad, en lugar de recompensas por errores.

Este enfoque de «equipo rojo» para abordar el sesgo en la IA se abordó en un informe de 2020 de investigadores y profesionales de la IA. Si bien recomendó que las organizaciones que desarrollan IA «deberían realizar ejercicios de equipos rojos para explorar los riesgos asociados con los sistemas que desarrollan», el informe también señaló que los enfoques de equipos rojos existentes son insuficientes. En cambio, recomendó el desarrollo de una «comunidad de profesionales de equipos rojos de IA», aunque reconoció que tal situación podría inspirar muchas de las mismas preocupaciones expresadas sobre las recompensas por sesgo público.

Desde una perspectiva legal, Cassat lo llamó un acto de equilibrio entre los riesgos potenciales asociados con la identificación del sesgo y los beneficios de hacerlo. Pero también señaló que la creciente presión de los consumidores para que las tecnologías sean más equitativas ha aumentado el enfoque en la responsabilidad social a nivel de directorio. Esto impulsará la actividad en torno a la reducción del sesgo algorítmico.

“No sé hasta qué punto las empresas querrán continuar con la colaboración colectiva de estas soluciones”, dijo, y agregó que promover la diversidad es un buen negocio. “Y es lo correcto”.