Incluso con las mentes más brillantes trabajando para detectar decisiones injustas, los algoritmos nunca van a estar exentos de errores, debido a la naturaleza compleja de las decisiones para las que están diseñados a tomar. Por Madhumita Murgia, Financial Times

  • 27 febrero, 2019

Uno de los mayores juicios sobre cómo los algoritmos afectan las vidas de las personas vino en 2012, luego de que un computador decidiera cortar los pagos del Medicaid a cerca de 4.000 personas discapacitadas en el estado de Idaho en Estados Unidos, según una base de datos que estaba plagada de fallas de datos y errores.

Después de más de seis años, Idaho todavía tiene que arreglar su programa informático ahora fuera de servicio. Pero la caída en el costo de usar computadores para hacer lo que solían ser decisiones humanas ha visto a compañías y organismos públicos desplegar sistemas similares a una escala masiva.

En Idaho, apareció que funcionarios han decidido seguir adelante, a pesar de que pruebas mostraron que los datos alterados producirían resultados alterados.

“Mi intuición es que este tipo de cosas está sucediendo mucho a través de Estados Unidos y del mundo, mientras la gente avanza hacia estos sistemas computarizados”, escribió Richard Eppink, director legal de la Unión Estadounidense por las Libertades Civiles (ACLU) de Idaho, la que llevó el caso judicial.

“Nadie los entiende, ellos creen que alguien más lo hace, pero al final confiamos en ellos. Incluso la gente a cargo de estos programas tiene esta confianza de que estas cosas están funcionando”, agrega.

Hoy en día, los algoritmos de aprendizaje automático, que son “entrenados” para tomar decisiones al buscar patrones en grandes conjuntos de datos, están siendo usados en áreas tan diversas como reclutamiento, recomendaciones de compras, asistencia médica, justicia penal y capacidad crediticia.

Su ventaja es mejor precisión y consistencia, ya que son más capaces de detectar conexiones estadísticas y siempre operan bajo el mismo conjunto de reglas. Pero las desventajas son que es imposible saber cómo un algoritmo llegó a su conclusión y los programas son solo tan buenos como los datos en los que están entrenados.

“Los alimentas con datos históricos, variables o estadísticas, y ellos salen con un perfil o modelo, pero no tienes un conocimiento intuitivo de lo que el algoritmo realmente está aprendiendo de ti”, dice Sandra Wachter, abogada y becada en inteligencia artificial del Oxford Internet Institute.

“Por supuesto que los algoritmos pueden entregar resultados injustos, porque los entrenamos con datos que ya son sesgados a través de decisiones humanas. Entonces es predecible”, explica.

Abundan los ejemplos de algoritmos saliendo mal: el algoritmo experimental de reclutamiento de Amazon terminó descartando candidatas femeninas debido a una sobreponderación histórica de empleados masculinos en la industria tecnológica.

El gigante de e-commerce también se metió en problemas cuando utilizó algoritmos de aprendizaje automático para decidir dónde lanzaría su servicio de entrega Prime Same Day. El modelo eliminó principalmente barrios negros como Roxbury en Boston y el lado sur de Chicago, negándoles los mismos servicios que en los barrios más ricos y blancos. 

Mientras las decisiones tomadas por máquinas se vuelven más comunes, expertos están ahora resolviendo maneras de mitigar los sesgos en los datos.

“En los últimos años hemos sido forzados a abrir nuestros ojos al resto de la sociedad porque la inteligencia artificial está yendo hacia la industria, y la industria está poniendo los productos en las manos de todos”, dice Yoshua Bengio, director científico del Montreal Institute for Learning Algorithms y pionero en técnicas de Deep Learning.

Estas técnicas incluyen maneras de hacer a un algoritmo más transparente, para que aquellos afectados puedan entender cómo llegó a esa decisión. Por ejemplo, Google ha implementado explicaciones contrafactuales, donde permite a los usuarios jugar con las variables, como cambiar masculino por femenino, y viendo los cambios que aparecen.

En IBM, investigadores lanzaron recientemente Diversity in Faces, una herramienta que puede informar a compañías si es que las caras en sus conjuntos de datos son lo suficientemente diversas antes de comenzar un programa de entrenamiento de reconocimiento facial.

“Los sistemas de inteligencia artificial necesitan vernos a todos nosotros, no solo a algunos. Ha sido reportado muchas veces que estos sistemas no son necesariamente justos cuando miras diferentes grupos de personas”, dice John Smith, gerente de inteligencia artificial para IBM Research y quien construyó la herramienta.

El laboratorio de Bengio está trabajando en diseñar modelos que son ciegos a información sensible como género y raza al momento de tomar decisiones. “No basta con solo remover la variable que dice género y raza, porque esa información podría estar oculta en otros lugares de manera sutil”, explicó. “La raza y dónde vives están altamente correlacionadas en Estados Unidos, por ejemplo. Necesitamos sistemas que puedan automáticamente eliminar esa información de los datos”, agregó.     

Él notó que la sociedad “necesita poner las reglas del juego más severamente” sobre el uso de algoritmos, porque los incentivos de las compañías no siempre están alineados con el beneficio de la gente.

En Durham, al norte de Inglaterra, la policía ha extraído información de direcciones postales desde la compañía de datos Experian hacia un programa que trata de predecir si es que la gente va a reincidir después de ser puesta en prisión preventiva. Esta variable fue removida del modelo el año pasado luego de preocupaciones de que castigaría injustamente a personas de barrios de bajos ingresos.

“La gente reaccionó a eso, porque la preocupación era si es que tú fueras el humano encargado de tomar la decisión que clasificaba el riesgo de reincidencia y sabías que esta persona vivía en un vecindario malo, eso podría sesgar tu decisión”, dijo Geoffrey Barnes, el criminalista de Cambridge que diseñó el algoritmo. “Los códigos de Experian probablemente tenían algún efecto en esa dirección, entonces si (removiéndolos) mitigabas la preocupación de la gente sobre estos modelos, tanto mejor”, dice.

Pero incluso con las mentes más brillantes trabajando para detectar decisiones injustas, los algoritmos nunca van a estar exentos de errores, debido a naturaleza compleja de las decisiones para las que están diseñados a tomar. Los intercambios tienen que ser acordados con anticipación con aquellos que implementan los modelos, y los humanos tienen que estar empoderados para anteponerse a las máquinas de ser necesario.

“Los fiscales humanos toman decisiones para acusar, los jurados toman decisiones para condenar, los jueces toman decisiones para sentenciar. Cada uno de ellos tiene defectos también”, dice Barnes, que ahora escribe algoritmos de justicia penal para la fuerza policial del oeste de Australia.

“Entonces, para mí la pregunta nunca es ‘¿el modelo es perfecto?’ No, nunca lo será. Sin embargo, ¿está haciéndolo mejor que lo que humanos con defectos responsables de tomar decisiones lo harían en su ausencia? Yo creo que lo hará”, asegura.

Pero no todos están convencidos de que los beneficios sopesan los peligros.

“La primera manera de remover el sesgo es usar un método más simple, más trasparente, en lugar del conocimiento profundo. No estoy convencido de que haya una necesidad para (la inteligencia artificial en) decisiones sociales”, dice David Spiegelhalter, presidente de la Royal Statistical Society.

“Hay una inherente falta de predictibilidad cuando se trata de comportamiento de las personas, y recolectar cantidades gigantes de datos no va a ayudar. Debido al estado caótico del mundo, un método estadístico más simple es mucho más seguro y menos turbio”.