¿Cuánta diversidad hay en la virtualidad? ¿De qué manera la inteligencia artificial (IA) colabora en perpetuar los estereotipos y la discriminación? Estas son algunas de las preguntas que los ciudadanos/usuarios de tecnologías deberíamos hacernos cada vez más.
Para los legos en la materia, la IA y las ciencias de datos son un universo bastante desconocido pese al impacto real y concreto en nuestras vidas diarias. La tecnología omnipresente nos sigue desconcertando con su poder maravilloso que, a veces, nos hace más fácil la existencia y otras, más vulnerables.
Para entender cómo funciona la IA tal vez sea necesario recordar que la inteligencia artificial no es inteligente porque no puede entender sus errores ni corregirlos como una persona. Y, que los datos no son neutrales, ya que pueden generar o ahondar estereotipos y sostener prejuicios, que afectan a los buscadores como Google, a las traducciones automáticas, a los sistemas de selección laboral y a otras tecnologías del lenguaje humano.
“La tecnología podría ser mejor, podría ser menos sesgada si manualmente se eliminaran sesgos de forma sistemática de los datos de entrenamiento, como manualmente se filtra la pornografía de internet, por ejemplo. Pero este tipo de auditoría es costosa y no es prioridad para los grandes monopolios tecnológicos”, explica Luciana benotti, investigadora y docente de la UNC.
La tecnología no atiende las demandas de todos los sectores y, por lo tanto, es posible que priorice los intereses de unos pocos en detrimento de las mayorías y colabore en la perpetuación de las desigualdades igual que en la vida real.
Laura Alonso Alemany, experta en lingüística computacional en la UNC, explica que en un sistema de toma automática de decisiones hay errores. A esas fallas se les denomina “sesgo”, dice, cuando son sistemáticas y no espontáneas. Es decir, cuando no son aleatorias, sino que se distribuyen con patrones (racistas, por ejemplo) que se encuentran en los datos y que ocurren en la realidad aunque no quisiéramos que sucedan. “Nuestra sociedad es racista, entonces los datos reales tienen racismo y los sistemas que encuentran patrones en esos datos encuentran patrones racistas. Lo mismo con el machismo, con la discriminación a personas con discapacidad y discriminación de otro tipo”, remarca Alonso Alemany.
Un ejemplo conocido fue un antiguo algoritmo de Amazon, basado en un mensaje automático, que servía para filtrar curriculums y ver cuáles podían ser mejores para una búsqueda laboral. El algoritmo había “aprendido” que las mujeres no eran buenas candidatas porque Amazon casi no contrataba mujeres.
En un momento, el algoritmo de cropping (recorte) de Twitter también discriminaba a personas gordas y viejas, cortándolas de las fotos.
Algunos estudios de casos, que pueden encontrarse fácilmente en la web, revelan por ejemplo que un algoritmo de IA aprendió a asociar mujeres con imágenes de cocinas, basado en decenas de miles de fotografías de internet donde aparecen más mujeres que hombres en ese lugar de una casa. De esta manera, el algoritmo multiplicó el sesgo de género presente en un conjunto de datos.
Máquinas prejuiciosas
La discriminación de género algorítmica tiene varias explicaciones. Una de ellas es que, por ejemplo, las IA están entrenadas con datos históricos, del pasado, cuando la perspectiva de género no estaba en agenda.
En este punto, la tecnología no sólo puede amplificar las desigualdades, sino profundizar los prejuicios cuando la decisión algorítmica se percibe como más justa que la decisión humana.
El problema es que los sesgos son difíciles de ver porque están muy naturalizados, ya que es un mecanismo cognitivo para simplificar la realidad y poder tomar decisiones rápidas.
Luciana Benotti plantea que los sistemas y los datos están sesgados de tal modo que “benefician a quienes tienen poder porque son creados por personas con poder” -con recursos económicos, humanos y técnicos- capaces de recolectar grandes cantidades de datos. La pregunta sería, ¿qué datos faltan en el Big Data?
Benotti remarca que los datos que se recogen no representan a todo el mundo, y que gran parte de los que se usan son un reflejo del “Norte global”. Entre los hablantes del español, dice, también ocurren desigualdades: los modelos de lenguaje, por ejemplo, son creados con datos que provienen principalmente de España, donde viven menos hispanohablantes que en el resto del mundo.
El problema plantea un dilema. Como dijo en una oportunidad Alonso Alemany a este diario, cuando en la vida real una persona es discriminada, existe la posibilidad de pedir explicaciones, pero si te discrimina una máquina, ¿a quién se reclama?
