Coto al machismo y el racismo en la inteligencia artificial

Cuando Apple lanzó su aplicación de Salud para su móvil y su reloj, no tuvo en cuenta algo tan básico para una mujer como el ciclo menstrual. Lo recuerda Susana Duran, directora de innovación de Sage y miembro de Women in Mobile, como uno de los ejemplos evidentes de por qué las mujeres han de participar más en el diseño tecnológico no solo de productos sino del futuro para luchar contra la "testosterona digital".

También las minorías étnicas y sociales sufren la dictadura del sesgo, interpretaciones hechas por máquinas sobre cómo ha de ser la realidad. Los algoritmos de Google han llegado a confundir caras de personas negras con simios, a asociar nombres habituales en el colectivo con anuncios de abogados criminalistas o  a vincular búsquedas sobre mujeres de minorías con pornografía. Y cuando se le pide un bebé, siempre es blanco y si es niña, viste de rosa.

El lenguaje tampoco ayuda. Una lengua cuyo género masculino engloba también el femenino (como el castellano, el catalán y la mayoría de las que derivan del latín), dará más preminencia a los varones, si nadie se molesta en aplicar un correctivo lógico, recuerdan los científicos de DeepMind, la división de inteligencia artificial de Google.

Varios libros y estudios científicos han vuelto a incidir en los últimos días sobre las preguntas clave de la inteligencia artificial: ¿Serán los algoritmos capaces de reflejar la diversidad de las sociedades actuales? ¿Tendrá valores la inteligencia artificial? Y ¿serán nuestros valores?   

Manifiestos científicos

La pregunta se la han hecho no solo los científicos, que ya impulsaron un manifiesto con más de 700 firmantes en el 2015 y la Declaración de Barcelona, entre otros, en favor de una inteligencia artificial que tenga en cuenta a los humanos, sino también desde varios organismos. La Unión Europea está reuniendo a un grupo de expertos para debatir sobre la cuestión, España ya tiene el suyo e incluso el Ayuntamiento de Nueva York ha anunciado una 'task force' para guiar los criterios de los “sistemas de decisión automática”, el primero en Estados Unidos. 

"Los algoritmos son opiniones incrustadas en código", afirma la autora del libro ‘Armas de destrucción matemática’

En el mundo académico se han alzado las voces que piden más pluralidad y transparencia (que se eviten las llamadas 'cajas oscuras' donde nadie sabe qué pasa) y que los algoritmos respondan al bien común. “Los algoritmos son opiniones incrustadas en código”, sostiene Cathy O’Neill, matemática y autora del libro ‘Armas de destrucción matemática’ (Capitán Swing, 2018), un ensayo que plantea cómo los diseños de los programas afectan a las vidas de las personas.

Sesgos en la vida real

Sesgos en la vida real"El big data no elimina los sesgos, solo los camufla con tecnología”, sostiene O’Neill. Su libro recoge ejemplos sobre casos en seguros, hipotecas, índices de criminalidad y selección de empleados en los que los criterios no están claros. “Los algoritmos recogen prejuicios humano y tienden a castigar al pobre y a los oprimidos de nuestra sociedad mientras hacen al rico aún más rico”, sostiene O’Neill.

También una profesora de la facultad de periodismo de la Universidad del Sur de California (USC), Safiya Umoja Noble, en un anticipo de su libro ‘Algoritmos de opresión’ plantea el mismo dilema sobre cómo si las búsquedas en Google refuerzan el racismo y la misoginia, y si los anuncios pagados tenían alguna influencia en estos resultados.

Varias oenegés observan el tema con recelo, como la alemana Algorithm Watch, que estudia los criterios de los programas de evaluación de riesgos para conceder créditos bancarios en Alemania (Schufa) que rechazan, según afirman, a uno de cada nueve clientes.

Problemas de método

Los científicos lo ven de otro modo. “Los programas de inteligencia artificial se entrenan usando datos concretos. Si estos van solo en una dirección, las conclusiones serán sesgadas”, explica Ulises Cortes,  jefe del grupo de Inteligencia Artificial del Barcelona Supercomputer Center. “La capacidad de generalización es típica de la inteligencia humana, y por tanto todo aprendizaje es sesgado. Ahora hay como una nueva moral que le exige a las máquinas que hagan mejor las cosas que las personas, y eso no es así”, admite.

Cortes apoya regular la intencionalidad de los algoritmos, pese a que admite que como científicos les complica mucho la vida. "Si no tienes escrúpulos y tu finalidad es comercial, adelante, pero si quieres ser coherente con los valores éticos y legales de una democracia europea hay que tener en cuenta muchas variables al definir un algoritmo. Pero tengamos en cuenta que tampoco los humanos cambiamos nuestras preferencias por la simple reflexión. Hay cosas que cuestan", añade.

La base de los datos

"Si el sistema se entrena con fotos de gente mayoritariamente blanca, será muy difícil que reconozca caras no blancas", sostiene Kate Crawford, investigadora de Microsoft y directora del AI Now Institute, de la Universidad de Nueva York. La institución, en la que participan científicos de varias universidades y centros de EEUU, aconseja que no se usen en instituciones públicas algoritmos que no sean transparentes y pide que los sistemas se prueben antes en distintos contextos y situaciones para ser más eficientes.