Catherine D'Ignazio: "Se está dando un uso racista, sexista y clasista a los datos"

Catherine D’Ignazio es profesora de Urbanismo del Instituto de Tecnología de Massachussets (MIT, por sus siglas en inglés), directora de Data+ Feminism Lab y colaboradora de Digital Future Society. Acaba de publicar, junto a Lauren Klein, el libro Feminismo de Datos, donde muestra su crítica sobre la recopilación, tratamiento y presentación que se hace hoy en día de los datos ante la opinión pública.

Usted defiende un feminismo de datos, ¿qué es exactamente? Denominamos Feminismo de Datos (Data Feminism) a una parte creciente del trabajo de corporaciones y administraciones que están dando un uso racista, sexista y clasista al uso de los datos. Algoritmos de contratación que degradan por el origen, sistemas de detección de rostros que no pueden ver a mujeres de color, algoritmos de búsqueda que estereotipan negativamente a niñas negras… Lo que yo llamo Feminismo de Datos viene a denunciar estos análisis de datos que provienen del heteropatriarcado, el racismo y el colonialismo.

Entonces, ¿estamos recolectando erróneamente los datos o los estamos tratando mal? Hay gente que está recolectando y analizando bien los datos, aunque ciertamente no es la norma general. Los problemas comienzan, incluso, antes de recoger los datos porque muchas veces esa recopilación no es completa. Una vez que tenemos los datos, a menudo no los desglosamos en categorías -sexo, género, raza, etnia, etc- para poder analizar importantes patrones de desigualdad. Y, finalmente, cuando comunicamos datos o construimos algoritmos muchas veces priorizamos los deseos de la mayoría sobre las necesidades de las personas más vulnerables.

¿Qué grupos están siendo más discriminados? Los grupos minorizados son aquellos que son activamente discriminados y subyugados.  Por ejemplo, las mujeres, que pese a ser la mayoría de la población son un grupo minoritario. La recopilación, el mantenimiento y la utilización de los datos es costosa y, mayoritariamente, quien trabaja en esta actividad son identidades dominantes: hombres, blancos, la élite y los cisgéneros. Esto crea un riesgo de privilegio: una muy pequeña subsección de la población está recolectando datos y diseñando herramientas para una mayoría que no se sienta en la intersección de todas esas identidades.

¿Puede darnos algunos ejemplos de mala recopilación y tratamiento de datos? Mi colega en el MIT Joy Buolamwini ha estado demostrando el fracaso de la tecnología de análisis facial para las mujeres de piel más oscura. En su artículo Gender Shades, Boulamwini explica que los conjuntos de datos de referencia en los que se basa el software de detección facial están formados por más del 80% de rostros blancos y de hombres. Por lo tanto, estos programas fallan para muchas personas, y en particular para las mujeres negras y de piel más oscura.

¿Algún ejemplo más? Justo hace un par de semanas un hombre negro en Detroit fue identificado erróneamente como autor de un delito grave por el software de reconocimiento facial. Fue esposado y arrestado en su casa, frente a sus dos hijas, y pasó 30 horas en la cárcel, siendo interrogado por un crimen que no cometió.

¿Qué tenemos que hacer para tener mejores datos? En el Feminismo de Datos esbozamos una serie de principios para hacer las cosas mejor, como examinar y desafiar al poder, abrazar el pluralismo y cuestionar a las jerarquías, considerar el contexto o hacer visible el trabajo.

La inteligencia artificial y los algoritmos están muy de moda, ¿cómo les afecta todo esto? Los algoritmos y la inteligencia artificial están realizando operaciones matemáticas como contar, agrupar, clasificar y demás. Sin una cuidadosa atención a las definiciones de justicia, igualdad y equidad, los resultados favorecen a los grupos mayoritarios sobre los más pequeños y también a los que han sido perjudicados a lo largo del tiempo.