Cathy O'Neil: "Los algoritmos nos juzgarán y evaluarán constantemente"

Su libro ‘Armas de destrucción matemática’ (Capitán Swing, 2017) dio la alerta global sobre el riesgo que suponían los sesgos en la inteligencia artificial y cómo podían generar resultados que fueran contra el interés general. Científica de datos por Harvard, con posgrado en el MIT, fue analista para empresas de finanzas y de compras antes de desencantarse e involucrarse con el movimiento Occupy Wall Street. Pasó por Barcelona para el festival Influencers 2018.

¿Pueden los algoritmos mejorar la vida de la gente?  Pueden ser escrutados y mejorados para ser mejores, en alguna definición de mejor. Pero ahora estamos en lo peor de ambos mundos: procesos que a la gente no le gusta con algoritmos en los que no se puede confiar. Creo que al menos podemos arreglar la segunda parte, ajustándolos a la ciencia.

¿Cómo hacemos que vuelvan a ser ciencia? Tenemos que volver al método científico. Hacer pruebas y verificarlas. Estamos sustituyendo a gente por procesos que ni siquiera sabemos si son mejores porque hay muchos resultados inconsistentes. En selección de personal se aplican exámenes con preguntas ilegales sobre personalidad que dan muchos falsos positivos. Se está rechazando a gente que merece los empleos y se contrata a otra que no funciona. Para una compañía, eso es un problema. Amazon acaba de descubrir que tenía un algoritmo para contratar empleados que discriminaba a las mujeres porque había deducido que los programadores tenían que ser hombres. Poner a prueba los resultados es caro, y no se hace. Las empresas pretenden que hacen ciencia cuando lo que hacen es primar el dinero sobre la ciencia. 

"Ahora estamos en lo peor de ambos mundos: procesos que no gustan con algoritmos en los que no se puede confiar"

En su libro cuenta cómo los algoritmos de Starbucks han deducido que es más barato que un empleado abra y cierre un local (closeopenning), lo que afecta la vida personal del trabajador, a quien se le cambia el horario constantemente y además se le organiza la jornada para que nunca llegue al mínimo de horas para ser fijo. En EEUU los algoritmos se están usando para saltarse las leyes laborales y aumentar los beneficios empresariales. Y les resulta muy fácil aplicarlo para reducir el número de empleados que necesitan. Prefieren unos pocos dólares más a la calidad de vida de sus trabajadores.

Da también ejemplos de su influencia en créditos, seguros, valoración personal… ¿Qué le quedó por añadir? Habría hablado de algoritmos en microfinanzas y en política, pero sobre todo me interesa cómo se están usando en la educación de los niños en EEUU, cómo se les vigila y se les puntúa. Soy madre de tres hijos, que hablaron tarde aunque son chicos brillantes. ¿Les hubieran descartado por el algoritmo? ¿Tengo que estar midiendo a un niño de cinco años para ver si puede ir al colegio adecuado? Es bastante estúpido.

¿Qué hacen exactamente? Todavía no lo sabemos pero los chicos de Silicon Valley están haciendo cosas que no aplican a sus propios hijos sino a niños pobres. Están intentando reemplazar a los profesores con ordenadores. Presuponen que las discapacidades se tratan todas igual o que un niño pequeño puede estar horas y horas ante la pantalla. Las escuelas estadounidenses tienen una larga historia de experimentos fallidos y creo que este es otro. Pero habrá una generación de niños que no van a aprender nada porque se supone que lo van a hacer con el ordenador.

Hoy todas las universidades tienen campus virtuales y saben qué hacen sus alumnos. Muchos temas en educación no pueden ser abordados desde la tecnología. Pero en vez de admitirlo, nos empeñamos en aplicar soluciones tecnológicas porque creemos que van a ser mejores. No aprendemos. Decimos que es ciencia de los datos, pero no es ciencia en absoluto.

¿Qué le parece el Reglamento Europeo de Protección de Datos? Tim Cook, el CEO de Apple, dijo en Bruselas que EEUU debería copiarlo. EEUU y Europa tenemos problemas diferentes y el reglamento está pensado para los problemas europeos. En EEUU no tendría sentido porque los americanos siempre hemos tenido nuestros datos expuestos, se han vendido durante décadas, todos tenemos un perfil completo que muchas empresas comercializan. No tendría sentido preocuparse de repente por cómo se recopilan los datos, sino por cómo se están usando, cómo se están volviendo a analizar para otros fines. Aunque quites cualquier identificación sobre el género, han descubierto cómo saber si eres un hombre o una mujer por cómo escribes. No sabemos lo que pueden saber de nosotros, así que es difícil saber qué tenemos que proteger. Además, no tenemos privacidad ante el gobierno o ante la policía, o si te presentas a un trabajo no puedes evitar contestar ciertas preguntas. No es un tema de privacidad, sino de poder. Y los europeos se tienen que preocupar también por eso. 

"No tiene sentido preocuparse por cómo se recopilan los datos sino por cómo se están usando para otros fines"

¿Sabemos quiénes tienen nuestros datos? ¿Son solo Google y Facebook? No. Cualquier proceso burocrático de los próximos 10 años va a ser automatizado, así que las burocracias van a decidir si nos merecemos algo o no. Los algoritmos nos va a juzgar y evaluar constantemente.

¿Podría un gobierno nacionalizar Facebook, como se ha propuesto a veces? Tardará mucho. Yo no confío en mi Gobierno, pero ¿quién lo hace? Igual los suecos. Creo que el futuro de las redes sociales para por comunidades más pequeñas y mejor controladas.

¿Cree que se ha despertado una conciencia sobre los peligros de los datos o se han quedado solo con ‘hay que salir de Facebook’? Facebook está cometiendo errores muy graves y se está convirtiendo en sospechosa de querer arruinar la democracia, y eso es un asunto grave. No tenemos motivos para confiar en ellos, ni en ningún algoritmo, y estamos acumulando evidencias. Pero yo no quiero perder la confianza, quiero hacer las cosas mejor. Los algoritmos han de poder rendir cuentas.