Gobernar los algoritmos

La inteligencia artificial ya condiciona nuestro día a día: qué leemos, qué vemos, qué compramos o con quién nos relacionamos. Lo que quizás es menos conocido es que esta tecnología también empieza a condicionar aspectos clave de nuestra vida como nuestras oportunidades laborales o el acceso a prestaciones sociales.

El verano pasado tuvimos un ejemplo en el Reino Unido cuando el Gobierno de Boris Johnson utilizó un algoritmo para sustituir las pruebas de acceso en la universidad que no se habían podido realizar por el Covid. El algoritmo ponderaba el resultado del alumno no solo en base a la evaluación de sus profesores, sino que incluía otros factores como el historial de todo el centro educativo. Esto perjudicó gravemente a los mejores alumnos de las escuelas situadas en entornos más modestos, hasta el punto que algunas notas de acceso se vieron reducidas en un 40%.

Otro ejemplo: el Gobierno de Holanda aplicó un sistema de inteligencia artificial que rastreaba posibles casos de fraude entre beneficiarios de ayudas sociales en barrios desfavorecidos. El algoritmo y los datos identificaron erróneamente como infractoras a personas que sencillamente cumplían el mismo perfil social que los infractores reales, incluyéndolas durante dos años en unas bases de datos que podían consultar los gobiernos locales que así lo desearan.

Son dos casos que muestran todo aquello que no se tiene que hacer. No se pueden utilizar algoritmos sin supervisión humana para tomar decisiones automatizadas que afectan a las personas y, por supuesto, tampoco se pueden programar algoritmos que agraven las desigualdades existentes por los sesgos en la programación y en los datos que los alimentan.

El aspecto de los sesgos es fundamental. Como dice la fundadora de la Liga para la justicia algorítmica, Joy Buolamwini, “el pasado habita en nuestros algoritmos”: la inteligencia artificial se basa en predicciones sobre el futuro basadas en datos del pasado. Datos que contienen sesgos por aspectos como el género o el nivel socioeconómico, y a los que además hay que añadir el sesgo que puedan transmitir unos programadores que acostumbran a ser hombres blancos, jóvenes y de clase media.

¿Estamos dispuestos a que el futuro de nuestra sociedad se construya como una mera imagen de las desigualdades del pasado? Necesitamos actuar en el desarrollo de esta tecnología y lo tenemos que hacer antes de que tenga un impacto mayor sobre nuestras vidas.

Esto es lo que estamos haciendo en Barcelona y por esta razón hemos aprobado la Estrategia municipal de algoritmos y datos para el impulso ético de la inteligencia artificial. Lo hemos hecho en un momento clave. La Comisión Europea acaba de presentar su propuesta de regulación de la inteligencia artificial. Lo hace en un contexto como el actual: en medio de una pandemia que nos ha hecho poner el foco sobre muchos aspectos relativos a las libertades y los derechos individuales y colectivos, en el que la administración se tiene que acercar más que nunca a la ciudadanía. La legislación europea, de esta manera, tendrá que reflejar cómo queremos que sean nuestras sociedades en el futuro. Y Barcelona quiere formar parte de este debate.

Nuestra estrategia es pionera. Somos una de las primeras ciudades en tener una hoja de ruta sobre cómo implementar la inteligencia artificial en su organización. Cada algoritmo con el que trabaje el Ayuntamiento de Barcelona debe garantizar principios como, por ejemplo, la transparencia, la no discriminación o la privacidad de los datos. Nos sumamos a ciudades como Ámsterdam, Nueva York, Helsinki, Toronto y Seattle en la construcción de un modelo de inteligencia artificial y tecnologías emergentes basado en los derechos humanos.

Desde Barcelona trabajamos con este objetivo, pero también queremos ir un paso más allá.Queremos pasar de una Administración que responde a las solicitudes de la ciudadanía a una Administración que se anticipa y propone soluciones personalizadas. Y es que en Europa, un 30% de los potenciales receptores de ayudas públicas no las solicitan porque desconocen que existen. Se trata de pasar de una Administración reactiva a una proactiva.

La regulación de la inteligencia artificial es un reto y una oportunidad al mismo tiempo para las administraciones públicas. El reto de poner límites al poder del algoritmo, de gobernarlo, y la oportunidad de conseguir que los servicios públicos sean más eficaces e inclusivos.