Filtración
Un ingeniero de Microsoft denuncia que su inteligencia artificial genera imágenes violentas y sexuales
ChatGPT: un año del asombro que ha propulsado la fiebre de la IA
![Copilot, la IA generativa de imágenes de Microsoft.](https://estaticos-cdn.prensaiberica.es/clip/10b65225-5f04-44fb-aa91-917121f25d56_16-9-discover-aspect-ratio_default_0.jpg)
Copilot, la IA generativa de imágenes de Microsoft. / Alastair Grant / AP
![Carles Planas Bou](https://estaticos-cdn.prensaiberica.es/clip/3cf5f6cc-c283-48e1-ad20-c17025600721_source-aspect-ratio_default_0.jpg)
![Carles Planas Bou](https://estaticos-cdn.prensaiberica.es/clip/3cf5f6cc-c283-48e1-ad20-c17025600721_source-aspect-ratio_default_0.jpg)
Carles Planas Bou
Periodista
Periodista tecnológico entre el mundo digital y la política internacional. Centrado en capitalismo de plataformas, IA, vigilancia y derechos digitales. Excorresponsal en Berlín durante más de cuatro años, cubrió los gobiernos de Merkel, la crisis de los refugiados y el auge de la extrema derecha. También ha trabajado en Europa Central y en Canadá. Graduado en Periodismo por la URL y máster en Relaciones Internacionales por la UAB. Ha colaborado con TV3, TVE, Deutsche Welle, Catalunya Ràdio, El Orden Mundial o El Salto.
La inteligencia artificial (IA) de Microsoft genera imágenes violentas y sexualizadas y viola los derechos de autor. Así lo ha denunciado públicamente Shane Jones, un ingeniero de software que ha acusado al gigante informático de conocer el problema y de no adoptar salvaguardias para ponerle fin.
"Internamente, la empresa es muy consciente de los problemas sistémicos por los que el producto está creando imágenes dañinas que podrían ser ofensivas e inapropiadas para los consumidores", alertó en un mensaje publicado este miércoles en su perfil de la red social LinkedIn.
Su carta se centra en Copilot Designer, una herramienta entrenada para generar imágenes a partir de instrucciones de texto que funciona con la IA desarrollada por OpenAI, la compañía responsable de ChatGPT. El pasado diciembre, Jones empezó a testear su sistema en busca de vulnerabilidades y lo que vio le generó náuseas. Cuando se pedía a la aplicación crear imágenes sobre el derecho al aborto, por ejemplo, los resultados eran monstruos, mujeres sexualizadas, adolescentes con rifles y menores consumiendo drogas. "Fue cuando me di cuenta por primera vez de no es un modelo seguro", ha explicado al canal estadounidense CNBC.
En su carta abierta, Jones alega que el generador de imágenes de Microsoft carece de restricciones de uso y que arrastra "problemas sistémicos". Entre ellos, señala, la cosificación sexual de mujeres incluso cuando las indicaciones de los usuarios no tienen nada que ver con ello, como puede ser 'accidente de coche'. En enero, la compañía ya se vio obligada a modificar su producto después que se usase para generar imágenes no consentidas de la cantante Taylor Swift desnuda, según informó 404 Media.
Además, el ingeniero también se muestra preocupado por una posible violación de los derechos de autor. Copilot genera fácilmente imágenes de marcas y de personajes que, como Mickey Mouse, tienen una autoría. "Estoy convencido de que no se trata sólo de una barrera de protección de los derechos de autor que está fallando, sino que hay una barrera de protección más sustancial que está fallando", ha explicado a la CNBC.
Se ignoraron sus avisos
Jones trabaja desde hace seis años para Microsoft, ahora como director de ingeniería de software. Su trabajo consiste en probar la tecnología de la empresa para detectar problemas. Su experiencia con Copilot le alarmó tanto que informó "repetidamente" a sus superiores. El ingeniero ha explicado que Microsoft reconoció su preocupación, pero que le remitió a OpenAI. Cuando la 'startup' dirigida por Sam Altman ignoró sus advertencias, él optó por hacer públicos sus hallazgos.
En enero, Jones alertó a varios senadores estadounidenses. Este miércoles fue más allá y envió una carta a la Comisión Federal de Comercio, la agencia gubernamental de EEUU que vela por los derechos de los consumidores, y al consejo de administración de Microsoft. "En los últimos tres meses he instado repetidamente a Microsoft a que retire Copilot Designer del uso público hasta que se establezcan mejores salvaguardias", explicó.
En su carta abierta, Jones pide a Microsoft dejar de comercializar su producto como de uso público y revisar sus procesos internos de investigación. "No creo que tengamos que esperar a la regulación gubernamental para garantizar que somos transparentes con los consumidores sobre los riesgos de la IA", explica.
En otra carta publicada en diciembre y borrada tras ser presionado por el equipo legal de Microsoft, pidió a OpenAI que retire del mercado DALL-E 3, la última versión de su IA generativa de imágenes. El ingeniero añade que ambas compañías conocían desde el principio los riesgos de esos programas. Un portavoz de Microsoft ha negado esas acusaciones.
No es la primera vez que una IA tiene problemas con las imágenes que genera. A mediados de febrero, Google se vio obligada a suspender temporalmente la generación de imágenes de personas de Gemini, su modelo de lenguaje, después que dar forma a "inexactitudes históricas" como soldados nazis negros.
- Esta fruta no la come casi nadie, siempre está en los supermercados y está llena de proteína y antioxidantes
- El apellido de origen gitano que tienen más de tres millones de españoles
- Crisis en una escuela compleja de Badalona: pierde a 20 profesores de un plumazo tras el proceso de estabilización docente
- ¿No sabes qué hacer con tanto calabacín? Tres recetas para aprovecharlos
- Un brote de salmonelosis en un bar de Barcelona deja al menos 22 afectados tras comer tortilla de patatas
- Vecinos de Sants piden al Ayuntamiento de Barcelona que compre su bloque para no quedarse sin alquiler
- Estas son las playas de Catalunya con más medusas
- Muere de forma violenta la influencer Catalina Gutiérrez a los 21 años