El impacto de la inteligencia artificial en grupos vulnerables: un análisis jurisprudencial global

El pasado 24 de diciembre de 2024, en el marco del proyecto cAIre ‘Caring for vulnerable groups through AI Governance and fair AI in the work place’ que investiga sobre la gobernanza de la IA, el futuro del trabajo con el fortalecimiento de la colaboración digital paneuropea para un impacto positivo, equitativo e inclusivo en la sociedad, el subgrupo 1.2 publicó un estudio pionero denominado Inventory of comparative judgments and rulings que recoge un inventario de sentencias y resoluciones de derecho comparado.

El estudio con un alcance internacional, analiza la jurisprudencia derivada de decisiones judiciales y resoluciones de otras autoridades relevantes en relación al impacto de la tecnología basada en IA en grupos vulnerables. Se utiliza un enfoque interseccional con el objetivo de identificar vulnerabilidades y proponer salvaguardas que mitiguen los riesgos asociados a la utilización de este tipo de tecnología.

Es innegable la proliferación y el hype de sistemas como la IA generativa que se han vuelto en los últimos meses, tan populares como, por ejemplo, ChatGPT u otros chats conversacionales análogos. Este hecho ha impulsado una carrera tecnológica y activado las alarmas sobre los riesgos de diversa naturaleza que conlleva la utilización de tecnología basada en IA. En este contexto, es fundamental que el desarrollo de la IA respete los derechos y libertades de las personas físicas y que los intereses públicos no se comprometan.

En la vertiente legislativa vio la luz el Reglamento (UE) 2024/1689 del Parlamento Europeo y del Consejo, de 13 de junio de 2024, por el que se establecen normas armonizadas en materia de inteligencia artificial (en lo sucesivo, el RIA), que emerge como un marco clave que permite gestionar los desafíos sobre el equilibrio que implica el beneficio que proporciona la IA y la minimización de los riesgos asociados a su uso.

El estudio ha identificado numerosos casos en los que los sistemas de IA han afectado a diferentes grupos que definimos como vulnerables. Todos podemos tener una idea aproximada del significado de “grupo vulnerable” aunque cambiará dependiendo de aspectos como nuestra cultura, contexto, etcétera. Por este motivo y para comenzar, es fundamental dar respuesta a la pregunta: ¿Qué entendemos como un grupo vulnerable? Como he comentado, esta pregunta no tiene una respuesta unívoca, así que el estudio centró el concepto de “grupo vulnerable” en las personas en situación de pobreza o exclusión social, a los trabajadores precarios, a las personas que pertenecen a minorías raciales o étnicas así como a migrantes, a personas expuestas a discriminación por razón de género, a niños y adolescentes, a personas consideradas mayores en cada contexto, a personas con discapacidad, a personas con enfermedad crónica.

Por ejemplo, para personas en situación de exclusión social en Países Bajos, el sistema SyRI se consideró ilegal por vulnerar la privacidad y transparencia al relacionarlo con sesgos de discriminación por razón de estatus socioeconómico o condición de migrante; para el colectivo de trabajadores precarios, los litigios con plataformas como Amazon o Uber han impulsado la redefinición de las relaciones laborales; y, en Italia el algoritmo de asignación de profesores demostraron discriminación algorítmica y falta de transparencia; o en el caso de Deliveroo que evidenció una discriminación algorítmica contra los trabajadores que ejercían su derecho a la huelga o tenían responsabilidades de familiares.

También en colectivos minoritarios por razón de raza, etnia, migrantes, refugiados o pueblos indígenas, se detectaron sesgos raciales en la evaluación del riesgo de reincidencia, o el uso de herramientas no adecuadas para determinados colectivos, o el cribado discriminatorio de requisitos que suponen el acceso a una vivienda; en personas expuestas a discriminación por razón de género, el sistema VIOGEN en España evidenció riesgos relacionados con el sesgo de automatización y la excesiva confianza en las evaluaciones de riesgo realizadas por la IA; en menores adolescentes se resaltan violaciones de derechos con diseños adictivos afectando a su salud mental y la falta de transparencia; en personas consideradas mayores, se detectó el sesgo de contratación por discriminación de edad.

El uso de las herramientas de IA pue afectar de manera notable a colectivos vulnerables. Es fundamental revisar los algoritmos de las herramientas. (Imagen: E&J)

El estudio también aborda los riesgos potenciales que puede tener la tecnología basada en IA para la población en general con el impacto desproporcionado que genera en determinados colectivos y, se analizan resoluciones relacionadas con los casos de tecnologías de reconocimiento facial como el caso de Mercadona, Glukhin vs. Rusia y, acciones contra Clearview AI. Con el análisis realizado se pone de manifiesto el riesgo que supone la utilización de tecnología para la vigilancia masiva, la falta de transparencia, la necesidad de coordinar el cumplimiento con la normativa específica de protección de datos personales y, el consecuente riesgo de discriminación. La utilización de tecnología IA en el sistema de justicia, casos como TrueAllele en EE.UU., resalta la necesidad de la supervisión humana y la prevención de sesgos en las decisiones algorítmicas.

Las resoluciones analizadas se relacionan con los principios de la OCDE para una IA confiable y que se reflejan en el RIA, como el respeto al Estado de Derecho, los derechos humanos y los valores democráticos a través de la supervisión humana efectiva (human-in-the-loop).

En cuanto a la transparencia y la explicabilidad y para poder interpretar los resultados y usar el sistema de forma adecuada será necesario que los proveedores proporcionen información concisa, completa, correcta y clara a los responsables del despliegue, incluyendo las características, capacidades, limitaciones del sistema, la finalidad prevista, ciberseguridad, trazabilidad del sistema a lo largo del ciclo de vida, etcétera.

Por su parte, los responsables del despliegue asumirán la responsabilidad del buen funcionamiento a través de un sistema de gestión de riesgos adecuado continuo e iterativo para poder identificar, evaluar y mitigar los riesgos para la salud, seguridad y derechos fundamentales. Además, tendrán en cuenta la calidad de los datos en desde la fase del entrenamiento hasta la fase del despliegue y mantenimiento/mejora continua.

El estudio presentado junto con el marco del RIA facilita gran valor para las organizaciones con un mapa claro de los principales grupos afectados, los derechos vulnerados y los principios que deben respetarse. Se subraya la necesidad de marco de cumplimiento robusto, con transparencia algorítmica, supervisión humana efectiva y mecanismos de rendición de cuentas que garantice que la IA se desarrolle e implemente de forma ética, justa y respetuoso con los derechos fundamentales, en especial, de los más vulnerables.

La aplicación del RIA requerirá de un cambio en las prácticas de desarrollo de IA hacia un paradigma más fiable transparente y sometido a auditoría. [Acceder al estudio Inventory of comparative judgments and rulings].