En una carta oberta adreçada a la Presidència espanyola del Consell de la Unió Europea, 60 organitzacions de la societat civil, nacionals i internacionals, entre elles Lafede.cat, hem expressat la nostra preocupació per les deficiències en la proposta original del Reglament d’Intel·ligència Artificial (Llei d’IA) de la Unió Europea. Les organitzacions demanen a la Presidència espanyola que garanteixi una legislació respectuosa amb els drets fonamentals. Les entitats impulsores de la carta són Lafede.cat, Algorace, Fundación Eticas, CIVIO, Observatorio Trabajo, Algoritmos y Sociedad; Algorights, Institut de Drets Humans de Catalunya i CECU.

Autor: martinwimmer / Getty

Carta a la Presidència Espanyola del Consell de la Unió Europea:

Garantir la protecció dels drets fonamentals en el Reglament de la Intel·ligència Artificial

 

Les organitzacions signants d’aquesta carta us escriuen per cridar l’atenció sobre una sèrie de greus deficiències en el Reglament d’Intel·ligència Artificial (Reglament d’IA) (COM/2021/206) que actualment està sent negociat per la Presidència sueca del Consell de la Unió Europea i properament per la Presidència espanyola.

Aquesta carta es basa en la posició de 123 organitzacions de la societat civil que demanen a la Unió Europea que posi en primer pla un enfocament basat en els drets fonamentals per al Reglament d’IA el 2021. El Reglament d’Intel·ligència Artificial és un acte legislatiu fonamental que tindrà un fort impacte en la població de la UE i, amb tota probabilitat, també més enllà de les nostres fronteres.

Algunes de les nostres preocupacions es refereixen a pràctiques perilloses que condueixen a la vigilància massiva sobre la població. En fomentar la vigilància massiva i amplificar algunes de les desigualtats socials i desequilibris de poder més profunds, els sistemes d’IA estan posant en greu perill els nostres drets fonamentals i els processos i valors democràtics.

En particular, cridem l’atenció sobre les proteccions essencials dels drets fonamentals que es poden millorar encara més durant les negociacions dels anomenats trílegs o diàleg a tres bandes. Donat el paper que jugarà el Govern espanyol a partir de l’1 de juliol de 2023 en assumir la Presidència rotatòria del Consell, i l’interès mostrat ja per liderar la carrera de la Intel·ligència Artificial a Europa, creiem que la Presidència espanyola ha d’assumir un paper assertiu i garantir que la legislació sigui a prova de futur i respectuosa amb els drets fonamentals.

Demanem a la propera Presidència espanyola i als Estats membres que garanteixin que les següents característiques es reflecteixin en el text final del Reglament d’IA:

  • Ampliar la llista de prohibicions exhaustives d’aquells sistemes d’IA que suposin un “risc inacceptable” per als drets fonamentals. És vital que la llista de l’article 5 de “pràctiques d’IA prohibides” s’ampliï per abastar tots els sistemes que es demostrin que plantejen un risc inacceptable de vulnerar drets i llibertats fonamentals de les persones, afectant també de manera més general els principis fonamentals de la democràcia. Com a mínim, les organitzacions signants considerem que s’haurien de prohibir totalment:

  • La identificació biomètrica remota (RBI) a l’espai públic que s’apliqui a tots els agents, no només als encarregats de fer complir la llei, així com els seus usos tant “en temps real” com “a posteriori” (sense excepcions);

  • L’ús de sistemes d’IA per part de les autoritats administratives, policials i judicials per fer prediccions, perfils o avaluacions de risc per tal de predir delictes;

  • L’ús de sistemes d’avaluació i perfilat de riscos individuals basats en la IA en el context de la migració; l’anàlisi predictiva amb finalitats d’interdicció, restricció i prevenció de la migració; i els polígrafs d’IA per a la prevenció de la migració;

  • L’ús de sistemes de reconeixement d’emocions que pretenen inferir les emocions i els estats mentals de les persones;

  • L’ús de sistemes de categorització biomètrica per rastrejar, categoritzar i jutjar les persones en espais d’accés públic o per categoritzar les persones en funció de característiques protegides;

  • L’ús de sistemes d’IA que puguin manipular les persones o prendre avantatge de contextos o situacions de vulnerabilitat, de manera que puguin causar o tenir l’efecte de causar-hi danys.

2- Eliminar qualsevol tipus de discrecionalitat en el procés de classificació de sistemes dalt risc (article 6). L’orientació general del Consell i les negociacions al Parlament Europeu tendeixen a afegir capes en el procés de classificació de riscos en exigir requisits addicionals perquè els sistemes d’IA llistats a l’Annex III siguin considerats d’alt risc. Això complicaria greument el Reglament d’IA, dotaria d’una discrecionalitat excessiva als proveïdors per decidir si el sistema és d’alt risc o no, comprometria la seguretat jurídica i donaria lloc a una gran fragmentació a l’aplicació del Reglament. Per això, sol·licitem:

  • Que tots els sistemes d’IA a què fa referència l’Annex III del Reglament d’IA siguin considerats d’alt risc, sense més consideracions.

3- Obligacions significatives de rendició de comptes i transparència sobre els usos públics dels sistemes d’IA i sobre tots els “implementadors” d’IA d’alt risc. Per garantir el màxim nivell de protecció dels drets fonamentals, els qui implementin sistemes d’IA d’alt risc (és a dir, els “usuaris”” tal com se’ls anomena en la proposta original de la Comissió Europea i en l’orientació general del Consell de la UE, o els “implementadors” segons podria acordar-se al Parlament Europeu) han de facilitar informació pública sobre l’ús d’aquests sistemes. Aquesta informació és crucial per a la rendició pública de comptes, ja que permet a les organitzacions d’interès públic, als investigadors ia les persones afectades comprendre el context en què s’utilitzen els sistemes d’alt risc. El Reglament d’IA ha d’incloure les obligacions següents per als implementadors:

  • Obligació dels implementadors de registrar tots els sistemes d’IA d’alt risc a la base de dades de l’article 60;

  • L’obligació de les autoritats públiques, o dels qui actuïn en nom seu, de registrar tots els usos dels sistemes d’IA a la base de dades de l’article 60, independentment del nivell de risc;

  • L’obligació dels implementadors de sistemes d’IA d’alt risc de fer i publicar a la base de dades de l’article 60 una avaluació de l’impacte sobre els drets fonamentals (EIDF) abans de desplegar qualsevol sistema d’IA d’alt risc;

  • L’obligació dels implementadors de sistemes d’IA d’alt risc d’involucrar la societat civil i altres parts afectades a l’avaluació de l’impacte sobre drets fonamentals que han de fer.

4- Drets i mecanismes de reparació per empoderar les persones afectades pels sistemes d’IA. Si bé hem vist passos positius en reconèixer-se, per exemple, a l’orientació general del Consell, la possibilitat de presentar reclamacions davant d’autoritats públiques en cas d’incompliments del Reglament, estimem que també cal reconèixer altres drets bàsics que permetin a les persones afectades pels sistemes de IA comprendre, qüestionar i obtenir reparacions. Per això, entenem que el text final del Reglament ha d’incloure:

  • El dret a rebre, prèvia sol·licitud, una explicació clara i intel·ligible, fins i tot per als nens i nenes i en l’idioma què se sol·liciti, de forma accessible per a les persones amb discapacitat, sobre les decisions adoptades amb l’ajut dels sistemes inclosos a l’àmbit d’aplicació del Reglament d’IA i sobre com funcionen aquests sistemes, inclòs el dret a objectar aquestes decisions;

  • El dret de les persones a presentar una reclamació davant d’autoritats nacionals o establir accions legals a la justícia quan un sistema o una pràctica d’IA les afecta;

  • El dret a un recurs judicial efectiu contra l’autoritat nacional de supervisió o contra l’implementador per fer efectius aquells drets que, en virtut del Reglament d’IA, hagin estat vulnerats;

  • El dret a accedir a mecanismes de reparació col·lectiva;

  • El dret de les organitzacions dinterès públic a presentar una denúncia davant una autoritat de control en cas incompliments al Reglament o per sistemes dIA que atemptin contra els drets fonamentals o linterès públic, i el dret de les persones a ser representades per tals organitzacions en la protecció dels drets.

5- Els estàndards tècnics no han de tractar qüestions relacionades amb drets fonamentals i han d’incloure més representativitat i diversitat d’organitzacions de la societat civil en la seva elaboració. Des de la societat civil manifestem la nostra preocupació perquè gran part de l’aplicació del Reglament d’IA -l’enfocament de risc del qual deixa gairebé sense regulació la majoria dels sistemes d’IA (a excepció dels d’alt risc, de les obligacions addicionals de transparència previstes per a alguns sistemes i del debat sobre la IA generativa que ha tingut lloc recentment)- dependrà del desenvolupament d’estàndards tècnics i de la seva aplicació per part dels fabricants. Més, si es té en compte que els processos d’estandarització estan fortament dominats per la indústria, considerant-ne la complexitat. Les organitzacions signants aquí manifesten que no és clar com aquests estàndards podrien impactar en els drets fonamentals de les persones (per exemple, pel que fa a l’absència de biaixos en els sistemes d’IA). Per això, creiem necessari que:

  • Els estàndards tècnics no siguin utilitzats per avaluar la possible afectació sobre els drets fonamentals de les persones;

  • Es posin els mitjans i els recursos necessaris per garantir una participació més gran de la societat civil en els processos d’estandarització sobre el Reglament d’IA, que ja estan tenint lloc.

Nosaltres, les organitzacions sotasignades sol·licitem:

(1) L’organització d’una reunió d’alt nivell amb representants de la societat civil abans del començament de la Presidència espanyola del Consell de la Unió Europea, per assegurar que als trílegs es reforcin i protegeixin adequadament els drets fonamentals al Reglament d’IA.

(2) Obtenir garanties del Govern Espanyol sobre com espera que s’aconsegueixin els nivells més alts de protecció dels drets fonamentals en el text final del Reglament d’IA, tal com hem assenyalat anteriorment en aquesta carta.

 

Entitats impulsores:

Lafede.cat, Algorace, Fundación Eticas, CIVIO, Observatorio Trabajo, Algoritmos y Sociedad; Algorights, Institut de Drets Humans de Catalunya, CECU

 

Més informació

[:es]En una carta abierta dirigida a la Presidencia española del Consejo de la Unión Europea, 60 organizaciones de la sociedad civil, nacionales e internacionales, entre ellas Lafede.cat, hemos expresado nuestra preocupación por las deficiencias en la propuesta original del Reglamento de Inteligencia Artificial (Ley de IA) de la Unión Europea. Las organizaciones piden a la Presidencia española que garantice una legislación respetuosa con los derechos fundamentales. Las entidades impulsoras de la carta son Lafede.cat, Algorace, Fundación Eticas, CIVIO, Observatorio Trabajo, Algoritmos y Sociedad; Algorights, Institut de Drets Humans de Catalunya y CECU.

Carta a la Presidencia Española del Consejo de la Unión Europea:

Garantizar la protección de los derechos fundamentales en el Reglamento de IA

 

Las organizaciones abajo firmantes le escribimos para llamar su atención sobre una serie de graves deficiencias en el Reglamento de Inteligencia Artificial (Reglamento de IA) (COM/2021/206) que actualmente está siendo negociado por la Presidencia sueca del Consejo de la Unión Europea y próximamente por la Presidencia española.

Esta carta se basa en la posición de 123 organizaciones de la sociedad civil que piden a la Unión Europea que ponga en primer plano un enfoque basado en los derechos fundamentales para el Reglamento de IA en 2021. El Reglamento de Inteligencia Artificial es un acto legislativo fundamental que tendrá un fuerte impacto en la población de la UE y, con toda probabilidad, también más allá de nuestras fronteras.

Algunas de nuestras preocupaciones se refieren a prácticas peligrosas que conducen a la vigilancia masiva sobre la población. Al fomentar la vigilancia masiva y amplificar algunas de las desigualdades sociales y desequilibrios de poder más profundos, los sistemas de IA están poniendo en grave peligro nuestros derechos fundamentales y los procesos y valores democráticos.

En particular, llamamos su atención sobre las protecciones esenciales de los derechos fundamentales que pueden mejorarse aún más durante las negociaciones de los llamados trílogos o diálogo a tres bandas. Dado el papel que desempeñará el Gobierno español a partir del 1 de julio de 2023 al asumir la Presidencia rotatoria del Consejo, y el interés mostrado ya por liderar la carrera de la Inteligencia Artificial en Europa, creemos que la Presidencia española debe asumir un papel asertivo y garantizar que la legislación sea a prueba de futuro y respetuosa con los derechos fundamentales.

Pedimos a la próxima Presidencia española y a los Estados miembros que garanticen que las siguientes características se reflejen en el texto final del Reglamento de IA:

1- Ampliar el listado de prohibiciones exhaustivas de aquellos sistemas de IA que supongan un “riesgo inaceptable” para los derechos fundamentales. Es vital que la lista del artículo 5 de “prácticas de IA prohibidas” se amplíe para abarcar todos los sistemas que se demuestre que plantean un riesgo inaceptable de vulnerar derechos y libertades fundamentales de las personas, afectando también de forma más general los principios fundacionales de la democracia. Como mínimo, las organizamos firmantes consideramos que se deberían prohibir totalmente:

  • La identificación biométrica remota (RBI) en el espacio público que se aplique a todos los agentes, no sólo a los encargados de hacer cumplir la ley, así como sus usos tanto “en tiempo real” como “a posteriori” (sin excepciones);

  • El uso de sistemas de IA por parte de las autoridades administrativas, policiales y judiciales para realizar predicciones, perfiles o evaluaciones de riesgo con el fin de predecir delitos;

  • El uso de sistemas de evaluación y perfilado de riesgos individuales basados en la IA en el contexto de la migración; el análisis predictivo con fines de interdicción, restricción y prevención de la migración; y los polígrafos de IA para la prevención de la migración;

  • El uso de sistemas de reconocimiento de emociones que pretenden inferir las emociones y los estados mentales de las personas;

  • El uso de sistemas de categorización biométrica para rastrear, categorizar y juzgar a las personas en espacios de acceso público, o para categorizar a las personas en función de características protegidas;

  • El uso de sistemas de IA que puedan manipular a las personas o tomar ventaja de contextos o situaciones de vulnerabilidad, de manera que puedan causar o tener el efecto de causar daños sobre ellas.

2- Eliminar cualquier tipo de discrecionalidad en el proceso de clasificación de sistemas de alto riesgo (artículo 6). La orientación general Consejo y las negociaciones en el Parlamento Europeo tienden a añadir capas en el proceso de clasificación de riesgos al exigir requisitos adicionales para que los sistemas de IA listados en el Anexo III sean considerados de alto riesgo. Esto complicaría gravemente el Reglamento de IA, dotaría de una discrecionalidad excesiva a los proveedores para decidir si el sistema es de alto riesgo o no, comprometería la seguridad jurídica y daría lugar a una gran fragmentación en la aplicación del Reglamento. Por ello, solicitamos:

  • Que todos los sistemas de IA a los que se hace referencia en el Anexo III del Reglamento de IA sea considerados de alto riesgo, sin más.

3- Obligaciones significativas de rendición de cuentas y transparencia sobre los usos públicos de los sistemas de IA y sobre todos los ” implementadores” de IA de alto riesgo. Para garantizar el máximo nivel de protección de los derechos fundamentales, quienes implementen sistemas de IA de alto riesgo (es decir, los “usuarios” ” tal y como se los denomina en la propuesta original de la Comisión Europea y en la orientación general del Consejo de la UE, o los “implementadores” según podría acordarse en el Parlamento Europeo) deben facilitar información pública sobre el uso de dichos sistemas. Esta información es crucial para la rendición pública de cuentas, ya que permite a las organizaciones de interés público, a los investigadores y a las personas afectadas comprender el contexto en el que se utilizan los sistemas de alto riesgo. El Reglamento de IA debe incluir las siguientes obligaciones para los implementadores:

  • Obligación de los implementadores de registrar todos los sistemas de IA de alto riesgo en la base de datos del artículo 60;

  • La obligación de las autoridades públicas, o de quienes actúen en su nombre, de registrar todos los usos de los sistemas de IA en la base de datos del artículo 60, independientemente del nivel de riesgo;

  • La obligación de los implementadores de sistemas de IA de alto riesgo de realizar y publicar en la base de datos del artículo 60 una evaluación del impacto sobre los derechos fundamentales (EIDF) antes de desplegar cualquier sistema de IA de alto riesgo;

  • La obligación de los implementadores de sistemas de IA de alto riesgo de involucrar a la sociedad civil y demás partes afectadas en la evaluación del impacto sobre derechos fundamentales que deben realizar.

4- Derechos y mecanismos de reparación para empoderar a las personas afectadas por los sistemas de IA. Si bien hemos visto pasos positivos al reconocerse, por ejemplo, en la orientación general del Consejo la posibilidad de presentar reclamaciones ante autoridades públicas en caso de incumplimientos del Reglamento, estimamos que también es necesario reconocer otros derechos básicos que permitan a las personas afectadas por los sistemas de IA comprender, cuestionar y obtener reparaciones. Por ello, entendemos que el texto final del Reglamento debe incluir:

  • El derecho a recibir, previa solicitud, una explicación clara e inteligible, incluso para los niños y niñas y en el idioma que se solicite, de forma accesible para las personas con discapacidad, sobre las decisiones adoptadas con la ayuda de los sistemas incluidos en el ámbito de aplicación del Reglamento de IA y sobre cómo funcionan dichos sistemas, incluido el derecho a objetar tales decisiones;

  • El derecho de las personas a presentar una reclamación ante autoridades nacionales o entablar acciones legales en la justicia cuando un sistema o una práctica de IA los afecta;

  • El derecho a un recurso judicial efectivo contra la autoridad nacional de supervisión o contra el implementador para hacer efectivos aquellos derechos que en virtud del Reglamento de IA hayan sido vulnerados;

  • El derecho a acceder a mecanismos de reparación colectiva;

  • El derecho de las organizaciones de interés público a presentar una denuncia ante una autoridad de control en caso incumplimientos al Reglamento o por sistemas de IA que atenten contra los derechos fundamentales o el interés público, y el derecho de las personas a ser representadas por tales organizaciones en la protección de sus derechos.

5- Los estándares técnicos no deben tratar cuestiones relacionadas con derechos fundamentales y deben incluir más representatividad y diversidad de organizaciones de la sociedad civil en su elaboración. Desde la sociedad civil manifestamos nuestra preocupación porque gran parte de la aplicación del Reglamento de IA -cuyo enfoque de riesgo deja casi sin regulación a la mayoría de los sistemas de IA (con excepción de los de alto riesgo, de las obligaciones adicionales de transparencia previstas para algunos sistemas y del debate sobre la IA generativa que ha tenido lugar recientemente)- dependerá del desarrollo de estándares técnicos y de su aplicación por parte de los fabricantes. Más, si se tiene en cuenta que los procesos de estandarización están fuertemente dominados por la industria, considerando su complejidad. Las organizaciones aquí firmantes manifiestan que no está claro cómo estos estándares podrían impactar en los derechos fundamentales de las personas (por ejemplo, en lo relativo a la ausencia de sesgos en los sistemas de IA). Por ello, creemos necesario que:

  • Los estándares técnicos no sean utilizados para evaluar la posible afectación sobre los derechos fundamentales de las personas;

  • Se pongan los medios y recursos necesarios para garantizar una mayor participación de la sociedad civil en los procesos de estandarización sobre el Reglamento de IA, que ya están teniendo lugar.

Nosotros, las organizaciones abajo firmantes solicitamos:

(1) La organización de una reunión de alto nivel con representantes de la sociedad civil antes del comienzo de la Presidencia española del Consejo de la Unión Europea, para asegurar que en los trílogos se refuercen y protejan adecuadamente los derechos fundamentales en el Reglamento de IA.

(2) Obtener garantías del Gobierno Español sobre cómo espera que se consigan los más altos niveles de protección de los derechos fundamentales en el texto final del Reglamento de IA, tal y como hemos señalado anteriormente en esta carta.

Organizaciones impulsoras:

Lafede.cat, Algorace, Fundación Eticas, CIVIO, Observatorio Trabajo, Algoritmos y Sociedad; Algorights, Institut de Drets Humans de Catalunya, CECU

Més informació