Inici > novedades > Inteligencia Artificial y administración pública (3)
Inteligencia Artificial y administración pública (3)
dimarts 13 de juny de 2023, per
Última edición del post: septiembre 2023 @@b@@Reconocimiento facial como caso de estudio
Reflexiones desde experiencias concretas ante la inminente aprobación de la legislación europea sobre Inteligencia Artificial (AI Act)
@@/b@@
por Xnet, Simona Levi con la colaboración de Miriam Carles y Sanne Stevens
Hay multitud de identificadores biométricos tanto de comportamiento, como el reconocimiento de la firma, la voz, la escritura o la manera de andar, como fisiológico, como la huella dactilar, el iris o la retina, el reconocimiento vascular, facial o de la geometría de la mano. Estas últimas se han convertido en populares como código para identificar a las personas de forma unívoca, entendiendo el cuerpo como un recurso de exactitud y precisión que puede funcionar como “contraseña”(1).
En lo que respecta a la biometría por el reconocimiento personal, cualquier característica biológica o de comportamiento es utilizable como identificador biométrico si cumple al menos cuatro requisitos básicos: 1) Coleccionabilidad (el elemento se puede capturar); 2) Universalidad (el elemento existe en todas las personas); 3) Unicidad (El elemento debe ser distintivo por cada persona); 4) Permanencia (la propiedad del elemento permanece permanente en el tiempo)(2).
Las organizaciones internacionales de referencia en la defensa de los derechos humanos en el ámbito digital coincidimos en que “el acelerado crecimiento en el uso de tecnologías biométricas por la identificación (…) plantea una serie de cuestiones relativas no sólo al impacto de estas tecnologías sobre la libertad de expresión y de acción en espacios públicos sino en la autonomía y en la identidad del individuo.(3)”
Los datos biométricos son vulnerables a ataques, al igual que otros métodos de autenticación. Sin embargo, a diferencia de una contraseña, los indicadores biométricos no pueden simplemente restablecerse o cambiarse según sea necesario. Esto plantea un mayor riesgo de seguridad, puesto que se hace cada vez más difícil reparar el daño causado por fugas o ataques y restaurar el buen funcionamiento de los sistemas basados en biometría(4) y la integridad física de las personas involucradas(5).
Pues no son más seguros. Recientemente, el riesgo que comporta el malicioso uso de esta información se ha agravado con la suplantación de identidad y los deepfakes(6) o deepvoices(7) en los que interviene la IA, siendo incluso posible crear “huellas maestras” que combinen las características comunes de varias personas permitiendo su identificación con una sola huella(8).
Así pues, el principal inconveniente del uso de estas tecnologías es que una vez se pierde el control, es prácticamente imposible recuperar la privacidad del individuo ya que no se puede cambiar de identidad ni cara, una información permanentemente expuesta, ni las huellas dactilares, que pese a no estar tan expuestas, tienen la peculiaridad de que pueden ser recogidas también sin que el individuo se dé cuenta, tal y como ha enfatizado incluido Commission Nationale del Informatique et des Libertés de Francia(9).
Nada es más personal que la propia cara. Reúne varios elementos que configuran nuestras respectivas y únicas identidades. La recogida, análisis y almacenamiento de datos personales innatos son altamente invasivas e incluso puede revelar más información sobre una persona aparte de su identidad, cómo podrían ser datos de salud(10), (11), (12).
Los programas de reconocimiento facial, incluidos los sistemas de verificación e identificación, crean, recogen, comparan y retienen plantillas faciales de las personas. Mientras el reconocimiento facial ha eclosionado desde hace tiempo en el ámbito de la investigación privada y académica, ha sido recientemente(13) cuando las administraciones, gobiernos y legisladores le han prestado atención.
La magnitud de los problemas con la tecnología de reconocimiento facial resuena claramente por las muchas ciudades que han decidido prohibirla(14), (15). Sin embargo, otras ciudades y pueblos han invertido grandes cantidades en esta tecnología y empresas como Clearview AI, TrueFace, AnyVision, Affectiva, Kairos, Accenture, BioID, Leidos, entre otros(16) han hecho su agosto.
En las palabras del Comité Europeo de Protección de Datos, “el reconocimiento facial puede socavar el derecho al respeto de la vida privada y a la protección de datos personales, pero también otros derechos y libertades fundamentales (en particular la libertad de expresión e información , la libertad de reunión y asociación y la libertad de pensamiento, conciencia y religión). Además puede afectar a la expectativa razonable de anonimato de los individuos en los espacios públicos y plantea cuestiones más amplias desde el punto de vista ético y social”(17). Por último, se han demostrado que la tecnología tiene muchos problemas de precisión(18), por ejemplo, que son menos precisos para identificar personas de color(19), con gran cantidad de errores y falsos positivos(20), confundiendo a las personas.
El procesamiento de datos biométricos se basa en estimaciones estadísticas de la coincidencia entre estimaciones estadísticas de correspondencia entre los elementos comparados. Por tanto, es intrínsecamente falible. La respuesta que ofrece un sistema de comparación biométrica nunca es binaria (sí o no); sino que es una probabilidad de coincidencia. Además, las plantillas biométricas calculadas son siempre distintas en función de las condiciones en las que se calculan (luminosidad, ángulo, calidad de la imagen, resolución de la cara, etc.). Así pues, cualquier dispositivo se caracteriza por un rendimiento variable en función, por un lado, de los objetivos que se le asigne y, por otro, de las condiciones en las que se recogen las imágenes y se comparan(21). Esto significa además que el reconocimiento facial tiene un alto riesgo de automatizar sesgos ya penetrantes en las sociedades.
Algunos ejemplos: – Policía de Londres: tras escanear las caras de 8600 personas en busca de criminales, de 8 identificaciones realizadas, 7 resultaron erróneas(22).
– Congresistas de EEUU: La tecnología de reconocimiento facial de Amazon confundió a 28 congresistas de EEUU por criminales condenados cuando la American Civil Liberties Union (ACLU) cruzó una base de datos con 25000 fotos públicas de criminales con las fotografías de 535 miembros del Congreso(23).
– Registro nacional de detenidos: en Argentina, el sistema de reconocimiento facial en vivo realiza el seguimiento de posibles infractores, incluidos menores de edad. Un niño de 4 años ha sido considerado sospechoso de haber cometido “delitos de lesiones graves contra las personas»(24).
– Futbol: confusión de un árbitro calvo con el balón(25).
– Estudio sobre la influencia de la demografía en el rendimiento de los algoritmos de reconocimiento facial: los resultados demuestran que los algoritmos son menos cuidadosos en los grupos de mujeres, personas de color y entre las edades de 18 a 30 años(26).
Además debe considerarse la desviación de uso de datos altamente sensibles. La paulatina ampliación del uso de datos, de una tecnología o sistema más allá de la finalidad para la que estaba pensada originalmente, es un problema habitual una vez que se recopilan datos, lo que a menudo conduce a una posible invasión de la privacidad y un mal uso de los datos. Este riesgo es aún mayor, ya que a menudo existe una colusión entre registros públicos delicados y empresas privadas que construyen estas herramientas y bases de datos. Notorios son los casos recientes de empresas que no cumplen las normas básicas de privacidad de datos y que utilizan imágenes sin consentimiento para entrenar sus algoritmos(27), (28).
En resumen: “el reconocimiento facial, como otras técnicas biométricas, nunca es un tratamiento completamente inofensivo. Incluso el uso muy encuadrado puede, en caso de ciberataque, compromiso o error, tener consecuencias especialmente graves”(29).
A la vista de lo expuesto, creemos que los sistemas que incluyan reconocimiento biométrico y/o facial basados en IA pueden suponer un grave agravio por los derechos y libertades fundamentales, a pesar de cumplir con los criterios de usabilidad, transparencia, auditabilidad y rendición de cuentas.
En concreto, el riesgo de causar un perjuicio discriminatorio a consecuencia de los sesgos en el entrenamiento algorítmico, además de la posible intromisión ilegítima en la intimidad de las personas, implican que los riesgos siguen siendo mayores que los beneficios obtenidos con su uso.
Creemos que la IA puede mejorar la vida de las personas y la organización social. Esto debe suceder no sólo en base a criterios de ética sino con los derechos humanos, el derecho de elección, la minimización desde el diseño y por defecto, la titularidad no monetizable, entre otras muchas salvaguardias como base de cualquier protocolo si no queremos que el efecto sea justo lo contrario(30).
Este texto es la adaptación de una parte de la contribución de Xnet al Proyecto Gavius, para la EU Urban Innovative Actions (marzo 2023)
Es la versión de un texto publicado en Ctxt:
—–
1 – Katja Franko Aas, ‘The body does not lie’: Identity, risk and trust in technoculture, 2006.
https://journals.sagepub.com/doi/pdf/10.1177/1741659006065401
2- Emilio Mordini, Sonia Massari. Body, biometrics and identity, 2008. Pg. 2. https://www.academia.edu/2890174/Body_biometrics_and_identity
3 – Marianne Díaz, “El cuerpo como dato”, 2018.
https://www.derechosdigitales.org/wp-content/uploads/cuerpo_DATO.pdf
4 – Access Now, “An open letter to the leaders of international development banks, the United Nations, international aid organisations, funding agencies, and national governments” https://www.accessnow.org/whyid/
5 – Margit Sutrop. Ethical Issues in Governing Biometric Technologies. Pg. 5.
6 – Cuadernos de Seguridad. ”Las ciberamenazas del 2020: de las deepfakes a las fugas de ADN”.
https://cuadernosdeseguridad.com/2019/12/deepfakes-amenazas-ciberseguridad-2020/
7 – Michael Mcloughlin. “No te fíes ni de una voz familiar: la industria de los “deep fakes” de audio crece en España”
https://www.elconfidencial.com/tecnologia/2020-06-14/deepfakes-audio-bulos-efecto-politica_2637752/
8 – Samuel Rodríguez. “Huellas dactilares creades con Inteligencia Artificial”. https://bigdatamagazine.es/huellas-dactilares-creadas-con-inteligencia-artificial
9 – Informe d’activitats de 2007 de la Comission Nationale de l’Informatique et Libertés.
10 – Margit Sutrop. Ethical Issues in Governing Biometric Technologies. Pg. 6.
11 – Eubanks, Automating Inequality; RAO, ‘Biometric Marginality’; Lyon, Identifying Citizens; Mordini and Massari, ‘Body, Biometrics and Identity’; Mordini and Tzovaras, Second Generation Biometrics.
12 – Eubanks, Automating Inequality; O’Neil, Weapons of Math Destruction; RAO, ‘Biometric Marginality’
.
13 – The Technolawgist. “Black Lives Matter:
El reconocimiento facial evidencia la necesidad de responsabilidad algorítmica”. https://www.thetechnolawgist.com/2020/06/18/black-lives-matter-el-reconocimiento-facial-evidencia-la-necesidad-de-responsabilidad-algoritmica/
14 – Conger, Fausset, and Kovaleski, ‘San Francisco Bans Facial Recognition Technology’.
15 – Crawford, ‘Facial Recognition Laws Are (Literally) All Over the Map’; Martineau, ‘Cities Examine Proper—and Improper—Uses of Facial Recognition’.
16 – Greig, J. “One year after Amazon, Microsoft and IBM ended facial recognition sales to police, smaller players fill void”, 2021.
17 – European Data Protection Board. Letter to membres pof parliament on facial recognition. 10 june 2020.
https://edpb.europa.eu/sites/edpb/files/files/file1/edpb_letter_out_2020-0052_facialrecognition.pdf
18 – UNHCR (October 2019). Report of the Special rapporteur on extreme poverty and human rights.
19 – Simonite, ‘Microsoft, IBM Facial Analyses Struggle With Race and Gender | WIRED’.
20 – Liberty, ‘Liberty’s Briefing on Police Use of LIve Facial Recognition Technology’; Burgess, ‘The Met Police’s Facial Recognition Tests Are Fatally Flawed’; Gayle, ‘Privacy Campaigners Warn of UK Facial Recognition “Epidemic”’; Fussey and Murray, ‘Independent Report on the London Metropolitan Police Service’s Trial of Live Facial Recognition Technology’.
21 – Commission Nationale de l’Informatique et les Libertés. “Reconnaissance Faciale – Pour un debat à la hauteur des enjeux”. Pg. 8.
https://www.cnil.fr/sites/default/files/atoms/files/reconnaissance_faciale.pdf
22 – Toni Castillo. “La policía londinense escaneó las caras de 8.600 personas en busca de criminales: de 8 identificaciones, 7 fueron erróneas”.
23 – Beatriz Alcántara. “El reconocimiento facial de Amazon identifica como criminales a 28 congresistas de EEUU”.
24 – Karen Hao. “Live facial recognition is tracking kids suspected of being criminals”, https://www.technologyreview.com/2020/10/09/1009992/live-facial-recognition-is-tracking-kids-suspected-of-crime/
25 – Anna Martí. “Cuando una cámara controlada por inteligencia artificial retransmite el fútbol y confunde la cabeza de un árbitro calvo con el balón”.
26 – Klare, Brendan F., Mark J. Burge, Joshua C. Klontz, Richard W. Vorder Bruegge, and Anil K. Jain. ‘Face Recognition Performance: Role of Demographic Information’. IEEE Transactions on Information Forensics and Security 7, no. 6 (December 2012): 1789–1801. https://doi.org/10.1109/TIFS.2012.2214212.
27 – Santi Araújo. “Esta app utilizada por la policía de EEUU y Canadá cuenta con millones de fotos obtenidas de redes sociales para poder identificarte”. https://www.genbeta.com/actualidad/esta-app-utilizada-policia-eeuu-canada-cuenta-millones-fotos-obtenidas-redes-sociales-para-poder-identificarte
28 – Roberts, ‘The Business of Your Face’; Metz, ‘Facial Recognition Tech Is Growing Stronger, Thanks to Your Face’; Solon, ‘Facial Recognition’s “Dirty Little Secret”’; Hill, ‘The Secretive Company That Might End Privacy as We Know It’.
29 – Commission Nationale de l’Informatique et Libertés. “Reconnaissance Faciale – Pour un debat à la hauteur des enjeux”. Pg. 6.
https://www.cnil.fr/sites/default/files/atoms/files/reconnaissance_faciale.pdf
30 – Xnet (2022). Proposal for a sovereign and democratic digitalisation of Europe [Reflection paper]. European Parliament.
La entrada Inteligencia Artificial y administración pública (3) aparece primero en Xnet - Internet, derechos y democracia en la era digital .
Veure en línia : https://xnet-x.net/es/inteligencia-...