Control judicial de los algoritmos

Llevamos ya unos pocos años hablando de la inteligencia artificial y es la hora de su regulación y de comenzar a interpretarla y aplicarla. Y en esto, las administraciones públicas deberían ser las primeras en conocer la ley europea una vez sea publicada y en dar ejemplo, estando obligadas a ello.

Así, con la aprobación por el Parlamento Europeo quedarán prohibidos definitivamente los “sistemas de IA para realizar evaluaciones de riesgo de personas físicas o grupos de personas físicas con el fin de evaluar el riesgo de una persona física de delinquir o reincidir o para predecir la ocurrencia o reincidencia de una infracción penal o administrativa real o potencial basada en la elaboración de perfiles de una persona física o en la evaluación de rasgos y características de la personalidad, incluida la ubicación de la persona, o del comportamiento delictivo pasado de personas físicas o grupos de personas físicas”

Por lo tanto, no sólo es que administraciones públicas deben comenzar a revisar sus sistemas y publicar los algoritmos, algo que no han hecho ni con VioGèn, ni con Veripol, ni con RisCanvi en Cataluña, los cuales carecen de una mínima transparencia o mínima auditoria del sistema de predicción de riesgo de violencia de género considera que la calidad de los datos es mejorable o presenta sesgos y discriminaciones. De igual manera, hasta que no lo publicó El Confidencial[i][ii] se desconocía que la Seguridad Social usaba un algoritmo secreto para “cazar” posibles fraudes en bajas laborales. De la misma forma, ya están saliendo las primeras informaciones que la Agencia Tributaria se espera comience a utilizar nuevas herramientas basadas en IA para el análisis de datos que permitan hacer un control más eficiente de los datos y de esa manera detectar quienes cumplen y quienes no, con el pago de los impuestos que les corresponden[iii].

Desde Hacienda ya están dando los primeros pasos en este sentido con el sistema de vigilancia que permite actualmente, detectar el fraude fiscal y también prevenirlo, ayudando en esta tarea a los inspectores.

O BOSCO[iv], un software que utiliza el Gobierno, de algoritmo igualmente secreto, que las eléctricas utilizan para decidir quién es beneficiario del denominado bono social eléctrico y que se ha denunciado que además de su opacidad tiene fallos y sesgos.

A tenor de ello, directamente estos sistemas -según la última versión del Reglamento Europeo (si ésta se mantiene)- el primer día de su entrada en vigor deberían dejar de utilizarse por el Gobierno español. 

El ejecutivo holandés utilizaba el algoritmo SyRI para detectar diversas formas de fraude, incluidos los beneficios sociales, las asignaciones y el fraude fiscal, y en 2020 el Tribunal de Distrito de La Haya declaró que este sistema violaba los derechos humanos. Este sistema Systeem Risico Indicatie, SyRI, que significa «indicación de riesgo del sistema»), pretendía prevenir y combatir el fraude, a través de identificar «perfiles de ciudadanos poco probables» que requirieran un examen más detenido. El sistema se basaba en la asignación del nivel de riesgo de que una determinada persona cometa fraude a los ingresos públicos, en función de una serie de parámetros analizados y relacionados entre sí.

Si un organismo público (por ejemplo, los ayuntamientos, el banco de la Seguridad Social o la Agencia Tributaria) detectaba fraude con prestaciones, subsidios o impuestos en un barrio determinado, podía utilizar SyRI. SyRI determinaba qué residentes locales merecían una investigación más a fondo. Para calcular posibles irregularidades, los algoritmos enlazan todos los datos personales de sus residentes almacenados por instancias gubernamentales. La aplicación procesaba datos personales pseudoanonimizados, de todo tipo sobre el individuo, incluidos datos de endeudamiento, antecedentes penales, salud, etc. y de ella se extraían una serie de conclusiones sobre el nivel de riesgo de la persona[v]. Esos datos se comparan luego con el perfil de riesgo creado a partir de la información de otros ciudadanos que sí han delinquido. Observadas las similitudes, se confecciona una lista de nombres que las autoridades pueden conservar hasta dos años.

En 2020, el Tribunal de La Haya[vi] ordenó la paralización inmediata de SyRI, al concluir que la legislación por la que se establecía SyRI proporcionaba una protección insuficiente contra la intromisión en la vida privada, debido a las medidas desproporcionadas adoptadas para prevenir y castigar el fraude en aras del bienestar económico. El tribunal concluyó que SyRI violaba el artículo 8 del Convenio Europeo de Derechos Humanos (CEDH), que protege el derecho al respeto de la vida privada y familiar[vii] por ausencia de proporcionalidad y transparencia.

En el caso de Bosco, este programa es utilizado por el Ministerio para la Transición Ecológica, al objeto de reconocer o no el derecho al bono social.

Según el juzgado “no puede considerarse que el acto administrativo se dicte por una aplicación informática, sino por un órgano administrativo, y en caso de que el destinatario de dicho acto esté disconforme con el mismo, podrá impugnarlo en vía administrativa”

Y se deniega el acceso al código fuente con base en el Informe técnico Subdirector General de Tecnologías de la Información y de las Comunicaciones del Ministerio de Industria, Comercio y Turismo

Por ello, se desestimó el recurso interpuesto, si bien la sentencia se encuentra apelada y a expensas de resolución.

A este respecto, nos preguntamos cómo afectará la nueva normativa de Ley 15/2022, de 12 de julio, integral para la igualdad de trato y la no discriminación a la resolución del recurso, según el cual, en su artículo 23: […] las administraciones públicas favorecerán la puesta en marcha de mecanismos para que los algoritmos involucrados en la toma de decisiones que se utilicen en las administraciones públicas tengan en cuenta criterios de minimización de sesgos, transparencia y rendición de cuentas, siempre que sea factible técnicamente. En estos mecanismos se incluirán su diseño y datos de entrenamiento, y abordarán su potencial impacto discriminatorio. Para lograr este fin, se promoverá la realización de evaluaciones de impacto que determinen el posible sesgo discriminatorio.

2. Las administraciones públicas, en el marco de sus competencias en el ámbito de los algoritmos involucrados en procesos de toma de decisiones, priorizarán la transparencia en el diseño y la implementación y la capacidad de interpretación de las decisiones adoptadas por los mismos.

3. Las administraciones públicas y las empresas promoverán el uso de una Inteligencia Artificial ética, confiable y respetuosa con los derechos fundamentales, siguiendo especialmente las recomendaciones de la Unión Europea en este sentido.

4. Se promoverá un sello de calidad de los algoritmos.

Al igual que el Reglamento Europeo de inteligencia artificial según el cual, en su art. 4 bis, en cuanto a la «Transparencia», “los sistemas de IA se desarrollarán y utilizarán facilitando una trazabilidad y explicabilidad adecuadas, haciendo que las personas sean conscientes de que se comunican o interactúan con un sistema de IA, informando debidamente a los usuarios sobre las capacidades y limitaciones de dicho sistema de IA e informando a las personas afectadas de sus derechos”.

O por ejemplo en su Art. 13 apartado 1º: la transparencia significará que, en el momento de la introducción en el mercado del sistema de IA de alto riesgo, se utilizarán todos los medios técnicos disponibles de conformidad con el estado actual de la técnica generalmente reconocido para garantizar que el proveedor y el usuario puedan interpretar la información de salida del sistema de IA de alto riesgo. El usuario de estar  capacitado para comprender y utilizar adecuadamente el sistema de IA sabiendo, en general, cómo funciona el sistema de IA y qué datos trata, lo que le permitirá explicar las decisiones adoptadas por el sistema de IA a la persona afectada de conformidad con el artículo 68, letra c).

En el orden social, CASTILLO PARRILLA aborda la discriminación a través del algoritmo en una plataforma con el análisis de la sentencia del caso Deliveroo Bolonia y sus implicaciones para el sector público[viii]. Unos sindicatos demandan a Deliveroo Italia SRL, una de las principales plataformas de envío de comida a domicilio, por discriminación en las condiciones de acceso al trabajo por parte de los riders. Esta sentencia, viene a superar a la de Uber de la Corte Suprema del Reino Unido, porque no sólo analiza la existencia de una relación laboral de los riders sino que además entra en el análisis de la posible discriminación del algoritmo respecto a las condiciones de acceso a las sesiones de trabajo por los repartidores y en particular de los parámetros de tratamiento del llamado “ranking reputacional”.

Así, el algoritmo no permitiría las ausencias al trabajo por motivos de huelga, enfermedad, o por ejemplo cuidado de familiares o hijos, de tal manera que estaría impidiendo en la práctica el ejercicio de derechos, permisos y licencias reconocidos legalmente. El código se convierte en la ley como dice LESSIG[ix]. Dice el tribunal de Bolonia, que Deliveroo no sabe y no quiere saber los motivos por los que el corredor cancela su reserva o no participa en una sesión reservada y no cancelada. Pero es precisamente en esta «inconsciencia» (como lo define Deliveroo) y «ceguera» (como lo definen los solicitantes) del programa de procesamiento de estadísticas de cada corredor que alberga el potencial discriminatorio del mismo.

En materia de responsabilidad civil, ya han existido múltiples accidentes con vehículos autonómos o robots, incluso con resultado de muerte [x] [xi] [xii] [xiii] [xiv]. Es más, algunos estudios[xv] revelan un número que si bien no es masivo, y ni siquiera importante si se comparan con por ejemplo el número de vehículos Tesla que se venden al año, o el número de accidentes de la seguridad vial, pero sí es relevante porque ha supuesto 17 vidas y por la necesidad de regular una nueva responsabilidad civil sobre quién responde e indemniza en caso de accidente de un vehículo autónomo. Por lo que lamentablemente los juzgados de Primera Instancia seguirán recibiendo demandas de responsabilidad civil extracontractual por daños de tráfico, pero esta vez con un coche autómata.

El Proyecto Detección (Senging, en inglés) está diseñado para prevenir y detectar delitos contra la propiedad cometidos por lo que se conoce como “bandidaje móvil” en la localidad de Roermond.

El Tribunal Supremo de Holanda (Hoge Raad)[xvi] ha establecido que este proyecto que produce paradas y controles preventivos señalando sus coches por matrículas de países de Europa del Este supone una distinción basada en la nacionalidad o el origen étnico de los pasajeros, lo cual es un tratamiento desigual o discriminatorio, cuando no hay ninguna razón objetiva para parar el coche, aparte de coincidir con el perfil de nacionalidad.

Otros casos relativos al ámbito policial eran la plataforma para el “análisis” de datos (Hesse, plataforma “hessenDATA”) o una “evaluación” de datos (Hamburgo) por la policía de ambos territorios y que fueron declarados inconstitucionales por la Primera Cámara del Tribunal Constitucional Federal en sentencia de 16 de febrero de 2023 (1 BvR 1547/19, 1 BvR 2634/20[xvii]).

En España, el sistema VioGèn tiene en cuenta a efectos de evaluación e incremento del riesgo, que la víctima sea extranjera, teniendo en cuenta su origen o su nacionalidad, y su procedencia cultural. Así, se desconocen qué nacionalidades, orígenes o procedencias culturales se catalogan como arraigados valores sexistas y qué estudios los justifican como tal, en cuanto que podría producirse un sesgo racista. Si bien se trataría de un indicador de la víctima, lo cierto es que se entiende que será más posible que víctima y agresor sean de la misma nacionalidad y origen.

Debemos recordar que por ejemplo el programa HART habría desarrollado un sesgo aporofóbico[xviii], aumentando el notablemente el riesgo en relación a las personas de bajos recursos económicos. Sesgo que se intentó corregir por sus desarrolladores eliminando como parámetros el código postal evitando con ello que residir en determinadas zonas depauperadas supusiera un factor relevante. O que por ejemplo PredPol, habría sido modificado porque asignaba una dotación policial excesiva en los barrios en los que proliferaban las comunidades de color o de escasos recursos económicos.

Sin poder realizar una auditoría en profundidad del sistema VioGén, sí que podemos apreciar que son indicadores que suponen un aumento de la valoración del riesgo policial de reincidencia en materia de violencia de género, ser menor de 24 años, que la víctima sea extranjera y que el autor tenga deudas o haya sido despedido de su empleo. Posteriormente veremos que estos indicadores pueden ser justificables, pero consideramos que se hace necesaria una auditoría externa, completa y transparente del sistema de tal manera que sea explicable.

Recientemente, sí que se ha auditado el sistema VioGén por Eticas Foundation y en colaboración con Fundación Ana Bella, Red de Mujeres Supervivientes[xix].

La auditoría habría apreciado indiciariamente un importante sesgo en el rendimiento del sistema VioGén a nivel agregado, ya que no se habría estudiado si el sistema se comporta de forma diferente para los distintos grupos de mujeres según su edad, origen o si tienen hijos o no. En este estudio, se ha llevado a cabo un análisis estratificado de los casos de IPH entre diferentes categorías de mujeres con el propósito de indagar sobre los tipos de vulnerabilidad que podría producir y aplicar el sistema. Al hacerlo, Eticas comprobó que a las mujeres sin hijos se les asigna sistemáticamente una puntuación de riesgo menor que a las mujeres con hijos. Y lo mismo debería hacerse con VioGén, para comprender mejor cómo se calibra y si se tienen en cuenta las disparidades entre los grupos protegidos.

Asimismo, sostiene el estudio que habría que revisar la razón de por qué el 45% de los casos reciben la puntuación de «sin riesgo» y que quizás se esté infraevaluando la violencia psicológica y las nuevas formas de violencia y acoso a través de redes sociales.

En la conclusión de auditoría se fundamenta que para los sistemas de toma de decisiones altamente automatizados y financiados con fondos públicos, de enorme impacto social como VioGén (que, en algunos casos, toma decisiones de vida o muerte), deberían exigirse por ley auditorías independientes. Que el sistema no es transparente, y que la mayor parte de los estudios sobre VioGén han sido realizados por los mismos investigadores que contribuyeron a su desarrollo (López-Ossorio et al., 2019; López-Ossorio, González-Álvarez, et al., 2020), y por personas que trabajan o que tienen intereses particulares en el ministerio y las fuerzas policiales. Que existe una ausencia de rendición de cuentas a efectos de responsabilidad y falta de participación de las poblaciones afectadas. De las entrevistas con víctimas y abogados, las primeras en un 48% evaluaron negativamente el sistema, y los 7 abogados muestran poca confianza en el algoritmo.

Así, la auditora muestras sus “preocupaciones en relación con la transparencia, la supervisión independiente, la rendición de cuentas, la participación de los usuarios finales y la transición al Machine Learning”. En cuanto que en los últimos tiempos habría sido valorada la posibilidad de incorporar al sistema VioGén un algoritmo de aprendizaje automático, basado en la técnica de Nearest Centroid para la clasificación -o un modelo híbrido que implemente una mezcla estocástica del sistema actual y de Nearest Centroid-, según el informe y para ello debería plantearse un debate público y abierto sobre este proceso.

Por último, la auditoría destaca que “VioGén es, en la práctica, un sistema automatizado con una supervisión humana mínima e inconsistente”.

Gemma Galdón, en la entrevista realizada por DIGITAL FUTURE SOCIETY refiere lo crucial de que sepamos cómo se toman las decisiones automatizadas en el ámbito público, y considera que dentro de 5 años miraremos atrás y nos tiraremos de los pelos de cómo implementábamos algoritmos de IA sin auditar, porque la opacidad del sistema es una irresponsabilidad. Si un sistema, como por ejemplo VioGén falla, y se producen muertes de víctimas con una predicción de riesgo bajo o inexistente o no apreciado, no sabemos por qué.

De igual manera, el proyecto RisCanvi[xx] está diseñado para dar respuesta a la evaluación y gestión del riesgo de todo el conjunto de la población penitenciaria catalana (centros penitenciarios de régimen ordinario y abierto y liberados condicionales).

El propio documento de Instituciones Penitenciarias catalanas reconoce que la evaluación y valoración del riesgo es la primera y una de las partes fundamentales del proyecto RisCanvi.

Allá por 2020 en el Caso Edward BRIDGES v. South Wales Police[xxi], Ed Bridges fue el primero que desafió al uso público del reconocimiento facial en vivo o a tiempo real por parte de la policía de Gales del Sur, alegando que estaba violando los derechos a la privacidad, las leyes de protección de datos y las leyes de igualdad.

La intención de Policía del Sur de Gales durante cada implementación es permitir que AFR Locate procese a tantas personas como sea posible. Está claro que el número de personas procesadas es muy grande. Durante los 50 despliegues que se llevaron a cabo en 2017 y 2018, es posible que se hayan escaneado alrededor de 500 000 rostros. La gran mayoría de las personas cuyos datos biométricos son capturados y procesados por SWP utilizando AFR Locate no son sospechosas de ningún delito, no son de interés para la policía y se habría obtenido sin su consentimiento (16).

En agosto de 2020, el Tribunal de Apelación revocó la decisión de septiembre de 2019 del Tribunal Superior y consideró que el uso de la tecnología de reconocimiento facial por parte de la Policía de Gales del Sur infringe los derechos de privacidad, las leyes de protección de datos y las leyes de igualdad debido a “deficiencias fundamentales” en el marco legal.

En cuanto al marco legal suficiente, se considera una excesiva discrecionalidad. Asimismo, se considera que la DPIA (Data Protection Impact Assestment, evaluación de impacto de protección de datos) no contenía una evaluación de la privacidad (evaluación de impacto, evaluación de riesgos y mitigación de los mismos), los datos personales y las garantías.

De igual manera, en el Reglamento futuro europeo quedan prohibidos los sistemas de reconocimiento facial y biométrico a tiempo real no selectivos, pero se permiten si se utiliza a posteriori previa resolución judicial para análisis de imágenes obtenidas.

Así, el sistema ABIS, siglas en inglés que responden a «sistema automático de identificación biométrica», que está entrenando el Ministerio del Interior y que además no ha consultado previamente a la AEPD, lo primero que deberá hacer será adaptarse a los requisitos del reglamento europeo como sistema de alto riesgo. Y el legislador deberá prever un nuevo artículo 588 nonies de la Ley de Enjuiciamiento Criminal para autorizar este tipo de sistemas.

Y por último, mencionar también que al parecer ya se habrían interpuesto las primeras demandas contra el revolucionario sistema Chatgpt de OpenAI. La primera[xxii] se basaría en la vulneración de datos personales, en cuanto que el sistema habría “escrapeado” datos personales de manera no autorizada. La segunda demanda[xxiii] habría sido por presunta vulneración de derechos de autor.

De igual manera, deberemos de estar especialmente atentos a la decisión del TJUE en el Asunto C-634/21 OQ contra Land Hessen, con intervención de: SCHUFA Holding AG, puesto que puede determinar la obligación de suministrar información significativa sobre la lógica aplicada, así como la importancia y las consecuencias previstas en el caso de decisiones automatizadas, considerando ésta en el sentido de que incluya explicaciones suficientemente detalladas sobre el método utilizado para el cálculo del score y sobre las razones y factores que han conducido a un resultado determinado en la toma de decisiones y su importancia desde el punto de vista agregado a fin de poder impugnar la decisión. Sin que pueda acogerse a causas de secreto comercial o de propiedad intelectual, algo que nos recuerda mucho al caso Bosco.

¿Veremos pronto decisiones jurisdiccionales declarando la prohibición de utilización de algoritmos españoles o la obligación de las administraciones de suministrar información significativa sobre la lógica aplicada? Por lo pronto, Bosco se encuentra en recurso de apelación en la Sala de lo Contencioso de la Audiencia Nacional.

De igual manera, puede que comencemos a ver decisiones jurisdiccionales respecto a algoritmos privados que puedan ser discriminatorios y contrarios a la ley como en los casos de Uber, Deliveroo o una posible responsabilidad respecto a Amazon o Chatgpt.

Es decir, el camino no ha terminado con la aprobación del Reglamento europeo de IA, sino que acaba de comenzar, y como veremos a continuación los tribunales tendrán mucho que decir. 

[i] JIMÉNEZ ARANDIA, Pablo y MÉNDEZ, Manuel Ángel. La Seguridad Social usa una IA secreta para rastrear bajas laborales y cazar fraudes. EL CONFIDENCIAL. 17 de abril 2023. Consultado el 25 de junio de 23. Disponible en: https://www.elconfidencial.com/tecnologia/2023-04-17/seguridad-social-ia-inteligencia-artificial-inss-bajas-empleo-algoritmos_3611167/#:~:text=Desde%202018%2C%20la%20Seguridad%20Social,EC%20Dise%C3%B1o.

[ii] JIMÉNEZ ARANDIA, Pablo. Preguntas sin respuesta sobre el sistema predictivo de la Seguridad Social. EL CONFIDENCIAL. 17 de abril 2023. Consultado el 25 de junio de 23. Disponible en: https://www.elconfidencial.com/tecnologia/2023-04-17/preguntas-sin-respuesta-del-sistema-predictivo-de-la-seguridad-social_3610544/

[iii] LENCINA, Fernanda. Así te vigila Hacienda con una poderosa Inteligencia Artificial para evitar fraudes. The Huffington Post. 2 de agosto de 2023. Consultado el 2 de agosto 2023. Disponible en: https://noticiastrabajo.huffingtonpost.es/economia/hacienda-te-vigila-con-inteligencia-artificial/

[iv] OLLERO, Daniel J. El algoritmo secreto del Gobierno que decide si te llevas una subvención para la factura de la luz. EL MUNDO. 3 julio de 2019. Consultado el 25 de junio de 23. Disponible en: https://www.elmundo.es/tecnologia/2019/07/03/5d1b89fbfc6c83a2358b46ca.html

[v] GONZÁLEZ-ESPEJO, M. J., “Sector público y algoritmos: Transparencia o un poco más

de paciencia”, 19-2-2020 Diario la Ley, Consultado el 25 de junio de 2023. Disponible en: https://diariolaley.laleynext.es/Content/Documento.aspx?params=H4sIAAAAAAAEAMtMSbH1c

zUwMDAyNDEyMTNTK0stKs7Mz7M1MjACCVqq5eWnpIa4ONuW5qWkpmXmpaaAlGSmVbrkJ

4dUFqTapiXmFKeqpSbl52ejmBQPMwEAZnEi5GMAAAA=WKE  

[vi] Nota de prensa de la sentencia por el Poder Judicial Holandés. Consultado el 25 de junio de 2023. Disponible en: https://www.rechtspraak.nl/Organisatie-en-contact/Organisatie/Rechtbanken/Rechtbank-Den-Haag/Nieuws/Paginas/SyRI-wetgeving-in-strijd-met-het-Europees-Verdrag-voor-de-Rechten-voor-de-Mens.aspx

Sentencia Autoridad Tribunal de Distrito de La Haya 05-02-2020 ECLI:ES:RBDHA:2020:865; Número de caso C-09-550982-HA SA 18-388; En inglés: ECLI:NL:RBDHA:2020:1878. Consultado el 25 de junio de 2023. Disponible en: https://uitspraken.rechtspraak.nl/#!/details?id=ECLI:NL:RBDHA:2020:865

[vii] DE LA ROSA Esteban, FERNANDO (Director), VERDEGAY GALDEANO José Luis, ZELEZNIKOW John, RUIZ RESA Josefa Dolores, MORAL SORIANO Leonor, FERNÁNDEZ-FÍGARES María José, VALLS PRIETO Javier, PELTA MOCHCOVSKY David Alejandro, CABRERA CUEVAS Marcelino, CASTILLO PARRILLA José Antonio, CORTÉS Pablo y VILALTA NICUESA Aura Esther, Justicia Digital. Guía para el diálogo sobre el diseño y uso eficiente, de calidad y ético de herramientas tecnológicas en la justicia civil, Madrid, Fundación Cotec para la Innovación – Universidad de Granada, 2022.

En el contexto de este procedimiento, el relator especial Philip Alston emitió un informe afirmando que tiene un efecto discriminatorio y estigmatizador. P. Alston, debido, entre otras razones, a la autoridad que se confiere a los algoritmos. «Brief by the United Nations Special Rapporteur on extreme poverty and human rights as amicus curiae before the District Court of the Hague on the case of NJCM c.s./De Staat der Nederlanden (SyRI), case No. C/09/550982/HA ZA 18/388», 2019, disponible en https://www.ohchr.org/Documents/Issues/Poverty/Amicusfinalversionsigned.pdf.

[viii] CASTILLO PARRILLA, José Antonio. La discriminación a través del algoritmo en una plataforma. El caso Deliveroo Bolonia y sus implicaciones para el sector público. 11 de marzo de 2021. Consultado el 1 de julio de 2023. Disponible en: https://www.uv.es/catedra-pagoda/es/actualidad/la-discriminacion-traves-del-algoritmo-jose-antonio-castillo-parrilla-1286053802801/Novetat.html?id=1286182093538 Puede consultarse la sentencia aquí, TRIBUNALE ORDINARIO di BOLOGNA Sezione Lavoro Causa n. r.g. 2949/2019 27 de noviembre de 2020 FILCAMS CGIL BOLOGNA. NIDIL CGIL BOLOGNA, FILT CGIL BOLOGNA Contro DELIVEROO ITALIA S.R.L https://www.algoritmolegal.com/wp-content/uploads/2021/01/Sentencia-Bologna-Italia-Deliveroo-dic-2020-Original-italiano.pdf

[ix] LESSIG, Lawrence. El código 2.0. Madrid. Proyecto editorial Traficantes de Sueños. 2009.

[x] Un robot mata a un técnico de Volkswagen en Alemania. EL PAÍS. 2 julio de 2015. Consultado el 1 de julio de 2023. Disponible en: https://elpais.com/economia/2015/07/02/actualidad/1435838812_094380.html

[xi] Un robot defectuoso asesinó a una mujer en una fábrica de Michigan. Infobae. 21 de marzo de 2017. Consultado el 1 de julio de 2023. Disponible en: https://www.infobae.com/mix5411/2017/03/21/un-robot-defectuoso-asesino-a-una-mujer-en-una-fabrica-de-michigan/

[xii] FUENTES, Victoria. Acusada de homicidio la conductora de Uber cuyo coche autónomo atropelló a una mujer en Arizona. Motorpasion. 17 Septiembre 2020. Consultado el 1 de julio de 2023. Disponible en: https://www.motorpasion.com/seguridad/acusada-homicidio-conductora-coche-autonomo-uber-que-causo-atropello-mortal-arizona#:~:text=La%20conductora%20que%20deb%C3%ADa%20controlar,de%202021%2C%20seg%C3%BAn%20publica%20Reuters.

[xiii] Dos muertos y tres heridos cuando un Tesla en piloto automático en vez de aparcar aceleró a todo velocidad arrollando a otros vehículos. 20 minutos. 14 de noviembre de 2022. Consultado el 1 de julio de 2023. Disponible en: https://www.20minutos.es/noticia/5076259/0/dos-muertos-y-tres-heridos-cuando-un-tesla-en-piloto-automatico-en-vez-de-aparcar-acelero-a-todo-velocidad-arrollando-a-otros-vehiculos/ 

[xiv] Otro Tesla descontrolado provoca un accidente con dos muertos en China. La Vanguardia. 1 de diciembre de 2022. Consultado el 1 de julio de 2023. Disponible en: https://www.lavanguardia.com/motor/actualidad/20221201/8630726/tesla-descontrolado-provoca-accidente-dos-muertos-china.html

[xv] PASCUAL ESTAPÉ, Juan Antonio. Autopilot de Tesla: 736 accidentes y 17 muertos. Computer Hoy. 11 jun. 2023. Consultado el 1 de julio de 2023. Disponible en: https://computerhoy.com/motor/autopilot-tesla-736-accidentes-17-muertos-1258862

[xvi] Tribunal Supremo de los Países Bajos, 1 de noviembre de 2016, ECLI:NL:HR:2016:2454. Consultado el 25 de junio de 2023. Disponible en: https://uitspraken.rechtspraak.nl/#!/details?id=ECLI:NL:HR:2016:2454&keyword=%22ECLI:NL:HR:2016:2454%22                                                                                                

[xvii] Sentencia de la Cámara Primera del Tribunal Constitucional Federal de 16 de febrero de 2023 – 1 BVR 1547/19 – – 1 BVR 2634/20 – Consultado el 25 de junio de 2023. Disponible en: https://www.bundesverfassungsgericht.de/e/rs20230216_1bvr154719.html

[xviii] Vid. Nota al Pie 13.

[xix] ”Eticas. (2022). The External Audit of the VioGén System. Association Eticas Research and Innovation.” Auditoría externa del Sistema VioGén. Eticas Foundation y Fundación Ana Bella, Red de Mujeres Supervivientes. 8/3/22 https://eticasfoundation.org/wp-content/uploads/2022/04/ETICAS-_-Auditori%CC%81a-Externa-del-sistema-VioGe%CC%81n-_-20220308.docx.pdf

[xx] Resum sobre RisCanvi, el protocol de valoració del risc. Consultado el 1 de julio de 2023. Disponible en: https://justicia.gencat.cat/web/.content/home/ambits/reinsercio_i_serveis_peni/resum-riscanvi.pdf

[xxi] Neutral citation number: [2020] ewca civ 1058; Case No: C1/2019/2670; Court Of Appeal (Civil Division) on Appeal from the High Court of Justice Queen’s Bench Division (Administrative Court) Cardiff District Registry; 11/08/2020;  Edward Bridges Appellant- and –  The Chief  Constable of South Wales Police – and The Secretary of State for the Home Department – and the Information Commissioner  the Surveillance Camera Commissioner (2) The Police and Crime Commissioner for South Wales (3) consultado el 25 de junio de 2023. Disponible en: https://www.judiciary.uk/wp-content/uploads/2020/08/r-bridges-v-cc-south-wales-ors-judgment.pdf Toda la documentación del caso puede consultarse aquí: https://www.libertyhumanrights.org.uk/issue/legal-challenge-ed-bridges-v-south-wales-police/

[xxii] THORBECKE, Catherine. OpenAI, maker of ChatGPT, hit with proposed class action lawsuit alleging it stole people’s data. CNN. 28 de junio de 2023. Consultado el 1 de julio de 2023. Disponible en: https://edition.cnn.com/2023/06/28/tech/openai-chatgpt-microsoft-data-sued/index.html

[xxiii] Brittain, Blake. Lawsuit says OpenAI violated US authors’ copyrights to train AI chatbot. 29 de junio de 2023. Reuters. Consultado el 1 de julio de 2023. Disponible en: https://www.reuters.com/legal/lawsuit-says-openai-violated-us-authors-copyrights-train-ai-chatbot-2023-06-29/