Derecho y Cine (V): Metrópolis y el buen uso de la inteligencia artificial. A propósito del Proyecto de Ley Orgánica para el buen uso y la gobernanza de la inteligencia artificial.

En 1927 Fritz Lang estrenó Metrópolis, una de las obras fundacionales del cine de ciencia ficción. La película narra una ciudad futura dividida entre una élite que habita en la superficie y una masa obrera que sostiene, desde las profundidades, la maquinaria que hace posible ese mundo. El punto de inflexión narrativo llega con la creación del Maschinenmensch, el robot construido por el científico Rotwang, al que se le da la apariencia de María, líder espiritual de los obreros, para manipular a la masa trabajadora y sofocar su disidencia. La película puede verse en clave de advertencia frente al mal uso de la tecnología, de los peligros de una industrialización deshumanizadora, de una tecnología descontrolada, y el uso de la inteligencia artificial.

Casi cien años después, el legislador español se enfrenta a una versión no ficticia de aquella inquietud: cómo gobernar una tecnología capaz de actuar, decidir e influir con un grado de autonomía que desafía los marcos jurídicos tradicionales. El Proyecto de Ley Orgánica para el buen uso y la gobernanza de la inteligencia artificial, que desarrolla el Reglamento (UE) 2024/1689, de 13 de junio, ofrece un buen punto de partida para esta columna de Derecho y Cine. Y como advierte el texto: la IA es una pieza clave en la actual revolución tecnológica, con enorme potencial de crecimiento y transformación, instrumento transversal con incidencia en un amplio espectro de sectores. Como todavía no es norma en vigor, habrá que estar al texto que definitivamente se apruebe.

Pues bien, lo inquietante del Maschinenmensch de Lang no es su fuerza ni su apariencia, sino que actúa por delegación de una voluntad oculta (Rotwang), y con un impacto directo sobre las decisiones colectivas de una comunidad que no puede saber que está siendo dirigida por una máquina.

La Exposición de Motivos del Proyecto de Ley apunta hacia ese desafío: “Los sistemas de IA pueden llegar a funcionar con un elevado grado de autonomía y autoaprendizaje. Una vez entrenados, estos sistemas pueden inferir por sí mismos recomendaciones, decisiones, predicciones o contenidos, sin que sea necesario conocer y programar previamente qué datos y qué valoraciones originaron esos resultados ofrecidos por el sistema”. Y añade que esa autonomía «puede, por otro lado, suponer un desafío en cuanto a la transparencia y trazabilidad de estos sistemas.»

El paralelismo con Rotwang y su criatura se encuentra en que, en ambos casos, el problema jurídico y ético no es la existencia de la máquina, sino la falta de control humano informado sobre lo que la máquina hace y por qué lo hace.

Frente al robot incontrolado de la ficción, el Proyecto de Ley articula un sistema de gobernanza que reparte la supervisión de los sistemas de IA entre distintas autoridades nacionales, según el ámbito en que operen. El artículo 5 designa como autoridades de vigilancia del mercado, entre otras, a la Agencia Española de Supervisión de Inteligencia Artificial (AESIA), la Agencia Española de Protección de Datos, el Banco de España, la CNMV, la Dirección General de Seguros y Fondos de Pensiones… y, también, al Consejo General del Poder Judicial.

En efecto, el artículo 5.4 dispone: “Se designa al Consejo General del Poder Judicial, de conformidad con lo previsto en el capítulo I bis del título III del libro III de la Ley Orgánica 6/1985, de 1 de julio, del Poder Judicial, como autoridad de vigilancia del mercado de los siguientes sistemas de IA: a) Los que realicen prácticas de IA prohibidas recogidas en el apartado d) y h) del artículo 5.1 del Reglamento (UE) 2024/1689, de 13 de junio; b) Los sistemas de IA de alto riesgo descritos en el anexo III.1 del Reglamento (UE) 2024/1689, de 13 de junio, relativo al ámbito de la biometría, cuando los sistemas se utilicen a efectos de la administración de justicia y del cumplimiento del derecho, excluyendo, en consonancia con el anexo III.1 a) de dicho Reglamento, los sistemas para identificación biométrica remota cuya única finalidad sea confirmar que una persona física concreta es la persona que afirma ser; c) Los sistemas de IA de alto riesgo descritos en el anexo III.6 del Reglamento (UE) 2024/1689, de 13 de junio, relativo al ámbito de la garantía del cumplimiento del derecho; d) Los sistemas de IA de alto riesgo descritos en el anexo III.8.a) del Reglamento (UE) 2024/1689, de 13 de junio, relativo a los ámbitos de la administración de justicia”.

Coherentemente con la naturaleza institucional del CGPJ, el artículo 35.5 del Proyecto establece una salvedad expresa al régimen general del procedimiento sancionador cuando es el Consejo quien actúa como autoridad de vigilancia: “En el caso del Consejo General del Poder Judicial, cuando actúe como autoridad de vigilancia del mercado en virtud de la designación realizada por la presente ley, las resoluciones dictadas en el marco del procedimiento sancionador se sujetarán al régimen del libro III, del título III, del capítulo I bis de la Ley Orgánica 6/1985, de 1 de julio, del Poder Judicial”.

Es decir, aunque el resto de autoridades de vigilancia tramitan sus procedimientos sancionadores conforme a la Ley 39/2015, de 1 de octubre, el CGPJ lo hace conforme a su propio régimen orgánico, respetando así el principio de autogobierno del Poder Judicial.

Por otra parte, la Disposición final cuarta señala que: “[…] se dictan al amparo del apartado 5.ª del artículo 149.1 de la Constitución Española, relativo a la Administración de Justicia, los preceptos referidos a la atribución de funciones de autoridad competente y de vigilancia del mercado en el ámbito de la justicia; en particular, el artículo 5.4 y las previsiones del artículo 35 en lo que se refiere al régimen aplicable cuando el Consejo General del Poder Judicial actúe como autoridad de vigilancia del mercado”.

Esto confirma que el legislador ha sido consciente de que la supervisión de la IA en el ámbito judicial no puede diluirse en el mismo régimen aplicable, por ejemplo, a un sistema de IA para selección de personal o para concesión de crédito: la Administración de Justicia exige un tratamiento diferenciado por razón de la garantía institucional que la propia Constitución le reconoce.

Además de lo anterior, el Proyecto de Ley contiene otras referencias que conviene señalar:

– El artículo 3 sobre ámbito de aplicación, remite en general a los operadores de sistemas de IA definidos por el Reglamento europeo, sin excluir a la Administración de Justicia del ámbito subjetivo salvo en lo relativo al Capítulo IV.

– El artículo 33.2, sobre concurrencia de sanciones, prevé el traslado del tanto de culpa al «órgano jurisdiccional competente» cuando los hechos objeto de un procedimiento sancionador pudieran ser constitutivos de delito, suspendiéndose el procedimiento administrativo hasta que recaiga sentencia firme o resolución que ponga fin al proceso penal.

Volviéndo a la película, Metrópolis termina con una reconciliación simbólica entre “la cabeza” (el poder que planifica) y “las manos” (el poder que ejecuta), mediada por “el corazón”. No es descabellado trasladar esa fórmula al debate sobre la gobernanza de la IA: la norma sitúa a las autoridades de vigilancia del mercado como mediadoras necesarias entre el desarrollo tecnológico (que avanza con lógica propia, como el autómata de Rotwang) y los derechos de las personas afectadas por sus decisiones.

Como conclusión, por un lado, el Poder Judicial no queda como mero destinatario pasivo de la regulación de la IA, sino que se erige en garante institucional de su buen uso en el ámbito de la justicia, con potestad sancionadora propia y un procedimiento adaptado a su régimen orgánico. Por otro lado, y como recuerda la propia Exposición de Motivos, la autonomía de estos sistemas exige extremar la exigencia de transparencia y trazabilidad allí donde su uso pueda incidir en la tutela judicial efectiva, en la presunción de inocencia o en cualquier otro derecho fundamental vinculado al proceso. Como señala la Exposición de Motivos: “Esta autonomía puede, por otro lado, suponer un desafío en cuanto a la transparencia y trazabilidad de estos sistemas. La adaptación con la que estos sistemas son capaces de funcionar tras su despliegue conlleva riesgos cuando el uso de los mismos tenga un impacto sobre las personas, la sociedad o la economía. Por ello, es necesario disponer de un adecuado marco normativo para el uso de esta tecnología que promueva la adopción de una IA fiable y centrada en el ser humano”.

José Ramón de Blas.

Sección Comunidad Valenciana.