Las aplicaciones de Inteligencia Artificial han trastocado la convivencia social, la lógica de los mercados y las formas de gobierno. Por su impacto en la vida de millones de personas, es urgente trazar la “línea roja” entre lo factible y lo inadmisible desde una perspectiva ética y jurídica que resguarde libertades civiles y derechos humanos.
| Comentario de Pompeu Casanovas y Pablo Noriega
La Inteligencia Artificial (IA) ha irrumpido en nuestras vidas de una forma que no había sido prevista hace apenas una década. Va más allá del uso generalizado que se le dio a diversas aplicaciones partir de la pandemia de covid-19: está presente en la transformación extraordinariamente rápida que experimentan la industria, el comercio, la administración e, inevitablemente, el derecho y el gobierno, con la evolución de internet y la red semántica asociada al creciente enjambre de grandes datos y a las aplicaciones de técnicas de aprendizaje automático al “internet de las cosas”. Atendiendo a esta realidad, señalaremos algunos puntos importantes en el uso de tecnologías de IA en el contexto del derecho y la ética.
Partamos de una observación cauta: hay enormes oportunidades de hacer un buen uso de la IA; sin embargo, al ser una tecnología “disruptiva”, que perturba los sistemas existentes en la sociedad, el mercado y el gobierno, existen desafíos igualmente formidables a los que debemos hacer frente. Dicho en otras palabras, en IA hay cosas que debemos hacer, cosas que no podemos hacer y cosas que deberíamos hacer… pero, sobre todo, como en otras actividades disruptivas, hay cosas que no deberíamos hacer aunque pudiéramos. El problema es que, por ahora, no somos capaces de vislumbrar con claridad dónde se ubica esa línea roja.
Con el fin de abordar esa ambigüedad, apuntaremos brevemente algunos elementos para construir lo que se puede denominar gobernanza jurídica en IA. Es decir, tanto el uso de sistemas inteligentes para la regulación como la regulación de la propia IA para producir resultados aceptables, minimizando los riesgos de un impacto negativo en los derechos y en la vida cotidiana de los ciudadanos. Evidentemente, existe una dimensión política en esta cuestión, pero se trata, básicamente, de una cuestión de razonabilidad: lo que es o no razonable en la producción, la gestión y la aplicación social de la IA.
Vamos a articular esa cuestión de razonabilidad bajo la forma de algunos dilemas que pueden ayudarnos a comprender la complejidad del problema. Aclaremos que adoptamos esta fórmula en aras a la simplicidad expositiva. Tal y como asevera Victoria Camps (2013), en ética aplicada se tratan valores y soluciones en conflicto: no hay un único modelo para armar.
Encarar la complejidad
El primer dilema es básico y se desarrolla de la siguiente manera:
Dilema 1: Por una parte, es necesaria la intervención humana para la aplicación provechosa de sistemas inteligentes y la minimización de riesgos que conlleva su uso. Pero, por otra, dado que los procesos de aprendizaje y funcionamiento de los sistemas y agentes inteligentes tienen un grado de autonomía cada vez mayor, es posible afirmar que los sistemas de IA deberían poder ser autocontrolados o controlados por otros sistemas de IA. ¿Cómo pueden conjugarse estas dos perspectivas?
El segundo dilema es parecido, pero no deriva de la complejidad de los sistemas y su implementación práctica, sino que tiene un origen formal y un alcance más general. Procede de la propia naturaleza de los sistemas lógicos subyacentes a la manera en que la IA suele aplicarse en los sistemas jurídicos. Martin Gardner señaló que la paradoja de la reflexividad, a la que Bertrand Russell se enfrentó con la teoría de los tipos lógicos y la noción de metalenguaje, podía adoptar múltiples formas. Una de ellas era: “Todas las reglas tienen excepciones” (Gardner, 1963). La noción de sistema de normas o reglas ha constituido la base de los sistemas de regulación (y, en parte, de los denominados sistemas jurídicos) desde hace más de medio siglo. En su forma convencional, esas reglas tienen una estructura condicional: “Si… entonces…”, y la interpretación lógica clásica.
Dilema 2: ¿Deben los sistemas de regulación artificial estar basados solamente en reglas o deberían adoptar otros elementos que no tengan esta forma? Es decir, ¿se deben implementar sistemas que asuman contradicciones, elementos o variables exógenas que modifiquen los resultados, o una vía abierta para la incertidumbre?
El tercer dilema, complementario del anterior, ocurre en el terreno de la implementación de normas en contextos reales. Como apuntamos antes, las aplicaciones de la IA al derecho se han basado, casi desde el principio, en la noción de isomorfismo jurídico; es decir, en la extracción de reglas semánticas con la forma general de los textos jurídicos: Condición (hechos)-Efectos (normativos) [si… entonces…]. Textos jurídicos entendidos, aquí, en sentido amplio (valores y principios éticos, políticas públicas, protocolos, buenas prácticas, acuerdos internacionales, etcétera).1 Estos textos son la base de los instrumentos jurídicos habituales, los cuales aceptan un alto grado de ambigüedad y contradicción. Más concretamente, en la práctica, un mismo término (por ejemplo, qué es un contrato, qué significa “justicia” o las condiciones del uso de la violencia) se puede interpretar de forma contradictoria, tanto en tiempo presente como futuro. Dicho de otra manera: la base conflictiva de las interacciones humanas en lenguas naturales no es eliminable en su representación lógica.
Dilema 3: ¿Cómo debemos operar con los lenguajes formales representativos? ¿Interpretamos el isomorfismo jurídico como el pilar de base de los sistemas normativos y de la argumentación —esta es la práctica más habitual— o buscamos otras soluciones para el proceso de adquisición del conocimiento que debe ser modelado?2
Usar la IA para regular la IA, pero, también, de encontrar las formas de regulación que se pueden incorporar en los sistemas que se basan en la propia IA.
Se trata de usar la IA para regular la IA, pero, también, de encontrar las formas de regulación que se pueden incorporar en los sistemas que se basan en la propia IA. Porque, a diferencia de otras formas de regulación, la gobernanza de los sistemas artificiales conlleva adicionalmente un problema de ingeniería, pues se busca regular en artefactos y con artefactos i.e. mediante artefactos. Como acabamos de exponer, en este trabajo se formulan tres alternativas fundamentales para instrumentar esa gobernanza.
La impenetrabilidad del lenguaje
Los dilemas de la autonomía normativa, de la reflexividad regulativa y del isomorfismo jurídico pueden formularse de otras maneras. Podríamos intentar agruparlos, por ejemplo, como un trilema a la manera de James Fishkin sobre la democracia deliberativa (Fishkin, 2009) para mostrar la interdependencia de las respuestas. Pero no es necesario hacerlo así para darse cuenta de que no existe una teoría general que ofrezca una solución única a los tres dilemas formulados. Hay respuestas parciales, adaptadas al sector de regulación, a los requerimientos normativos y a las disposiciones del entorno (affordances) que deben tenerse en cuenta para efectuar el modelado del sistema.
Vale la pena recordar al Lewis Carroll de Alicia a través del espejo:
—Cuando yo uso una palabra –insistió Humpty Dumpty con un tono de voz más bien desdeñoso– quiere decir lo que yo quiero que diga… ni más ni menos.
—La cuestión –insistió Alicia– es si se puede hacer que las palabras signifiquen tantas cosas diferentes.
—La cuestión –zanjó Humpty Dumpty– es saber quién es el que manda… eso es todo.
Este es uno de los pasajes más citados de Alicia, ciertamente, pero lo que sigue, la cuestión de la impenetrabilidad del lenguaje, es menos citado e igualmente importante: “¡Impenetrabilidad! Eso es lo que yo siempre digo. […] Por ‘impenetrabilidad’ quiero decir que ya basta de hablar de este tema y que más te valdría que me dijeras de una vez qué es lo que vas a hacer ahora, pues supongo que no vas a estar ahí parada para el resto de tu vida.”
Efectivamente, como advierte el triste final de Humpty Dumpty cayendo de la tapia, los retos y riesgos que plantea la aplicación social de la IA tienen que ver con la acción, la impenetrabilidad del lenguaje y la opacidad de los métodos empleados.
En nuestro caso, hemos abogado por tres recursos para el modelado de los sistemas jurídicos:
- Distinguimos cinco niveles de gobernanza de los sistemas autónomos de y mediante la IA.3
- Recuperamos algunas formulaciones de la cibernética y de las ciencias del diseño para la construcción de sistemas normativos adaptados a su entorno. Por ejemplo, para la construcción de ecosistemas regulativos y jurídicos (Casanovas et al., 2022).
- Combinamos sistemas de reglas con valores de diseño ético para la construcción de sistemas en línea híbridos, en los que intervienen tanto seres humanos como sistemas artificiales autónomos (Noriega et al., 2021).
De esta manera, los objetivos y el funcionamiento de un sistema híbrido debieran (y pueden) estar formalmente alineados con valores y derechos humanos (Serra et al., 2021), y podrían ser armonizados con una teoría de los derechos colectivos (o comunes) para la construcción consistente de comunidades sociales (Poblet y Sierra, 2020).
La opacidad y sus riesgos
Este tipo de recursos son esenciales para la correcta construcción del sistema jurídico que utiliza la ia y, también, para la prevención de efectos colaterales indeseados. Pero obsérvese que esas decisiones no corresponden al desarrollo del sistema: son anteriores a él, guían, determinan, tanto su contenido como su aplicación, y forman parte, por ello, del proceso general de gobernanza. En este sentido, integran el sistema de regulación propuesto y no son en absoluto prescindibles.
Ciudadano digital: la réplica o gemelo digital de los ciudadanos reales basándose en sus datos y metadatos, que se utiliza para el control (seguridad) y la asignación de recursos públicos.
Al contrario, si pretenden obviarse los pasos precedentes podemos incurrir en lo que podríamos denominar las paradojas de la regulación simplista de la ia. Los ejemplos de errores humanos y de aplicación apresurada, desgraciadamente, se multiplican. El caso de Robodebt4 (la recuperación automática e indebida de recursos fiscales por parte de la administración australiana en 2016) es paradigmático. Los problemas de privacidad, y de seguridad y encriptación de los datos, también son de sobra conocidos (O’Neil, 2016; Zuboff, 2019). Los sistemas de vigilancia electrónica utilizados por el programa Prism,5 operado por la National Security Agency de Estados Unidos, así como los métodos de la empresa británica Cambridge Analytica6 para el uso electoral de datos privados de los ciudadanos (basándose en técnicas de aprendizaje automático, machine learning), deberían ponernos en guardia sobre la facilidad con que la ia puede aplicarse sin transparencia.
En esa perspectiva, existen descripciones de las propuestas para automatizar las normas que resultan, por lo menos, sorprendentes. Por ejemplo, nos ha llamado la atención que Gartner, la agencia norteamericana de análisis de mercado que elabora anualmente el informe de sobreexpectativas para tecnologías emergentes, haya incluido en su ciclo para el gobierno digital 2021 la “legislación programada” (Machine Readable Legislation, MRL) y las “reglas como programa” (Rules as Code); es decir, la web de datos jurídicos y la aplicación del derecho mediante reglas de computación. Pero nos ha sorprendido aún más la inclusión como tecnología emergente de lo que han denominado citizen twins, la versión administrativa de digital twins. Podemos traducirlo como ciudadano digital: la réplica o gemelo digital de los ciudadanos reales basándose en sus datos y metadatos, que se utiliza para el control (seguridad) y la asignación de recursos públicos.7
Por lo que se refiere a la implementación del MRL, la situación es igualmente inquietante: “[…] el espacio para la interpretación
de la intención legislativa o ejecutiva es eliminado del proceso, pues lo que se logra es que la ley que se aprueba sea la misma que la que se aplica”.8
Esta tendencia a la utilización de la “legislación programada” es muy fuerte en Estados Unidos, Asia y algunos países de la Common Wealth. El uso de los servicios jurídicos en red (que se suelen denominar RegTech o LawTech) ha venido creciendo exponencialmente desde hace por lo menos diez años, y está cambiando el panorama de las profesiones jurídicas y el negocio de los despachos de abogados (los cuales, por cierto, constituyen su principal cliente).9 Mediante IA aplicada, empresas como Judicata o Lex Machina son capaces de predecir resultados y tiempos de duración de los juicios a partir del perfil de comportamiento concreto de cada juez en casos similares (Ashley, 2017).
Ante ello, la actitud de los estados nacionales no está siendo homogénea ni uniforme. Se han producido algunas reacciones duras al impacto de la IA. Francia ha prohibido, bajo multa de 300 000 euros y penas de hasta cinco años de cárcel, el uso de métodos de análisis estadístico (“analítica jurídica”) basados en la identidad de los jueces y secretarios para “evaluar, analizar, comparar o predecir sus prácticas
profesionales”.10 A nivel comunitario, la Unión Europea, siguiendo la estela del Reglamento de Protección de Datos (GDPR), ha preparado ya otro Reglamento, aún en estado de propuesta, para regular la construcción y aplicación de sistemas de IA (Comisión Europea, 2021) y otra más específica para la regulación de plataformas digitales.11
Al mismo tiempo, en contraste, los estados tienden a introducir esquemas corporativos en sus administraciones públicas (“arquitectura empresarial”, como togaf12) y algunas agencias estatales en Nueva Zelanda, Canadá, Reino Unido y Francia están desarrollando activamente, desde 2018, el programa de Rules as Code, mediante el cual imponen interpretaciones “autorizadas” u “oficiales” a los ciudadanos. Esto ocurre con el objetivo explícito de minimizar el papel de intermediarios que, tradicionalmente, han tenido los despachos de abogados (calificados como “módems”). Todavía es pronto para emitir un juicio, aunque hay motivos para la crítica (Governatori et al., 2020).
Parece que la aplicación de técnicas de clasificación y decisión basadas en IA es inevitable para gestionar los millones de casos que se acumulan cada año en la relación entre los ciudadanos y el Estado –en la expedición de certificados penales para obtener trabajo, por ejemplo, o, incluso, en las peticiones de nacionalidad (Governatori, Casanovas y Koker, 2020). Pero, asimismo, resultaría indispensable reservar tiempo y personal para resolver casos difíciles y establecer mecanismos de revisión para corregir los errores y falsos positivos o negativos.
En otras palabras, parece delinearse un cuarto dilema: Facilitar la ejecución de derechos y la reducción de tiempos de espera a costa de aumentar el control social mediante sistemas basados en IA.
Una reflexión final
El cambio de cultura jurídica que conlleva el desarrollo de la red y los sistemas de información refleja el salto de la cultura analógica a la digital. No existe más una separación neta entre el mundo digital y el físico.
La IA aporta un bagaje de herramientas y prácticas que permite la autonomía de las máquinas en la toma de decisiones y en la elaboración de datos sintéticos (datos inferidos mediante datos). Constituye una realidad híbrida compleja entre humanos y máquinas con niveles superpuestos de autorregulación, corregulación y heterorregulación. La validación automática del cumplimiento de las regulaciones en tiempo real es, ya, una necesidad en los ecosistemas jurídicos relativos a la realidad aumentada, las réplicas digitales, los sistemas híbridos en línea, así como en la construcción de infraestructura en las manufacturas, el comercio y las comunidades sociales. Muy pronto, en la administración y el gobierno.
Los dilemas de los que hemos partido –relativos al grado de autonomía, reflexividad, isomorfismo jurídico y control social automático– no tienen una solución única. Requieren de reflexión anticipada y la formulación de un marco de diseño previo mediante la asunción explícita de presupuestos éticos, jurídicos y políticos.
No podemos saber con certeza cuál será el marco económico y regulativo en los nuevos escenarios de una cultura dominada por plataformas y procesos de información. De lo que sí empezamos a tomar conciencia es que el proceso es irreversible y que, sea lo que fuere, deberíamos poder tomar parte directamente en él y no delegar a ciegas nuestra posición a terceros jugadores, sean corporaciones o gobiernos, ni a un sistema artificial completamente autónomo.
BIBLIOGRAFÍA
Ashley, K. D. (2017). Artificial Intelligence and Legal Analytics: New Tools for Law Practice in the Digital Age, Cambridge University Press.
Bench-Capon, T. J.M. y F. P. Coenen (1992). “Isomorphism and Legal Knowledge-based Systems”, in Artificial Intelligence and Law 1 (1), pp. 65-86.
Bench-Capon, T. y T. F. Gordon (2009). “Isomorphism and Argumentation”, in Proceedings of the 12th icail, acm, pp. 11-20.
Camps, V. (2013). Breve historia de la ética. Barcelona, RBA.
Casanovas, P. (2022). “Inteligencia artificial y derecho: La doble implosión de las profesiones y servicios jurídicos en la era digital”, en O. Velarde y M. Martín Serrano, eds., Mirando hacia el futuro. Cambios sociohistóricos vinculados a la virtualización, Madrid, Centro de Investigaciones Sociológicas (CIS), Ministerio de la Presidencia del Gobierno de España (en prensa).
Casanovas, P. et al. (2022). “Law and Sociolegal Governance on the Internet of Things and Industry 4.0”. Special Issue, “The Impact of Artificial Intelligence on Law”, Open Access, J. Multidisciplinary Scientific Journal (issn: 2571-8800) 5 (1): 64-91, Open Access doi: 10.3390/j5010005 https://www.mdpi.com/2571-8800/5/1/5.
Comisión Europea (21 de abril de 2021). Propuesta de reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Ley de Inteligencia Artificial) y se modifican determinados actos legislativos de La Unión. Disponible en http://bit.ly/3tlqNLb.
Comisión Europea (s. f.). Una Europa adaptada a la era digital: nuevas normas para las plataformas online. Disponible en http://bit.ly/3VS5HBr (Consultado el 19 de julio de 2022).
Fishkin, J. (2009). When the People Speak: Deliberative Democracy and Public Consultation, Oxford University Press.
Gabbay D. et al. (2013). Handbook of Deontic Logic and Normative Systems, UK, College Publications.
Gardner, M. (1963). “Logical Paradoxes”, in The Antioch Review, 23 (2): 172-178.
Governatori, G (2020a). “On the Formal Representation of the Australian Spent Conviction Scheme”, en International Joint Conference on Rules and Reasoning, RuleML+RR 2020, Lecture Notes in Computer Science 12173 Cham: Springer, pp. 177-185.
Governatori, G. et al. (2020b). “Rules as Code’will let Computers Apply Laws and Regulations. But Over-Rigid Interpretations Would Undermine our Freedoms”, The Conversation. Disponible en http://bit.ly/3WPldhR (Consultado el 19 de julio de 2022).
Noriega, P. et al. (2021). “Ethical Online ai Systems through Conscientious Design”, en IEEE Internet Computing, 25(6), pp. 58-64.
Noriega, P. y P. Casanovas (2022). “La gobernanza de los sistemas artificiales inteligentes”, en O. Velarde y M. Martín Serrano, eds., Mirando hacia el futuro. Cambios sociohistóricos vinculados a la virtualización, Madrid, Centro de Investigaciones Sociológicas (CIS), Ministerio de la Presidencia del Gobierno de España (en prensa).
Poblet, M. y C. Sierra (2020). “Understanding Help as a Commons”, en International Journal of the Commons, 14(1).
O›Neil, C. (2016). Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy, NY, Broadway Books.
República Francesa (s. f.). Loi n° 2019-222 du 23 mars 2019 de programmation 2018-2022 et de réforme pour la justice. Disponible en http://bit.ly/3G33FJ6 (Consultado el 19 de julio de 2022
Sergot, M. J. et al. (1986). “The British Nationality Act as a logic program” en Communications of the acm, 29 (5): 370-386.
Sierra, C. et al. (2021). ”Value Alignment: a Formal Approach“, en arXiv Preprint. Disponible en http://bit.ly/3EzKZhJ (Consultado el 15 de noviembre de 2022).
Zuboff, S., 2019. The age of Surveillance Capitalism: The fight for a Human Future at the New Frontier of Power, Barack Obama›s books of 2019, NY, Profile Books.
NOTAS
1 El primer planteamiento del isomorfismo jurídico, después de la formalización de los artículos del British Nationality Act por el Logic Programming Group del Imperial College, que únicamente consideraba el contenido de las leyes. Cf. Sergot (1986) y Bench-Capon (1992).
2 La aplicación de semánticas formales al derecho depende de la respuesta que demos. La fórmula más adoptada por los investigadores de ia y derecho ha sido: “Reglas + excepciones”, con la aplicación de lógicas deónticas no estándar y no monotónicas (“derrotables”) a la argumentación y los sistemas jurídicos. Cf. Bench-Capon y Gordon (2009). Véase también una exposición de los sistemas y lenguajes disponibles para tratar formalmente los problemas de derechos, normas, capacidades y competencias (poderes), Gabbay et al. (2013).
3 Los cinco niveles de gobernanza corresponden a la toma de decisiones por parte del sistema de forma autónoma en función de la complejidad del sistema. El último nivel apunta a la Inteligencia Artificial general, cuyo desarrollo sabemos que, si llega, tardará en hacerlo. Cf. Noriega y Casanovas (2022).
6 https://en.wikipedia.org/wiki/Robodebt_scheme
7 Cf. Lo que sorprende es la pasiva aceptación por parte de los analistas de Gartner de este estado de cosas, considerado críticamente desde el punto de vista del derecho internacional público y privado.
8 Ibid.
9 Para un análisis de la transformación de los mercados y las profesiones jurídica, cf. Casanovas, 2022.
10 Cf. Loi n° 2019-222 du 23 mars 2019 de programmation 2018-2022 et de réforme pour la justice. Artículo 33, a la letra: “Les données d’identité des magistrats et des membres du greffe ne peuvent faire l’objet d’une réutilisation ayant pour objet ou pour effet d’évaluer, d’analyser, de comparer ou de prédire leurs pratiques professionnelles réelles ou supposées”. “Los datos de identidad de los jueces y de los integrantes del registro no podrán ser reutilizados con el fin o efecto de evaluar, analizar, comparar o predecir sus prácticas profesionales reales o presuntas”. [Traducción propia, n.e.]
11 Comisión Europea (s. f.). Una Europa adaptada a la era digital: nuevas normas para las plataformas online. Disponible en https://bit.ly/3VS5HBr (Consultado el 19 de julio de 2022).
