El derecho a la explicabilidad de la inteligencia artificial

La tecnología de inteligencia artificial no es nueva. Su concepto fue desarrollado al menos hace 7 décadas; 1956 para ser más precisos. Y, aunque a lo largo de los años ha tenido períodos de altos y bajos, hoy en día gracias a los avances en procesamiento computacional y el acceso una enorme cantidad de datos disponibles, más que en ninguna otra época de la historia, han hecho posible que la IA comience a revolucionar el estilo de vida de la humanidad a un ritmo alarmante.

¿En realidad entendemos cómo funciona la inteligencia artificial? ¿Sabemos las implicaciones éticas y legales de utilizar sistemas predictivos de alto impacto en la sociedad en temas de justicia o seguridad social? En este artículo abordaremos qué es la explicabilidad de la inteligencia artificial y por qué debería impulsarse como derecho en las sociedades democráticas del mundo actual. 

¿A que se refiere la explicabilidad de la IA?

La explicabilidad de la Inteligencia Artificial (IA) se refiere a la capacidad de comprender y justificar cómo los algoritmos y sistemas de IA llegan a sus decisiones y resultados. En un contexto legal, esta característica adquiere una importancia fundamental para los abogados, ya que les permite analizar y evaluar el razonamiento detrás de las conclusiones de la IA en casos judiciales o situaciones que involucren esta tecnología.

A diferencia de las decisiones humanas, donde se pueden examinar los factores y criterios utilizados para llegar a una determinada conclusión, los modelos de IA a menudo operan como cajas negras, lo que dificulta el entendimiento de su lógica interna.

¿Qué es la caja negra? 

La caja negra, en inglés también conocida como Black Box es un fenómeno que se presentan en los algoritmos de inteligencia artificial de redes neuronales, pues funcionan a través de capas: la capa inferior toma los datos de entrada y los distribuye a alguna de las capas siguientes que conforman la red neuronal, eventualmente la capa superior produce una respuesta.

Cuando este proceso se repite las suficientes veces, permite a la red neuronal aprender las diferencias entre los objetos para clasificarlos con mayor exactitud. 

El problema es que, al igual que en el cerebro humano, el aprendizaje está codificado en la fuerza de las conexiones múltiples, en lugar de almacenarse en lugares específicos, como en una computadora convencional.

Pierre Baldi, un investigador de aprendizaje de máquinas en la Universidad de California, al referirse al problema de la caja negra dice lo siguiente: “¿Dónde está el primer dígito de su número de teléfono almacenado en su cerebro? Es probable que en un montón de sinapsis, probablemente no demasiado lejos de los otros dígitos”, y Jeff Clune, de la Universidad de Wyoming, agrega: “a pesar de que nosotros construimos estas redes, no podemos entenderlas mejor de lo que entendemos el cerebro humano”. 

Y es que el no saber cómo es que un algoritmo de red neuronal llega a producir un determinado resultado representa un gran problema en la defensa o impugnación de un resultado obtenido por IA.

Resulta controversial pensar en un escenario donde se litigue algo que fue resultado de la intervención de la tecnología de IA y para explicar dicho fenómeno los abogados no sepan cómo explicar que se llegó a tal producto. No basta decir, “es que así lo hizo la IA”. En contextos de administración pública, esto resulta aún más perturbador. 

La explicabilidad de la IA en contextos de administración pública

En las sociedades democráticas constitucionales, el ejercicio del poder público está sujeto a límites legales que pueden encontrarse, dependiendo del país, en constituciones, leyes o incluso en convenciones internacionales.

Muchas de éstas normas recogen los principios de fundamentación y motivación, que consisten en que los actos de todas las entidades públicas deben expresar las disposiciones normativas aplicables a cada caso específico y las razones o argumentos que justifiquen su actuar.

Y esto aplica desde algo tan sencillo como una multa de tránsito, hasta la emisión de sentencias en tribunales y juzgados. En México estos principios están contenidos en el artículo 16 de la constitución.

La disyuntiva comienza cuando en la administración pública comienzan a utilizarse tecnología de inteligencia artificial; especialmente algoritmos de aprendizaje profundo, cuyas redes neuronales traen aparejado el problema de la caja negra. 

Por ejemplo, se sabe que actualmente el SAT utiliza ciertos tipos de IA para detectar a los contribuyentes que evaden impuestos o simulan operaciones y podría no pasar mucho tiempo antes de que otras entidades del Estado mexicano también utilicen IA para sus interacciones con los particulares. Supongamos el siguiente caso hipotético: 

El CONACYT utiliza un nuevo sistema de IA para determinar la asignación de becas para estudiar posgrados en el extranjero. Al sistema de IA se le indica cuáles son los criterios para realizar la evaluación y posteriormente se le presentan los datos de cada una de las personas postulantes. De esta manera, la IA determina la lista de aspirantes seleccionados para una beca de posgrado en el extranjero. 

Una persona que hubiera participado en dicho concurso y que no hubiera resultado seleccionada, podría fácilmente realizar una solicitud de información al CONACYT, solicitando una explicación detallada de las razones por las cuáles su postulación no resultó seleccionada para una beca de posgrado.

En este ejercicio del derecho de acceso a la información el CONACYT podría decir: “Por no cumplir los requisitos” o “Porque el sistema determinó que no cumplió con los requisitos”. Sin embargo, la solicitud de explicación detallada implica que el CONACYT al menos brinde las razones de tal determinación: calificaciones de la licenciatura, diplomados y cursos de formación adicional, hasta el dominio de lenguas extranjeras.

No obstante, si la IA no estaba programada para explicar sus decisiones, el fenómeno de la caja negra evitaría conocer los razonamientos detrás de la selección de los aspirantes para una beca de posgrado. 

¿La persona que fue afectada en su esfera jurídica con una decisión tomada por una IA tendría el derecho a que le expliquen los motivos que tomó en cuenta la IA para llegar a tal decisión? 

Resulta bastante perturbador que el escenario anterior, por muy hipotético que sea, sí tenga sus equivalentes en el mundo real.

En Baltimore, una abogada civilista que representaba a una persona adulta mayor y con discapacidad en un caso en donde su cliente había sido inexplicablemente rechazado para recibir la ayuda de MedicAid, descubrió en pleno litigio que el estado de Maryland recientemente había integrado un nuevo algoritmo y no era posible explicar porque el algoritmo había tomado la decisión de cortarle el MedicAid a una persona mayor y con discapacidad.

Casos similares como éste llevaron al gobierno de Joe Biden a publicar la “Guía hacia una carta de derechos de la IA”, donde se incluye el derecho a la explicabilidad de la IA.

El derecho a la explicabilidad de la IA

A medida que la IA comienza a afectar los derechos de más y más personas alrededor del mundo, vale la pena realizar las siguientes preguntas: ¿Las personas tienen derecho a saber cuando una decisión que les afecta ha sido tomada con IA? Y de ser así, ¿tienen derecho a saber cómo la IA ha tomado tal decisión? ¿Es el derecho a la explicabilidad un derecho nuevo o puede venir de los derechos humanos actuales?

A falta de una consolidación normativa expresa del derecho a la explicabilidad de la IA, puede que para responder las preguntas anteriores haya que mirar en lo más parecido que tenemos en la actualidad, al menos en México y los países signatarios de la Convención Americana de Derechos Humanos: el derecho de la información. De acuerdo con el investigador Ernesto Villanueva, el derecho de la información es el derecho humano de toda persona a atraerse de información, informar y ser informada. En ese sentido, establece que este derecho se compone al menos de las siguientes facetas: 

1. Derecho de atraerse información: Que es la posibilidad de acceder a archivos públicos. 
2. Derecho a informar: Libertad de expresión y de imprenta. 
3. Derecho a ser informado: Recibir información objetiva, oportuna y completa. 

Si todas las personas tienen el derecho de acceder a la información que les concierne, incluyendo la manera en que se toman decisiones que afectan sus vidas, a través del derecho de la información; en el contexto de la IA, esto implica que las personas tienen el derecho de conocer cómo un sistema de inteligencia artificial llega a una determinada conclusión o decisión que pueda tener un impacto en sus derechos, libertades o intereses.

Por otro lado, y específicamente en los casos de la administración pública, los principios de fundamentación y motivación requieren que las decisiones tomadas por las instituciones y que afecten la esfera jurídica de las personas se basen en criterios claros y justificados. En el caso de la IA, se traduce en la necesidad de que los algoritmos y sistemas de IA proporcionen una explicación coherente y transparente sobre cómo se han procesado los datos y cómo se ha llegado a una determinada conclusión.

La convergencia de estos dos elementos da lugar al derecho a la explicabilidad de la IA. Este derecho implica que las personas tienen la legítima expectativa de comprender el razonamiento detrás de las decisiones automatizadas tomadas por los sistemas de IA. De esta manera, se garantiza la rendición de cuentas y se pueden detectar posibles sesgos, errores o discriminaciones involuntarias en el proceso de toma de decisiones.

Regulación de la explicabilidad de la IA y XAI

A medida que se consolide el derecho de la inteligencia artificial como una rama jurídica autónoma, entonces podremos ver cómo es que la ley creada por humanos tratará de regular cosas creadas con inteligencia artificial.

Basta con ver el ejemplo de la propuesta de Ley de Inteligencia Artificial de la Unión Europea (IA Act) que aunque todavía está lejos de tener una versión aprobada por el Consejo Europeo, ya aborda el concepto de explicabilidad al decir que deben ser considerados de “alto riesgo” los sistemas de inteligencia artificial diseñados para la aplicación de la ley cuando estos puedan “impedir el ejercicio de importantes derechos procesales fundamentales, como el derecho a la tutela judicial efectiva y a un juez imparcial, así como los derechos de la defensa y la presunción de inocencia, sobre todo cuando dichos sistemas de IA no sean lo suficientemente transparentes y explicables ni estén bien documentados”. 

Ante el problema de la caja negra, algunos desarrolladores de inteligencia artificial alrededor del mundo han propuesto como solución, la metodología de la caja de cristal y también la denominada inteligencia artificial explicable (XAI). Por un lado, el modelo de caja de cristal es una versión simplificada de una red neuronal que permite la trazabilidad de los datos que van afectando a la red neuronal. No obstante, si se requiere aprender algo a partir de datos desordenados, requiere de redes neuronales profundas, con muchas capas y, en consecuencia, opacas (caja negra). 

Por otro lado, las XAI consisten en ayudar a las personas a comprender qué características de los datos tiene en cuenta una red neuronal, por ejemplo, entrenando un sistema de redes neuronales que pueda explicar a través de lenguaje natural, el razonamiento detrás de una respuesta, como lo haría un ser humano. Aunque aún hoy no está claro que un sistema de aprendizaje automático siempre vaya a ser capaz de proporcionar una explicación de sus acciones en lenguaje natural. 

Preguntas frecuentes sobre el derecho a la explicabilidad de la IA