El algoritmo que evalúa la peligrosidad de los presos catalanes funciona de forma “azarosa” | Tecnología

El sistema penitenciario catalán lleva 15 años usando un algoritmo, RisCanvi, que supuestamente ayuda a los jueces a tomar decisiones sensibles, como conceder el tercer grado o la libertad condicional. Una auditoría inversa (realizada sin acceso a datos oficiales) concluye que la contribución de este programa al proceso es cuestionable. “El sistema que hemos auditado parece comportarse de forma azarosa, en el sentido de que combinaciones similares de factores y comportamientos [de presos] pueden derivar en la asignación de niveles de riesgo muy distintos”, lee el informe elaborado por Eticas Foundation, al que ha tenido acceso EL PAÍS.

Cuando un recluso solicita en España ciertos permisos penitenciarios, el juez que debe autorizar o denegar la petición recibe un informe sobre el interno. Ese documento, elaborado por profesionales del centro en el que está alojado, aporta elementos sobre los que sostener la decisión (historial, conducta, etc). En Cataluña, parte de ese informe lo elabora RisCanvi, que calcula el riesgo de reincidencia de los sujetos en función de una serie de variables a las que otorga distintos pesos. Esta información clave, la estructura del algoritmo, no es pública.

Pese a lidiar con un tema tan sensible como los permisos penitenciarios, RisCanvi no ha sido sometido a un proceso de evaluación de impacto, tal y como obliga el Reglamento Europeo de Inteligencia Artificial. “Aunque el algoritmo de RisCanvi no usa inteligencia artificial (IA), sino que es actuarial, al tratarse de un proceso técnico que toma decisiones vinculadas a temas de alto riesgo, como justicia criminal y asuntos penitenciarios, entra dentro de la definición amplia de IA que hace el reglamento, y, por tanto, está sometido a la normativa”, subraya Gemma Galdon, fundadora y consejera delegada de Eticas.ai, firma especializada en auditorías algorítmicas en la que se enmarca Eticas Foundation.

Tras rechazar la Generalitat la oferta de una auditoría convencional gratuita, el equipo de Galdon se propuso hacer una auditoría inversa. Este tipo de análisis toma el nombre de la ingeniería inversa, el proceso llevado a cabo para conocer información de los componentes y proceso de fabricación de un producto a partir de un ejemplar acabado. En el caso de RisCanvi, los investigadores de Eticas empezaron preguntando a seis expresos a quienes se les ha aplicado el algoritmo, así como a dos educadores sociales familiarizados con él, tres psicólogos especializados, cuatro juristas y un activista. Asimismo, analizaron datos públicos de 3.600 individuos que salieron de prisiones catalanas en 2015. Con esa información, trataron evaluar los efectos del algoritmo para intentar comprender cómo funciona.

“RisCanvi es un sistema desconocido por aquellos a quienes impacta, los reclusos; que no es de confianza para muchos de los que trabajan con él, que tampoco están formados sobre su funcionamiento y pesos; que es opaco y que no se ha adherido a la regulación vigente sobre el uso de sistemas de toma de decisiones automatizadas en España, donde se exigen auditorías de IA desde 2016″, señala la auditoría. “Pero, sobre todo, nuestros datos demuestran que RisCanvi puede no ser justo ni fiable, y que no ha conseguido (…) estandarizar los resultados y limitar la discrecionalidad. En consonancia con estudios anteriores, no consideramos que RisCanvi sea fiable, ya que esto requeriría una relación clara entre los factores de riesgo, las conductas de riesgo y las puntuaciones de riesgo”.

“Estas son las conclusiones a las que hemos llegado analizando los datos que hemos podido recoger. Si el Departamento de Justicia tiene otros datos, estaremos encantados de verificarlos y compararlos”, indica Galdon, que se queja de la poca cooperación de la Generalitat. Su equipo lleva dos años trabajando en este proyecto. “Cuando Justicia supo que estábamos haciendo este trabajo, prohibió a los trabajadores vinculados a las instituciones penitenciarias que respondieran a la primera consulta de información que hicimos”, explica. Pararon la investigación porque la Conselleria se comprometió a hacer una auditoría interna. “Cuando pasaron seis meses sin tener noticias de ningún movimiento en ese sentido, retomamos el trabajo”, dice Galdon.

Uno de los psicólogos entrevistados para elaborar el informe dice que muy pocos internos saben que están siendo evaluados por RisCanvi. “No saben que este algoritmo decide la calidad y circunstancias de los beneficios penitenciarios que disfrutarán”, refleja la auditoría. “No creo que una herramienta pueda predecir el comportamiento humano. Aunque, recoja mucha información y el resultado que arroja sea aparentemente objetivo, estamos hablando de personas”, sostiene un abogado consultado por el equipo de Eticas.

Lo que se sabe sobre RisCanvi

RisCanvi se actualiza cada seis meses con datos aportados al sistema por los funcionarios, que introducen en el ordenador los informes que van haciendo de los reclusos. Primero se aplica una versión corta del sistema (RisCanvi Screening), que consta de diez ítems, desde el historial violento del recluso (si lo hubiere) o la edad a la que delinquió por primera vez hasta si ha tenido o tiene problemas con las drogas o el alcohol o si dispone de recursos y apoyo familiar.

El resultado que arroja el algoritmo puede ser riesgo bajo o riesgo alto. En caso de que sea alto, se activa la versión extendida de RisCanvi, compuesta por 43 elementos y para cuya elaboración hace falta también que un funcionario realice una entrevista pautada con el interno. En la versión completa de RisCanvi se tienen en cuenta cuestiones como la distancia entre su domicilio y la cárcel, la historia criminal de su entorno, el nivel educativo, dificultades de socialización, cociente intelectual, desórdenes de personalidad, si el interesado es la principal fuente de ingresos de la familia o su nivel de impulsividad e inestabilidad emocional. Cada uno de estos elementos es ponderado automáticamente y su peso varía dependiendo del sexo, la edad y la nacionalidad. El veredicto final del algoritmo puede ser riesgo bajo, medio o alto.

Sin embargo, el peso que se le asigna a cada una de estas variables en la fórmula, una información clave para saber cómo funciona el algoritmo, no es público. Algunos de los defensores de esta herramienta argumentan que, si se dieran a conocer, los reclusos sabrían qué hacer para tratar de adulterar el resultado de la evaluación de RisCanvi con pequeñas acciones para que favorezca a sus intereses. Galdon no entiende esa crítica. “Saber en función de qué se te está juzgando es una norma básica de los Estados de derecho. Plantear que eso es un problema es no entender en qué se basan cosas muy fundamentales de nuestro sistema jurídico”, explica.

Una evaluación insuficiente

Hay expertos que consideran inútil hacer una auditoría algorítmica, o que incluso ejecutar algo así supone legitimar una forma de funcionar que lleva lustros en entredicho. “Sobre el método actuarial se han escrito ríos de tinta explicando por qué contradice el concepto de justicia de nuestra cultura legal, que es metodológicamente individualista, pero se vale de un método genérico estadístico (y con ello no individual) para evaluar a una persona”, sintetiza Lorena Jaume-Palasí, experta en ética algorítmica y asesora del Parlamento Eu­ropeo, entre otras instituciones.

“El algoritmo intenta hacer a todos iguales. Pretende ayudar a los profesionales a que su trabajo sea más eficiente, pero no es vinculante”, ha dicho en una entrevista Antonio Andrés Pueyo, catedrático de Psicología de la Violencia de la Universitat de Barcelona y director del grupo de investigación que desarrolló RisCanvi.

“No es vinculante, pero es obligatorio”, responde Jaume-Palasí. La experta cree que va siendo hora de explicar cuál es la tarea de la justicia “y por qué este tipo de sistemas no constituyen un cambio en el proceso administrativo, sino que son un método antiguo que simplemente se ha digitalizado para seguir haciendo lo que se ha hecho siempre”.

Puedes seguir a EL PAÍS Tecnología en Facebook y X o apuntarte aquí para recibir nuestra newsletter semanal.

_