Probabilità di recidiva calcolata erroneamente per anni dal servizio di libertà vigilata

Ci sono gravi errori nell’algoritmo utilizzato dal servizio di libertà vigilata per calcolare la possibilità che i criminali commettano nuovamente i crimini. Questa è la conclusione dell’Ispettorato Giustizia e Sicurezza. L’ispettorato afferma che il servizio di libertà vigilata deve smettere di utilizzare i sistemi o adattarli il più rapidamente possibile.

In quasi un quarto dei casi il calcolo è troppo alto o troppo basso. Nella maggior parte degli errori si sottovaluta il rischio che qualcuno commetta nuovamente un reato. "Il servizio di libertà vigilata fornisce tra l’altro consulenza al giudice e potrebbe quindi darsi che il giudice abbia preso decisioni sbagliate sulla base del servizio di libertà vigilata."dice Arjen Schmidt dell’ispezione.

Nel parere, il servizio di libertà vigilata descrive il background dei detenuti e scrive ciò che è necessario per prevenire il ripetersi. Il giudice utilizza il consiglio per decidere sulla condanna di una persona.

In pausa

Se la valutazione del rischio è troppo bassa, la società potrebbe non essere sufficientemente protetta. Se la stima è troppo alta, ciò può avere conseguenze negative per un sospettato o un criminale.

Jessica Westerik del Servizio di libertà vigilata olandese afferma in una risposta che l’uso del sistema lo è "in pausa". Menziona anche il rapporto di ispezione "conflittuale e prezioso". Il sistema sarà studiato nel prossimo futuro "possono essere riutilizzati in modo responsabile".

Già sei anni fa era stato lanciato un avvertimento su questo algoritmo in questione. La ricerca dell’epoca ha dimostrato che esiste il rischio di discriminazione basata sull’etnia o sulla classe sociale. All’epoca fu messa in dubbio anche l’efficacia del sistema, a causa degli ampi margini di errore.

Detenuti e sospettati si sono scambiati

Un esempio serio di come le conoscenze scientifiche siano finite in modo errato nell’algoritmo è, ad esempio, l’inserimento errato delle categorie di condannati e indagati. Di conseguenza, ai detenuti che hanno maggiori probabilità di sbagliare viene assegnato un rischio inferiore. Anche il rischio di recidiva (recidiva) per i tossicodipendenti è inserito nella formula troppo basso.

Inoltre, alcune variabili sono state omesse dal sistema, ad esempio se qualcuno ha un passato migratorio o una malattia mentale. Anche se secondo l’ispettorato ci possono essere buoni motivi per non utilizzare questo tipo di dati sensibili, il modello non è adatto a questo. Anche i dati inseriti sono generalmente obsoleti. Provengono, ad esempio, da studi svedesi e americani e non sono aggiornati.

Più di 40.000 volte l’anno

Il sistema è ampiamente utilizzato da anni, più di 40.000 volte l’anno nel periodo studiato 2023-2024. Poiché l’algoritmo rappresenta solo una parte della valutazione complessiva del rischio, l’ispettorato non può dire nulla su quanti casi ciò abbia effettivamente portato a risultati errati. Perché anche i dipendenti fanno la propria valutazione, di cui il giudice tiene conto nella decisione finale. Esiste però il rischio che le persone siano state detenute per un periodo troppo breve o troppo lungo o che abbiano ricevuto il trattamento sbagliato.

Secondo l’ispettorato durante la valutazione si attribuisce grande importanza al risultato dell’algoritmo. "Secondo noi fanno troppo affidamento su questo"dice Schmidt. Poiché i dipendenti non capiscono veramente come funziona, questo è estremamente rischioso.

Il fatto che tutto ciò sia passato inosservato per così tanto tempo si spiega secondo Schmidt con il fatto che i sistemi non vengono controllati. "Ciò che in realtà vediamo nel servizio di libertà vigilata è che non c’è sufficiente esperienza nell’organizzazione per affrontare questo problema in modo responsabile."

Rischio di discriminazione

Inoltre, il rischio di discriminazione da parte del sistema non può essere escluso. Due caratteristiche prese in considerazione, il codice postale e il reddito, possono avere una relazione con l’origine di una persona. Secondo l’Istituto olandese per i diritti umani, tale interazione può indirettamente costituire una discriminazione. Tali funzionalità possono essere utilizzate solo a determinate condizioni. Occorre poi chiarire che l’uso è proporzionato e come si previene la discriminazione. Anche in questo caso ciò non è avvenuto.

"Non vogliamo discriminare e fare una distinzione solo se ciò è dimostrabilmente importante per identificare i rischi di un comportamento criminale"dice Westerik del servizio di libertà vigilata. "La nazionalità o l’etnia ovviamente non sono registrate presso di noi."

L’indagine sul servizio di libertà vigilata è la prima di un’indagine più ampia sull’uso degli algoritmi nel governo, avviata dopo problemi con l’uso degli algoritmi nell’affare dei benefici e nel DUO. L’ispettorato ha indagato sul servizio di libertà vigilata perché è noto che lì gli algoritmi sono ampiamente utilizzati.