L’intelligenza artificiale di Försäkringskassan per le frodi vab ha esaminato le donne più spesso

Hemlig AI såg oskyldiga kvinnor som vab-fuskare

Visste du att Försäkringskassan kan göra hemliga analyser av dig? SvD och den internationella grävorganisationen Lighthouse Reports kan i dag visa hur myndighetens arbete missgynnat bland annat mammor som ansökt om vab.

Den har kallats för Försäkringskassans bäst bevarade hemlighet. En AI, byggd på maskininlärning och statistiska modeller, som i det dolda jagar potentiella fuskare när de ansöker om olika ersättningar.

Vi har velat titta närmare på hur systemet fattar sina beslut. Svaret från Försäkringskassan upprepas gång på gång: sekretess.

Men så får vi tillgång till något som ger oss en unik inblick i hur allt fungerar. Det handlar om en typ av data som sällan når allmänheten.

För att förstå vad det handlar om så måste vi börja från början.

Vi kan kalla henne Anja. Hon har en treåring som vaknat med feber och hosta. Anja meddelar förskolan och jobbet.

Som vanligt går hon sedan in på Försäkringskassans webbplats, fyller i en blankett, intygar att hon på heder och samvete lämnat rätt uppgifter och skickar iväg den.

Väntetid väcker desperation

Majoriteten av ärendena hanteras helt automatiskt och många beviljas snabbt ersättning.

Men för Anja dröjer det flera veckor.

Jag verkar ha fastnat i en stickprovskontroll. Någon som vet vad de gör då? frågar hon i en Facebook-grupp för föräldrar.

Hon får flera svar.

De kollar med förskolan. För mig tog det en månad innan beslut.

Det beror på vilken sjukdom du fyllde i.

Är du föräldraledig? Det kan spela roll.

För Anja väcker väntetiden irritation, hos andra desperation.

För en mamma till ett cp-skadat barn är pengarna oerhört viktiga. Kan de inte meddela varför det tar så lång tid?

Jag är sjuk. Jag orkar inte bråka.

Mig har de anmält för bidragsbrott! De tror att jag fuskat, så är det inte!

Vi vet inte varför Anja och de andra som skriver i Facebook-grupperna fastnat i handläggningen. Det vi vet är att Försäkringskassan använder ett AI-system som valt att särskilt ofta kontrollera just kvinnor.

”Algoritmer inte neutrala”

Sorteringen bygger på din riskpoäng, en siffra mellan 0 och 100, som systemet räknar fram för att svara på två frågor: kan du ha gjort något fel i din ansökan? Och kan det rentav vara så att du medvetet försökt fuska?

På vinden i en stimmig espressobar i centrala Perugia, en bit under Italiens stövelkant, träffar vi Meredith Broussard. Hon har tidigare jobbat som mjukvaruingenjör på Bell Labs, ett forskningslabb som är för teknik vad Dolly Parton är för country.

I dag är Broussard biträdande professor i datajournalistik vid New York University där hon forskar på artificiell intelligens.

Vi frågar henne varför personer i Sverige över huvud taget ska bry sig om att Försäkringskassan använder ett sådant här system.

– Staten vill så klart försöka använda sin makt till förmån för medborgarna. Men algoritmer är inte neutrala. Ibland blir det fel och problemet med algoritmer är att felen kan vara osynliga, säger hon.

Broussard förklarar att det finns en tendens att se på algoritmer och AI-system som de optimala beslutsfattarna – känslolösa robotar utan fördomar som bara utgår från fakta. Vad problemet är med det? Att det inte stämmer, säger hon.

Vad som ligger till grund för riskuträkningen vet vi inte. I olika dokument ser vi att det kan handla om alltifrån ”inga personuppgifter” till ”en stor mängd uppgifter av känslig karaktär” om dina eller närståendes ”personliga eller ekonomiska förhållanden”.

Letar folk som begår bidragsbrott

Även uppgifter som rör ”beteendemönster vid ansökan” och ”strafföverträdelser” nämns i dokumenten.

Får du en så pass hög riskpoäng att du flaggas tar en handläggare vid. I förlängningen kan din arbetsgivare och barnens förskola kontaktas.

Om du får den allra högsta risken så ökar sannolikheten för att du skickas vidare till kontrollutredningen.

Utredarna som arbetar där har ibland beskrivits som detektiver. Bakom låsta dörrar letar de efter folk som begår bidragsbrott.

Till skillnad från poliser får de inte spana på dig, de får bara ”iaktta” dig. Men alla ”iakttagelser” behöver inte ske öppet.

Några av utredarna får till exempel använda ”tjänsteprofiler” på sociala medier. För att inte lämna spår efter sig ska de begränsa sina sökningar.

Nu kanske du blir nyfiken på hur hög riskpoäng Försäkringskassan gett dig? Det kommer du aldrig få veta. Inte heller varför du bedömts på det ena eller andra sättet.

Sekretessen runt systemet anses så stark att Försäkringskassan först tackar nej till en intervju. Men till slut träffar vi områdeschef Anders Viseth i ett konferensrum på myndighetens huvudkontor i Stockholm.

Det är han som ansvarar för det som beskrivs som en viktig del i myndighetens kamp mot bidragsbrott.

– Hela välfärdssystemet lider ju av det här. Att det är ganska mycket pengar som betalas ut felaktigt som skulle kunna användas till andra nyttiga saker i samhället.

Såg brister med systemet

Han säger att varje person får en rättssäker bedömning och att riskuträkningen finns till för att det ska bli rätt från början, så att du och Anja slipper hamna i skuld till Försäkringskassan.

– Det spar ju också väldigt mycket handläggningskraft om vi innan utbetalning kan stoppa det så vi slipper ägna resurser på att kräva tillbaka det, säger han.

Trots att Försäkringskassans risksystem i stora delar är hemligt så har det uppmärksammats tidigare.

Till exempel sa Integritetskommittén 2016 att myndigheten ägnar sig åt medborgarprofilering, något som medför allvarliga risker för medborgarnas personliga integritet.

Vi hittar också en rapport som Försäkringskassans tillsynsmyndighet, Inspektionen för socialförsäkringen, släppte i mars 2018.

Tillsynsmyndigheten pekade på brister med likabehandling i systemet. Vissa grupper bedömdes av oklar anledning som mer riskfyllda än andra. Försäkringskassan svarade att analysen var undermålig.

Efter många om och men har vi som första journalister tagit del av den data som låg till grund för tillsynsrapporten. Det är den som ger oss en unik inblick i hur Försäkringskassans system faktiskt fungerar.

Det är filer som Försäkringskassan inte vill lämna ut. De innehåller det faktiska utfallet för drygt 6 000 föräldrar som granskades av myndigheten under 2017.

Oskyldiga mammor pekades ut

Där finns demografiska data som juridiskt kön, uppgift om utländsk bakgrund, inkomst- och utbildningsnivå om varje person. Vi ser också den riskpoäng som myndigheten gav personerna.

Låt oss spola tillbaka till ögonblicket när du, Anja och de andra kvinnorna ansöker om vab.

Vi vet att kvinnor vabbar mer än män. Men trots att kvinnor och män, åtminstone 2017, gjorde fel i ungefär samma utsträckning så bedömde systemet kvinnor som betydligt mer riskfyllda.

Med hjälp av flera experter tar vi fram sex olika tester för att kontrollera om Försäkringskassan behandlade alla vabbare lika, eller om vissa grupper

Så sorterades högriskfallen för vab-fusk ut

https://grafik.svd.se/svg/ThomasSVG/2024/nyh%20f%C3%B6rs%C3%A4kringskassan%20AI%20nov%202024%20diagram%204.svg

Resultatet? Systemet pekade gång på gång ut oskyldiga mammor och föräldrar med utländsk bakgrund, låg utbildning eller inkomst.

Kvinnor drabbades särskilt. De fick mycket oftare den högsta risknivån, samtidigt som hälften av dem var helt oskyldiga.

Och trots att kvinnor och män stod för ungefär samma andel fel i verkligheten så pekade systemet ut (konstaterat oskyldiga) kvinnor som sannolika fuskare mer än dubbelt så ofta som (konstaterat oskyldiga) män.

Skrattar åt frågan

Vi ser också att systemet var sämre på att hitta män och rika personer som faktiskt gjort fel.

– När vi tittar på hur ett maskininlärningssystem är uppbyggt, kan vi ofta se hur verklighetens fördomar blir inbäddade i det, säger Meredith Broussard när vi presenterar vårt resultat för henne.

Skulle du säga att modellen behandlar grupper lika och rättvist?

Meredith Broussard kan inte låta bli att skratta åt frågan.

– Nej, inte en chans.

När tillsynsmyndigheten pekade på liknande skillnader svarade Försäkringskassan att analysen var bristfällig. När vi nu presenterar vår analys för myndighetens områdeschef Anders Viseth ifrågasätter han den inte. Istället säger han att det vi hittat inte är ett problem.

– De urvalen som vi gör, de bedömer vi inte är ett missgynnande. Vi tittar på enskilda ärenden och bedömer dem utifrån sannolikheten för fel och de som väljs ut får en rättssäker prövning, säger han.

Ni skulle, rent teoretiskt, kunna designa en modell som bara väljer ut invandrare? Det är helt okej?

– Jag ska säga så här, vi har inga sådana modeller.

Men bara för att fullfölja ditt resonemang…

– Jag tänker inte kommentera det för vi har inte sådana modeller som väljer ut personer på diskriminerande grunder.

Ska man alltså förstå det som att systemet fungerar precis som det ska?

– De här modellerna har visat sig vara bland det träffsäkraste vi har. Och vi måste ju använda våra resurser på ett kostnadseffektivt sätt. Samtidigt så diskriminerar vi ingen utan vi följer diskrimineringslagen.

David Nolan, senior algoritmgranskare på Amnesty, berättar att Försäkringskassan inte är den enda som vänt sig till ”smarta kontroller” för att leta efter fusk och fel inom välfärden. Liknande system finns i exempelvis Danmark, Frankrike och Tyskland.

Användningen har också kantats av skandaler, ofta kopplade till problem med diskriminering och bristande likabehandling som upptäckts först efter externa granskningar.

Kvinnor kanske skulle sluta vab-fuska hela tiden så slipper andra oskyldiga kvinnor bli granskade oftare.

Svårt att veta om vi inte får se träningsdata, vad de har tränat sin LLM på. Har de en övervikt av något i träningen skapar du en representations bias, det är sjukt viktigt att träningsdata är balanserad. Så utan träningsdata vet vi inte, varför den pekar ut kvinnor mer. Sen vet vi inte heller vad för confidence threshold den har för att peka ut kvinna eller man. Om den är konservativ eller restriktiv.

Skulle vara intressant att veta vilken modell de använt sig av också. Som bas modell som de finjusterat.

Jag jobbar inom maskininlärning och AI. Jag har jobbat med att bygga och utvärdera algoritmer som bedömer människor och här är min åsikt:

Det är alldeles för mycket diskussion i den här tråden om hur bra träningsdatat är. Det är alldeles för mycket fokus ifrån media om hur bra träningsdatat är också. Träningsdatat är alltid skit, vi vet. Jag skulle säga att mer än 90% av all vår tid går åt att transformera och förbättra datat, och det jobbet sker oftast kontinuerligt även långt efter modellen är i produktion. Det är omöjligt att se alla edge case i datat, och fördelningen förändras jämfört med populationen i olika kontext, felen i datan är (trots att många tror och till och med utgår ifrån det) inte normalfördelade, det finns bias i insamlingen, mm. Ja, vi vet, det är ett problem, men det är ett problem som är av akademisk natur och ett ämne som är svårt att diskutera utan att bli väldigt teknisk.

## Här kommer vad allmänheten _egentligen_ borde prata om

Hur exakt utvärderas de här algoritmerna? Vad är viktigast för oss som samhälle? Är det viktigare med [precision istället för accuracy](https://en.wikipedia.org/wiki/Accuracy_and_precision)? Är en [false positive farligare än en false negative](https://en.wikipedia.org/wiki/False_positives_and_false_negatives)? Är mängden pengar algoritmen sparar genom att upptäcka fel viktigare än skadan den åsamkar när den gör fel?

De som bygger och produktionssätter algoritmerna kan nämligen alltid vifta bort kritik mot datainsamlingen genom att säga att det är komplicerat, det bästa datat som går att hitta och kräva att du försöker bättre själv eller håller käft (och det kan du nog inte). Men vi är alla experter på våra egna värderingar och alla borde ha rätten att göra sig hörd i den diskussionen.

Är det värre att en förälder får ut vab-ersättning utan att ha rätt till det eller att en förälder med rätt till vab-ersättning går utan? Har du svaret på det har du svaret på false positive vs. false negative, till exempel. Det är därför jag med en vildes envetenhet alltid kräver att om våra skattepengar går till att bygga och produktionssätta en modell har vi rätt att veta vilka värderingar som används för att utvärdera modellen. Det är omöjligt för oss att få ut känsligt träningsdata, kanske till och med omöjligt att förstå problemen med det, och det är troligtvis omöjligt för oss att förstå varför en modell spottar ut ett visst svar på ett enskilt fall.

Men om källkoden för utvärderingen är öppen kan vi i alla fall förstå om vi delar värderingarna som myndigheten har uttryckt. Det är det minsta vi förtjänar men tyvärr något som alldeles för sällan diskuteras.