Anne Kaun

Utvecklingen måste ske på rätt grunder och med välfärd och medborgarintresse i centrum.

Tisdagen den 26 november 2024 presenterade regeringens AI-kommission sin färdplan för att sätta Sverige på AI kartan igen. AI-kommissionen trycker huvudsakligen på behovet av att öka hastigheten i den tekniska utvecklingen och att få till stånd en höjd innovationstakt.

Huvudbudskapet är klart: AI-utvecklingen har tappat fart i Sverige och det är bråttom att agera för att vända utvecklingen. För att markera tidspressen har kommissionen levererat sin rapport sex månader innan deadline. Och den sätter ambitiösa mål.

Utvecklingen ska skyndas på, samhällets samtliga aktörer ska med på tåget och utbildas och särskilt den offentliga sektorn ska snabbt ställa om och implementera AI.

Vi måste dock ta oss tiden att på allvar arbeta igenom de etiska problem som kvarstår kring AI och som kommer bli ännu mer pressande om Sverige slår in på den väg som kommissionens färdplan föreslår.

Diskriminering och hemlighetsmakeri

Dagen efter att AI-kommissionens förslag tillkännagavs rapporterade Svenska Dagbladet om Försäkringskassans kanske mest hemliga verksamhet. Ett AI-verktyg som flaggar individer som sägs ha förhöjd benägenhet att ägna sig åt välfärdsfusk. Detaljerna om verktyget, omfånget av dess användning och implikationerna av det är sekretessbelagda. Journalister kan dock visa att vissa grupper markeras som potentiella fuskare oftare än andra: om du är kvinna, har migrationsbakgrund och har lägre inkomst än genomsnittet markeras du med en högre riskpoäng än andra.

Problemet med sådana system är inte bara systematisk diskriminering av vissa grupper utan också hemlighetsmakeriet kring beslutsprocesserna.

Som journalisterna på Lighthouse Reports påpekar har Försäkringskassan vägrat att lämna ut uppgifter kring hur riskbedömningen görs och vilka variabler som ger utslag. Vi som forskar om automatisering inom offentlig sektor har på samma sätt märkt att myndigheter har börjat stänga dörrar för oss. Det har blivit svårt att forska om frågor kring diskriminering och etik i samband med AI-baserad automatisering.

Som rapporteringen kring Försäkringskassan visar är dock forskning och kritisk granskning essentiellt för att utvecklingen som AI-kommissionen vill se sker på ett rättssäkert sätt i vilket vissa grupper i samhället inte systematiskt missgynnas.

Används för kontroll

I vår forskning har vi sett en tendens till att AI och algoritmiska system i allt större utsträckning används för att just kontrollera och systematiskt granska och misstänkliggöra medborgare i stället för att gynna deras välmående och välfärd. Att AI skulle bidra just med högre kvalitet i myndigheternas service och bättre välfärd har tidigare utlovats av både aktörer inom offentlig sektor och av techbolagen själva. Om vi vill se till att att de löften om en blomstrande AI-framtid som AI-kommissionen utlovar faktiskt infrias behövs följande åtgärder:

  • Ökad transparens kring AI-implementering i offentlig sektor – här bör särskilt DIGGs förtroendemodell vara en utgångspunkt.
  • Inrätta en enhet som arbetar mot AI-orättvisa och AI-sårbarhet inom Diskrimineringsombudsmannen.
  • Öppna nationella myndigheter för kritisk granskning genom att låta forskare och journalister följa processerna med AI-implementering och tillgängliggör data.

Att tidpunkten för offentliggörandet av AI-kommissionens rapport och publiceringen av den kritiska granskningen av Försäkringskassans AI-verksamhet sammanföll var en händelse som såg ut som en tanke. Detta sammanträffande visar med all önskvärd tydlighet både hur viktigt det är med en skyndsam utveckling av AI i Sverige och att den måste ske på rätt grunder och med välfärd och medborgarintresse i centrum.

Anne Kaun professor i medie- och kommunikationsvetenskap vid Södertörns högskola, projektledare för Automating Welfare