Krönika Algoritmernas intåg i arbetslivet och samhället skapar oanade möjligheter till övervakning, kontroll och manipulation – särskilt i kombination med psykologisk och beteendeekonomisk forskning. Orden ”social ingenjörskonst” får en alltmer hotfull klang, skriver German Bender.
I två tidigare krönikor här på Dagens Arena har jag skrivit om algoritmer i arbetslivet ur fackens och arbetsgivarnas perspektiv, så den här texten blir sista delen i en liten trilogi om algoritmer. Med utgångspunkt i de föregående texterna vill jag resonera om vad det egentligen är för arbetsliv – och samhälle – vi håller på att skapa.
Låt oss börja med en grundläggande fråga: vad är det som skiljer algoritmer från tidigare sätt att organisera och styra arbete?
I forskningsöversikten ”Algorithms at Work: The New Contested Terrain of Control”, publicerad tidigare i år av tre organisationsforskare vid de amerikanska universiteten MIT och Stanford analyseras över 1 100 vetenskapliga studier om algoritmer i arbetslivet publicerade de senaste 15 åren. Enligt forskarna utmärker sig algoritmer i fem avseenden, som skiljer dem från tidigare sätt att organisera och styra arbete.
Även om chefer följer regelverk har arbetare ofta ett visst eget handlingsutrymme. Detta blir svårare i algoritmiska system, där regler är nästan omöjliga att kringgå.
Algoritmer är…
…omfattande: I algoritmiska system ingår ofta en stor mängd input av olika slag, som kan samlas in via tekniska hjälpmedel som skärmar, kameror, sensorer, mikrofoner och rörelsedetektorer. Registreringen kan ske medvetet eller omedvetet, med eller utan godkännande av den som övervakas och behöriga myndigheter, och bearbetas på sätt som inte alltid redovisas på förhand eller kontrolleras i efterhand. Ett färskt exempel är Amazons ”distance assistant”, där tv-skärmar rödmarkerar arbetare som vistas närmare än 1,8 meter från varandra för att minska spridningen av coronaviruset (vilket på köpet försvårar facklig organisering).
…omedelbara: Eftersom både mjukvaran och hårdvaran utvecklas alltmer, kan algoritmiska system allt snabbare bearbeta oerhörda datamängder och återkoppla till användaren i realtid. Återkopplingen kan också göras mer individanpassad och detaljerad än någonsin tidigare. Ubers algoritmer för väganvisningar och prissättning är några exempel på detta.
…interaktiva: AI-algoritmer kan allt oftare justera sig själva och anpassa sig utifrån input från användare och andra delar av systemet, till exempel för att öka intäkter, sänka kostnader eller nå snabbare resultat. Några exempel är återigen Ubers prissättningsalgoritm som tar hänsyn till bland annat trafikläge, väder och tidpunkt, eller Facebooks algoritmer som ständigt anpassar våra flöden efter vad vi klickar på, hur länge vi stannar där och vad andra som vi känner är intresserade av.
…ogenomskinliga: Delvis på grund av ovanstående tre punkter är algoritmiska system mindre transparenta än traditionella system för organisering och styrning av arbete. Algoritmerna är helt enkelt för snabba, omfattande och föränderliga. Systemen visar dessutom upp olika delar för olika användare (till exempel kunder och arbetare) men döljer andra delar för dem, och reglerna som algoritmerna följer är sällan tydligt redovisade. Därtill är systemen ibland så komplexa och dynamiska att ytterst få, ens bland dem som utvecklar algoritmerna, har både full överblick och djup insikt om alla delar. Till detta kommer det faktum att algoritmerna och datan de använder ofta betraktas som affärshemligheter och är otillgängliga för forskare, fackförbund och i vissa fall även myndigheter.
…anonyma: I tidigare tekniska och byråkratiska system har chefer en viktig roll när det gäller organisering och styrning av arbete. Och även om chefer följer regelverk har arbetare ofta ett visst eget handlingsutrymme och möjlighet att ifrågasätta eller resonera med chefen. Detta blir svårare i algoritmiska system, där chefer ibland saknas helt och regler är osynliga eller nästan omöjliga att kringgå. Om en Uberförare vill köra en annan väg eller inte plocka upp en viss kund kan hen inte göra mycket annat än att acceptera de konsekvenser som systemet utdelar för den sortens avvikelser, detsamma gäller om en arbetare på Amazon arbetar för långsamt eller tar för många pauser. Allt registreras och bedöms av de anonyma algoritmerna, med små möjligheter för arbetare eller chefer att göra avsteg.
Sammantaget är en av de bärande slutsatserna i forskningsöversikten att algoritmer på avgörande punkter skiljer sig från tidigare tekniska och byråkratiska kontrollsystem.
Den här insikten är givetvis inte unik, men den får alltmer vetenskapligt stöd.
I början av 2000-talet myntade den indisk-amerikanske sociologen A. Aneesh begreppet algokrati (algocracy). Han hade studerat hur team med indiska och amerikanska programmerare tack vare komplexa datasystem kunde samarbeta på olika sidor av planeten, under olika rättssystem och regelverk och vid olika tidpunkter på dygnet. Aneesh fann att arbetet var organiserat på ett nytt sätt, som han kallade ”the rule of the algorithm”.
Enligt Aneesh skiljer sig algokratier från två andra sätt att organisera arbete som varit dominerande i modern tid, nämligen byråkratier och marknader. Den organiserande organisationsprincipen i byråkratier är enligt Aneesh lagar och rationella regler, medan det i marknader är prismekanismer. I algokratier är det koden, mjukvaran, algoritmen, som organiserar och styr mänskliga handlingar såsom arbete. De tre modellerna kan förstås överlappa varandra, framför allt kan algokratier effektivt integreras med byråkratier och marknader. Algoratiska system skapar helt enkelt algoritmiska regelverk som kan fungera parallellt med byråkratiska eller marknadsmässiga.
Algokrati är bara ett av många begrepp som försöker fånga algoritmernas intåg i vår tillvaro, vårt arbetsliv och i förlängningen våra samhällen. Andra besläktade termer som förekommer i forskningen är platform logic, algorithmic management, algorithmic control och algorithmic governance.
Han beskriver effekten som mänsklig nedgradering och varnar för en framtid där vi människor, våra värden och önskningar, blir allt mer kringskurna och allt lägre prioriterade.
Ett särskilt omtalat begrepp är övervakningskapitalism (surveillance capitalism), som förts fram av socialpsykologen Shoshana Zuboff vid Harvard Business School. Liksom Aneesh menar Zuboff att algoritmiska system medför någonting kvalitativt nytt, men hon är främst intresserad av hur algoritmer och omfattande datainsamling ligger till grund för de affärsmodeller som på kort tid skapat några av världens största företag, som Google, Facebook och Amazon.
Som psykolog fokuserar Zuboff på övervakningskapitalismens effekter på människors fria vilja och välmående. Hon spårar idéerna bakom de globala IT-jättarnas algoritmer till en annan ledande Harvard-psykolog, nämligen B.F. Skinner, som hon träffade vid flera tillfällen och är starkt kritisk till. Skinner var en av den moderna beteendeforskningens upphovsmän och utvecklade kring mitten av 1900-talet psykologiska tekniker som positiv och negativ förstärkning (som är populära än idag, inte minst inom barnuppfostran och management). Men Skinner nöjde sig inte med att tillämpa sina teorier på enskilda individer, utan menade att de kunde användas för mänsklig och samhällelig förbättring i vid mening – med andra ord en psykologiskt präglad social ingenjörskonst. Han trodde sig på så sätt kunna bidra till lyckliga människor och harmoniska, framgångsrika samhällen.
Shoshana Zuboff argumenterar i sin bok för att övervakningskapitalismens ledande företag både i sina affärsmodeller och rent ideologiskt är bärare av B.F. Skinners tankar. Hon menar att det redan finns tecken på negativa konsekvenser inte bara för enskilda individer, utan även på samhällelig och politisk nivå.
Och hon får medhåll av programmeraren och beteendevetaren Tristan Harris, tidigare ansvarig för etisk design på Google och ibland kallad ”Silicon Valleys samvete”. Harris ägnar sig nuförtiden åt att kritisera sina tidigare arbetsgivare, som han anser begår rovdrift på vår uppmärksamhet genom att utveckla algoritmer som gör oss alltmer beroende av sociala medier och digitala tjänster. Han beskriver effekten som mänsklig nedgradering (human downgrading) och varnar för en framtid där vi människor, våra värden och önskningar, blir allt mer kringskurna och allt lägre prioriterade.
Vi kan se det som övervakningskapitalism eller digital totalitarism.
Det här kan låta dystopiskt, men faktum är att de här B.F. Skinners idéer fortfarande är vitt spridda även i forskar- och policykretsar. På sätt och vis förärades de Nobelpriset i ekonomi (Riksbankens pris i ekonomisk vetenskap till Alfred Nobels minne), när Richard Thaler fick priset år 2017. Thaler har inom sitt fält beteendeekonomi tillsammans med psykologen Daniel Kahneman (som fick ekonomipriset 2002) utvecklat kunskapen om så kallade ”puffar” (nudges), subtila metoder baserade på psykologisk och ekonomisk forskning för att påverka människor i en eller annan riktning. Det kan röra sig om i vilken ordning alternativ presenteras för att få människor att välja en viss sorts pensionssparande, vilka valmöjligheter man ställs inför när man ska lägga sin röst i en folkomröstning eller välja en hamburgermeny, eller vilken sorts budskap en presidentkampanj riktar till väljare i olika kanaler vid olika tillfällen för att få dem att agera på ett visst sätt.
Intressant nog är de här idéerna djupt förankrade även inom den breda vänstern (inte minst inom socialdemokratin), där social ingenjörskonst närmast är ett honnörsord. Och det finns även beröringspunkter med den så kallade solutionismen, föreställningen att mänsklighetens utmaningar har en teknologisk och teknokratisk lösning. Vi ser det till exempel i de juridiska och teknologiska åtgärder som blivit möjliga till följd av terrorattacker, coronapandemin och skjutningar i storstäder. Risken är förstås att ribban för vilka problem som anses kunna motivera dylika ingrepp successivt sänks tills det blir rimligt att övervaka oss för att undvika minsta förseelse. Och så småningom även för att uppmuntra vissa beteenden.
Puffa till oss. I all välmening.
Oavsett vad vi tycker om social ingenjörskonst och sofistikerade metoder för beteendeförändring, är det tveklöst så att alltmer effektiv nudging, hur välmenande den än må vara, kommer kräva alltmer övervakning av det slag som Zuboff varnar för i sin bok.
Och oavsett om detta kombineras med kapitalistiska marknadsmekanismer eller med de instrument som staten förfogar över, finns det anledning att fundera på vad det är för sorts samhälle vi är på väg att skapa.
Vi kan kalla det algokrati eller algoritmisk kontroll.
Vi kan se det som övervakningskapitalism eller digital totalitarism.
Men 36 år efter 1984 är det allt fler som varnar för att vi är på väg mot en skön ny värld där staten och kapitalet inte bara sitter i samma båt. De sätter oss i samma övervakningsbås.
German Bender är programchef på Arena Idé och doktorand vid Handelshögskolan
Följ Dagens Arena på Facebook och Twitter, och prenumerera på vårt nyhetsbrev för att ta del av granskande journalistik, nyheter, opinion och fördjupning.
