Vilseledande statistik

opinion Det finns lögn, förbannad lögn och statistik, brukar det sägas. Johan Enfeldt har tittat närmare på en Almegarapport om skolval.

I vad som närmast ser ut som en kampanj inför Centerpartiets stämma går arbetsgivarorganisationen Almega till angrepp på likvärdighetsutredningens förslag om ändrad resursfördelning och åtgärder mot skolsegregation.
I lokaltidning efter lokaltidning hävdar Almega att det varken stämmer att dagens skolval bidrar till segregation eller att det missgynnar barn i det som Almega kallar utanförskapsområden. Alla som vill ändra på spelreglerna för att jämna ut förutsättningarna är egentligen bara emot valfrihet:

“I grunden handlar detta om en skillnad mellan å ena sidan valfrihetens vänner och å den andra sidan dess motståndare. Antingen tror man att människor, inklusive de som bor i utanförskapsområden, har vilja och förmåga att påverka sina liv. Eller så tror man det inte. ”

Det är inga utbildningspolitiska eller pedagogiskt sakkunniga som för Almegas talan, utan i tur och ordning VD Thomas Erseus, förbundsdirektör Stefan Koskinen och den näringspolitiske chefen Andreas Åström. Som bevis anför de en rapport baserad på en undersökning som Almega låtit undersökningsföretaget Demoskop göra. Rapporten är författad av Almegas näringspolitiske expert Fredrik Segerfeldt. Låt oss se vad det egentligen står i den.

En egen definition av segregation

Den skolsegregation som forskare, Skolverket och likvärdighetsutredningen försöker beskriva och motverka handlar om segregation baserat på familjebakgrund. I den ingår både socioekonomisk bakgrund och migrationsbakgrund. När Skolverket i rapporten“Analyser av familjebakgrundens betydelse för skolresultaten och skillnader mellan skolor” (Skolverkets rapport 467 2018) beskrev utvecklingen konstaterade man att skolsegregationen utifrån migrationsbakgrund avtagit eller stabiliserats under senare år. Den segregation som ökat mest är den socioekonomiska som beror på bland annat utbildningsnivå och inkomst.

“Av de socioekonomiska bakgrundsfaktorerna är det föräldrarnas utbildningsnivå som har den största betydelsen för betygsresultaten, men utbildningsnivåns betydelse har inte ökat över tid. Däremot har föräldrarnas inkomst blivit allt viktigare, och framstår som den centrala förklaringen till den ökade betydelsen av socioekonomisk bakgrund för betygsresultaten. “

Alla som följer skoldebatt och statistik vet också att när skolors resultat och förutsättningar redovisas i den officiella statistiken finns alltid både föräldrars utbildningsnivå och migrationsbakgrund med.

Allt det här bortser Almega ifrån och låtsas som att skolsegregation endast handlar om migrationsbakgrund. I rapporten finns faktiskt inte föräldrars utbildningsnivå med överhuvudtaget. Den segregation som likvärdighetsutredningen vill komma åt verkar alltså inte finnas alls i Almegas värld.

Undersökningen

Siffrorna i Almegas rapport baseras på en undersökning från Demoskop. I rapporten står att de frågat 500 föräldrar bosatta i 29 särskilt utsatta utanförskapsområden. Områdena definierades enligt polisens definition. Vi kan kanske börja där? Enligt polisens definition finns 22 särskilt utsatta områden. Almega har dock ytterligare sju, oklart vilka, på sin lista.

I rapporten saknas helt uppgifter som brukar vara självklara i seriösa undersökningar:

• Hur urvalet gjordes.
• Hur stort bortfallet var.

Jag började med att fråga rapportförfattaren, Almegas näringspolitiske expert Fredrik Segerfeldt, om urval och bortfall. Han hade inga sådana siffror. Jag frågade då istället Demoskop. Undersökningsföretagen svarar nämligen påfallande ofta välvilligt på frågor om sina undersökningar.

• Urvalet var ett slumpmässigt befolkningsurval i berörda postnummerområden.
• Svarsfrekvensen var 37 procent. Bortfallet var således 63 procent.

Vad innebär det? I en policy för opinionsundersökningar som Sveriges Television publicerade inför valet 2014 står:

“Är bortfallet stort (40% eller mer kan ses som en riktlinje) skall undersökningsföretaget kunna svara på att man kontrollerat för eventuella skevheter i bortfallet. Är skevheterna väldigt stora bör resultaten inte publiceras.

Om bortfallet är större än 60% (dvs svarsfrekvensen understiger 40%) måste man allvarligt ifrågasätta hur representativa resultaten är och därmed också publiceringen. “

Redan svarsfrekvensen gör alltså att slutsatser bör dras med viss försiktighet, men SVT anger också 1000 svar som ett riktmärke. Dubbelt så många som Almegas 500.

Almega brasklappar i sina debattartiklar lite med en formulering om att det är färre än 100 svar i området, men det hindrar inte slutsatsen att att 70 procent av föräldrarna i området Skäggetorp i Linköping valt skola åt sina barn. Hur mycket färre än 100 svar det var får vi inte veta, men en fingervisning kan vi ju få genom att dividera totalt 500 svar med 29 områden. Då blir det 17. I Skäggetorp finns 4200 hushåll.

Jag ställde följdfrågor till Demoskop om hur bortfallet hanterats, om det fanns någon skattning av osäkerhetsmarginaler samt om hur frågorna var formulerade. Då var det stopp. Demoskop hänvisade tillbaka till Almega. Vi får helt enkelt läsa rapporten utan att veta hur frågorna var formulerade eller ut svarsalternativen såg ut.

Genomgående i rapporten är att Almega redovisar svar uppdelat på föräldrar i olika åldrar. Det vore relevant om vi hade ett stort problem med skolsegregation baserat på föräldrars ålder. Så är det inte. I all statistik om skolsegregation och skolresultat är föräldrars utbildningsnivå en parameter. Föräldrars ålder är det inte. I bästa fall är det här en följd av att undersökningen och rapporten gjorts av personer med grunda kunskaper om skola och skolsegregation. I sämsta fall är det ett försök att skapa diagram som ser vederhäftiga ut trots att de i praktiken saknar relevans.

Det första diagrammet i rapporten visar att 82 procent valt skola till sitt barn. Redan här blir undersökningens brister tydliga. Med ett bortfall på över 60 procent skulle vi behöva veta något om hur Demoskop analyserat bortfallet. Är det slumpmässigt eller finns det risk att personer som inte valt skola varit mindre benägna att delta i undersökningen?

Det andra diagrammet försöker visa hur föräldrar i olika åldrar valt kommunal respektive fristående skola. Om Almega på riktigt vore oroade över hur föräldrars ålder påverkar skolvalet hade de nog kollat sina slutsatser lite mer noggrant. Nu visar diagrammet att val av friskola är vanligast bland äldre föräldrar medan det i texten står tvärtom.

Här påstår också Almega också att fler föräldrar i särskilt utsatta områden, 19 procent, har valt en friskola än bland befolkningen i stort där det bara är 15 procent. Det här är ett vanligt sätt att behandla statistik på i friskolelobbyn, men det är inte rimligt att jämföra med riket i snitt när skillnaderna över landet är så stora. I många kommuner finns ju inga friskolor alls. I Södertälje och Stockholm, två kommuner med särskilt utsatta områden på listan, är det till exempel 26 respektive 28 procent av eleverna som går i fristående skolor. Om man skulle dra någon slutsats av Almegas mycket osäkra undersökning vore det alltså att färre elever i utsatta områden väljer fristående skolor än eleverna i Södertälje och Stockholm i stort.

Det tredje diagrammet sägs visa att 31 procent någon gång bytt skola utan att flytta. Även här saknar vi frågeställningen. Räknas flytten från F-6 skolan till högstadieskolan som ett byte av skola eller är det bara formella val av annan skola som ingår? Det hade varit enkelt för Almega att redovisa hur frågan ställdes, men de valde att inte göra det.

Efter detta följer två diagram med siffror på hur många som funderat på att byta skola samt om hur viktig möjligheten att välja skola är. Det är återigen svårt att säga något om dessa utan att känna till frågeställningarna. Almega påstår i sina artiklar att skolvalet är hotat när det i själva verket är så att likvärdighetsutredningen föreslår att alla ska välja skola i ett gemensamt skolval. Hur det låtit i intervjusituationen kan ha varit avgörande.

I det sjätte diagrammet visar Almega vad som spelar roll för föräldrar som väljer skola. Almega förklarar nöjt att skolvalet inte segregerar genom att föräldrar väljer skola efter vilka elever som går där utan efter sådant som resultat och behöriga lärare. I topp ligger nämligen en hög andel behöriga lärare. Överlägset. I botten hamnar alternativet elever med liknande bakgrund.

Här finns det anledning att stanna upp en smula.

När det handlar om opinionsundersökningar finns ett begrepp som kallas “social-desirability bias“. Det innebär kortfattat att svarande i vissa fall har en tendens att svara som de tror att de bör göra för att se bra ut i andras ögon. Alltså att människor svarar som de “borde” göra. Det går inte att veta om det är fallet här, men frågan bör nog ställas. Fakta i målet är ju att de friskolor Almega företräder har en signifikant lägre andel behöriga lärare än de kommunala skolorna. Om en hög andel behöriga lärare är viktigast för föräldrarna som väljer och marknaden fungerar rimligt skulle vi se friskolor som satsar stort på behöriga lärare. I verkligheten är det alltså tvärtom. I Stockholm är skiljer det 87,0 mot 62,9 procent till de kommunala skolornas fördel.

Vid presentationen av rapporten blev det närmast komiskt eftersom de två inbjudna friskolerektorerna representerade skolor som inte bara har låg andel lärare med svensk lärarlegitimation utan också håller uppgifter om lärarnas utbildning hemliga. Föräldrarna kan inte ens kolla uppgiften själva. Både IES Kista och Nordic International School i Norrköping utelämnas i statistiken över behöriga lärare och de berättar inte heller själva vilken utbildning de utländska lärarna har.

I det sjunde diagrammet slutligen, konstaterar Almega att föräldrar som valt en friskola är mer nöjda med sin skola än de föräldrar som har sitt barn i en kommunal. Här skulle nog en noggrann analytiker ställt sig en eller två frågor om det som kallas confirmation bias, dvs om det finns risk att svarande som gjort ett aktivt val motiverar detta för sig själva med att sätta ett högre nöjdhetsvärde. I vilket fall saknas en uppdelning mellan de som valt en friskola och de som aktivt valt en kommunal. I Almegas diagram görs ingen skillnad mellan föräldrar som går i kommunal skola utan att ha valt och föräldrar som gjort ett aktivt val.

I avslutningen skriver Almega att vi nu borde “kunna lämna diskussionen om valfrihet och driftsform bakom oss”. Det är ohederligt på två sätt:

För det första är det inte valfriheten i sig som diskuteras i skoldebatten eller i likvärdighetsutredningens förslag. Där föreslås ju tvärtom att fler ska välja skola. Det som diskuteras är den ojämna spelplanen, snedvridande regler och urval av elever som gynnar fristående skolor och skapar segregation. Inget av detta har Almega tagit upp i sin enkät.

• Almega kunde ställt frågan om föräldrarna i undersökningen tycker att kötid är en bra urvalsgrund, men valde att låta bli.
• Almega kunde ställt frågan om det inte vore enklare och säkrare med ett gemensamt administrerat skolval än att behöva söka till varje skola för sig, men de valde att låta bli.
• Almega kunde frågat om inte föräldrarna till barn i kommunala skolor tyckte att deras skolor borde kompenseras för sitt större ansvar, men de valde att låta bli.

För det andra är frågan om driftsform överhuvudtaget inte nämnd i rapporten. Visst kunde Almega ställt åtminstone någon liten fråga om vinstdrift eller om idéburna aktörer vore att föredra framför vinstdrivande? Men återigen. Almega valde att låta bli.

Almega valde att låta bli, men tycker ändå att undersökningen visar att vi kan lägga frågan om driftsform bakom oss. Att de tycker så är välkänt. Att de påstår att undersökningen stöder deras linje är ohederligt.

En av Demoskops konkurrenter i undersökningsbranschen heter Novus. De skriver så här på sin hemsida:

“Enligt internationella branschregler (ESOMAR) är Novus som undersökningsföretag ansvariga för att våra undersökningar tolkas rätt vid första publicering.

För att säkerställa att våra undersökningar presenteras på ett korrekt sätt ber vi alltid att få se den text som skrivs med syfte att publiceras där Novus undersökningar omnämns.

Novus förbehåller sig rätten att korrigera felaktiga siffror och tolkningar som har publicerats.”

Nog vore det intressant att veta vad Demoskops analytiker tycker om tolkningarna i rapporten? Almega har dock säkert kompetens också på nära håll. Bland de riktiga företagen inom till de egna medlemsförbunden Innovationsföretagen eller IT&Telekomföretagen finns garanterat medarbetare som har de kunskaper i matematik och statistik som nog saknades när den här rapporten sammanställdes.

Representanter för dessa företag bör också fundera över om det är den här sortens statistikbehandling de vill att arbetsgivarorganisationen de betalar sin medlemsavgift till ska ägna sig åt.

***

Anm 1: Almega svarar här.

Anm 2: Johan Enfeldts slutreplik återfinns här.

***

Vill du kommentera texten? Följ Dagens Arena på Facebook