Efter årtier med at måle og evaluere på de offentlige indsatser har vi viden nok til at kaste et kritisk blik på effekten af evaluering, mener professor i statskundskab Peter Dahler-Larsen, aktuel som redaktør på bogen: A Research Agenda for Evaluation.
Af journalist Thomas Davidsen | thomas.davidsen61@gmail.com | Foto: PR
Den tid er måske ved at være forbi, hvor det forventes, at en offentlig ansat hver eneste morgen skal spørge sig selv: “Hvordan får jeg lavet mest muligt i dag, og hvordan dokumenterer jeg, at jeg har gjort det?”.
Det vurderer professor og doktor i statskundskab fra Københavns Universitet, Peter Dahler-Larsen, der er bogaktuel som redaktør på A Research Agenda for Evaluation (Edward Elgar Publishing, 2021). Her undersøger internationale eksperter, hvordan evaluering fungerer indenfor bl.a. uddannelse, forskning og frivilligt arbejde.
Og koblet med sin egen årelange forskning i evaluering mener Peter Dahler-Larsen, at den evalueringsoptimistiske bølge, der har domineret det offentlige danske arbejdsmarked siden starten af 1980’erne, har toppet.
– Vi har helst skullet have en slags kontraktrelation med hinanden, hvor man betaler for en eller anden ydelse, og så måler man på, om den ydelse har virket efter hensigten – ud fra idéen om, at hvis vi bare får målt arbejdsprocesserne, kan vi blive mere effektive og ovenikøbet samtidig spare penge.
Vi kan evaluere vores evalueringer
Den viden og de erfaringer, 30 års målinger og evalueringer har givet os, er så omfattende, at vi nu er gået ind i en ny fase, hvor vi kan evaluere på vores evalueringer, vurderer Peter Dahler-Larsen.
– Vi ved fx, at der er mange børn, som er kede af at blive testet. At der er mange lærere, som bruger rigtig meget tid på elevplaner, og at vi laver rigtig meget evaluering, der slet ikke bliver brugt til noget, siger han og peger bl.a. på, at revisionen af de nationale tests i folkeskolen fra oktober 2021 tyder på, at systemerne er ved at være klar til at tage de praktiske erfaringer ind.
For ikke alene besluttede politikerne for første gang at evaluere mere betænksomt, påpeger han. Der var også åbenhed over for, hvor brugbar den viden, testene gav os, rent faktisk er.
– I den rådgivningsgruppe, som jeg var formand for, førte vi også nogle udmærkede diskussioner med politikerne om anvendeligheden og mængden af tests. Så jeg tillader mig at fortolke revisionen som et tegn på, at det idealbillede, vi har båret på af evalueringssamfundets velsignelser, er ved at krakelere. Og at den overdrevne styringsoptimisme, som har kendetegnet New Public Management-æraen, har toppet, siger Peter Dahler-Larsen.
Dog vil han ikke forudsige, om den afdæmpede evalueringsoptimisme, vi ser i øjeblikket, rent faktisk vil føre til, at man tester mindre.
– Formentlig vil det blive sådan, at der for nogle vil være tale om færre evalueringer, for andre vil der ske omlægninger til mere avancerede eller mere brugervenlige former. Men hvis udviklingen bliver præget af mere omtanke og bevidsthed om både stærke og svage sider ved evaluering, skal vi vist være tilfredse med det, konstaterer Peter Dahler-Larsen.
Det, man bliver målt på, sætter sig inde i hjernen og inde i kroppen på medarbejderne og kommer til at forme deres praksis. I undervisningssektoren kalder man det teaching to the test
Man får, hvad man måler på
Hvad gør vi så herfra? Ifølge professoren er selve mængden af de evalueringer, vi foretager, noget af det første, vi skal have kigget på.
– De mange målinger tager jo tid og koster penge, som går fra noget andet, man ellers kunne gøre. Jo, dokumentation kan være en nødvendig del af praksis. Selvfølgelig skal man inden for fx medicin føre en journal. Men det er alligevel værd at spørge, hvor mange timer om ugen en offentlig ansat skal bruge på dokumentation – og på hvad. Vi må gøre op med ‘jo mere, desto bedre”.
Dertil kommer, tilføjer han, at vi også har en mental begrænsning i vores kognitive kapacitet, som gør mængden af evalueringer til et problem.
– Vi kan ikke rumme hele tiden at skulle være opmærksomme på tilbagemeldinger og dokumentation på det, vi gør. Og vi ser jo også, hvordan mange offentligt ansatte er blevet dødtrætte af dokumentationsbyrden. Så på en eller anden måde er vi nødt til at tale om, hvor grænserne for evaluering går.
For, påpeger Peter Dahler-Larsen, én ting er mængden af målingerne, noget andet er den effekt, de har på medarbejdernes adfærd.
– Man kan fx i den bedste mening måle på, hvor lang tid der går, fra folk kommer ind på en skadestue, til de møder noget sundhedspersonale. Hvis man på skadestuen ønsker sig en god måling, så ansætter man blot en lægesekretær eller anden sundhedsfagligt uddannet til at gå rundt og sige: “Goddag, mit navn er Elisabeth” et minut efter, folk er ankommet – og mere sker der ikke. Men så har borgeren jo mødt noget sundhedspersonale.
‘Utilsigtede virkninger’ løfter ansvar væk
Dertil kommer, at hvis de indikatorer, man vælger at måle på, er for simpelt designede, får man en adfærd, som ikke var den, man ønskede, forklarer Peter Dahler-Larsen.
– Det, man bliver målt på, sætter sig inde i hjernen og inde i kroppen på medarbejderne og kommer til at forme deres praksis. I undervisningssektoren kalder man det teaching to the test. Læreren ved, at eleven bliver testet om et øjeblik og underviser derfor i det stof, der bedst egner sig til at give en god karakter.
På samme måde er medarbejdere så bevidste om, hvad de bliver målt på, at det i en eller anden grad styrer deres adfærd, fortæller han.
– Derfor skal vi være nysgerrige på de effekter, som tømmer evalueringerne for meningsfuldt indhold. De kan være med til først at trække et helt evalueringssystem skævt og dernæst et helt praksissystem.
– Tilmed har vi haft en sjov tilbøjelighed til at kalde det ‘utilsigtede virkninger’, hvis det viser sig, at medarbejderne gør noget helt andet end det, der var tiltænkt i designet af en måling, påpeger Peter Dahler-Larsen.
– Det synes jeg er et bemærkelsesværdigt begreb, for det lyder jo som om, at den, der designede målingen, ikke kunne gøre for, at folk opførte sig helt tosset og ikke gjorde det, der var meningen. ‘Utilsigtet’ kan være et ansvarsfraskrivende ord, der ikke egner sig særlig godt til at sætte den nødvendige refleksionsproces i gang. For dybest set betyder det vel, at der igen var nogle beslutningstagere, der havde alle de rigtige tanker, mens medarbejderne gjorde det forkerte.
Vi elsker (også) evalueringer
Men er evalueringer så alene af det onde, opfundet af fjerne og manipulerende konsulenter til ingen verdens nytte? Nej, på ingen måde, understreger Peter Dahler-Larsen.
– Tag endelig ikke fejl, vi har selv en indre trang til at blive evalueret. Vi hader karakterer, men vi elsker dem, når de er gode. Så det er ikke kun sådan, at der sidder nogle konsulenter, som manipulerer os med tal. Vi er enormt interesserede i en vellykket MUS-samtale, hvor vi kan lægge dokumenter på bordet og sige: “Se, hvor godt jeg har performet det forgangne år”, siger han og tilføjer:
– Som professor og psykoanalytiker Benedicte Vidaillets bidrag til bogen A Research Agenda for Evaluation viser, er vi selv mere implicerede, både i udbuddet og efterspørgslen af evaluering, end man skulle tro, når man lytter til kritikken af New Public Management. Hvis man tror, at vi kan sløjfe evalueringer med et pennestrøg, har man overset, i hvor høj grad vi selv, på godt og ondt, efterspørger dem.
Kilde: Professor i statskundskab og evalueringsekspert Peter Dahler-Larsen, Københavns Universitet
er professor og doktor i statskundskab på Københavns Universitet. Han har i de seneste over 20 år forsket i, skrevet bøger og videnskabelige artikler om og undervist i evaluering på en række universiteter i ind- og udland. Senest var han formand for regeringens rådgivningsgruppe for evaluering af De Nationale Test.