Etikettarkiv: utvärderingssystem

Vetenskapens mått: En professorsföreläsning

Publicerad den av
Svara

[Här nedan publiceras i tämligen oredigerat skick den professorsföreläsning som jag höll den 8 maj 2025.]

I Alf Prøjsens klassiska barnbok Killing som kunde räkna till tio så skildras hur olika djur tvekar inför att låta sig räknas. Både hästen och suggan undrar hur killing bär sig åt, och kalven är rädd för att det ska göra ont. Kalven råmar bestört ”Hjälp, nu räknar han dej också.”

Missnöjda jagar de den lilla kalven ombord på en liten båt, men väl där blir räkningen helt avgörande för att farkosten inte ska sjunka. Slutsatsen är tydlig; vi skall låta oss räknas, eller för den delen mätas, då att reduceras till ett nummer kan vara högst effektivt i en situation där ett beslut måste fattas. Samtidigt vittnar djurens inledande tveksamhet till killingens räknande på en insikt om mätandet och räknandet så kallade performativa natur; när något mäts förändras det.

Denna föreläsning behandlar hur vetenskaplig produktion mäts, och hur system för utvärdering har kommit att påverka hur forskning bedrivs och kommuniceras. Fokus ligger på den specifika form för att utvärdera vetenskaplig produktion som går under namnet bibliometri. Bibliometri kan definieras som kvantitativa studier av publikationer och deras egenskaper, eller utan krusiduller räknandet av artiklar, böcker och allt annat som forskare producerar. Ett särskilt fokus riktas mot de konsekvenser – i form av exempelvis förändrade publikationsmönster – som ett alltför stort fokus på indikatorer och utvärderingssystem kan få. Syftet är att ge en koncis och nyanserad bild av hur ett ökat fokus på mätning kommit att påverka forskningen. Men räknandet och mätandet är på intet sätt unikt för akademin, utan kan sägas prägla det senmoderna samhället i stort. Räknandet betydelse – inom vetenskapen idag, och i stort – är menar jag kopplat till övergripande förändringar i hur verksamheter styrs, hur vi som individer ser på oss själva, och i hur vi ser på tid och tempo. Jag kommer inom kort återkomma till samtiden, men låt oss först unna oss en kortare historisk återblick.

Enligt en judisk-kristen tradition så var Kain den som uppfann mätandet och vägandet, uppfinningar som fyllde en dittintills oskyldig och enkel värld med oärlighet. Mätandet är alltså redan från start associerat med fusk, och i den bibliska traditionen med synd. I det följande kommer vi se hur tanken att mätandet också innebär att något går förlorat återkommer. Det kan handla om en mer abstrakt förlust av förtroende, eller av mer konkreta inskränkningar i den vetenskapliga professionens möjligheter till självstyre. Ett återkommande tema är den ambivalens som omgärdar mätandet. Ibland kunde mätning ses som direkt farlig, exempelvis så sades det i 1800-talets Tjeckien att barn under sex år fastande i växten ifall deras längd registrerades. Mätandet var dock inte bara av ondo. I medeltidens Polen fanns en åkomma, kallad ‘miara’ (polska för mått), som bara kunde botas genom att sjuklingen mättes. Tidigt fanns det alltså insikter om att mätandet påverkade det som mättes, om dessa effekter var positiva eller negativa rådde det större oenighet om. Denna ambivalens är också uppenbar när vi förflyttar oss till samtiden och till utvärderandet av vetenskapliga alster. Vi lever i ett granskningssamhälle där allt skall genomlysas, bedömas och utvärderas. Peter Dahler-Larsen, en dansk professor som författat en bok om utvärderingsssamhället, uttrycker det som att vi har svårare att föreställa oss ett samhället utan utvärdering, än att tänka oss att ett gäng utomjordingar landade på jorden. Och räknar vi de dagliga utvärderingssituationerna så är de många: varje inköp följs av en enkät som vill veta vad vi tycker, filmen som vi just såg på Netflix vill bli bedömd (var det en 1:a elle en 5:a), För några veckor sen så var jag med en granne och hjälpte honom att tömma sitt hyrda förråd inför flytt, och till och med då kommer frågan: ”Hur var din magasineringsupplevelse idag”? Just i dagarna presenterade en av döttrarna en hylla som hon gjort i slöjden: men hem till föräldarna kom också en detaljerad ifylld blankett med rubriken: ”Utvärdering: hylla” där reflektioner kring material (spik, skruv, trä, färg ) och metod redogjorde för i detalj. Kort sagt:  Det är som hela samhället skriker: bedöm mig! Snälla!

Det framstår som mer oklart när och hur utvärdering blev en sådan central aktivitet. De grundläggande idéerna kring rationalitet, och kontinuerlig förbättring, av verksamheter genom någon form av utvärdering kan spåras långt tillbaka i tiden. Det utvärderingssamhälle som exempelvis Marilyn Strathern beskriver kan kopplas samman med den framväxande moderniteten, och den rationalitetssträvan som sammankopplas med denna idétradition. Här spelar samtidens besatthet av att minimera risker, utförligt beskrivet av som den tyske sociologen Ulrich Beck – en central roll. För räknandet är den primära metod på vilket vi kan omvandla oberäkneliga faror till kalkylerbara risker. Exempelvis: en fara med att helt simpelt ge forskare resurser att bara utforska det de finner viktigt är ett vågsspel (kanske lägger de sin tid på fel saker, kanske bara latar de sig) men genom att räkna – t.ex. antal publikationer, eller citeringar, – så hoppas vi kunna minimera (och kontrollera) denna risk.

Även gällande bibliometrin går det att hitta flera ursprungshistorier. Försök att under det sena 1800-talet fastställa hur vetenskaplig excellens bäst främjades kan sägas vara starten för ett mer kvalificerat mätande. Psykologen, och rasbiologen, Francis Galton hävdade bestämt att arvet var av avgörande betydelse för vetenskaplig excellens. Konstruktören av den första universitetsrankingen –  James Mckeen Cattell – följde Galtons logik, och hans slutsats var enkel: eftersom söner till professorer var klart mer benägna att bli vetenskapsmän så var det främsta sättet att främja vetenskap helt enkelt att se till att professorer fick många barn (kvinnornas roll nämndes knappat alls).Till skillnad från sina anglosaxiska kollegor så framhöll  den franske botanikern Alphonse de Candolle miljön.  Idag kan vi nog med bestämt hävda att Candolles linje är den helt dominerande – och bibliometriska undersökningar syftar inte sällan till att studera vilka miljöer som främst gynnar god vetenskap, med en tanke att lära från dessa. Exempelvis kan det rör frågan kring hur pass mycket frihet forskarna bör ha, hur forskning ska finansieras, och hur akademiska organsationer ska styras, vilka samarbeten som är mest gynnsamma etc.?  

Under 1900-talet växte sedan bibliometrin gradvis fram som ett forskningsfält och redan 1934 använde biblioteksutopisten Paul Otlet just termen ‘bibliometri’ för första gången. Dess betydelse, både som vetenskaplig specialitet och som utvärderingsinstrument, kom att öka allteftersom större datamängder blev tillgängliga för analys.

Utanför fältet ses dock ofta bibliometrin som ett relativt nytt påfund, som del av en större trend av nyliberalt tänkande och akademisk kapitalism. Föreställningen om liberala marknadsidéer som drivande för bibliometrins etablering ackompanjeras inte sällan av föreställningen att alla dessa mätsystem kommer utifrån, och att de är ett sätt för klåfingriga politiker, tjänstemän och chefer att kontrollera forskarna på.

En populär förklaring till mätandets intåg stavas  NPM (New public management). Vanligen betraktas NPM som ett resultat av högerliberala idéer om marknadens överlägesenhet i ett fördela resurser, men styrformen kan också relateras till en mer allmän tendens där offentlig verksamhet ska hållas ansvarig inför medborgare och skattebetalare. NPM har inneburit att offentliga verksamheter allt mer har kommit att präglas av tre M: managers, mätning och marknad. Dessa tre M påverkar akademin i olika grad. Det kan konstateras att de tre M:en är kopplade: ökad mätning möjliggör administrativ styrning (managers) vilket i sin tur medför att den professionella (eller kollegiala) styrningen ifrågasätts. Den bibliometriska mätningen s bidrar också, genom mått på individuella prestationer och genom universitetsrankningar av olika slag, till etablerandet av en akademisk marknad av publikationer, citeringar och forskare.

Nyliberalism är, som Olof Hallonsten och jag nyligen diskuterat, dock inget entydigt begrepp utan snarare en svepande benämning på en samling föreställningar om hur samhället, och akademin, bäst ska organiseras. Storbritannien under Thatcher var ledande i utvecklingen där länder som Australien, Danmark, Nederländerna och Sverige har följt efter. För vetenskapens del så bör det här beaktas att mätandet nog snarare ska kopplas till en ökad ekonomisering i offentlig sektor (som bland annat Elisabeth Pobb-Berman föreslagit) snarare än en renodlad rörelse mot nyliberalism inom akademin. Exempelvis är det tydligt att stater med stark statlig styrning är mer benägna att införa bibliometriska modeller en de med ett mer heterogent akademiskt landskap. (Vi kan exempelvis jämföra USA, eller Tyskland med de skandinaviska länderna).

Idén om vetenskapen som en marknad uttrycks kanske allra tydligast i de globala rankningar av universitet, och forskare, som årligen publiceras. Universitetsrankingarnas betydelse för universitetens självbild är uppenbar, och att rankas högt i dessa blir allt viktigare, inte minst ur marknadsföringssyfte. En återkommande nyhet är hur många svenska universitet som lyckats ta sig in bland de hundra bästa på någon av de mest prestigefyllda listorna. Oroväckande många ser rankningarna– vars metodologi starkt kan ifrågasättas– som en faktisk illustration av hur Sverige står sig om kunskapsnation. Vad man lätt glömmer bort är att rankningar säger mycket lite om absolut kvalité: Att Sverige hitintills lyckats behålla 4-5 universitet bland de 100 ”bästa” i flertal rankingar är imponerande, men knappast realistiskt i framtiden där alltfler länder satsar alltmer på forskning.   Trots detta används dessa rankningar inte sällan som slagträ i den forskningspolitiska debatten, och inte sällan misstänker jag att de används mot bättre vetande. Och det är genomgående för bibliometriska mått: de flesta vet att de är problematiska, men vi använder dem ändå – i brist på annat.

Hur bibliometriska mått påverkar kunskapsproduktionen mer generellt är annars svårt att överblicka, och kanske är det ännu för tidigt att identifiera djupgående förändringar. Det vi vet tyder ändå på att användning av bibliometriska mått kan få konsekvenser i form av en ökat fokus på de kriterier som ställs upp av en disciplinär elit. Detta kan resultera i en likriktning av vetenskapliga fält och en reduktion av forskarrollen. Sådana förändringar står i direkt opposition till forskning som går dialog med omgivande samhälle och söker svara på samtidens stora utmaningar.

Sammantaget är det just möjligheten till att reglera och överblicka den svårstyrda fria forskningen som gör bibliometrin så attraktiv som mätmetod både bland forskarna själva, och bland beslutsfattare. Ett problem med denna typ av styrning är dock att det lätt uppstår konflikter mellan vad professionen anser som viktigast och det som systemen anbefaller. Exempelvis har det observerats hur forskare kramar ut så många publikationer ur ett projekt som bara möjligt; så kallad ‘salamipublicering’ (företeelsen går också under benämningen ‘minsta-publicerbara-enhet’). Vidare kan mer strategiska överväganden ske då forskare kan tänkas satsa på relativt ‘säkra’ eller kortsiktiga projekt som med stor sannolikhet kan utmynna i publicerbara resultat snarare än att investera i mer riskabel och utdragen, men potentiellt mer nydanande, forskning. Försöken att konstruera indikatorer som på basis av publikationer och citeringar skall mäta forskningens kvalité är ett annat exempel på denna diskrepans. Även om det idag råder konsensus om att citeringar i bästa fall kan betraktas som en indikation på synlighet och genomslag – snarare än som direkta kvalitetsmått – så spelar fortfarande bibliometriska mått en betydelelsefull roll i fördelningen av resurser och vid tillsättningar av akademiska tjänster. Istället för att bedöma utifrån de kriterier som vi anser bäst reflektera kvalité och relevans får tillgängliga data samt enkelheten i genomförande i hög grad styra utvärderingen.

Kritiken mot bibliometrisk utvärdering har, med rätta, varit särskilt hård från ett samhällsvetenskapligt och humanistiskt håll då Mått som antalet citeringar eller tidskriftsindikatorer fungerar generellt dåligt inom humaniora.

En möjlig väg är givetvis att svenska humanister anpassar sig till de gängse metoder inom andra fält. Att de likt bondgårdens djur i berättelsen om killingen accepterar räknandet som en nödvändighet för att överhuvudtaget synas, och i förlängningen överleva. En direkt kapitulation inför mätbarhetskraven är dock vare sig nödvändig, eller önskvärd. Snarare har den excellenshets som präglade forskningspolitiken under det tidiga 2000-talet kommit att ifrågasättas – inte minst i en Europeisk kontext, och med den de ganska ensidiga mått som används för att kvantifiera internationellt genomslag. I en diskussion där nu andra värden, som samverkan, öppenhet och samhällelig relevans, förhoppningsvis kan ges större plats så torde humanistiska och samhällsvetenskapliga perspektiv på vetenskaplig kvalité kunna få större genomslag. Humanister och samhällsvetare bör alltså inte nöja sig med att ihärdigt kritisera rådande kvalitetsmått, utan istället aktivt delta i utformandet av utvärderingsmetoder som överbryggar det gap som skisserats ovan. En sådan utveckling skulle gynna vetenskapssamhället i stort.

Men låt oss lämna nu lämna det  generella för att istället fundera över vad detta mätande gör med den enskilde forskaren. Det finns säkert fler i publiken – som i likhet med mig – går omkring med ett ständigt mätinstrument vid sin handled. Min säger i detta nu att pulsen ligger på 73 slag och jag har hittills idag avverkat 3347 steg. Syftet med klockan är att mäta hur långt, och snabbt, jag springer men den kommer också att påverka hur långt jag springer, och kanske även hur jag springer. Till exempel utökar jag gärna min runda något för att hamna just över det antal kilometer som jag vill springa, klockan ger mig också råd om att löpa med kortare steg, och skulle jag mot förmodan (tyvärr sker det alltför sällan på sistone)slå ett rekord gällande fart eller sträcka så annonserar den det triumferande, och uppmuntrande.

Trenden att mäta och analysera sin egen prestation, eller för den delen sin kropp, med hjälp av digitala hjälpmedel har fått stor uppmärksamhet. Benämningen det kvantiferade jaget” lanserades  för mer än 15 år sedan, och detta begrepp har även bäring inom akademin. I min forskning har jag särskilt tittat på plattformen ResearchGate. – ett slags forskningens Facebook. Sajten erbjuder användare att skapa en profil där den egna forskningen presenteras, och forskaren kan också följa kollegor för att på så sätt uppdateras kring deras verksamhet. Förutom att kalkylera olika mått så skickar ResearchGate ständiga meddelanden till sina användare, där ‘framgångar’ proklameras: ”du har tjugo nya läsare” eller ”dina publikationer har nu citerats 100 gånger”. Inom ramen för RG blir forskning som ett spel där målet är att samla så många poäng som möjligt. Vad dessa plattformar gör är att de ägnar sig åt ‘spelifiering’ (gamification). Spelifiering sägs kunna öka motivationen vid till exempel inlärning, men det har också använts för att höja produktiviteten i tillverkningsindustrin. Likadant kan RGs ständiga uppmaning att ‘uppdatera profilen’ och ‘ladda upp publikationer’ liknas vis det ständiga uppgraderandet av karaktärer i dataspel.

 De finns många poänger i att granska de mer cyniska aspekterna av dessa kommersiella plattformar, men det finns andra sätt att titta på fenomenet av det kvantifierbara jaget. Den ständiga uppmaningen att förbättra sig, att bli ett bättre jag , har ett djupare ursprung än pulsklockor och social medieplattformar och denna strävan – som kan spåras tillbaka till åtminstone upplysningen och reformationen – är central för hur vi förstår oss själva. Här menar Helena Francke, och jag, in en uppföljande studie att en viktig funktion i alla dessa plattformar – mycket i likhet med hur sociala medier fungerar generellt – är att ge existentiell bekräftelse, att bli sedd, och uppmärksammad. Stor del av vår identitet är kopplade till arbetet, och en stor del arbete – mycket av allt kontorsarbete och kanske särskilt inom akademisk forskning – ger lite direkt återkoppling, och ofta tar det lång tid innan vi vet om någon ens läst det vi arbetat med. Plattformarna fyller därför en viktig funktion i att synliggöra ett ofta ganska osynligt arbete, att bekräfta att vi gör det vi ska, och att vi gör det bra.

Plattformarnas ständiga uppmaning till att uppdatera våra profiler bidrar även till en upplevelse av allt högre tempo. Flera faktorer bidrar till ytterligare tidspress. En tilltagande andel forskare och lärare har tillfälliga anställningar, forskningen bedrivs ofta inom tidsbegränsade, externt finansierade projekt och undervisningen – inte minst inom humaniora och samhällsvetenskap – bedrivs med färre lärarledda timmar. I kombination med en excellensretorik, som nu tyvärr åter tycks vara på modet igen i Svensk politik, förstärker också känslan av att inte räcka till. I stort sett alla lärosäten anser sig sträva efter excellens inom ett eller flera områden: Är du excellent lille vän är den fråga som ställs till varje medarbetare, och det gäller även undervisningen? Att ständigt avkrävas världsledande insatser skapar ytterligare stress och ger dem (i princip alla) som inte når upp till orimligt höga förväntningar dåligt samvete.

Ofta förstås ett ökat tempo i samhället som ett resultat av teknikutveckling med ökad produktionstakt och allt snabbare kommunikationer som följd. Forskning kring hur detta påverkar akademin skildrar en situation där publicering hastas fram, där allt mindre tid ges till läsning av allt det som skrivs och där administrativa krav och utvärderingar upptar en allt större del av arbetet. I värsta fall resulterar denna hets i en situation som kan liknas vid Hartmut Rosas tes om ett ”rusande stillastående” – alltmer produceras utan att egentliga intellektuella landvinningar görs. (vi springer allt snabbare i vårt ekorrhjul)

Publiceringsstressen leder enligt Vetenskapssociologen Ruth Müller till att beslut om forskning alltid fattas med framtiden i beaktande: kan detta projekt leda till publikationer – som i sin tur resulterat i en ny tjänst eller ett nytt projekt – som i nästa skede gör det möjligt att starta en egen forskargrupp osv. Detta innebär att möjliga samarbeten men även handledning av studenter främst bedöms utifrån deras potential till att frambringa publikationer. Då akademiska publikationer är avgörande för karriärens fortskridande finns det risk att uppgifter som inte resulterar i publikationer nedvärderas, och andra uppdrag som undervisning, handledning samt interaktion med samhället riskerar att bli nedprioriterade. Vidare kan publiceringsstressen leda till att “säkra” och kortsiktiga projekt (där publikationer garanteras) prioriteras framför mer nydanande och långsiktig forskning.

Hur ska vi då hantera tempot inom akademin? Finns det alternativ som gynnar både forskningens kvalitet och arbetsmiljön för den enskilde forskaren? Jag har ingen lösning tyvärr, men några reflektioner vill jag gärna dela med mig av:

För det första: För en stor del av de akademiskt verksamma är långsamhet helt enkelt inget alternativ.

Dessutom är det är uppenbart att en stor del av accelerationen genom teknikutveckling och ökad informationstillgång har haft en positiv inverkan på kunskapsproduktionen i samhället. Åtskilliga forskare framhåller att acceleration också är njutbart, och att perioder av högt tempo kan upplevas som både akademiskt givande och stimulerande. Uppenbarligen måste ett stegrat tempo i arbetet inte nödvändigtvis uppfattas som negativt, och speciellt gäller detta fall där accelerationen är initierad av forskaren själv. Kontroll över den egna arbetstiden samt möjligheten att själv bestämma tempo blir därmed avgörande för välbefinnandet, och för god forskning.

Uppmaningar till en generell temposänkning lär heller inte slå an hos beslutsfattare och en bredare allmänhet. I stället bör vi verka för akademiska miljöer som främjar ”ohastad” forskning och undervisning. Här bör kollegialiteten, och då inte minst seminariet, som en plats för eftertanke och reflektion framhållas. Till skillnad från forskningspublikationer, välputsade konferenspresentationer eller massföreläsningar så är det i seminariet som tankar föds, utmanas och utvecklas. Seminariet ligger inte till grund för någon medelstilldelning, ger inte några poäng i rankningar och sällan betonas dess roll för innovation och nyttiggörande, och just därför är det – än så länge – en relativt skyddad plats. ”Långsamhetsoaser”, som socilogen Hartmut Rosa skulle kalla dessa fredade rum, kan i sig inte hindra fortsatt acceleration, men förhoppningsvis erbjuda utrymme för återhämtning, reflektion och kreativitet i en jäktad akademi som bär på en ständig rädsla för att hamna på efterkälken.

Appropå tid börjar vi nu närma oss slutet på mitt anförande, och kanske är det dags att försöka sammanfatta och knyta ihop: Som ni fått höra så har en stor del av min forskargärning har ägnats åt att kritisera användningen av indikatorer som reducerar ytterst komplexa frågeställningar –  vad är god forskning?  – Till ett exakt numeriskt värde. Av det jag sagt hittills har också mycket ägnats åt en sådan kritik. Men räknandet har en funktion – inte bara i Pröjsens saga där bara ett visst antal djur får plats på färjan som för djuren i säkerhet – utan också när vi söker förstå vetenskapens utveckling. Bibliometrin är ett omistligt verktyg när vi försöker förstå hur vetenskapen struktureras, och det kan också användas för att direkt ifrågasätta rådande förhållanden. Det mest tydliga exemplet i en svensk kontext är kanske Irene Wennerås och Agnes Wolds analys rörande medicinska forskare som visade att kvinnor i medicinområdet behöver prestera mer än dubbelt så väl (i termer av publikationer och citeringar) för att rankas som jämbördiga med män. Resultaten av den studie var att hela det medicinska forskningsrådet omstrukturerades.  Mätning kan ge makt och inflytande, och rätt använt kan bibliometrin användas för att ifrågasätta rådande missförhållanden och ojämlikheter.

Räknandet är därför inte vare sig ont eller gott i sig, utan snarare är det hur och när vi använder mått och indikatorer som är det centrala. Och kanske än viktigare i min egen forskning har varit att fråga sig varför vi mäter och räknar. Ofta mäter vi bara för att vi tror att vi måste – det är en ritual som behövs för ge legitimitet för handlingar och beslut, men vad måtten verkligen förmedlar förbli oklart.

Här är egentligen föreläsningen slut men nu sitter kanske en och annan i publiken och suktar, trots allt, efter lite räknande och mätande  – det har ju varit förvånansvärt lite siffror) (och ni behöver nåt som konkret kan hjälpa er att bedöma kvaliteten i det ni fått höra), och därför kommer här som en bonus några mätpunkter: anförandet tog exakt 31 minuter (något långsammare än när jag repeterade, det skrivan manuset innehöll ord (3747 ord), antalet själförfattade bloggposter och kapitel som jag stulit text ifrån till denna föreläsning är 7,  13 andra forskare har nämnts, varav 6 kvinnor, 7 män, utöver dessa har även fyra djur, kalven, suggan, hästen och killingen, förekommit.

Flertalet av de jag samarbetat med under åren nämns dock inte, men de räknas ändå. Utan alla goda kollegor – många av dem här en hel del på andra på annat håll – min familj (särskilt Linda min första och bästa läsare), och vänner så hade det inte varit nån professorsföreläsning. Inte heller efterföljande bubbel och mingel.

Tack, jag är så glad att ni är här idag, och nu har ni lyssnat klart.

Skärmavbild tagen av Jesse Dinneen

Den kvantifierade forskaren och vetenskapens likriktning

Publicerad den av
Svara

Fysikprofessorn Jorge E. Hirsch tvekade, var verkligen den relativt simpla metod för att utvärdera forskare som han skissat på något att publicera? I början på augusti 2005 bestämde sig Hirsch och skickade in det fyra-sidiga manuskript där det index som skulle bära hans namn beskrevs. Hirsch kreation var ett kombinerat mått som påstods mäta både produktivitet och inflytande, och för den som kvickt ville jämföra forskares prestationer så var indikatorns enkelhet lockande. H-indexet blev således snabbt mycket populärt, inte minst eftersom det var enkelt att räkna ut: h-index för en forskare är det antal publikationer (h) av forskaren som citerats minst (h) gånger. Den som författat 7 artiklar som citerats minst 7 gånger vardera har således ett h-index 7. Trots omfattande kritik har måttet fått en central position, om än omstridd, när forskare utvärderas. Rentav har h-index kommit att symbolisera en era präglad av ett stort fokus på mätning och utvärdering av vetenskapen och dess företrädare. Under senare år har också ett allt större vetenskapssociologiskt intresse riktats emot de effekter som det ständiga utvärderandet och mätandet får. Leder mätandet till genuint bättre kvalité på forskningen eller enbart till överproduktion av relativt meningslösa publikationer? Och hur formar utvärderingen karriärer och akademiskt arbete: Ger de goda incitament och neutrala spelregler, eller resulterat de i en individcentrerad tävlan efter mätbara prestationer som uppmuntrar till fusk och manipulering? Dessa frågor kommer dryftas nedan utifrån nedslag i en internationell diskussion kring mätningens konsekvenser inom akademin.

Även om h-indexet är ett relativt nytt påfund så är själva räknandet av publikationer inom akademin knappast något nytt. Tidiga exempel på hur akademiska lärare bedömts utifrån sina publikationsmeriter sträcker sig tillbaka till det moderna universitets födelse i Tyskland, och under det tidiga 1800-talet sägs ryska professorers lön ha varit direkt avhängig den årliga produktionen av vetenskapliga alster. Ursprunget till de mått som idag fått en stor betydelse kan dock spåras till 1970-talets början. Det var då Eugene Garfield, grundaren av Science Citation Index, lanserade det mått som fick namnet ”impact factor”, vilket i praktiken utgjorde en detaljerad rankning av tidskrifter baserat på hur ofta de citeras under en tvåårsperiod. Det sägs att forskare – innan resultaten fanns lättillgängliga på webben – flockades kring de anslagstavlor där de senaste uppdateringarna kring tidskrifternas noteringar annonserades. Journal Impact factor (JIF), som indikatorn kom att kallas, fick ett snabbt genomslag, och upprepade studier har visat hur forskare inte enbart väljer var de ska publicera sina rön utifrån detta mått, utan också vilken forskning de ska bedriva. Tidskrifterna själva basunerar ut eventuella förbättringar på sina hemsidor och tackar även de författare som bidragit till framgången genom att publicera sig i tidskriften. Slutsatserna från de studier som analyserat impact factorns påverkan är tydlig: Istället för att vara ett sätt att mäta om målet, i detta fall god forskningskvalitet, uppnåtts så har indikatorn blivit ett mål i sig. Det viktigaste för en forskares framtida karriär blir då inte att producera relevant och högkvalitativ forskning per se, utan att frambringa publikationer som kan publiceras i högt rankade tidskrifter.

I den inflytelserika boken What are Universities for? (Penguin Press 2012) liknar Stefan Collini effekterna av mätning och utvärdering vid etablerandet av ett ”Champions League” för universitet. Främst syftar han i detta sammanhang på den omfattande utvärderingsapparat – numera med namnet Research Excellence Framework (REF) – som brittisk akademi regelbundet utsätts för. Omfattningen av REF har ökat genom åren och innehåller numera även delar som söker mäta forskningens samhälleliga påverkan. Själva selekteringen av de verk som ska bedömas är nyckeln för den institution som vill påverka sin rankning. Det kan exempelvis vara taktiskt att bara välja de allra bästa publikationerna, det vill säga de alster som publicerats av topprankade tidskrifter och förlag. Detta i sin tur leder enligt kritikerna till en uppdelning av forskare i ett A- och ett B-lag, där de förstnämnda är de vilkas publikationer räknas och värderas. Eftersom professorer med många “excellenta” publikationer blir särskilt värdefulla har även en sorts transfermarknad för akademiker etablerats. Konsekvenserna för den enskilda forskarens karriär och för de enheter som bedöms kan vara betydande. Men utvärderingen förändrar inte bara vem som forskar, utan också vad det forskas på. Val av ämne, problem, metod, och teoretisk inramning påverkas av hur utvärderingenssystemen är konstruerade: Ett tydligt exempel, också detta från brittisk akademi, är hur forskare och vetenskapliga projekt som sträcker sig över disciplinära gränser tenderar att missgynnas.

Just de epistemologiska effekterna av utvärderingen står i centrum för Juan Pablo Pardo-Guerras ingående studie The Quantified Scholar: How Research Evaluations Transformed the British Social Sciences (Columbia University Press 2022). Här studeras förändringar inom samhällsvetenskapernas ämnesmässiga orientering under mer än 30 år, och hur dessa kan relateras till det omfattande utvärderingsmaskineri som präglat brittisk akademi. Dock ska det betonas, som Pardo-Guerra gör, att det är de institutioner som strävar uppåt som starkast tar intryck av utvärderingssystem och rankinglistor. Kända och välrenommerade universitet som Cambridge eller Oxford befinner sig redan på toppen av statushierarkin och behöver därmed inte den bekräftelse som rankningar av olika slag erbjuder. Slående i all den litteratur som studerar utvärderingarnas och mätandets effekter är hur de nästan alltid tenderar att förstärka vedertagna hierarkier. Detta är dock knappast förvånande med tanke på att traditionell peer review och även citeringar tar sin utgångpunkt i en redan existerande prestigeekonomi inom vetenskapen.

Det verkligt nydanande i Pardo-Guerras ambitiösa ansats är att den kombinerar storskaliga studier avseende disciplinära förändringar i ämnesvokabulären med mer kvalitativa metoder. Detta möjliggör en djupare förståelse av hur utvärderingssystemen påverkar inriktning och fokus inom specifika fält och discipliner. En genomgående slutsats är att utvärderingen resulterat i en ökad homogenisering av forskningens innehåll där institutioner exempelvis inom sociologi tenderar att alltmer likna varandra. Oron för en tilltagande likriktning av vetenskapen har hitintills främst dryftats bland humanister och delar av samhällsvetenskapen. Särskilt har förändringar i hur forskningen kommuniceras – där en ökande andel av engelskspråkiga artiklar framhållits – betraktas som en gradvis förlust av humanioras särart till förmån för de traditioner som präglar samhälls- och naturvetenskap. För Pardo-Guerras undersökning står dock förändringar gällande ämne, teori och metod i centrum. En starkt bidragande orsak till likriktningen är det brittiska utvärderingssystemet fokus på excellens där excellens främst förstås som publikationer i topptidskrifter. Dessa, ofta amerikanska, tidskrifter är i sin tur mycket selektiva i vad de publicerar och för att kvalificera sig så behöver forskningen därför ligga nära en tänkt disciplinär kärna. Liknande observationer, då i en svensk kontext, har gjorts av Anders Hylmö, i Disciplined Reasoning: Styles of Reasoning and the Mainstream-heterodoxy Divide in Swedish Economics (Lund 2018).Inom nationalekonomin är fokus på ett antal topptidskrifter – ibland kallade “de fem stora”– än mer uttalat och de normer som gäller för dessa styr de frågor som ställs och de metoder som används. Tesen om en tilltagande homogenisering av ämnesval och därmed också ett stärkande av disciplinära gränser framstår som väl underbyggd i flera nationella och disciplinära kontexter. Däremot är det svårare, för att inte säga direkt omöjligt att finna direkta kausala kopplingar mellan specifika system för utvärdering, och epistemologiska förändringar i forskningens inriktning. Då vetenskapen är situerad i ett vidsträckt utvärderingslandskap som sträcker sig över både land- och disciplingränser blir det snart omöjligt att urskilja effekten av ett specifikt system. Frågan är alltså om den likriktning som Pardo-Guerra observerar är unik för brittisk akademi, eller som det snarare är ett fenomen som präglar vetenskapen i stort. Dock är det uppenbart att mätandet och utvärderandet, oavsett kontext, leder till att mer produceras av det som räknas, och mindre av det som inte räknas.

Hur kan då mångfalden bevaras och den ökade likriktningen hejdas? I detta hänseende framhåller Pardo-Guerra det lokala akademiska ledarskapet som särskilt betydelsefullt för de effekter som utvärderingen kan tänkas få. När chefer anammar mätandet i den dagliga styrningen av verksamheten leder detta till en ökad påverkan på forskningens fokus. Akademiska ledare som däremot medvetet mildrar utvärderandets effekter kan begränsa effekten av indikatorer och externa utvärderingar. Liknande slutsatser drar Johan Söderlind i sin avhandling A Metric Culture in Academia: The Influence of Performance Measurement on the Academic Culture of Swedish Universities (Kungliga Tekniska högskolan, 2020). Det visar sig nämligen att många chefer intar en medlande position då de kontextualiserar och modifierar specifika indikatorer (exempelvis citeringar eller publiceringspoäng) för att kunna använda dem i ett specifikt syfte. Dessutom verkar det vara så att akademiska chefer ofta litar på sin egen erfarenhet av exempelvis bibliometriska mått när de bedömer deras användbarhet. En övergripande slutsats är att prestationsmått – både gällande utbildning och forskning – betraktas som viktiga och användbara, men enligt de akademiska ledare som Söderlind intervjuat så spelar de sällan en direkt avgörande roll när beslut fattas.

Att utvärdering får effekter är knappast förvånande. Att indikatorer och rankningar inbjuder till strategisk manipulering eller rentav fusk torde inte heller vara någon större överraskning. Otaliga exempel finns dokumenterade i litteraturen, och ett av dessa är Ike Antkare som 2010 var en av de mest citerade forskarna i världen. Med ett h-index på 94 i Google Scholar så placerade han sig förre storheter som Albert Einstein och Alan Turing på listan över de som flitigast referats av andra. Antkare – vars namn ska uttydas “Jag bryr mig inte” på engelska – var dock en påhittad figur. Alla de publikationer som räknades denna fiktiva författare tillgodo hade genererats av ett dataprogram, och därefter accepterats av en uppsjö av tvivelaktiga konferenser och tidskrifter. Exemplet Antkare bör kanske i likhet med många liknande bluffar främst ses som ett raffinerat spratt med de mer tveksamma delar av den akademiska publiceringsindustrin. Samtidigt illustrerar de hur enkelt det är att lura systemet, och manipulationer sker ständigt: Den opportunistiska forskaren kan höja sitt index med hjälp av överdrivet självciterande, den sluge redaktören bilda en citeringskartell, och ett universitet kan rekrytera högt citerade forskare bara för att på så sätt stiga i de omtvistade, men ack så inflytelserika rankningarna av lärosäten. Flera av dessa tvivelaktiga och ibland rent bedrägliga beteenden diskuteras i antologin Gaming the Metrics: Misconduct and Manipulation in Academic Research (MIT Press 2020) där Mario Baigioli och Alexandra Lippman samlat en rad bidrag på temat fusk och manipulering. En gemensam ambition från flera författare i denna volym är att visa på hur en akademi som är allt mer fokuserad på mätning också resulterar i en rad nya sätt på vilken aktörer kan fiffla och luras för att tillskansa sig en fördel. Akademins hierarkier är trögrörliga och för den forskare, tidskrift, eller för den delen det lärosäte som snabbt vill höja sitt anseende utgör manipuleringen av publikations- och citeringsmått en möjlighet att snabbt avancera. Om fusk tidigare främst rörde tillblivelsen av forskning genom exempelvis fabrikationen av data, så rör dessa nya tvivelaktiga praktiker även själva publiceringen och dess mottagande i forskarsamhället.

Det mest oroande är dock inte de exempel på riktiga fuskare eller de raffinerade akademiska spratt som återges i antologin. Visst är den tjeckiska forskare som skapade en hel rad av internationella blufftidskrifter i vilka han publicerade artiklar samförfattade med påhittade forskare upprörande, och exemplen – likt Antkare – på hur system kan manipuleras är både underhållande och illustrativa. Men verkligen bekymmersamt är hur gränsen mellan legitim manövrering utifrån de incitament som mått och indikatorer ger och ren cynisk manipulation alltmer ser ut att suddas ut. Exempelvis kan framväxten av tvivelaktiga tidskrifter (ibland kallade rovdjurstidskrifter) ses som avhängig en logik där publicering i internationella tidskrifter utgör en nu snart universell mall för akademisk framgång. För dem som inte har tillgång till de prestigefyllda titlar som tillhandahålls av stora kommersiella förlag blir mer dubiösa initiativ attraktiva. Som Sarah de Rijcke och Tereza Stöckelova hävdar i sitt bidrag: De tveksamma tidskrifterna utgör inte en motpol till de stora förlagen, snarare drar de en kommersiell logik – där internationell excellens och prestige är det främsta säljargumentet – till sin yttersta spets. Vårt fokus bör alltså inte ligga på att urskilja enskilda fuskare. Snarare är det den akademiska spelplanen i sig som behöver reformeras.

Hur kan då detta ske och vilket hopp finns för en verksamhet som är så pass marinerad i mått, indikatorer och utvärderingssystem? Ett första steg för att åstadkomma förändring är att fundera på hur vi hamnade i denna situation. Guerra-Pardo framhåller att vi inte kan reducera fenomenet av den kvantifierade forskaren till ett senmodernt nyliberalt påfund, även om flera styrningsmodeller säkerligen hämtat inspiration från sådana idéströmningar. Inte heller kan forskarsamhället enbart skylla alla dessa mått och indikatorer på utomstående, snarare har vi själva – likt Hirsch – både skapat mått och indikatorer och dessutom låtit dem få den stora betydelse de nu har. Ett erkännande av vetenskapssamhällets eget ansvar bär också på insikten att forskarna själva har stora möjligheter att verka för förändring. Den betydande kritiken mot mätandet och dess konsekvenser har också resulterat i en rad förslag på hur forskningen kan befrias från ”mätandets tyranni”. Ett svar formulerat av ledande bibliometriker har varit att det inte är metoderna och måtten i sig som är problematiska utan hur de (miss)brukas. Lösningen, enligt exempelvis författarna av volymen Becoming Metric Wise (Chandos Publishing 2018) är istället mer avancerade indikatorer och större expertis. Vi behöver inte mindre mått, utan bättre sådana. Emot en sådan ståndpunkt kan det anföras att fler än 100 olika indikatorer för att mäta enskilda forskares produktivitet utvecklats bara under senare år. Jakten på det perfekta måttet, den mest raffinerade indikatorn kommer att fortsätta, men det är knappast någon lösning på de problem som skisserats ovan. En mer skeptisk hållning, ofta inspirerad av en allmän kritik av mätningens effekter såsom den finns formulerad i exempelvis Jerry Mullers The Tyranny of Metrics (Princeton University Press 2018), eller för den delen i Jonna Bornemarks Det omätbaras renässans (Volante 2018), argumenterar snarare för ett avskaffande av bibliometriska mått överhuvudtaget. Ett sådan position intar exempelvis Olof Hallonsten i en nyligen publicerad artikel med den talande titeln ”Stop evaluating science” där han utifrån en historisk och vetenskapssociologisk analys menar att mätandet är direkt skadligt för vetenskapens autonomi och framåtskridande. En tredje ståndpunkt i denna debatt landar i vad som kan betecknas som en realistisk kompromiss. Utgångspunkten för denna position, som vi kan kalla reformistisk, är att bibliometriska indikatorer bör användas med försiktighet och med en ständig medvetenhet om den kontexten där de appliceras. Det så kallade Leidenmanifestet (2015) förespråkar ett sådant synsätt, och dylika tankar har också fått fäste inom EU där en reformation av hur forskning utvärderas har kopplats till en bredare agenda kring öppen vetenskap. Även Pardo-Guerra syns förespråka ett reformistiskt förhållningssätt, där särskilt kollegial tillit och solidaritet framhålls som centrala för att motverka utvärderingsmaskineriets negativa konsekvenser.

När Hirsch långt senare reflekterade över h-indexets genomslag så fann han en parallell i Goethes litterära ballad om Trollkarlens lärling. Det mått han uppfunnit var nu utanför upphovsmannens kontroll och dess effekter var större än Hirsch någonsin kunnat ana. En liknande uppgivenhet kan säkert många uppleva då de ställs inför den uppsjö av utvärderingar och mätningar som präglar den nutida vetenskapen. Det finns dock hopp. För även om kvantifieringen av forskningen svårligen kan stoppas helt så finns det tydliga tecken på en kritisk agenda fått allt större gehör. Kanske är det trots allt möjligt att bryta kvantifikationens förtrollning.

Denna text är en utökad version av artikeln ”Vetenskaplig variant av jakten på retweets” SvD Under strecket, 1/3 2023.

Det svenska bibliometriska landskapet

Publicerad den av
Svara

map

Röda rektanglar (högskolor), cirklar (universitet) och romber (specialiserade universitet och högskolor) indikerar lärosäten där bibliometri används, gröna de som ännu inte använder bibliometri för medelsfördelning.

Nästintill alla svenska lärosäten använder bibliometri, en rad olika indikatorer och mått är i bruk, och få verkar ha reflekterat kring vad det övergripande målet med dessa system är. Så kan resultaten från en studie som Pieta Eklund, Gustaf Nelhans, Fredrik Åström och jag nyss publicerat sammanfattas. Vi fann att bibliometri används vid 24 av 26 undersökta lärosäten, och fördelningen av medel sker på en rad olika nivåer: fakultet, institution och individ. Bara två lärosäten – Chalmers och Handelshögskolan i Stockholm – avstår från att använda bibliometri. Utan att ha exakta uppgifter kring bruket i andra länder så kan man med fog påstå att detta gör det svenska forskningssystemet till ett av de mest ”bibliometrifierade”. Det finns säkerligen flera anledningar till varför det ser ut på detta sätt, men vår studie pekar specifikt på det nationella system för medelsfördelning som infördes 2009 som en huvudorsak. Flera lärosäten anger också att medelstilldelningen inom lärosätet syftar till förbättra utdelningen i den bibliometriska omfördelning som sker nationellt.

Generellt används tre olika indikatorer vid svenska lärosäten: de som baseras på publikationer, de som använder sig av citeringar och de som bygger på en kombination av de båda. Vanligen väljer mindre högskolor publikationsbaserade indikatorer, inte sällan varianter av det norska systemet där olika publikationstyper ges poäng beroende på typ (tidskriftsartikel, monografi, bokkapitel) och nivå (1 eller 2). Vid de större universiteten är flera olika system parallellt i bruk, och endast Karolinska institutet och KTH fördelar medel enbart baserat på citeringar. Vid några lärosäten, till exempel Umeå, så används bibliometri för att fördela på flera nivåer: mellan fakulteterna, mellan institutioner och mellan individer. Medräknat den nationella nivån så kan alltså en enskild publikation räknas inte mindre än tre gånger, och till detta kan andra typer av mätningar och rankingar adderas.

Umeå

Illustration av system för medelstilldelning vid Umeå universitet (från Hammarfelt, Nelhans, Eklund och Åström, s. 9)

Förutom att kartlägga det utbredda användandet av bibliometriska indikatorer i Sverige så tittade vi också lite närmare på hur de introduceras, dokumenteras och appliceras. Då fann vi bland annat att:

  • bibliometriska fördelningsmodeller ofta införs med argumentet att de används av andra, eller så motiveras de utifrån utvärderingssystem på nationell nivå. Mer sällan ses fördelningsmodellerna som ett verktyg för att uppnå lärosätets egna målsättningar och visioner.
  • resursfördelningssystemen i allmänhet är illa dokumenterade och få, även på ledande administrativa positioner, verkar förstå hur de fungerar.
  • traditionella bibliometriska mått används, inget lärosäte begagnar sig av alternativa mätmetoder (t.ex. altmetri), och tillgänglighet (open access) räknas inte som meriterande i någon modell.
  • modeller som explicit utvecklats för att fördela resurser på aggregerade nivåer används för att utvärdera mindre grupper och i flera fall individer. Detta trots att bibliometrisk expertis relativt entydigt (se till exempel Leidenmanifestet) avråder från sådan användning.
  • vid ett par lärosäten belönas individuella forskare för publikationer där en artikel i ‘rätt’ tidskrift kan ge så mycket som 70.000 kr i tillskjutna forskningsmedel. En praktik som ger tydliga incitament, enligt mitt tycke, för tydliga.
  • vi förvånas över att dessa utvärderingssystem i mycket liten grad själva utvärderas. De införs, ofta utan något större förarbete, och sedan sker ingen uppföljning.

Avslutningsvis kan det konstateras att vi nu kanske nåt en bibliometrins höjdpunkt i Sverige, fler universitet och högskolor än någonsin tidigare använder sig av dessa mätmetoder, och flera har precis lanserat eller utreder möjligheten att införa prestationsbaserad resurstilldelning på bibliometrisk grund. Samtidigt är ett nytt nationellt utvärderingssystem under utredning, FOKUS, och skulle detta införas så lär säkerligen förändringar ske runtom på svenska lärosäten. För är det något denna studie visar så är det att trendkänsligheten är stor inom den svenska forskningsadministrationen.

Vad vi vet om bibliometrins effekter

Publicerad den av
2

Metric_tide_literature_review

Sedan länge är det känt att mätandet i sig förändrar det som mäts. Att vetenskapen och forskarna påverkas av att ett allt flitigare räknande av citeringar och publikationer torde därför vara oomtvistat, men hur ser denna påverkan ut? Det brittiska forskningsrådet Higher Education Funding Council for England (HEFCE) initierade nyligen en första genomgripande översikt av den forskningen som försökt att besvara detta spörsmål och slutsatserna i rapporten The Metric Tide, som publicerades idag, kan  sammanfattas i fyra punkter:

1. Strategiskt förhållningssätt och målförskjutning

Införandet av kvantitativa indikatorer innebär alltid en risk att forskare börjar fokuserar mer på att få höga poäng, enligt de kvalitetsmått som formulerats, snarare än på att bedriva högkvalitativ och nydanande forskning. Tecken på en sådan målförskjutning kan till exempel ses i Australien där räknandet av antalet artiklar ledde till fler publikationer, men publikationernas internationella genomslag minskade

2. Inskränkning av arbetsuppgifter

Bibliometrisk utvärdering belönar vissa specifika insatser samtidigt som andra verksamheter ger få eller inga poäng. Oftast är det internationella (läs engelskspråkiga) tidskriftsartiklar som premieras på bekostnad av andra typer av publikationer och arbetsinsatser. Störst påverkan har sådana system inom humaniora och delar av samhällsvetenskapen där tidskriftsartikeln ännu inte är den dominerande kommunikationskanalen. Tecken finns dock på att även dessa fält alltmer anpassar sig till den norm som råder inom andra discipliner (se till exempel förändringar i publikationsmönstren vid Uppsala Universitet). En betydande risk är också att forskare i allt mindre grad vänder sig till en inhemsk populärvetenskaplig publik då sådana publikationer inte ger utslag i utvärderingssystemen.

3. Institutionella effekter

Universitet och högskolor kan inte heller undgå att påverkas av bibliometriska mätningar. Universitetsrankingarnas betydelse för universitetens självbild är uppenbar, och att rankas högt i dessa blir allt viktigare. Forskningspolitiskt spelar rankingar också en betydande roll, och bara för nåt år sedan så kom ett seriöst förslag som gick ut på att skapa ett svenskt superuniversitet för att på så vis stiga i rankingen. Lärosätena måste också förhålla sig till nationella omfördelningssystem där den svenska modellen resulterat i lokala varianter, samtidigt som den brittiska motsvarigheten RAE skapat en transfermarknad – inte helt olik den som existerar inom fotbollen – för forskare som genererar höga poäng för sitt universitet.

4. Konsekvenser för kunskapsproduktionen

Hur bibliometriska mått påverkar kunskapsproduktionen mer generellt är svårt att överblicka, och kanske är det ännu för tidigt att redan nu identifiera djupgående förändringar i forskningens praktik. I många fall så är dock bibliometriska mått, som Journal Impact Factor (JIF), sedan länge etablerade och integrerade i det dagliga arbetet. Exempelvis så används JIF för att skilja mellan deskriptiv och nydanande forskning inom biomedicin. Undersökningar av hur bibliometriska utvärdering påverkar forskningens praktik måste därför också inbegripa studier av hur citeringsmått och andra indikatorer används i forskarnas vardag.

Trots dessa fyra punkter är vår kunskap om bibliometrins effekter knapphändig. Flera av de studier som översikten bygger på är begränsade till en kort tidsperiod och de säger mycket lite om utvärderingens långsiktiga effekter. Andra undersökningar erbjuder mer detaljerade analyser av en specific kontext men det är svårt att avgöra om resultaten är applicerbara mer generellt. Ofta studeras förändringar i publikationsmönster, men de trender som identifieras (t.ex. högre andel engelskspråkiga tidskriftsartiklar) behöver inte nödvändigtvis vara en konsekvens av bibliometrisk utvärdering. Vidare så verkar bibliometriska mått på flera nivåer (individ, institution, universitet, nation) och att urskilja effekterna av ett specifikt system är därför mycket svårt. Förhoppningsvis kan en kombination av större kvantitativa studier och mer kontextualiserade kvalitativa ansatser ta oss en bit på vägen. Det vi vet tyder dock på att användning av bibliometriska mått kan få konsekvenser i form av en ökad likriktning av vetenskapliga fält och en reduktion av forskarrollen. Sådana förändringar synes stå i direkt opposition till en forskningspolitik som syftar till mer samverkan, större öppenhet och ökad samhällelig relevans.

Vetenskapens Tony Gates? New public management och bibliometrisk utvärdering av forskning

Publicerad den av
1

IMG_0171

I den första säsongen av den prisbelönta serien Line of Duty (2012) misstänks kriminalkommissarien Tony Gates för korruption och tjänstefel. Ett av de brott han misstänks för är “stacking”: att överdriva antalet begångna brott vid gripanden för att höja den egna uppklarandegraden. På detta sätt har han bland annat tillskansat sig titeln som “årets polis”. Liknande strategiska beteenden för att uppfylla kvalitetsmått har länge debatterats också inom sjukvården (se till exempel Maciej Zarembas uppmärksammade reportageserie). I kölvattnet av denna debatt har också frågan om hur New Public management och liknande idéer har influerat styrningen av högre utbildningen och forskning diskuterats. Ett problem med denna typ av styrning är att det lätt uppstår konflikter mellan vad professionen anser som viktigast och det som systemen anbefaller. I fallet Tony Gates rör det sig om att prioritera fall som är lätta att lösa, och i sjukvården kan mer ”enkla” behandlingar, som benbrott, prioriteras framför psykologiska åkommor som är svårbehandlade och långvariga. Inom forskningen kan vi se exempel på ’stacking’ när forskare kramar ut så många publikationer ur ett projekt som bara möjligt; så kallad “Salamipublicering” (företeelsen går också under benämningen least-publishable-unit). Vidare kan också mer strategiska överväganden ske då forskare kan tänkas satsa på relativt ’säkra’ eller kortsiktiga projekt som med stor sannolikhet kan utmynna i publicerbara resultat snarare än att satsa på mer riskabel och utdragen men potentiellt mer nydanande forskning.

Denna typ av kvantitativa kvalitetsmått förknippas ofta med New public management (NPM). NPM är på intet sätt ett nytt fenomen, och det finns forskare som hävdar att det rentav spelat ut sin roll i den nya digitala eran. New public management är heller inget entydigt begrepp utan snarare en svepande benämning på hur idéer hämtade från näringslivet har kommit att påverka hur offentliga verksamheter styrs. Storbritannien under Thatcher var ledande i utvecklingen men länder som Australien, Danmark, Nederländerna och Sverige har följt efter. Ekonomen Roland Almquist menar att det finns flera förklaringar till framväxten av NPM. En förklaring är att gamla styrsätt blivit föråldrade i och med införandet av nya informationssystem, och ett annat att ökad press på ekonomisk återhållsamhet inom offentlig verksamhet har lett till en efterfrågan av nya styrredskap. Den mest vanliga förklaringen, åtminstone bland kritikerna, är dock att NPM är ett resultat av högerliberala idéer om marknadens primat. Dock kan NPM också ses i relation till en mer allmän tendens där offentlig verksamhet ska hållas ansvarig (accountable) inför medborgare och skattebetalare.

NPM har inneburit att offentliga verksamheter allt mer har kommit att präglas av tre M: managers, mätning och marknad. (se till exempel Ferlie et al.). Dessa tre M påverkar givetvis akademin i olika grad, och här kommer jag mer specifikt att fokusera på mätning. Det kan dock konstateras att de tre M:en är kopplade: ökad mätning möjliggör administrativ styrning (managers) vilket i sin tur medför att den professionella styrningen ifrågasätts. På senare tid har just professionaliteten varit ett ämne för debatt, och framväxten av ett det ‘administrativa lärosätet’ har länge kritiserats. Den bibliometriska mätningen som vi här intresserar oss för bidrar också, genom mått på individuella prestationer och genom universitetsrankingar av olika slag, till etablerandet av en ‘akademisk marknad’ av publikationer, citeringar och forskare. Dock ska NPM:s verkningar inom akademin inte heller överdrivas – kollegialiteten är forfarande stark på många håll och få andra professioner besitter den autonomi som universitetslärare har. Detta gör sektorn svårstyrd och disciplinära traditioner väger ofta, men inte alltid, tyngre än krav från administrativa system.

En respons på debatten kring NPM inom offentlig sektor är en specifik satsning, utlyst av Riksbankens Jubileumsfond. Med projektet Forskningen granskad: Användningen av prestationsindikatorer för att mäta akademisk forskning, praktiker och effekter har Fredrik Åström och jag förmånen att vara en del av denna ansats som omfattar ett flertal initiativ där bland annat sjukvård, skolor och högre utbildning studeras. Inom detta projekt kommer vi att utforska de system som alltmer används för att ‘mäta forskning’ vid svenska lärosäten, och hur dessa system i sin tur återspeglas i forskarnas praktiker. Har omförhandlingar skett i synen på hur man bedriver sin forskning? Finns det tendenser till att bibliometrisk utvärdering påverkar formulerandet av projekt? Och har förändringar skett vad det gäller publiceringspraktiker? Det finns indikationer på att införandet av prestationsbaserad resurstilldelning har medfört förändringar i hur forskare publicerar, men större och mer omfattande studier krävs.

Det finns alltid exempel, som kriminalinspektör Tony Gates, på individer som utnyttjar luckor i systemet, och att designa utvärderingssystem som helt omöjliggör sådant beteende är knappast görligt. Att addera ytterligare kontrollfunktioner framstår heller inte som rätt väg att gå. Istället bör vi fundera på vid vilka tillfällen utvärdering och detaljstyrning ökar kvaliteten och vid vilka de snarare medför ett ökat fokus på kvantitativ måluppfyllelse. Förhoppningsvis kan projekten i RJ:s satsning bidra med nya insikter i denna fråga.

Foto: Fredrik Åström, Lunds Universitet.

FOKUS och riskerna med ”informerad peer review”

Publicerad den av
3

Innan jul publicerades Vetenskapsrådets förslag på hur svenska forskning ska utvärderas nationellt. Utvärderingssystemet skall med sex års interval (fyra år inledningsvis) användas för att fördela resurser mellan svenska lärosäten. Enligt planerna ska den första utvärderingen presenteras 2018. FOKUS, som förslaget heter, är till stora delar modellerat efter det system som använts i Storbritannien sedan 1984 (RAE sedan 2014 REF). Delar av utvärderingsprocessen, och då speciellt användandet av bibliometri, är däremot utformat efter det australiensiska systemet ERA (Excellence in Research for Australia).

Reaktionerna kring förslaget har varit delade sedan det presenterades på DN debatt. En replik från Sveriges universitetslärares förbund vände sig mot hela iden kring att utvärdera forskning på detta vis. Invändningen är rimlig då forskningen ständigt blir bedömd; vid tjänstetillsättningar, vid publicering och när ansökningar skickas till forskningsråd. På lärosätesnivå så bedöms och värderas redan svenska lärosäten i ett tjugotal internationella och nationella rankingar. Att hävda att svensk forskning behöver ytterligare konkurrens för att utvecklas framstår därmed som ett relativt ihåligt argument. Det finns också få bevis för att övergripande utvärderingssystem av forskning har någon större kvalitetshöjande effekt (om vi nu överhuvudtaget kan definera och operationalisera “kvalité” i denna kontext). Dock kan publiceringsmönster, åtminstone initialt, påverkas, men ökad internationell publicering eller en större andel tidskriftsartiklar kan knappast i sig sägas vara ett entydigt tecken på högre forskningskvalité. Trots det skrala empiriska underlaget så anses det som självklart att utvärdering alltid är nödvändig och utvecklande. Den mest genomgripande analysen av den rituella betydelsen som utvärderingen fått i alla typer av verksamheter ges av den danske statsvetaren Peter Dahler-Larsen i The Evaluation Society. Där skriver han att det nästintill är omöjligt att vara motståndare till utvärdering i dagens samhälle, men däremot kan man kritisera hur utvärderingen går till. Så låt oss motvilligt godta den dåligt underbyggda tesen att all verksamhet systematisk bör utvärderas då detta garanterar kvalitet och framgång, och istället koncentrera oss på hur forskning ska utvärderas snarare än om den ska utvärderas. Hur står sig då VRs förslag?

Först och främst måste det framhållas att FOKUS är ett förhållandevis brett framarbetat och välunderbyggt förslag, och det inte minst om vi jämför med det nuvarande systemet, byggt på på externa anslag och bibliometriska indikatorer, som infördes 2009. Vidare finns det en tydlig plan för hur modellen ska implementeras, och pilotstudier är inplanerad. En ytterligare fördel med systemet är att det inte bara fördelar resurser utan att det också ger möjlighet till kvalificerad feedback till lärosätena.

FOKUS är dock relativt kostsamt (170 miljoner) jämfört med en bibliometrisk fördelningsmodell, och det finns de som hävdar att resultaten blir snarlika oavsett metod. Det ska dock betonas att kostnaderna faktisk är beräknande i VRs förslag vilket inte alltid är fallet när utvärderingsystem ska implementeras.

Vid ett första påseende så framstår ämnesindelningen som ett potentiellt problem, då många paneler kan tänkas bli så breda att egentliga ‘peers’ knappast kommer göra bedömningen. Detta måste inte vara ett problem om bedömningspanelerna sätts ihop på ett välavägt sätt. Värre är det för tvärvetenskapliga fält som tenderar att missgynnas i system av detta slag då riskerna finns att interdisciplinär forskning hamnar mellan stolarna. Vetenskapsrådet berör denna problematik och säger sig ha infört flera komponenter som ska motverka liknande effekter, men om detta är nog återstår att se. Överlag så diskuteras den omfattande kritik (se bland annat här och här) som riktats mot RAE/REF mycket lite i VRs förslag och kanske vore det lämpligt att tydligare ta tillvara erfarenheterna från det brittiska systemet.

VRs förslag innebär en helomvändning från ett system byggt på bibliometriska indikatorer till en modell där kollegial granskning är dominerande. Dock kommer bibliometrin i form av fältnormaliserad citeringsdata fortfarande spela en avgörande roll för de fält (naturvetenskap och lantbruksvetenskap, teknikvetenskap och medicin) där detta ansetts tillämpligt. En sådan kombination av kollegial granskning och bibliometri kallas för “informerad peer review”. Utgångspunkten är att kollegial bedömning ska kompletteras med bibliometrisk data, och i teorin torde ett sådant system delvis kunna kompensera för de problem som finns med modeller som enbart använder sig av peer review eller bibliometri. Dock finns inga detaljerade instruktioner för hur processen med ‘informerad peer review’ ska gå till. När i processen introduceras bibliometriska mått, och hur presenteras de? Får panelerna hjälp med att tolka data, eller lämnas den över “rå”? Kommer paneldeltagarna informeras om de underliggande premiserna för att bedöma det bibliometrisk underlaget, eller kommer expertis på området anlitas? Risken finns att så kallade “folkteorier” kring citeringars betydelse blir gällande i bedömningssituationen och att ett mer reflekterat förhållningsätt då får stå tillbaka. Att normalisera citeringsdata är nödvändigt men sådana procedurer kan på intet sätt ersätta en djupare förståelse för citeringsmåttets komplexitet.

Potentiellt kan också meningsskiljaktigheter uppstå när panelerna bedömer vetenskapsområden där forskningen kommuniceras på olika sätt. Trots att citeringarna är fältnormaliserade så kan det bli svårt att jämföra mellan skilda forskningsfält, och möjligheten att bli citerad kan också variera avsevärt inom discipliner. Användandet av bibliometri kan därmed leda till att disciplinära avgränsningar stärks och bedömare kan komma att försvara den publicerings- och citeringskultur som de själva företräder.

Slutligen finns det en överhängande risk att det bibliometriska underlaget får en större betydelse än vad som initialt är avsett. När väl siffror, och därmed en implicit ranking, har introducerats så är de svåra att bortse från i vidare diskussioner. Om den kollegiala granskningen ska vara oberoende så bör citeringsdata lämpligen introduceras i slutet av bedömningsprocessen.

Om det nu är så att ett övergripande utvärderingssystem är ofrånkomligt så framstår VRs förslag, med en travestering på Churchills berömda ord om demokratin, som det sämsta förslaget undantaget alla andra förslag. Dock behöver det utvecklas ytterligare och inte minst borde det göras tydligt hur bibliometrin är tänkt att användas. De som fortfarande är kritiska kan trösta sig med att utvärderingssystemen generellt har mindre betydelse än vad vi föreställer oss, och att det säkert snart kommer bytas ut mot en ny och “bättre” modell.

Hur reagerar forskare på bibliometrisk utvärdering?

Publicerad den av
2

Under senare år har bibliometrisk utvärdering, ofta med utgångspunkt i antalet citeringar eller antalet publikationer, blivit en etablerad metod för att fördela resurser mellan forskare, institutioner och lärosäten. Hur detta påverkar den enskilde forskaren är en central fråga i min forskning. I en nyligen sammanställd studie – Accountability in context – utgår Sarah de Rijcke (Leidens Universitet) och jag från publiceringsmönster och forskningspraktiker vid den historisk-filosofiska fakulteten vid Uppsala Universitet. Undersökningen, som bygger på publikationer från 2006-2013, visar att tidskriftsartiklar på engelska har ökat substantiellt (se nedan) och detsamma gäller för andelen publikationer som registreras som “referegranskade”. Dessa förändringar kan inte direkt härledas till nyligen implementerade utvärderingssystem, men det kan konstateras att den utveckling som vi iakttagit ligger helt i linje med de incitatment som finns i dessa fördelningsmodeller.

Yearly changes

Studien kompletteras av en enkät där forskare vid fakulteten besvarat frågor kring publiceringspraktiker och eventuella förändringar av dessa. Flera respondenter påtalar ett större fokus på engelskspråkiga tidskriftspublikationer. Reaktionerna på denna utveckling är delade; vissa forskare ser förändrade publiceringspraktiker som ett hot mot humanioras särart samtidigt som andra välkomnar ett större fokus på en internationell publik. Svaren indikerar att bibliometrisk evaluering, men också krav på open access, ofta hamnar i konflikt med disciplinära normer. Samtidigt rankas ‘icke-epistemisk’ påverkan lågt när forskare värderar de faktorer som påverkar valet av publikationskanal (se nedan). Vidare visar tidigare studier av utvärdering och utvärderingssystem att påverkan på praktiker och attityder inom organisationer ofta är liten; speciellt i fält där institutionella normer är starka. Således bör vi vara försiktiga med att dra för långtgående slutsatser om de effekter som utvärderingssystem har.

factors

Den aktuella studien är begränsad och ambitionen är att bredda undersökningen till att omfatta fler forskningsfält samt att titta på hur intervjuer och etnografiska metoder kan bidra till att belysa frågan. Det finns alltså all anledningen att återkomma till ämnet framöver.

Studien finns nu publicerad i Research Evaluation.