Det svenska bibliometriska landskapet

map

Röda rektanglar (högskolor), cirklar (universitet) och romber (specialiserade universitet och högskolor) indikerar lärosäten där bibliometri används, gröna de som ännu inte använder bibliometri för medelsfördelning.

Nästintill alla svenska lärosäten använder bibliometri, en rad olika indikatorer och mått är i bruk, och få verkar ha reflekterat kring vad det övergripande målet med dessa system är. Så kan resultaten från en studie som Pieta Eklund, Gustaf Nelhans, Fredrik Åström och jag nyss publicerat sammanfattas. Vi fann att bibliometri används vid 24 av 26 undersökta lärosäten, och fördelningen av medel sker på en rad olika nivåer: fakultet, institution och individ. Bara två lärosäten – Chalmers och Handelshögskolan i Stockholm – avstår från att använda bibliometri. Utan att ha exakta uppgifter kring bruket i andra länder så kan man med fog påstå att detta gör det svenska forskningssystemet till ett av de mest ”bibliometrifierade”. Det finns säkerligen flera anledningar till varför det ser ut på detta sätt, men vår studie pekar specifikt på det nationella system för medelsfördelning som infördes 2009 som en huvudorsak. Flera lärosäten anger också att medelstilldelningen inom lärosätet syftar till förbättra utdelningen i den bibliometriska omfördelning som sker nationellt.

Generellt används tre olika indikatorer vid svenska lärosäten: de som baseras på publikationer, de som använder sig av citeringar och de som bygger på en kombination av de båda. Vanligen väljer mindre högskolor publikationsbaserade indikatorer, inte sällan varianter av det norska systemet där olika publikationstyper ges poäng beroende på typ (tidskriftsartikel, monografi, bokkapitel) och nivå (1 eller 2). Vid de större universiteten är flera olika system parallellt i bruk, och endast Karolinska institutet och KTH fördelar medel enbart baserat på citeringar. Vid några lärosäten, till exempel Umeå, så används bibliometri för att fördela på flera nivåer: mellan fakulteterna, mellan institutioner och mellan individer. Medräknat den nationella nivån så kan alltså en enskild publikation räknas inte mindre än tre gånger, och till detta kan andra typer av mätningar och rankingar adderas.

Umeå

Illustration av system för medelstilldelning vid Umeå universitet (från Hammarfelt, Nelhans, Eklund och Åström, s. 9)

Förutom att kartlägga det utbredda användandet av bibliometriska indikatorer i Sverige så tittade vi också lite närmare på hur de introduceras, dokumenteras och appliceras. Då fann vi bland annat att:

  • bibliometriska fördelningsmodeller ofta införs med argumentet att de används av andra, eller så motiveras de utifrån utvärderingssystem på nationell nivå. Mer sällan ses fördelningsmodellerna som ett verktyg för att uppnå lärosätets egna målsättningar och visioner.
  • resursfördelningssystemen i allmänhet är illa dokumenterade och få, även på ledande administrativa positioner, verkar förstå hur de fungerar.
  • traditionella bibliometriska mått används, inget lärosäte begagnar sig av alternativa mätmetoder (t.ex. altmetri), och tillgänglighet (open access) räknas inte som meriterande i någon modell.
  • modeller som explicit utvecklats för att fördela resurser på aggregerade nivåer används för att utvärdera mindre grupper och i flera fall individer. Detta trots att bibliometrisk expertis relativt entydigt (se till exempel Leidenmanifestet) avråder från sådan användning.
  • vid ett par lärosäten belönas individuella forskare för publikationer där en artikel i ‘rätt’ tidskrift kan ge så mycket som 70.000 kr i tillskjutna forskningsmedel. En praktik som ger tydliga incitament, enligt mitt tycke, för tydliga.
  • vi förvånas över att dessa utvärderingssystem i mycket liten grad själva utvärderas. De införs, ofta utan något större förarbete, och sedan sker ingen uppföljning.

Avslutningsvis kan det konstateras att vi nu kanske nåt en bibliometrins höjdpunkt i Sverige, fler universitet och högskolor än någonsin tidigare använder sig av dessa mätmetoder, och flera har precis lanserat eller utreder möjligheten att införa prestationsbaserad resurstilldelning på bibliometrisk grund. Samtidigt är ett nytt nationellt utvärderingssystem under utredning, FOKUS, och skulle detta införas så lär säkerligen förändringar ske runtom på svenska lärosäten. För är det något denna studie visar så är det att trendkänsligheten är stor inom den svenska forskningsadministrationen.

Vad vi vet om bibliometrins effekter

Metric_tide_literature_review

Sedan länge är det känt att mätandet i sig förändrar det som mäts. Att vetenskapen och forskarna påverkas av att ett allt flitigare räknande av citeringar och publikationer torde därför vara oomtvistat, men hur ser denna påverkan ut? Det brittiska forskningsrådet Higher Education Funding Council for England (HEFCE) initierade nyligen en första genomgripande översikt av den forskningen som försökt att besvara detta spörsmål och slutsatserna i rapporten The Metric Tide, som publicerades idag, kan  sammanfattas i fyra punkter:

1. Strategiskt förhållningssätt och målförskjutning

Införandet av kvantitativa indikatorer innebär alltid en risk att forskare börjar fokuserar mer på att få höga poäng, enligt de kvalitetsmått som formulerats, snarare än på att bedriva högkvalitativ och nydanande forskning. Tecken på en sådan målförskjutning kan till exempel ses i Australien där räknandet av antalet artiklar ledde till fler publikationer, men publikationernas internationella genomslag minskade

2. Inskränkning av arbetsuppgifter

Bibliometrisk utvärdering belönar vissa specifika insatser samtidigt som andra verksamheter ger få eller inga poäng. Oftast är det internationella (läs engelskspråkiga) tidskriftsartiklar som premieras på bekostnad av andra typer av publikationer och arbetsinsatser. Störst påverkan har sådana system inom humaniora och delar av samhällsvetenskapen där tidskriftsartikeln ännu inte är den dominerande kommunikationskanalen. Tecken finns dock på att även dessa fält alltmer anpassar sig till den norm som råder inom andra discipliner (se till exempel förändringar i publikationsmönstren vid Uppsala Universitet). En betydande risk är också att forskare i allt mindre grad vänder sig till en inhemsk populärvetenskaplig publik då sådana publikationer inte ger utslag i utvärderingssystemen.

3. Institutionella effekter

Universitet och högskolor kan inte heller undgå att påverkas av bibliometriska mätningar. Universitetsrankingarnas betydelse för universitetens självbild är uppenbar, och att rankas högt i dessa blir allt viktigare. Forskningspolitiskt spelar rankingar också en betydande roll, och bara för nåt år sedan så kom ett seriöst förslag som gick ut på att skapa ett svenskt superuniversitet för att på så vis stiga i rankingen. Lärosätena måste också förhålla sig till nationella omfördelningssystem där den svenska modellen resulterat i lokala varianter, samtidigt som den brittiska motsvarigheten RAE skapat en transfermarknad – inte helt olik den som existerar inom fotbollen – för forskare som genererar höga poäng för sitt universitet.

4. Konsekvenser för kunskapsproduktionen

Hur bibliometriska mått påverkar kunskapsproduktionen mer generellt är svårt att överblicka, och kanske är det ännu för tidigt att redan nu identifiera djupgående förändringar i forskningens praktik. I många fall så är dock bibliometriska mått, som Journal Impact Factor (JIF), sedan länge etablerade och integrerade i det dagliga arbetet. Exempelvis så används JIF för att skilja mellan deskriptiv och nydanande forskning inom biomedicin. Undersökningar av hur bibliometriska utvärdering påverkar forskningens praktik måste därför också inbegripa studier av hur citeringsmått och andra indikatorer används i forskarnas vardag.

Trots dessa fyra punkter är vår kunskap om bibliometrins effekter knapphändig. Flera av de studier som översikten bygger på är begränsade till en kort tidsperiod och de säger mycket lite om utvärderingens långsiktiga effekter. Andra undersökningar erbjuder mer detaljerade analyser av en specific kontext men det är svårt att avgöra om resultaten är applicerbara mer generellt. Ofta studeras förändringar i publikationsmönster, men de trender som identifieras (t.ex. högre andel engelskspråkiga tidskriftsartiklar) behöver inte nödvändigtvis vara en konsekvens av bibliometrisk utvärdering. Vidare så verkar bibliometriska mått på flera nivåer (individ, institution, universitet, nation) och att urskilja effekterna av ett specifikt system är därför mycket svårt. Förhoppningsvis kan en kombination av större kvantitativa studier och mer kontextualiserade kvalitativa ansatser ta oss en bit på vägen. Det vi vet tyder dock på att användning av bibliometriska mått kan få konsekvenser i form av en ökad likriktning av vetenskapliga fält och en reduktion av forskarrollen. Sådana förändringar synes stå i direkt opposition till en forskningspolitik som syftar till mer samverkan, större öppenhet och ökad samhällelig relevans.

Vetenskapens Tony Gates? New public management och bibliometrisk utvärdering av forskning

IMG_0171

I den första säsongen av den prisbelönta serien Line of Duty (2012) misstänks kriminalkommissarien Tony Gates för korruption och tjänstefel. Ett av de brott han misstänks för är “stacking”: att överdriva antalet begångna brott vid gripanden för att höja den egna uppklarandegraden. På detta sätt har han bland annat tillskansat sig titeln som “årets polis”. Liknande strategiska beteenden för att uppfylla kvalitetsmått har länge debatterats också inom sjukvården (se till exempel Maciej Zarembas uppmärksammade reportageserie). I kölvattnet av denna debatt har också frågan om hur New Public management och liknande idéer har influerat styrningen av högre utbildningen och forskning diskuterats. Ett problem med denna typ av styrning är att det lätt uppstår konflikter mellan vad professionen anser som viktigast och det som systemen anbefaller. I fallet Tony Gates rör det sig om att prioritera fall som är lätta att lösa, och i sjukvården kan mer ”enkla” behandlingar, som benbrott, prioriteras framför psykologiska åkommor som är svårbehandlade och långvariga. Inom forskningen kan vi se exempel på ’stacking’ när forskare kramar ut så många publikationer ur ett projekt som bara möjligt; så kallad “Salamipublicering” (företeelsen går också under benämningen least-publishable-unit). Vidare kan också mer strategiska överväganden ske då forskare kan tänkas satsa på relativt ’säkra’ eller kortsiktiga projekt som med stor sannolikhet kan utmynna i publicerbara resultat snarare än att satsa på mer riskabel och utdragen men potentiellt mer nydanande forskning.

Denna typ av kvantitativa kvalitetsmått förknippas ofta med New public management (NPM). NPM är på intet sätt ett nytt fenomen, och det finns forskare som hävdar att det rentav spelat ut sin roll i den nya digitala eran. New public management är heller inget entydigt begrepp utan snarare en svepande benämning på hur idéer hämtade från näringslivet har kommit att påverka hur offentliga verksamheter styrs. Storbritannien under Thatcher var ledande i utvecklingen men länder som Australien, Danmark, Nederländerna och Sverige har följt efter. Ekonomen Roland Almquist menar att det finns flera förklaringar till framväxten av NPM. En förklaring är att gamla styrsätt blivit föråldrade i och med införandet av nya informationssystem, och ett annat att ökad press på ekonomisk återhållsamhet inom offentlig verksamhet har lett till en efterfrågan av nya styrredskap. Den mest vanliga förklaringen, åtminstone bland kritikerna, är dock att NPM är ett resultat av högerliberala idéer om marknadens primat. Dock kan NPM också ses i relation till en mer allmän tendens där offentlig verksamhet ska hållas ansvarig (accountable) inför medborgare och skattebetalare.

NPM har inneburit att offentliga verksamheter allt mer har kommit att präglas av tre M: managers, mätning och marknad. (se till exempel Ferlie et al.). Dessa tre M påverkar givetvis akademin i olika grad, och här kommer jag mer specifikt att fokusera på mätning. Det kan dock konstateras att de tre M:en är kopplade: ökad mätning möjliggör administrativ styrning (managers) vilket i sin tur medför att den professionella styrningen ifrågasätts. På senare tid har just professionaliteten varit ett ämne för debatt, och framväxten av ett det ‘administrativa lärosätet’ har länge kritiserats. Den bibliometriska mätningen som vi här intresserar oss för bidrar också, genom mått på individuella prestationer och genom universitetsrankingar av olika slag, till etablerandet av en ‘akademisk marknad’ av publikationer, citeringar och forskare. Dock ska NPM:s verkningar inom akademin inte heller överdrivas – kollegialiteten är forfarande stark på många håll och få andra professioner besitter den autonomi som universitetslärare har. Detta gör sektorn svårstyrd och disciplinära traditioner väger ofta, men inte alltid, tyngre än krav från administrativa system.

En respons på debatten kring NPM inom offentlig sektor är en specifik satsning, utlyst av Riksbankens Jubileumsfond. Med projektet Forskningen granskad: Användningen av prestationsindikatorer för att mäta akademisk forskning, praktiker och effekter har Fredrik Åström och jag förmånen att vara en del av denna ansats som omfattar ett flertal initiativ där bland annat sjukvård, skolor och högre utbildning studeras. Inom detta projekt kommer vi att utforska de system som alltmer används för att ‘mäta forskning’ vid svenska lärosäten, och hur dessa system i sin tur återspeglas i forskarnas praktiker. Har omförhandlingar skett i synen på hur man bedriver sin forskning? Finns det tendenser till att bibliometrisk utvärdering påverkar formulerandet av projekt? Och har förändringar skett vad det gäller publiceringspraktiker? Det finns indikationer på att införandet av prestationsbaserad resurstilldelning har medfört förändringar i hur forskare publicerar, men större och mer omfattande studier krävs.

Det finns alltid exempel, som kriminalinspektör Tony Gates, på individer som utnyttjar luckor i systemet, och att designa utvärderingssystem som helt omöjliggör sådant beteende är knappast görligt. Att addera ytterligare kontrollfunktioner framstår heller inte som rätt väg att gå. Istället bör vi fundera på vid vilka tillfällen utvärdering och detaljstyrning ökar kvaliteten och vid vilka de snarare medför ett ökat fokus på kvantitativ måluppfyllelse. Förhoppningsvis kan projekten i RJ:s satsning bidra med nya insikter i denna fråga.

Foto: Fredrik Åström, Lunds Universitet.

FOKUS och riskerna med ”informerad peer review”

Innan jul publicerades Vetenskapsrådets förslag på hur svenska forskning ska utvärderas nationellt. Utvärderingssystemet skall med sex års interval (fyra år inledningsvis) användas för att fördela resurser mellan svenska lärosäten. Enligt planerna ska den första utvärderingen presenteras 2018. FOKUS, som förslaget heter, är till stora delar modellerat efter det system som använts i Storbritannien sedan 1984 (RAE sedan 2014 REF). Delar av utvärderingsprocessen, och då speciellt användandet av bibliometri, är däremot utformat efter det australiensiska systemet ERA (Excellence in Research for Australia).

Reaktionerna kring förslaget har varit delade sedan det presenterades på DN debatt. En replik från Sveriges universitetslärares förbund vände sig mot hela iden kring att utvärdera forskning på detta vis. Invändningen är rimlig då forskningen ständigt blir bedömd; vid tjänstetillsättningar, vid publicering och när ansökningar skickas till forskningsråd. På lärosätesnivå så bedöms och värderas redan svenska lärosäten i ett tjugotal internationella och nationella rankingar. Att hävda att svensk forskning behöver ytterligare konkurrens för att utvecklas framstår därmed som ett relativt ihåligt argument. Det finns också få bevis för att övergripande utvärderingssystem av forskning har någon större kvalitetshöjande effekt (om vi nu överhuvudtaget kan definera och operationalisera “kvalité” i denna kontext). Dock kan publiceringsmönster, åtminstone initialt, påverkas, men ökad internationell publicering eller en större andel tidskriftsartiklar kan knappast i sig sägas vara ett entydigt tecken på högre forskningskvalité. Trots det skrala empiriska underlaget så anses det som självklart att utvärdering alltid är nödvändig och utvecklande. Den mest genomgripande analysen av den rituella betydelsen som utvärderingen fått i alla typer av verksamheter ges av den danske statsvetaren Peter Dahler-Larsen i The Evaluation Society. Där skriver han att det nästintill är omöjligt att vara motståndare till utvärdering i dagens samhälle, men däremot kan man kritisera hur utvärderingen går till. Så låt oss motvilligt godta den dåligt underbyggda tesen att all verksamhet systematisk bör utvärderas då detta garanterar kvalitet och framgång, och istället koncentrera oss på hur forskning ska utvärderas snarare än om den ska utvärderas. Hur står sig då VRs förslag?

Först och främst måste det framhållas att FOKUS är ett förhållandevis brett framarbetat och välunderbyggt förslag, och det inte minst om vi jämför med det nuvarande systemet, byggt på på externa anslag och bibliometriska indikatorer, som infördes 2009. Vidare finns det en tydlig plan för hur modellen ska implementeras, och pilotstudier är inplanerad. En ytterligare fördel med systemet är att det inte bara fördelar resurser utan att det också ger möjlighet till kvalificerad feedback till lärosätena.

FOKUS är dock relativt kostsamt (170 miljoner) jämfört med en bibliometrisk fördelningsmodell, och det finns de som hävdar att resultaten blir snarlika oavsett metod. Det ska dock betonas att kostnaderna faktisk är beräknande i VRs förslag vilket inte alltid är fallet när utvärderingsystem ska implementeras.

Vid ett första påseende så framstår ämnesindelningen som ett potentiellt problem, då många paneler kan tänkas bli så breda att egentliga ‘peers’ knappast kommer göra bedömningen. Detta måste inte vara ett problem om bedömningspanelerna sätts ihop på ett välavägt sätt. Värre är det för tvärvetenskapliga fält som tenderar att missgynnas i system av detta slag då riskerna finns att interdisciplinär forskning hamnar mellan stolarna. Vetenskapsrådet berör denna problematik och säger sig ha infört flera komponenter som ska motverka liknande effekter, men om detta är nog återstår att se. Överlag så diskuteras den omfattande kritik (se bland annat här och här) som riktats mot RAE/REF mycket lite i VRs förslag och kanske vore det lämpligt att tydligare ta tillvara erfarenheterna från det brittiska systemet.

VRs förslag innebär en helomvändning från ett system byggt på bibliometriska indikatorer till en modell där kollegial granskning är dominerande. Dock kommer bibliometrin i form av fältnormaliserad citeringsdata fortfarande spela en avgörande roll för de fält (naturvetenskap och lantbruksvetenskap, teknikvetenskap och medicin) där detta ansetts tillämpligt. En sådan kombination av kollegial granskning och bibliometri kallas för “informerad peer review”. Utgångspunkten är att kollegial bedömning ska kompletteras med bibliometrisk data, och i teorin torde ett sådant system delvis kunna kompensera för de problem som finns med modeller som enbart använder sig av peer review eller bibliometri. Dock finns inga detaljerade instruktioner för hur processen med ‘informerad peer review’ ska gå till. När i processen introduceras bibliometriska mått, och hur presenteras de? Får panelerna hjälp med att tolka data, eller lämnas den över “rå”? Kommer paneldeltagarna informeras om de underliggande premiserna för att bedöma det bibliometrisk underlaget, eller kommer expertis på området anlitas? Risken finns att så kallade “folkteorier” kring citeringars betydelse blir gällande i bedömningssituationen och att ett mer reflekterat förhållningsätt då får stå tillbaka. Att normalisera citeringsdata är nödvändigt men sådana procedurer kan på intet sätt ersätta en djupare förståelse för citeringsmåttets komplexitet.

Potentiellt kan också meningsskiljaktigheter uppstå när panelerna bedömer vetenskapsområden där forskningen kommuniceras på olika sätt. Trots att citeringarna är fältnormaliserade så kan det bli svårt att jämföra mellan skilda forskningsfält, och möjligheten att bli citerad kan också variera avsevärt inom discipliner. Användandet av bibliometri kan därmed leda till att disciplinära avgränsningar stärks och bedömare kan komma att försvara den publicerings- och citeringskultur som de själva företräder.

Slutligen finns det en överhängande risk att det bibliometriska underlaget får en större betydelse än vad som initialt är avsett. När väl siffror, och därmed en implicit ranking, har introducerats så är de svåra att bortse från i vidare diskussioner. Om den kollegiala granskningen ska vara oberoende så bör citeringsdata lämpligen introduceras i slutet av bedömningsprocessen.

Om det nu är så att ett övergripande utvärderingssystem är ofrånkomligt så framstår VRs förslag, med en travestering på Churchills berömda ord om demokratin, som det sämsta förslaget undantaget alla andra förslag. Dock behöver det utvecklas ytterligare och inte minst borde det göras tydligt hur bibliometrin är tänkt att användas. De som fortfarande är kritiska kan trösta sig med att utvärderingssystemen generellt har mindre betydelse än vad vi föreställer oss, och att det säkert snart kommer bytas ut mot en ny och “bättre” modell.

Hur reagerar forskare på bibliometrisk utvärdering?

Under senare år har bibliometrisk utvärdering, ofta med utgångspunkt i antalet citeringar eller antalet publikationer, blivit en etablerad metod för att fördela resurser mellan forskare, institutioner och lärosäten. Hur detta påverkar den enskilde forskaren är en central fråga i min forskning. I en nyligen sammanställd studie – Accountability in context – utgår Sarah de Rijcke (Leidens Universitet) och jag från publiceringsmönster och forskningspraktiker vid den historisk-filosofiska fakulteten vid Uppsala Universitet. Undersökningen, som bygger på publikationer från 2006-2013, visar att tidskriftsartiklar på engelska har ökat substantiellt (se nedan) och detsamma gäller för andelen publikationer som registreras som “referegranskade”. Dessa förändringar kan inte direkt härledas till nyligen implementerade utvärderingssystem, men det kan konstateras att den utveckling som vi iakttagit ligger helt i linje med de incitatment som finns i dessa fördelningsmodeller.

Yearly changes

Studien kompletteras av en enkät där forskare vid fakulteten besvarat frågor kring publiceringspraktiker och eventuella förändringar av dessa. Flera respondenter påtalar ett större fokus på engelskspråkiga tidskriftspublikationer. Reaktionerna på denna utveckling är delade; vissa forskare ser förändrade publiceringspraktiker som ett hot mot humanioras särart samtidigt som andra välkomnar ett större fokus på en internationell publik. Svaren indikerar att bibliometrisk evaluering, men också krav på open access, ofta hamnar i konflikt med disciplinära normer. Samtidigt rankas ‘icke-epistemisk’ påverkan lågt när forskare värderar de faktorer som påverkar valet av publikationskanal (se nedan). Vidare visar tidigare studier av utvärdering och utvärderingssystem att påverkan på praktiker och attityder inom organisationer ofta är liten; speciellt i fält där institutionella normer är starka. Således bör vi vara försiktiga med att dra för långtgående slutsatser om de effekter som utvärderingssystem har.

factors

Den aktuella studien är begränsad och ambitionen är att bredda undersökningen till att omfatta fler forskningsfält samt att titta på hur intervjuer och etnografiska metoder kan bidra till att belysa frågan. Det finns alltså all anledningen att återkomma till ämnet framöver.

Studien finns nu publicerad i Research Evaluation.