I ett flertal inlägg i SvD framför professor Inger Enkvist hård kritik mot dagens universitet, vår nuvarande forskningspolitik och användandet av bibliometri. Jag finner hennes övergripande syfte lovvärt men liksom en hel del andra inlägg i den forskningspolitiska debatten så är de till stora delar illa underbyggda, anekdotiska och ofta rent felaktiga i sak. Nedan diskuterar jag några av de påståenden som Enkvist gör kring bibliometri. Hennes ensidiga kritik av administrationen är också problematisk men det finns andra som bättre kan granska dessa påståenden.

Låt oss börja med Enkvists inledande beskrivning:

“I universitetsvärlden är konkurrensen om forskar- och lärartjänster hård, och allt ska gå fort. Ett nytt problem är att forskningskvaliteten nu direkt hotas av en ökande tendens att bedöma forskare efter antal artiklar mer än deras innehåll, counting, not content, en metod kallad bibliometri. Den här trenden har kallats the utility turn, vilket innebär att universitetens administratörer vill kunna mäta vilken ”nytta” som producerats.” (Forskningskvantitet viktigare än kvalitet, SvD, 11 Juni, 2015)

Forskare har länge bedömts utifrån antalet publikationer, och så skedde långt före utvecklandet av mer formaliserade bibliometriska metoder. Idéhistoriken Peter Josephsson visar i en läsvärd studie att tyska professorer redan vid 1700-talets slut bedömdes och anställdes utifrån antalet publicerade verk. En förteckning av professorer och deras verk, Das gelehrte Deutschland, användes för ändamålet och tanken var att berömda författare med stort rykte skulle locka till sig fler studenter. Här räknandes alla publikationer, även barnböcker, och systemet stötte tidigt på kritik som liknar de argument som framförs i dagen debatt.

‘Utility turn’ är dock för mig, och säkerligen för många andra, ett nytt begrepp som efter Enkvists introduktion kan komma att utmana mer etablerade benämningar som ‘New public management’, ‘Audit Society’ och ‘Evaluation Society’.

Vidare så står det klart att bibliometriska mått spelar en stor roll inom akademin. Däremot kan man fråga sig om dessa mått får allt större betydelse. Till exempel är förslaget på nytt nationellt utvärderingsystem i Sverige, FOKUS, baserat på peer review till skillnad från det nuvarande mer bibliometriskt inriktade. Upprop, som DORA och det nyligen publicerade Leidenmanifestet, pekar också mot en större medvetenhet kring riskerna med bibliometrisk utvärdering.

Debattinlägget fortsätter sedan att diskutera bibliometrins effekter: ”Utvärderingar från Australien säger att sedan bibliometri införts publiceras fler artiklar, men den sammanlagda kvaliteten har sjunkit, och ändå håller flera svenska universitet på att införa systemet.” (Forskningskvantitet viktigare än kvalitet) Den undersökning som Enkvist refererar till visar att fler artiklar publicerades men deras citeringsgrad (mätt gentemot ett internationellt snitt) minskade. Den säger alltså mycket lite om någon inneboende kvalité. Det finns de som hävdar att kvalité och impact (antalet citeringar) är samma sak, men givet Enkvists vidare argumentation kring citeringar som kvalitetsmått så antar jag att det inte är hennes ståndpunkt:

“Man får hoppas att banbrytande nya artiklar citeras ofta, men även här finns risker för snedvridning. En citering kan vara tecken på berömmelse snarare än kvalitet. En forskare kan också öka antalet citeringar genom att skapa en liten ”kartell” med andra forskare som arbetar in hänvisningar till varandra i sina texter. Detta torde ha förekommit även tidigare, men nu upphöjs sådana ovanor till kvalitetsindikatorer.” (Forskningskvantitet viktigare än kvalitet, SvD, 11 juni, 2015) .

Till detta kan vi tillägga att idén om så kallade “citeringskarteller” framförs ganska ofta i debatten kring bibliometri, och visst har de förekommit på tidskriftsnivå. Det finns dock inga indikationer, eller systematiska studier, på att sådana beräknande överenskommelser skulle vara särskilt förekommande på individnivå.

Enkvist är dock väl försiktig när hon skriver att flera universitet håller på att införa bibliometri. Faktum är att en stor majoritet av svenska lärosäten använder bibliometri i någon form (även hennes eget om än inte inom humaniora), och varje enskilt lärosäte har sin egen modell för utvärdering. Låt mig här poängtera: bibliometri är inte ett system utan en samling utvärderingsmetoder och därtill ett forskningsfält i sin egen rätt. Det finns ett flertal olika bibliometriska utvärderingssystem med vitt skilda incitament och beräkningsmetoder.

I tidigare inlägg har också Enkvist också kopplat samman användandet av bibliometri med en ökad makt för administrationen, och det finns givetvis visst fog för en sådan argumentation. Hon skriver bland annat “[a]tt bibliometri blivit populärt hos administrationen har att göra med att forskarna är specialiserade på olika områden som administrationen inte kan bedöma. Ändå vill administrationen ”leda” forskarna genom att tilldela forskningspengar eller forskningstid.” (När administrationen leder forskningen, SvD 20 maj, 2015). En sådan argumentation förbiser dock att en stor del av bibliometrianvändningen sker på initiativ från professionen själv, och att utmåla bibliometrin som ett externt vapen i administratörernas tjänst riskerar att fördumma debatten. Givetvis är användandet av bibliometri sammankopplat med bredare organiskatoriska trender i samhället – se till exempel mitt tidigare inlägg om NPM – men det finns också inomvetenskapliga faktorer som är drivande i denna utveckling. Forskarna är därmed inte bara ett offer för illvilliga administratörer utan i hög grad medskapare av dessa system.