Akademin och det kvantifierade jaget

Fig 2

Research gate score

Trenden att mäta och analysera sin egen prestation, eller för den delen sin kropp, med hjälp av digitala hjälpmedel har under senare år fått stor uppmärksamhet. Benämningen ‘the quantified self‘ lanserades redan 2007 av Gary Wolf och Kevin Kelly, och under begreppet samlas nu en hel rörelse. Kvantifieringen begränsar sig dock inte till motions- och rekreationsaktiviteter utan mätningen av jaget har nu också kommit att omfatta andra delar av tillvaron. I artikel Quantified academic selves tittar Sarah de Rijcke, Alex Rushforth och jag närmare på hur ett allt större fokus på mätning av den egna prestationen nu också återfinns inom akademin. Genom att studera två webbplattformar, ResearchGate (RG) och Impactstory, så reflekterar vi kring hur en ökad kvantifiering av det akademiska jaget påverkar forskarnas självbild.

ResearchGate är kanske den mest välkända av dessa två, och enligt den egna webbplatsen har plattformen idag mer än nio millioner användare. Sajten erbjuder användare att skapa en profil där den egna forskningen presenteras, och forskaren kan också följa kollegor för att på så sätt uppdateras kring deras verksamhet. Informationen på RG är koncentrerad till publikationer, och det är främst genom dessa som användare kan höja sin så kallade ‘research gate score’. Introducerandet av ‘RG-score’ och ‘impact points’ för att sammanfatta forskarens produktion och inflytande är det som skiljer RG från liknande webbaserade nätverk som Academia.edu. Dessa mått bygger på en komplicerad, och till stora delar ogenomskinlig sammanräkning av publikationer, deras Impact factor, och allmän aktivitet på sajten. RG-score jämförs sedan automatiskt med andra forskares prestationer och användaren upplyses om sin relativa position (”bättre än 50% av alla registrerade forskare”). Förutom att kalkylera detta mått så skickar ResearchGate ständiga meddelanden till sina användare, där ‘framgångar’ proklameras: ”du har tjugo nya läsare” eller ”dina publikationer har nu citerats 100 gånger”.

I vår analys hävdar vi att RG och liknande tjänster framställer forskning som ett spel där målet är att samla så många poäng som möjligt. Vad dessa plattformar gör är att de ägnar sig åt ‘spelifiering’ (gamification), vilket kort kan sammanfattas som användandet av spelfunktioner i icke-spels kontexter. Spelifiering sägs kunna öka motivationen vid till exempel inlärning, men det har också använts för att höja produktiviteten i tillverkningsindustrin. I fallet RG och Impactstory så uppmanas användaren ständigt att uppdatera sin profil med nya prestationer för att på så sätt avancera till högre nivåer. Exempelvis så kan en användare av Impactstory uppnå nivåerna brons, silver eller guld beroende på hur stor global spridning som forskarens publikationer har fått. Vad vi ser här forskningens motsvarighet till strategispel där varje territorium ses som ett delmål på vägen mot världsherravälde. Likadant kan RGs ständiga uppmaning att ‘uppdatera profilen’ och ‘ladda upp publikationer’ liknas vis det ständiga uppgraderandet av karaktärer i dataspel.

Impact story map

Världskarta illustrerande genomslag i olika länder. Mörkare färg – högre impact. (Impactstory)

Vi menar att kvantifieringen och spelifieringen av forskarens identitet går att koppla till en nyliberaldiskurs där forskaren framställs som en vara på ‘ideernas marknad’. Kopplingen till en marknadsdiskurs är tydlig då både publikationer och forskare beskrivs som en vara med ett exakt värde (min dagsnotering är 14.76) som kan jämföras med andra varor. Med stöd hos Philip Mirowski och hans analys av Facebook så menar vi att RG och liknande sajter förmedlar en entreprenöriell jag-förståelse (se också Alex Rushforths bloggpost på samma tema). Vi påstår inte att idén om forskare som entreprenörer är ny, och tävlan har länge varit en integrerad del av vetenskapen, men dessa plattformar tydliggör och förstärker dessa tendenser. Dock vore det förenklat att helt skylla denna utveckling på alla de fenomen som, ibland lite slappt, sorteras in under det vida begreppet ‘nyliberalism’. Snarare är det så att viljan till ständig (mätbar) förbättring, eller vad Peter Sloterdijk benämner som ‘doktrinen om uppåtsträvande’, har ett djupare ursprung och denna strävan bär också på befriande aspekter.

Vår slutsats är att kvantifieringen och spelifieringen av vetenskapen är förenade med uppenbara faror. De reducerar en mycket komplex verksamhet till några få indikatorer, de bidrar till en förståelse av det akademiska jaget som en produkt som i konkurrens med andra verkar på en marknad och de riskerar att ersätta kollegiala omdömen och inomdisciplinära konversationer med algoritmer. Vidare så finns det konsekvenser av spelifiering – till exempel målförskjutning och fusk – som knappast gynnar forskningen. Med detta sagt bör det dock framhållas att tjänster som GS också har sociala- och kommunicerande funktioner, och de alternativa mått som tillhandahålls av dessa plattformar kan också användas för att ifrågasätta rådande indikatorer och normer. Kvantifiering av det egna jaget kan således vara ett sätt att ta kontroll över hur man själv värderas.

Oavsett hur vi betraktar akademisk självkvantifiering så finns det anledning att noggrant följa hur dessa plattformar, som hittills setts om ganska oskyldiga ‘Facebook för akademiker’, utvecklas. Forskningen kring bibliometrins effekter har främst inriktat sig på att studera konsekvenserna av institutionaliserad utvärdering, men kanske ligger deras största påverkan i det självpåtagna och lekfulla mätandet av det egna jaget.

Om engelskan som vetenskapsspråk(et)

brueghel-tower-of-babel

I 1700-talets Sverige kom svenskan alltmer att ersätta latinet som det ledande språket för vetenskaplig publicering. En förändring som kan relateras till ett allt större fokus på vetenskapen som en nationell angelägenhet. Under 1900-talet har vi sett en motsatt rörelse där nationella språk ersätts av engelskan när vetenskapens internationella, för att inte säga globala, karaktär betonats. Den ökande dominansen av engelska som vetenskapens ”lingua franca” är ämnet för en doktorsavhandling, Languages and linguistic exchanges in Swedish academia, som försvaras vid Stockholms Universitet idag. I fyra delstudier behandlar Linus Salö flera aspekter av engelskans inflytande. Den första studien handlar om hur debatten i Sverige alltmer kom att handla om hur svenskan förlorade mark gentemot engelskan inom politik, vetenskap och näringsliv. Därpå följer en undersökning av språk och makt inom två discipliner: psykologi och historia. I den tredje delstudien studeras språkanvändning i fysik och datavetenskap, men här är inte formella publikationer i fokus utan kommunikation mer generellt. I ett avslutande kapitel så tittar sedan Salö på hur nya språkpraktiker utvecklas när forskare ”tvingas” överföra kunskapsstoff från engelska till svenska. Avhandlingen erbjuder flera givande ingångar till frågeställningen om engelskans betydelse, och särskilt imponerande är hur Salö kombinerar metodologisk eklekticism med teoretiskt stringens.

Speciellt intressant från en bibliometrisk och forskningspolitisk horisont finner jag de resultat som pekar på hur försvaret för svenskan också blir ett sätt att upprätthålla sin egen position. De som länge ”investerat” i svenskspråkiga publikationer vill givetvis inte se att värdet på dessa devalveras. I den bourdieuska tradition som avhandlingen bygger på blir alltså frågan om språk också en illustration av strider inom en domän där etablerade praktiker utmanas, och i exemplet psykologi kom en svenskspråkig tradition att nästintill helt ersättas av publicering på engelska. I historia – där debatten kring svensk- kontra engelskspråkig publicering är högst aktuell – kan motsättningarna delvis förstås som en generationskonflikt där yngre forskare utmanar etablerade maktstrukturer. Samtidigt hävdar Salö, med stöd bland annat av Sarah de Rijckes och min studie av publiceringspraktiker inom humaniora, att ett ökat fokus på bibliometriska mått accentuerar engelskans betydelse. Sammantaget visar delstudien att språkfrågan måste förstås i en större kontext där framförallt makten över kunskapsproduktionen och publiceringskanalerna utgör viktiga aspekter.

Salö konstaterar att språkanvändning inom vetenskapen inte kan reduceras till enbart publikationer. Istället måste vi förstå språkets roll i en bredare kontext. Han visar bland annat att svenskan fortfarande spelar en betydande roll som arbetsspråk även i discipliner, som systemvetenskap och fysik, där nästintill alla vetenskapliga publikationer författas på engelska, och tvärtemot gängse föreställningar så kan forskare inom dessa discipliner beskriva även avancerad forskning på sitt modersmål. På liknande sätt kan vi ifrågasätta uppfattningen att humanister som främst publicerar på svenska för den sakens skull inte influeras av engelskans dominans. Till exempel så visar bibliometriska undersökningar att  svenskspråkiga publikationer och forskningsansökningar inom litteraturvetenskap i hög grad refererar till engelskspråkiga publikationer. Att svenska litteraturvetare i allt större utsträckning förlitar sig på engelska källor men skriver på svenska kan dock i förlängningen utgöra ett problem. För vad innebär det egentligen för ett forskningsfält att de kollegor man refererar till med största sannolikhet aldrig kommer läsa det man skrivit? Lite provokativt skull det kunna uttryckas på följande vis: det finns en risk att forskare som enbart publicerar sig på svenska blir uttolkare, introduktörer och översättare av verk och teoribildningar som lanserats i den engelskspråkiga forskningen, men själva bidrar man i liten grad till det internationella inomvetenskapliga samtalet. Samtidigt kommer det dock vara fortsatt mycket viktigt för discipliner som litteraturvetenskap och historia att kommunicera på svenska till en bred publik bestående av kollegor, studenter och allmänhet. Incitamentsstrukturer på individnivå och bibliometriska fördelningsmodeller bör alltså explicit gynna forskare som både riktar sig till internationella kollegor och till en inhemsk publik.

Svenska samhällsvetare och humanister behöver ständigt fundera på vilket språk som är lämpligt beroende på det syfte och den målgrupp som forskningen har. Språkfrågan kommer alltså även i fortsättningen debatteras, men förtjänsten med Salös avhandlingen är att den hjälper oss förstå hur komplext och mångfacetterat problemet är. Att andra aspekter än omsorgen om svenskan spelar in i denna diskussion är uppenbart, och etablerade föreställningar kring språkanvändningen i specifika discipliner behöver onekligen problematiseras. Salö hävdar avslutningsvis att engelskans värde på den akademiska marknaden bara tenderar att öka, samtidigt som svenskan ser ut att tappa ytterligare marknadsandelar. Förmodligen ligger det mycket i denna iakttagelse men det finns kanske ändå ett hopp för vetenskapssvenskan. Den digitala utvecklingen och framväxten av svenskspråkiga onlinetidskrifter kan kanske rentav dämpa engelskans dominans, och ett större forskningspolitiskt fokus på samhällelig relevans ( ”social impact”) pekar möjligtvis också i denna riktning.

Bild : Pieter Brueghel den äldre (1525/1530 – 1569). ”Babelstorn” https://commons.wikimedia.org/w/index.php?curid=22179117

Rankningsspelet: Bli din egen akademiska manager

CM

Kopplingen mellan universitetsrankningar och idrottens värld har gjorts av flera bedömare. Bland annat har Stefan Collini liknat den handel som pågår med akademiker inför olika utvärderingar vid den kommers som sker på marknaden för professionella fotbollsspelare, och rankningshysterin liknas ofta vid ett spel. Tanken på att enskilda forskare kan prissättas och sedan köpas av ett universitet för att stiga i rankningen har en lång historia som sträcker sig tillbaka till 1900-talets början. De mest omtalade nutida exemplen är fall där universitet i Mellanöstern påståtts köpa väletablerade professorer för att stiga i internationella rankningar, men troligtvis finns det liknande exempel på närmare håll. ‘Rankningsspelet‘ kan också bedrivas på andra sätt där resultatet av ett specifikt sätt att ranka framhålls framför ett annat.

Historiskt har det akademiska rankningsspelet bara kunnat spelas av en liten elit av rektorer och andra akademiska ledare, men för alla de som gillar spel av denna typ så finns nu det första managerspelet för akademiker: IDEAS fantasy league. Här kan man genom att värva ekonomer som finns listade i RePEcs: Research Papers in Economics skapa sitt eget drömlag av ekonomer. Spelarna tävlar sedan med sina imaginära ekonomiinstitut och genom att sälja och köpa ekonomer av andra spelare kan man avancera i tabellen (avlidna ekonomer är utom tävlan och man får heller inte värva sig själv). I likhet med fotbollsspel så gäller det här att plocka de ekonomer som man bedömer ha störst chans att utmärka sig, men valuta är inte mål och assist, utan författarskap och citeringar.

Förmodligen bör detta betraktas som ett skojfriskt tilltag, men tyvärr ligger det kanske lite väl nära sanningen för att det ska avfärdas som ett aprilskämt. Att toppforskare ses som ytterst värdefulla spelpjäser i rankningsspelet har vi redan sett exempel på, och IDEAS fantasy league följer logiskt i spåren på den excellenshets som präglar högre utbildning av idag.

Bilden är från Championship Manager (2001)

Från eminenta män till excellenta universitet

ranking

Den första universitetsrankningen, Science (32), 1910, s. 683

Denna text är en lätt omarbetad och utökad version av en essä publicerad i SvD under titeln: ”När utbildning blev en tävlingsgren”, 17 mars, 2016.

När Shanghai Jiao Tong-universitet i juni 2003 publicerade den första världsomspännande rankningen av universitet markerade det starten för en boom för universitetsrankningar av alla de slag. Rankningarnas popularitet kan förklaras på flera sätt – ett större fokus på kunskap som en förutsättning för ekonomisk tillväxt, en tilltagande globalisering av högre utbildning samt synen på studenten som en kund på en marknad utgör några viktiga faktorer. Men vi kan idag också iaktta en generell samhällelig trend där mätningar, jämförelser och rankningar tillmäts allt större betydelse inom både privat och offentlig verksamhet. Det tydligaste exemplet under senare år är PISA-mätningarna och det stora inflytande dessa har haft i debatten kring skolan. På liknande vis kan konstateras att de globala universitetsrankningarna inte bara blir fler till sitt antal utan även tas på allt större allvar: Allt från strategier på lokal nivå till nationell forskningspolitik styrs i tilltagande grad av dessa försök att mäta universitetens kvalitet, något som bland annat beskrivits av Ellen Hazelkorn i boken Rankings and the Reshaping of Higher Education (2011) .

Mätandet av vetenskaplig kvalitet har dock en historia som sträcker sig längre än till 2000-talets början, och den första rankningen av universitet publicerades av den amerikanska psykologen James McKeen Cattell redan 1910. Den lista över vetenskaplig styrka (‘Scientific strength’) som Cattell presenterade omfattande bara amerikanska universitet och då liksom idag rankades Harvard högst. Cattell använde sig av en egenhändigt sammanställd förteckning över vetenskapsmän betitlad American Men of Science för att kunna studera den amerikanska vetenskapens ‘ekologi’. Baserat på denna förteckning bad Cattell framstående representanter för enskilda discipliner att ranka sina kollegor utifrån deras vetenskapliga meriter. Poäng fördelades sedan mellan lärosäten baserat på hur meriterade enskilda forskare vid respektive lärosäte ansågs vara. En lista över eminenta män kunde på så sätt omvandlas till en ranking av universitet.

Ursprunget till den första universitetsrankningen kan spåras tillbaka till det sena 1800-talets intresse för framstående män, ett intresse som göddes av rädslan för civilisationens förfall i samband med massans och massmänniskans framfart. I Storbritannien, där frågan diskuterades intensivt, menade många att nationen var beroende av sina stora män: Det ansågs avgörande för det brittiska imperiets överlevnad att studera dessa män och om möjligt frambringa fler av deras slag. För vem, förutom den eminenta, fritänkande mannen, kunde stå emot den förflackning som hotade genom industrialiseringen och demokratiseringen? Inom denna rörelse var Francis Galton en viktig förgrundsfigur. Redan 1869 hade han publicerat Hereditary Genius och i uppföljaren English Men of Science (1874) studerades egenskaper hos betydande brittiska vetenskapsmän minutiöst. Allt från föräldrarnas sysselsättning till huvudstorlek och religiös övertygelse ansågs vara av betydelse och nedtecknades, och särskilt det biologiska arvet från föräldrarna samt uppväxten betraktade Galton som nyckelfaktorer för odlandet av framstående vetenskapsmän. Formell utbildning värdesattes inte lika högt – snarare menade Galton att passivt lärande och lång universitetsutbildning kunde komma att dämpa aptiten på verkligt banbrytande upptäckter. Efterföljande verk såsom Where We Get Our Best Men (1900) av Alick Maclean och A Study of British Genius (1904) av Ellis Havelock följde i den riktning som Galton pekat ut.

Cattell, som under sin tid i Europa kom i kontakt med Galton och eugeniken, byggde vidare på idéerna kring framstående män och deras betydelse för samhället och vetenskapen. Inledningsvis omfamnade han den rashygieniska föreställningen om det biologiska arvets betydelse, och i en studie hävdar Cattell att ordinära forskare säkerligen kan skapas men de riktigt stora vetenskapsmännen var genier från födelsen. ”The little scientist can doubtless be made, but probably the great man of science must be born”. Hans skrifter präglas också av rasistiska föreställningar där afroamerikaner, men också skandinaver, omnämns som outvecklade folkslag med liten förmåga att bidra till vetenskapens framåtskridande. Senare kom Cattell dock att vackla i frågan om det var arvet eller miljön som frambringade de stora männen. Han fann det helt enkelt osannolikt att en så pass liten del av USA – den nordöstra kring Boston och Chicago – genererat en så pass stor andel av alla vetenskapsmän. Mot denna bakgrund tedde sig miljön som viktigare än vad tidigare studier visat, och Cattell kom därmed att fokusera på de institutioner där vetenskapsmännen i allt större grad verkade; nämligen universiteten.

Cattell , som var en inflytelserik figur inom den amerikanska akademin – bland annat var han ägare av och redaktör för tidskriften Science från 1900 till 1944 –, insåg tidigt att en ranking av universitet kan användas i politiska syften. En av hans hjärtefrågor var universitetsprofessorernas relativa status och inkomst: Att höja dessa var nödvändigt för vetenskapens framtid, eftersom unga talanger annars kunde komma att vända akademin ryggen. Vidare led professorerna av att de i allt högre utsträckning styrdes av byråkrater och Cattell påtalade med eftertryck att de universitet som medgav större kollegialt styre också rankades högre. Rankingarna etablerade också en marknad för vetenskapsmän och Cattell skattade det pris ett universitet behövde betala för att kunna locka till sig en ledande professor till 7,500 dollar. Den globala marknad för framstående forskare som diskuteras idag, där universitet kan betala betydande summor för att locka till sig internationella toppforskare, var således ett reellt scenario redan för hundra år sedan. Men det var inte enbart vetenskapsmännen som kunde dra nytta av rankingen enligt Cattell, även studenterna kunde använda sig av informationen när de valde universitet.

Liksom dagens universitetsrankningar blev Cattells undersökning uppmärksammad i dagspressen. I en artikel med titeln “America’s Great Scientists Rapidly Decreasing” prisade New York Times (20 november 1910) hans studie. Rapporteringen fokuserade på en generell minskning av antalet framstående vetenskapsmän som ett hot mot nationen. Detta var också en fråga som Cattell framhöll och han menade att USA i förhållande till folkmängd inte bidrog tillräckligt till vetenskapens landvinningar. Men till skillnad från dagens debatt kring ‘excellenta’ forskare och om hur vi ska locka dem att stanna inom landets gränser för att främja nationell konkurrenskraft var det enligt Cattell i den globala vetenskapens intresse som forskningens förutsättningar behövde förbättras. Cattells drömmar om ett världsuniversitet där de mest framstående vetenskapsmännen från hela världen skulle samlas vittnar om denna övertygelse.

Av det som sagts hittills torde det ha blivit tydligt att kvinnorna inte spelade någon framträdande roll i den geni- och maskulinitetskult som präglade intresset kring framstående individer, och det var först 1971 som den av Cattell initierade förteckningen bytte namn till American Men and Women of Science. Galton såg kvinnor främst som mödrar till framstående män, även om några få kvinnor, såsom Charlotte Brontë och Madame de Staël, inkluderades i hans lista över genier. Cattell påstod till en början att biologiska skillnader mellan könen var avgörande för att bara arton av hans tusen framstående forskare var kvinnor, och han hävdade att det inte berodde på formella hinder eller diskriminering att så få kvinnor utmärkt sig inom vetenskapen. Så småningom kom Cattell dock att vackla gällande den biologistiska förklaringen, och kom i stället att hävda att det var möjligt att kvinnor ännu inte uppmuntrats att ta sig själva på allvar som forskare.

”But before pronouncing that this would show a weakness of the sex, he concedes that it is possible women are not yet encouraged to take themselves seriously as scientists, and that, while this feeling would not debar a determined woman, it might deter the wavering from attempting a scientific career”. (Cattell i New York Times, 20 Nov, 1910.

Cattell närde ett stort intresse för forskningspolitiska frågor och i University Control (1913), en längre betraktelser över universitetens roll, slog han fast att det vore olyckligt om de alltmer kom att efterlikna varandra. Kanske anade han en i vår tid ofta påtalad fara med universitetsrankningar – att de förutsätter att det som ska jämföras också kan likställas. Således kommer alla universitet att bedömas efter samma snäva mall, en mall som bestäms av de högst rankade institutionerna. Utrymmet för universiteten att sätta sina egna långsiktiga mål riskerar då att reduceras och ersättas av kortsiktiga strategier för att klättra i rankingen.

Den första universitetsrankningen och diskussionen som omgav den uppvisar slående likheter med dagens situation. Flera av de argument som framfördes då återfinns också i dagens debatt kring rankingar och universitetens roll, och de metoder som Cattell utvecklade för att mäta vetenskapen återfinns i modifierad form i dagens rankningar. Samtidigt framstår den epistemologiska kontext i vilken rankningen formades som djupt främmande för en nutida betraktare. Den tid som frambringade den första universitetsrankingen präglades av en oförblommad sexism – halva befolkningen sågs som oförmögen att bidra till vetenskapens utveckling – och en djupt liggande rasism. Till detta adderas en kult av det manliga geniet som drivs framåt av just män som i hög utsträckning själva betraktar sig själva som genier.

Olikheterna till trots så finns det ändå slående likheter mellan det tidiga 1900-talets vurm för eminenta vetenskapsmän och nutidens fokus på excellent forskning. Det är också tankeväckande att intresset för rankning i båda fallen uppstod i en situation av osäkerhet. Runt 1900 var det vetenskapsmannens roll som diskuterades då forskare gick från att ha varit fria och oavlönade till att alltmer bli anställda lönearbetare. Det som tidigare varit en kallelse blev nu ett yrke, och kritiker menade att denna utveckling hotade hela vetenskapens etos. På liknande sätt kan vi idag se en osäkerhet kring universitetens roll, där deras traditionella uppgift som bildningsinstitution kompletterats med krav på att bidra till social inkludering, nationell innovationskraft och regional utveckling. Dessa många och ibland motsägelsefulla krav har fått debattörer att lansera begreppet ‘multiversity’ för att illustrera de många olika roller som nutida universitet väntas fylla. I den osäkerhet som råder kring lärosätenas uppgift har rankningar kommit att bli allt viktigare, då dessa inte bara tjänar syftet att mäta och jämföra utan än mer att stabilisera och definiera det som ska jämföras. En klar linje kan således urskiljas från det sena 1800-talets intresse för eminenta män till dagens fokus på excellenta universitet.

Benoit Godin har skrivit mycket utförligt om bakgrunden till Cattells mätningar och hans betydelse för bibliometrins framväxt. Den studie som bloggposten och artikeln bygger på har gjorts av Sarah de Rijcke, Paul Wouters och mig själv. Vid konferensen Accelerated Academy (2015) i Prag så presenterades några preliminära resultat från projektet.

Det svenska bibliometriska landskapet

map

Röda rektanglar (högskolor), cirklar (universitet) och romber (specialiserade universitet och högskolor) indikerar lärosäten där bibliometri används, gröna de som ännu inte använder bibliometri för medelsfördelning.

Nästintill alla svenska lärosäten använder bibliometri, en rad olika indikatorer och mått är i bruk, och få verkar ha reflekterat kring vad det övergripande målet med dessa system är. Så kan resultaten från en studie som Pieta Eklund, Gustaf Nelhans, Fredrik Åström och jag nyss publicerat sammanfattas. Vi fann att bibliometri används vid 24 av 26 undersökta lärosäten, och fördelningen av medel sker på en rad olika nivåer: fakultet, institution och individ. Bara två lärosäten – Chalmers och Handelshögskolan i Stockholm – avstår från att använda bibliometri. Utan att ha exakta uppgifter kring bruket i andra länder så kan man med fog påstå att detta gör det svenska forskningssystemet till ett av de mest ”bibliometrifierade”. Det finns säkerligen flera anledningar till varför det ser ut på detta sätt, men vår studie pekar specifikt på det nationella system för medelsfördelning som infördes 2009 som en huvudorsak. Flera lärosäten anger också att medelstilldelningen inom lärosätet syftar till förbättra utdelningen i den bibliometriska omfördelning som sker nationellt.

Generellt används tre olika indikatorer vid svenska lärosäten: de som baseras på publikationer, de som använder sig av citeringar och de som bygger på en kombination av de båda. Vanligen väljer mindre högskolor publikationsbaserade indikatorer, inte sällan varianter av det norska systemet där olika publikationstyper ges poäng beroende på typ (tidskriftsartikel, monografi, bokkapitel) och nivå (1 eller 2). Vid de större universiteten är flera olika system parallellt i bruk, och endast Karolinska institutet och KTH fördelar medel enbart baserat på citeringar. Vid några lärosäten, till exempel Umeå, så används bibliometri för att fördela på flera nivåer: mellan fakulteterna, mellan institutioner och mellan individer. Medräknat den nationella nivån så kan alltså en enskild publikation räknas inte mindre än tre gånger, och till detta kan andra typer av mätningar och rankingar adderas.

Umeå

Illustration av system för medelstilldelning vid Umeå universitet (från Hammarfelt, Nelhans, Eklund och Åström, s. 9)

Förutom att kartlägga det utbredda användandet av bibliometriska indikatorer i Sverige så tittade vi också lite närmare på hur de introduceras, dokumenteras och appliceras. Då fann vi bland annat att:

  • bibliometriska fördelningsmodeller ofta införs med argumentet att de används av andra, eller så motiveras de utifrån utvärderingssystem på nationell nivå. Mer sällan ses fördelningsmodellerna som ett verktyg för att uppnå lärosätets egna målsättningar och visioner.
  • resursfördelningssystemen i allmänhet är illa dokumenterade och få, även på ledande administrativa positioner, verkar förstå hur de fungerar.
  • traditionella bibliometriska mått används, inget lärosäte begagnar sig av alternativa mätmetoder (t.ex. altmetri), och tillgänglighet (open access) räknas inte som meriterande i någon modell.
  • modeller som explicit utvecklats för att fördela resurser på aggregerade nivåer används för att utvärdera mindre grupper och i flera fall individer. Detta trots att bibliometrisk expertis relativt entydigt (se till exempel Leidenmanifestet) avråder från sådan användning.
  • vid ett par lärosäten belönas individuella forskare för publikationer där en artikel i ‘rätt’ tidskrift kan ge så mycket som 70.000 kr i tillskjutna forskningsmedel. En praktik som ger tydliga incitament, enligt mitt tycke, för tydliga.
  • vi förvånas över att dessa utvärderingssystem i mycket liten grad själva utvärderas. De införs, ofta utan något större förarbete, och sedan sker ingen uppföljning.

Avslutningsvis kan det konstateras att vi nu kanske nåt en bibliometrins höjdpunkt i Sverige, fler universitet och högskolor än någonsin tidigare använder sig av dessa mätmetoder, och flera har precis lanserat eller utreder möjligheten att införa prestationsbaserad resurstilldelning på bibliometrisk grund. Samtidigt är ett nytt nationellt utvärderingssystem under utredning, FOKUS, och skulle detta införas så lär säkerligen förändringar ske runtom på svenska lärosäten. För är det något denna studie visar så är det att trendkänsligheten är stor inom den svenska forskningsadministrationen.

Det danska undret och den svenska forskningspolitiken

Danskar

Under de senaste åren har trenden varit tydlig: Sverige presterar betydligt sämre än Danmark sett till forskningens internationella genomslagskraft (läs citeringar i Web of Science). Danmark presterar nu i klass med andra ledande europeiska nationer som Nederländerna och Schweiz, samtidigt som svensk forskning tappat mark från början av 1990-talet och framåt. Utvecklingen, som påvisats i flera undersökningar, illustreras bland annat i Vetenskapsrådets rapport Forskningens framtid!  där följande diagram som visar andelen högt citerade publikationer i jämförelse med världsgenomsnittet återfinns (s.12)

VR1534_Svensk-vetenskaplig-produktion_web

Dessa resultat har i en svensk kontext renderat i två centrala forskningspolitiska frågor: Hur kommer det sig att danskarna presterar så bra, och hur kan svensk forskning komma ikapp, eller till och med förbi? Den senare frågan har diskuterats flitigt under senare år. Den mest omfattande studien Fostering Breakthrough Research är författad av Gunnar Öquist och Mats Benner och de listar en rad olika förklaringar. Här återfinns också direkta förslag på hur svensk forskning kan förbättras. Några punkter som dessa författare trycker på är:

  1. Att andelen basanslag är högre i framgångsrika forskningsnationer som Danmark, Nederländerna och Schweiz.
  2. Universiteten i de mer framgångsrika länderna tar större ansvar för att själva bedöma och belöna kvalité’. Det akademiska ledarskapet är också starkare utvecklat och mer framåtblickande.
  3. Det svenska systemet saknar tydliga karriärvägar (tenure track) vilket däremot finns i Nederländerna och Schweiz.

Därtill pekar de på en rad andra faktorer som hämmande för utvecklingen av svensk forskning. Till exempel bristande rörlighet mellan lärosätena (mobilitet) och behovet av en ökad internationalisering av svensk forskning. Den starkaste slutsatsen från rapporten är dock att resurserna för forskning bör omdirigeras från externa projektanslag till basanslag.

Frågan kring svenska forskning och dess ställning internationellt har också varit ämnet för en serie radioreportage från Vetenskapsradion, där en rad framgångsrika länder – Nederländerna, Danmark och Schweiz – varit i fokus. Skillnader i forskarnas mobilitet, men också anställningsförhållanden är några av de faktorer som togs upp i programmen. Noterbart är att det i Danmark är lättare att få fast anställning, men att det också är lättare att som akademiker få sparken. En fördel med ett sådant system är att staplandet av tidsbegränsade projektbaserade anställningar i högre grad kan undvikas. Frågan är dock om ett sådant system är möjligt, eller ens önskvärt, i en svensk kontext där anställningstrygghet värderas högt.

De ambitiösa rapporter och utredningar som jämfört förhållandena i Sverige med förutsättningarna i mer framgångsrika nationer innehåller alla viktiga och relevanta synpunkter på hur svenska forskningspolitik bör bedrivas. Men trots att studierna i många fall är välförankrade i aktuell forskning så skulle jag vilja påstå att de till viss del ändå famlar i mörker. Det finns främst två anledningar till detta; för det första så är forskningsresultaten på området ofta motsägelsefulla och den reform som fungerar i en specifik kontext behöver inte göra det i en annan. Ty även om vetenskapen alltmer är internationell så är organisationen och finansieringen av densamma företrädesvis nationell. En annan begränsning är att en majoritet av alla analyser av relationen mellan forskningspolitiska reformer och vetenskapligt genomslag fokuserar på en eller kanske två faktorer, men förmodligen är det så att kombinationen av hur forskningen leds, organiseras, finansieras och utvärderas är av avgörande betydelse. Det forskningspolitiska systemet är mycket komplext, och vilket inflytande enskilda faktorer har är mycket svårt att fastställa.

I ett av de mer ambitiösa försöken att förstå den danska framgångssagan framhålls just den rätta kombinationen av flera faktorer som en möjlig förklaring, även om författarna avhåller sig från att ge några definitiva svar. Genom en omfattande studie av det danska forskningslandskapet visar Aagaard och Schneider (2015) hur dansk forskning kom till en vändpunkt under den senare delen av 1980-talet, och sen dess har kurvan pekat uppåt. Utan att peka på en specifik orsak så finner de flera potentiellt bidragande förändringar som ägde rum under 1980-talet och början av 1990-talet. Bland annat så stabiliserades balansen mellan basanslag och externa anslag, det institutionella ledarskapet stärktes, universiteten gynnades på bekostnad av statliga forskningsinstitut, det danska forskningsrådet etablerades och dokorandutbildningen formaliserades och stärktes. Dessa förändringar ledde sedermera till en ökad internationalisering av forskningen och konkurrensen om akademiska tjänster tilltog. Författarna är dock noga med att påpeka att Danmark också presterade väl runt 1980, och de poängterar att det knappast finns en specifik ‘winning formula’. Snarare är det så att receptet för ett gott forskningsklimat skiljer sig både över tid och rum, vilket gör det när omöjligt att direkt överföra den danska erfarenheten till en svenska kontext.

Med detta sagt så är det ändå klart att vi bör ta lärdom av framgångsrika exempel från andra länder, och baserade på dessa koka ihop ett recept som förhoppningsvis vänder Sveriges negativa trend. Kruxet verkar vara att hitta den rätta mixen i forskningssystemet där balansen mellan olika faktorer är avgörande. En reform som dock framstår som nödvändig utifrån kunskapssläget är att höja basanslagen, och detta är också ett förslag som lyfts i flera av de kommentarer (se bland andra RJs, Uppsala Universitets och SUHFs inspel) som duggar tätt inför den kommande forskningspropositionen. Av de tunga aktörerna så är det egentligen bara Vetenskapsrådet som inte lyfter fram frågan om ökade basanslag, utan de föreslår istället mer pengar till forskarinitierade projekt. Deras förslag, bäst karaktäriserat som ”mer av samma”, är märkligt givet att flertalet internationella jämförelser pekar just på den ökade ’projektifiering’ av svensk forskning som ett problem.

Exakt hur den framtida forskningspolitiken utformas återstår att se, men radikala förändringar är knappast att vänta. Att skynda långsamt, hur tråkigt det än må låta, är kanske ändå en förnuftig strategi. För om vi lärt oss något av det danska exemplet så är det att stabilitet över tid, tillsammans med tillräckliga ekonomiska resurser, är två grundläggande förutsättningarna för  ett gott forskningsklimat.

Bilder: Aftonbladet.se samt Vetenskapsrådets rapport Forskningens framtid!

Och vinnaren är… Att förutsäga Nobelpristagare med hjälp av citeringar

Varje höst riktas vetenskapssamhällets blickar mot Sverige inför utdelandet av Nobelprisen i kemi, fysik, medicin eller fysiologi, ekonomi och litteratur. Otvetydigt är det så att Nobelpriset är den mest prestigefyllda utmärkelse som en forskare kan få, och som den främsta symbolen för vetenskaplig framgång har priset också kommit att spela en betydande roll inom bibliometrin. Pristagare har sedan länge använts som exempel för att studera relationen mellan citeringar och erkännande i forskningssamhället. Till exempel fann Cole och Cole i en nu klassisk studie att priser (inklusive Nobelpriset) korrelerar med antalet citeringar. Senare har forskare bland annat tittat på hur ett Nobelpris får citeringarna att skjuta i höjden för pristagarna. Här skall jag dock inte ägna mig åt den digra forskning som med bibliometriska metoder studerar Nobelpriset, utan istället väljer jag att fokusera på en mindre vetenskapligt förankrad verksamhet; den att förutse vinnaren.

Grundaren av Science Citation Index (SCI), Eugene Garfield, insåg tidigt att citeringsfrekvens kunde vara till hjälp i att förutse potentiella Nobelprisvinnare, och redan 1968 presenterade han ett paper med titeln: “Can Nobel prize winners be predicted?” Här konstaterade Garfield att Nobelpristagare, med mycket få undantag, citeras mer än 50 gånger oftare än den genomsnittlige forskaren. Thomson Reuters, som nu äger SCI  (numera Web of Science), har fortsatt i denna tradition då de årligen publicerar en Nobel Prize forecast, och träffsäkerheten får sägas vara relativt god då de prickat in 37 Nobelpristagare sedan 2002.

Att det finns ett samband mellan citeringar och vetenskapligt erkännande kan vi nog vara ense om, även om sambandets styrka och allmänna giltighet mycket väl kan diskuteras. Att citeringar kan användas för att i någon mån förutse Nobelpristagare inom vetenskapen är därför inte förvånande, men kan citeringar också ge oss en indikation på vem som tilldelas årets litteraturpris? Med stöd i min egen forskning vill jag påstå att citeringar, åtminstone delvis, kan användas för att studera en litterär författares kanonisering, men då enbart i en mycket begränsad kontext av anglosaxisk litteraturforskning. Med rätta kan man därmed invända att citeringar i främst engelskspråkiga akademiska tidskrifter knappast borde kunna säga något om det beslut som Svenska akademin kungör imorgon. Må så vara, men då jag varken kan spå i kaffesump, eller tolka tarotkort, så får citeringsanalysen duga i brist på bättre metoder.

För enkelhetens skull så valde jag att titta närmare på de tolv kandidater som fått lägst odds enligt bettingsajten Bettson. Genom att använda ‘cited reference’ funktionen i Web of Science kunde sedan citeringar till dessa återfinnas. Resultaten redovisas nedan:

Författare (odds) Citeringar Antal citerade verk Trend (citeringsgrad per år)
Adonis 55 35 Stigande
Svetlana Aleksijevitj 7 3 Stigande
Jon Fosse 8 8
Peter Handke 35 33 Stigande
Ismael Kadare 7 4
Javier Marias 49 24 Stigande
Haruki Murakami (7.50) 84 25 Fallande
Joyce Carol Oates 102 29 Stigande
Amos Oz 44 24 Stigande
Philip Roth 278 39 Stigande
Ngugi wa Thiongo 153 31 Fallande
Ko Un 4 4

Sett till antalet citeringar så förfaller valet vara mycket enkelt. Philip Roth är här överlägsen men det stora antalet verk som dessa fördelas på kan möjligvis vara en nackdel för hans vidkommande. På andra plats återfinns Ngugi wa Thiongo men för honom, liksom för fjärdeplacerade Haruki Murakami, kan en en nedåtgående trend i antalet citeringar urskiljas.  På tredje plats finner vi den ständigt tippade Joyce Carol Oates. Citeringsgraden för övriga är så låg att mycket lite går att utläsa från resultatet, och det är heller inte att vänta med tanke på databasens främst visar trender inom engelskspråkig forskning. Sammantaget är ändå resultatet otvetydigt: Om vi tror på denna lilla citeringsräkning så blir det den amerikanska romanförfattaren Philip Roth som tilldelas årets litteraturpris (jag skulle dock råda er att inte satsa hela sparkapitalet på basis av denna förutsägelse).

Vad vi vet om bibliometrins effekter

Metric_tide_literature_review

Sedan länge är det känt att mätandet i sig förändrar det som mäts. Att vetenskapen och forskarna påverkas av att ett allt flitigare räknande av citeringar och publikationer torde därför vara oomtvistat, men hur ser denna påverkan ut? Det brittiska forskningsrådet Higher Education Funding Council for England (HEFCE) initierade nyligen en första genomgripande översikt av den forskningen som försökt att besvara detta spörsmål och slutsatserna i rapporten The Metric Tide, som publicerades idag, kan  sammanfattas i fyra punkter:

1. Strategiskt förhållningssätt och målförskjutning

Införandet av kvantitativa indikatorer innebär alltid en risk att forskare börjar fokuserar mer på att få höga poäng, enligt de kvalitetsmått som formulerats, snarare än på att bedriva högkvalitativ och nydanande forskning. Tecken på en sådan målförskjutning kan till exempel ses i Australien där räknandet av antalet artiklar ledde till fler publikationer, men publikationernas internationella genomslag minskade

2. Inskränkning av arbetsuppgifter

Bibliometrisk utvärdering belönar vissa specifika insatser samtidigt som andra verksamheter ger få eller inga poäng. Oftast är det internationella (läs engelskspråkiga) tidskriftsartiklar som premieras på bekostnad av andra typer av publikationer och arbetsinsatser. Störst påverkan har sådana system inom humaniora och delar av samhällsvetenskapen där tidskriftsartikeln ännu inte är den dominerande kommunikationskanalen. Tecken finns dock på att även dessa fält alltmer anpassar sig till den norm som råder inom andra discipliner (se till exempel förändringar i publikationsmönstren vid Uppsala Universitet). En betydande risk är också att forskare i allt mindre grad vänder sig till en inhemsk populärvetenskaplig publik då sådana publikationer inte ger utslag i utvärderingssystemen.

3. Institutionella effekter

Universitet och högskolor kan inte heller undgå att påverkas av bibliometriska mätningar. Universitetsrankingarnas betydelse för universitetens självbild är uppenbar, och att rankas högt i dessa blir allt viktigare. Forskningspolitiskt spelar rankingar också en betydande roll, och bara för nåt år sedan så kom ett seriöst förslag som gick ut på att skapa ett svenskt superuniversitet för att på så vis stiga i rankingen. Lärosätena måste också förhålla sig till nationella omfördelningssystem där den svenska modellen resulterat i lokala varianter, samtidigt som den brittiska motsvarigheten RAE skapat en transfermarknad – inte helt olik den som existerar inom fotbollen – för forskare som genererar höga poäng för sitt universitet.

4. Konsekvenser för kunskapsproduktionen

Hur bibliometriska mått påverkar kunskapsproduktionen mer generellt är svårt att överblicka, och kanske är det ännu för tidigt att redan nu identifiera djupgående förändringar i forskningens praktik. I många fall så är dock bibliometriska mått, som Journal Impact Factor (JIF), sedan länge etablerade och integrerade i det dagliga arbetet. Exempelvis så används JIF för att skilja mellan deskriptiv och nydanande forskning inom biomedicin. Undersökningar av hur bibliometriska utvärdering påverkar forskningens praktik måste därför också inbegripa studier av hur citeringsmått och andra indikatorer används i forskarnas vardag.

Trots dessa fyra punkter är vår kunskap om bibliometrins effekter knapphändig. Flera av de studier som översikten bygger på är begränsade till en kort tidsperiod och de säger mycket lite om utvärderingens långsiktiga effekter. Andra undersökningar erbjuder mer detaljerade analyser av en specific kontext men det är svårt att avgöra om resultaten är applicerbara mer generellt. Ofta studeras förändringar i publikationsmönster, men de trender som identifieras (t.ex. högre andel engelskspråkiga tidskriftsartiklar) behöver inte nödvändigtvis vara en konsekvens av bibliometrisk utvärdering. Vidare så verkar bibliometriska mått på flera nivåer (individ, institution, universitet, nation) och att urskilja effekterna av ett specifikt system är därför mycket svårt. Förhoppningsvis kan en kombination av större kvantitativa studier och mer kontextualiserade kvalitativa ansatser ta oss en bit på vägen. Det vi vet tyder dock på att användning av bibliometriska mått kan få konsekvenser i form av en ökad likriktning av vetenskapliga fält och en reduktion av forskarrollen. Sådana förändringar synes stå i direkt opposition till en forskningspolitik som syftar till mer samverkan, större öppenhet och ökad samhällelig relevans.

Administrationen och det ”bibliometriska systemet”: Några klargöranden i den forskningspolitiska debatten

I ett flertal inlägg i SvD framför professor Inger Enkvist hård kritik mot dagens universitet, vår nuvarande forskningspolitik och användandet av bibliometri. Jag finner hennes övergripande syfte lovvärt men liksom en hel del andra inlägg i den forskningspolitiska debatten så är de till stora delar illa underbyggda, anekdotiska och ofta rent felaktiga i sak. Nedan diskuterar jag några av de påståenden som Enkvist gör kring bibliometri. Hennes ensidiga kritik av administrationen är också problematisk men det finns andra som bättre kan granska dessa påståenden.

Låt oss börja med Enkvists inledande beskrivning:

I universitetsvärlden är konkurrensen om forskar- och lärartjänster hård, och allt ska gå fort. Ett nytt problem är att forskningskvaliteten nu direkt hotas av en ökande tendens att bedöma forskare efter antal artiklar mer än deras innehåll, counting, not content, en metod kallad bibliometri. Den här trenden har kallats the utility turn, vilket innebär att universitetens administratörer vill kunna mäta vilken ”nytta” som producerats.” (Forskningskvantitet viktigare än kvalitet, SvD, 11 Juni, 2015)

Forskare har länge bedömts utifrån antalet publikationer, och så skedde långt före utvecklandet av mer formaliserade bibliometriska metoder. Idéhistoriken Peter Josephsson visar i en läsvärd studie att tyska professorer redan vid 1700-talets slut bedömdes och anställdes utifrån antalet publicerade verk. En förteckning av professorer och deras verk, Das gelehrte Deutschland, användes för ändamålet och tanken var att berömda författare med stort rykte skulle locka till sig fler studenter. Här räknandes alla publikationer, även barnböcker, och systemet stötte tidigt på kritik som liknar de argument som framförs i dagen debatt.

‘Utility turn’ är dock för mig, och säkerligen för många andra, ett nytt begrepp som efter Enkvists introduktion kan komma att utmana mer etablerade benämningar som ‘New public management’, ‘Audit Society’ och ‘Evaluation Society’.

Vidare så står det klart att bibliometriska mått spelar en stor roll inom akademin. Däremot kan man fråga sig om dessa mått får allt större betydelse. Till exempel är förslaget på nytt nationellt utvärderingsystem i Sverige, FOKUS, baserat på peer review till skillnad från det nuvarande mer bibliometriskt inriktade. Upprop, som DORA och det nyligen publicerade Leidenmanifestet, pekar också mot en större medvetenhet kring riskerna med bibliometrisk utvärdering.

Debattinlägget fortsätter sedan att diskutera bibliometrins effekter:Utvärderingar från Australien säger att sedan bibliometri införts publiceras fler artiklar, men den sammanlagda kvaliteten har sjunkit, och ändå håller flera svenska universitet på att införa systemet.” (Forskningskvantitet viktigare än kvalitet) Den undersökning som Enkvist refererar till visar att fler artiklar publicerades men deras citeringsgrad (mätt gentemot ett internationellt snitt) minskade. Den säger alltså mycket lite om någon inneboende kvalité. Det finns de som hävdar att kvalité och impact (antalet citeringar) är samma sak, men givet Enkvists vidare argumentation kring citeringar som kvalitetsmått så antar jag att det inte är hennes ståndpunkt:

Man får hoppas att banbrytande nya artiklar citeras ofta, men även här finns risker för snedvridning. En citering kan vara tecken på berömmelse snarare än kvalitet. En forskare kan också öka antalet citeringar genom att skapa en liten ”kartellmed andra forskare som arbetar in hänvisningar till varandra i sina texter. Detta torde ha förekommit även tidigare, men nu upphöjs sådana ovanor till kvalitetsindikatorer.” (Forskningskvantitet viktigare än kvalitet, SvD, 11 juni, 2015) .

Till detta kan vi tillägga att idén om så kallade “citeringskarteller” framförs ganska ofta i debatten kring bibliometri, och visst har de förekommit på tidskriftsnivå. Det finns dock inga indikationer, eller systematiska studier, på att sådana beräknande överenskommelser skulle vara särskilt förekommande på individnivå.

Enkvist är dock väl försiktig när hon skriver att flera universitet håller på att införa bibliometri. Faktum är att en stor majoritet av svenska lärosäten använder bibliometri i någon form (även hennes eget om än inte inom humaniora), och varje enskilt lärosäte har sin egen modell för utvärdering. Låt mig här poängtera: bibliometri är inte ett system utan en samling utvärderingsmetoder och därtill ett forskningsfält i sin egen rätt. Det finns ett flertal olika bibliometriska utvärderingssystem med vitt skilda incitament och beräkningsmetoder.

I tidigare inlägg har också Enkvist också kopplat samman användandet av bibliometri med en ökad makt för administrationen, och det finns givetvis visst fog för en sådan argumentation. Hon skriver bland annat “[a]tt bibliometri blivit populärt hos administrationen har att göra med att forskarna är specialiserade på olika områden som administrationen inte kan bedöma. Ändå vill administrationen ”leda” forskarna genom att tilldela forskningspengar eller forskningstid.” (När administrationen leder forskningen, SvD 20 maj, 2015). En sådan argumentation förbiser dock att en stor del av bibliometrianvändningen sker på initiativ från professionen själv, och att utmåla bibliometrin som ett externt vapen i administratörernas tjänst riskerar att fördumma debatten. Givetvis är användandet av bibliometri sammankopplat med bredare organiskatoriska trender i samhället – se till exempel mitt tidigare inlägg om NPM – men det finns också inomvetenskapliga faktorer som är drivande i denna utveckling. Forskarna är därmed inte bara ett offer för illvilliga administratörer utan i hög grad medskapare av dessa system.

Så tuktas bibliometrin

I dagens Nature publiceras “The Leiden manifesto” där tio principer för bibliometrisk utvärdering föreslås av en samling ledande bibliometriker och vetenskapssociologer med Diana Hicks och Paul Wouters i spetsen. Manifestet tar sin utgångspunkt i de diskussioner som förts vid bibliometriska konferenser under senare år. Jag har tidigare diskuterat försöken att formulera riktlinjer för användandet av bibliometriska mått, och de principer som nu lanserats är ett viktig steg i denna strävan. Nedan följer de tio principerna i mycket kortfattad form:

  1. Kvantitativ utvärdering ska stödja kvalitativa omdömen. Inte tvärtom.
  2. Mät kvalité och genomslag utifrån institutionens, forskargruppens eller forskarens specifika roll och syfte.
  3. Skydda framstående “lokal” forskning (till exempel inom humaniora).
  4. Bedömningen ska vara transparent. Data samt procedurer ska redovisas öppet.
  5. Den utvärderade ska få möjlighet att granska och revidera den data som ligger till grund för utvärderingen.
  6. Beakta variationer i publicerings- och citeringsmönster mellan vetenskapliga fält vid utvärdering.
  7. Utvärderingar av enskilda forskare bör baseras på kvalitativa omdömen.
  8. Undvik falsk precision (till exempel användandet av tre decimaler vid beräknandet av Journal Impact Factor).
  9. Uppmärksamma utvärderingens systematiska effekter på forskare och institutioner.
  10. Granska och utvärdera bibliometriska indikatorer regelbundet.

Överlag så stämmer dessa principer med väletablerade uppfattningar bland bibliometriker överlag, men det betyder knappast att alla eller ens en majoritet av de utvärderingar som utförs följer dessa principer. Noterbart är dock att principerna nästan uteslutande berör vad som inte bör göras, de begränsningar som bibliometrin har och de risker som finns med ett alltför frekvent användande. Detta trots att flera av författarna företräder institutioner som utför bibliometriska utvärderingar på konsultbasis.

Ett manifest kommer sällan ensamt, och vi ser liknande initiativ även i Sverige. För ett par månader sedan så publicerade Vetenskapsrådet sina “Riktlinjer för användning av bibliometri”. Från Leidenmanifestet känner vi igen formuleringar kring att bibliometrin bör kompletteras med kvalitativa omdömen och VR uttrycker tveksamheter kring mått som h-index och Journal Impact Factor. Riktlinjerna kring användandet av bibliometri på individnivå är dock motsägelsefulla . Å ena sidan skriver man att ”Vetenskapsrådet är mycket restriktivt när det gäller bibliometriska jämförelser mellan individer och använder sig inte av h-index eller liknande indikatorer” (från sammanfattningen), men samtidigt beskrivs hur citeringsdata för alla publikationer där sådan finns automatiskt kommer redovisas i PRISMA. Detta kan man knappast beskriva som restriktiv och reflekterad användning av bibliometri. VR inser givetvis att detta är kontroversiellt och inflikar: ”Forskares meriter ska aldrig bedömas, jämföras eller rankas enbart utifrån bibliometriska data.” (s. 7). Vilken vikt som ska läggas vid bibliometriska mått, huruvida de är komplementerande eller helt avgörande anges dock inte. Det är också, vilket jag påpekat i anslutning till förslaget om nytt utvärderingsystem för svensk forskning (FOKUS), naivt att tro att bedömare kommer kunna bortse från citeringsdata när de väl fått ta del av sådana uppgifter. Risken är att den tekniska möjligheten att automatiskt importera imformation kring citeringar får större konsekvenser än VR avser. Om citeringsdata systematiskt redovisas i PRISMA innebär det att bibliometri på individnivå kan komma spela en högst betydande roll vid bedömningar av forskningsansökningar. Om detta är intentionen så låt gå, men då bör man motivera varför citeringar ska användas vid bedömningen av forskningsprojekt. I nuläget verkar beslutet grundat på den tekniska möjligheten att importera citeringsdata snarare än forskningspolitiska överväganden.

Ett sista exempel på trenden med riktlinjer är ett seminarium kring ‘best practice’ som anordnas av SUHFs bibliometrigrupp och Högskolan i Borås. Här tar man utgångspunkt i de många varierande indikatorer som används vid svenska lärosäten. En rapport författad av Gustaf Nelhans och Pieta Eklund pekar på stora skillnader i hur bibliometrin används för medelsfördelning vid svenska lärosäten och en utökad men ännu ej publicerad studie visar att 24 av 26 undersökta lärosäten använde sig av bibliometri för resursfördelning. Noterbart är att mycket få lärosäten lever upp till de tio priniciper som formulerats i Leidenmanifestet. Bibliometriska mått användes på flera håll för att fördela resurser på individnivå, och överlag är dokumentationen kring systemen bristfällig och transparensen låg. Vid seminariet ämnar man diskutera resultaten från dessa undersökningar. Hur ska de som leverar underlag för dessa utvärderingar förhålla sig till det ibland tveksamma användandet av indikatorer? Finns det behov av riktlinjer? Och vilken kompetens bör krävas av den som utför analysen?

Hur ska vi då förstå författandet av manifest och utformandet av riktlinjer? Först och främst kan vi konstatera att det i hög utsträckning är professionella bibliometriker (dvs de tjänar sitt levebröd på att utföra dessa analyser/utvärderingar) som står bakom dessa dokument. En möjlig förklaring till att dessa skrivelser publiceras just nu är att bibliometrikerna känner sig allt mer ifrågasatta. Det har alltid funnits dem som kritiserat användandet av bibliometriska mått men initiativ som DORA visar på ett alltmer organiserat motstånd. Ett sätt att skapa förtroende är då att urskilja den “goda” bibliometrin från den “dåliga” och på så sätt legitimera fortsatt användande.

Dock vill jag hävda att dessa initiativ inte enbart kan tolkas som en slug taktik för att rädda bibliometrin från dess kritiker utan dessa ansatser är också ett resultat av ett ökat intresse kring bibliometrins effekter. Den forskning som bedrivs kring utvärderingens konsekvenser börjar också ta större plats inom bibliometrifältet i stort, och det finns indikationer på att ett allt mer reflexivt förhållningsätt börjar få fäste även inom de organisationer som utför bibliometriska analyser.

Oavsett vilken förklaringsmodell som man finner mest attraktiv så medför utvecklandet av principer och riktlinjer att dessa frågor aktualiseras och debatteras. Det finns dock en risk att diskussionen stannar vid det praktiska utformandet av indikatorer och att det metodologiska och tekniska kommer att dominera. Istället för att lista problem med nuvarande metoder, indikatorer och tillvägagångsätt så skulle det därför vara värdefullt att ställa mer övergripande frågor: När är bibliometriska metoder användbara och legitima? När utgör bibliometrin ett viktigt komplement till peer review? Och i vilka fall används bibliometrisk mått för att de är lätttillgängliga snarare än därför att de är efterfrågade? Min åsikt är att bibliometrin har en roll att fylla , och då speciellt för att motverka tendenser — konservatism, könsdiskriminering och undertryckande av interdisciplinär forskning —som förknippas med peer review. Att urskilja de tillfällen där bibliometrin inte bara kan användas utan också bör användas är således den fråga som bibliometrikerna och forskarsamhället bör diskutera.