Så tuktas bibliometrin

I dagens Nature publiceras “The Leiden manifesto” där tio principer för bibliometrisk utvärdering föreslås av en samling ledande bibliometriker och vetenskapssociologer med Diana Hicks och Paul Wouters i spetsen. Manifestet tar sin utgångspunkt i de diskussioner som förts vid bibliometriska konferenser under senare år. Jag har tidigare diskuterat försöken att formulera riktlinjer för användandet av bibliometriska mått, och de principer som nu lanserats är ett viktig steg i denna strävan. Nedan följer de tio principerna i mycket kortfattad form:

  1. Kvantitativ utvärdering ska stödja kvalitativa omdömen. Inte tvärtom.
  2. Mät kvalité och genomslag utifrån institutionens, forskargruppens eller forskarens specifika roll och syfte.
  3. Skydda framstående “lokal” forskning (till exempel inom humaniora).
  4. Bedömningen ska vara transparent. Data samt procedurer ska redovisas öppet.
  5. Den utvärderade ska få möjlighet att granska och revidera den data som ligger till grund för utvärderingen.
  6. Beakta variationer i publicerings- och citeringsmönster mellan vetenskapliga fält vid utvärdering.
  7. Utvärderingar av enskilda forskare bör baseras på kvalitativa omdömen.
  8. Undvik falsk precision (till exempel användandet av tre decimaler vid beräknandet av Journal Impact Factor).
  9. Uppmärksamma utvärderingens systematiska effekter på forskare och institutioner.
  10. Granska och utvärdera bibliometriska indikatorer regelbundet.

Överlag så stämmer dessa principer med väletablerade uppfattningar bland bibliometriker överlag, men det betyder knappast att alla eller ens en majoritet av de utvärderingar som utförs följer dessa principer. Noterbart är dock att principerna nästan uteslutande berör vad som inte bör göras, de begränsningar som bibliometrin har och de risker som finns med ett alltför frekvent användande. Detta trots att flera av författarna företräder institutioner som utför bibliometriska utvärderingar på konsultbasis.

Ett manifest kommer sällan ensamt, och vi ser liknande initiativ även i Sverige. För ett par månader sedan så publicerade Vetenskapsrådet sina “Riktlinjer för användning av bibliometri”. Från Leidenmanifestet känner vi igen formuleringar kring att bibliometrin bör kompletteras med kvalitativa omdömen och VR uttrycker tveksamheter kring mått som h-index och Journal Impact Factor. Riktlinjerna kring användandet av bibliometri på individnivå är dock motsägelsefulla . Å ena sidan skriver man att ”Vetenskapsrådet är mycket restriktivt när det gäller bibliometriska jämförelser mellan individer och använder sig inte av h-index eller liknande indikatorer” (från sammanfattningen), men samtidigt beskrivs hur citeringsdata för alla publikationer där sådan finns automatiskt kommer redovisas i PRISMA. Detta kan man knappast beskriva som restriktiv och reflekterad användning av bibliometri. VR inser givetvis att detta är kontroversiellt och inflikar: ”Forskares meriter ska aldrig bedömas, jämföras eller rankas enbart utifrån bibliometriska data.” (s. 7). Vilken vikt som ska läggas vid bibliometriska mått, huruvida de är komplementerande eller helt avgörande anges dock inte. Det är också, vilket jag påpekat i anslutning till förslaget om nytt utvärderingsystem för svensk forskning (FOKUS), naivt att tro att bedömare kommer kunna bortse från citeringsdata när de väl fått ta del av sådana uppgifter. Risken är att den tekniska möjligheten att automatiskt importera imformation kring citeringar får större konsekvenser än VR avser. Om citeringsdata systematiskt redovisas i PRISMA innebär det att bibliometri på individnivå kan komma spela en högst betydande roll vid bedömningar av forskningsansökningar. Om detta är intentionen så låt gå, men då bör man motivera varför citeringar ska användas vid bedömningen av forskningsprojekt. I nuläget verkar beslutet grundat på den tekniska möjligheten att importera citeringsdata snarare än forskningspolitiska överväganden.

Ett sista exempel på trenden med riktlinjer är ett seminarium kring ‘best practice’ som anordnas av SUHFs bibliometrigrupp och Högskolan i Borås. Här tar man utgångspunkt i de många varierande indikatorer som används vid svenska lärosäten. En rapport författad av Gustaf Nelhans och Pieta Eklund pekar på stora skillnader i hur bibliometrin används för medelsfördelning vid svenska lärosäten och en utökad men ännu ej publicerad studie visar att 24 av 26 undersökta lärosäten använde sig av bibliometri för resursfördelning. Noterbart är att mycket få lärosäten lever upp till de tio priniciper som formulerats i Leidenmanifestet. Bibliometriska mått användes på flera håll för att fördela resurser på individnivå, och överlag är dokumentationen kring systemen bristfällig och transparensen låg. Vid seminariet ämnar man diskutera resultaten från dessa undersökningar. Hur ska de som leverar underlag för dessa utvärderingar förhålla sig till det ibland tveksamma användandet av indikatorer? Finns det behov av riktlinjer? Och vilken kompetens bör krävas av den som utför analysen?

Hur ska vi då förstå författandet av manifest och utformandet av riktlinjer? Först och främst kan vi konstatera att det i hög utsträckning är professionella bibliometriker (dvs de tjänar sitt levebröd på att utföra dessa analyser/utvärderingar) som står bakom dessa dokument. En möjlig förklaring till att dessa skrivelser publiceras just nu är att bibliometrikerna känner sig allt mer ifrågasatta. Det har alltid funnits dem som kritiserat användandet av bibliometriska mått men initiativ som DORA visar på ett alltmer organiserat motstånd. Ett sätt att skapa förtroende är då att urskilja den “goda” bibliometrin från den “dåliga” och på så sätt legitimera fortsatt användande.

Dock vill jag hävda att dessa initiativ inte enbart kan tolkas som en slug taktik för att rädda bibliometrin från dess kritiker utan dessa ansatser är också ett resultat av ett ökat intresse kring bibliometrins effekter. Den forskning som bedrivs kring utvärderingens konsekvenser börjar också ta större plats inom bibliometrifältet i stort, och det finns indikationer på att ett allt mer reflexivt förhållningsätt börjar få fäste även inom de organisationer som utför bibliometriska analyser.

Oavsett vilken förklaringsmodell som man finner mest attraktiv så medför utvecklandet av principer och riktlinjer att dessa frågor aktualiseras och debatteras. Det finns dock en risk att diskussionen stannar vid det praktiska utformandet av indikatorer och att det metodologiska och tekniska kommer att dominera. Istället för att lista problem med nuvarande metoder, indikatorer och tillvägagångsätt så skulle det därför vara värdefullt att ställa mer övergripande frågor: När är bibliometriska metoder användbara och legitima? När utgör bibliometrin ett viktigt komplement till peer review? Och i vilka fall används bibliometrisk mått för att de är lätttillgängliga snarare än därför att de är efterfrågade? Min åsikt är att bibliometrin har en roll att fylla , och då speciellt för att motverka tendenser — konservatism, könsdiskriminering och undertryckande av interdisciplinär forskning —som förknippas med peer review. Att urskilja de tillfällen där bibliometrin inte bara kan användas utan också bör användas är således den fråga som bibliometrikerna och forskarsamhället bör diskutera.

Bibliometrin i forskningsbiblioteket

Bookshelf_Prunksaal_OeNB_Vienna_AT_matl00786ch

Under de senaste veckornas pendlande mellan Göteborg och Borås så har jag roat mig med att läsa Joachim Hanssons underhållande essäsamling: Att bilda en bibliotekarie. De samlade essäerna behandlar centrala frågor inom biblioteksvetenskapen på ett initierat och lättsamt sätt. För den med lite djupare kännedom kring nordisk B&I-forskning är igenkänningsfaktorn hög, och essäerna kryddas av anekdoter och iakttagelser från Hanssons professionella liv. Boken har dock mer än anekdoter att bjuda på, och här vill jag speciellt uppmärksamma kapitlet kring bibliometri.

Hansson konstaterar att bibliometrin alltmer kommit att bli en viktig del av universitetsbibliotekens verksamhet, och till stor del bygger resonemangen på en tidigare artikel samförfattad med Fredrik Åström. Här kartlägger de användningen av bibliometri på utvalda svenska lärosäten och konstaterar att biblioteket och bibliotekarien spelar en central roll. Resultat som bekräftas och stärks i en pågående studie om institutionaliseringen av bibliometrisk utvärdering vid svenska universitet och högskolor.

Åström och Hansson finner att utveckling av den bibliometriska verksamheten vid svenska forskningsbibliotek kan ha flera positiva konsekvenser; bibliotekens synlighet bland forskarna ökar, utbudet av relevanta tjänster för forskarna växer (vilket får anses viktigt i en tid när traditionella tjänster tillhandahållna av bibliotekarier automatiseras) och då bibliometrin är viktig för styrningen av lärosätet så stärks också bandet till lärosätets ledning. Bibliometrin kan alltså ha en statushöjande funktion för biblioteket. Noterbart i detta sammanhang är att bibliometrin står för skenbart ’hårda’ och objektiva ’fakta’ i form av siffror i en verksamhet som annars präglas av en mer humanistisk kunskapssyn. Att det främst är män (mig själv inräknad) som sökt sig till detta område är tydligt, och personligen tror jag att bibliometrins statushöjande potential är en orsak till den ganska skeva könsfördelning som ännu råder inom skrået.

Utvecklingen av bibliometriska funktioner vid svenska lärosäten kan också ses i ett kritiskt ljus. En potentiell risk är att biblioteket som generellt haft en stödjande roll också tar på sig en övervakande funktion. Hur reagerar forskarna på att bibliotekarier inte bara bistår dem i arbetet utan också utvärderar detsamma? Risken är att utföraren får ta skulden för illa genomförda utvärderingar trots att beslutet fattats av andra, och då kan biblioteket hamna i en vansklig situation. Åström och Hansson frågar sig också om bibliotekarierna verkligen har den kompetens som erfordras för att utföra bibliometriska studier. Det är svårt att ge något entydigt svar på denna fråga; många som arbetar med bibliometri vid svenska lärosäten är ytterst insatta och flera både följer och deltar i aktuell forskning. Dock kan vi konstatera att bibliotekarieutbildningarna i allmänhet ger mycket lite undervisning kring bibliometri och vetenskaplig kommunikation. Att forskningsbibliotekets roll, och därmed bibliotekariens, snabbt förändras från en mer passiv, förmedlande och informationssökande till en mer aktiv producerande roll har mestadels gått utbildningarna förbi. Oftast inskränks undervisningen kring bibliometri till någon enstaka föreläsning och den kompetens som finns ute i landet har ofta förvärvats på egen hand. Att bibliotekarier med bibliometrisk kompetens är efterfrågade råder det ingen tvekan om, och bara under det senaste året har flera tjänster med en sådan inriktning annonserats.

Behovet av bibliometrisk kompetens är dock inte helt förbisedd och ett tydligt exempel är kursen Bibliometri för bibliotekarier (7,5) som gavs vid Högskolan i Borås förra hösten och som riktade sig till yrkesverksamma forskningsbibliotekarier. En annan är Bibliometrins grunder (7,5) som i år ges som valbar kurs inom kandidatprogrammet. Inom dessa kurser får studenterna en grundlig introduktion till ämnet både ur praktiskt och teoretiskt hänseende. Viss fördjupning kring aktuella trender som altmetriska mått och visualisering sker också. Viktigast är dock att studenterna här får diskutera bibliometrin ur ett bredare forskningspolitiskt perspektiv där ett kritiskt förhållningssätt framhålls. Kompetensen att rent praktiskt handha bibliometriska databaser och verktyg är givetvis en komponent, men om kombinationen bibliometri/bibliotek ska framstå som fortsatt lyckad så torde det kritiska perspektivet vara av avgörande betydelse.

Bibliometri, publiceringsstöd och open access är områden där forskningsbiblioteken har en betydelsefull roll att spela. Med utgångspunkt i traditionella styrkor kring informationssökning och tillhandahållande kan dessa nya funktioner ytterligare stärka biblioteket som en central aktör i kommunikationen av vetenskapen. Bibliometrin är på goda grunder en kontroversiell verksamhet som inte bör bedrivas hur som helst, men som Hansson skriver: ”Det är kanske inte så farligt ändå, för mitt i allt står de ju där, bibliotekarierna. De kan och de vet.”. Låt oss hoppas att han har rätt.

Bild: ”Bookshelf Prunksaal OeNB Vienna AT matl00786ch” by Matl – own work (photography). Licensed under Creative Commons Attribution-Share Alike 3.0

Projektstart och bloggstart

Denna månad startar jag upp mitt postdokprojekt: ”Den ´metrifierade´ vetenskapen: Mätandet av kvalité och förändringar i forskningens praktik”. Under tre år ska jag fördjupa mig i hur forskningen påverkas av att alltmer utvärderas med kvantitativa mått. I min ansökan  listade jag en rad av saker som ska uträttas under dessa tre år (ett av dem var faktiskt att starta en blogg!) men om jag kommer nå fram till just dessa ”deliverables” återstår att se.  Mitt huvudsakliga syfte är dock att kritiskt studera användningen av bibliometriska metoder, beroendet av kommersiella citeringsdatabaser och konstruerandet av utvärderingssystem. En central fråga är hur ett ökat fokus på kvantifierbara mått påverkar den enskilda forskaren, men inom ramen för projektet studerar jag också universitetsrankingar och deras roll i att framhäva det excellenta universitet. Globala rankingar av universitet och högskolor publiceras varje år och de får stor uppmärksamhet, men om de verkligen mäter kvalité är högst oklart.

Projektet är finansierat genom en internationell postdok (VR & Högskolan i Borås) och min utländska värdinstitution är Centre for Science and Technology Studies vid Leidens Universitet (CWTS). Där kommer jag ingå i forskargruppen ”Evaluation practices in context” (EPIC) som leds av Sarah de Rijcke.

I bloggen kommer ni kunna följa arbetet med projektet men jag ämnar också ta upp  aktuella forskningspolitiska frågor och forskningsresultat med anknytning till bibliometri och utvärdering av vetenskapen.