Så tuktas bibliometrin

I dagens Nature publiceras “The Leiden manifesto” där tio principer för bibliometrisk utvärdering föreslås av en samling ledande bibliometriker och vetenskapssociologer med Diana Hicks och Paul Wouters i spetsen. Manifestet tar sin utgångspunkt i de diskussioner som förts vid bibliometriska konferenser under senare år. Jag har tidigare diskuterat försöken att formulera riktlinjer för användandet av bibliometriska mått, och de principer som nu lanserats är ett viktig steg i denna strävan. Nedan följer de tio principerna i mycket kortfattad form:

  1. Kvantitativ utvärdering ska stödja kvalitativa omdömen. Inte tvärtom.
  2. Mät kvalité och genomslag utifrån institutionens, forskargruppens eller forskarens specifika roll och syfte.
  3. Skydda framstående “lokal” forskning (till exempel inom humaniora).
  4. Bedömningen ska vara transparent. Data samt procedurer ska redovisas öppet.
  5. Den utvärderade ska få möjlighet att granska och revidera den data som ligger till grund för utvärderingen.
  6. Beakta variationer i publicerings- och citeringsmönster mellan vetenskapliga fält vid utvärdering.
  7. Utvärderingar av enskilda forskare bör baseras på kvalitativa omdömen.
  8. Undvik falsk precision (till exempel användandet av tre decimaler vid beräknandet av Journal Impact Factor).
  9. Uppmärksamma utvärderingens systematiska effekter på forskare och institutioner.
  10. Granska och utvärdera bibliometriska indikatorer regelbundet.

Överlag så stämmer dessa principer med väletablerade uppfattningar bland bibliometriker överlag, men det betyder knappast att alla eller ens en majoritet av de utvärderingar som utförs följer dessa principer. Noterbart är dock att principerna nästan uteslutande berör vad som inte bör göras, de begränsningar som bibliometrin har och de risker som finns med ett alltför frekvent användande. Detta trots att flera av författarna företräder institutioner som utför bibliometriska utvärderingar på konsultbasis.

Ett manifest kommer sällan ensamt, och vi ser liknande initiativ även i Sverige. För ett par månader sedan så publicerade Vetenskapsrådet sina “Riktlinjer för användning av bibliometri”. Från Leidenmanifestet känner vi igen formuleringar kring att bibliometrin bör kompletteras med kvalitativa omdömen och VR uttrycker tveksamheter kring mått som h-index och Journal Impact Factor. Riktlinjerna kring användandet av bibliometri på individnivå är dock motsägelsefulla . Å ena sidan skriver man att ”Vetenskapsrådet är mycket restriktivt när det gäller bibliometriska jämförelser mellan individer och använder sig inte av h-index eller liknande indikatorer” (från sammanfattningen), men samtidigt beskrivs hur citeringsdata för alla publikationer där sådan finns automatiskt kommer redovisas i PRISMA. Detta kan man knappast beskriva som restriktiv och reflekterad användning av bibliometri. VR inser givetvis att detta är kontroversiellt och inflikar: ”Forskares meriter ska aldrig bedömas, jämföras eller rankas enbart utifrån bibliometriska data.” (s. 7). Vilken vikt som ska läggas vid bibliometriska mått, huruvida de är komplementerande eller helt avgörande anges dock inte. Det är också, vilket jag påpekat i anslutning till förslaget om nytt utvärderingsystem för svensk forskning (FOKUS), naivt att tro att bedömare kommer kunna bortse från citeringsdata när de väl fått ta del av sådana uppgifter. Risken är att den tekniska möjligheten att automatiskt importera imformation kring citeringar får större konsekvenser än VR avser. Om citeringsdata systematiskt redovisas i PRISMA innebär det att bibliometri på individnivå kan komma spela en högst betydande roll vid bedömningar av forskningsansökningar. Om detta är intentionen så låt gå, men då bör man motivera varför citeringar ska användas vid bedömningen av forskningsprojekt. I nuläget verkar beslutet grundat på den tekniska möjligheten att importera citeringsdata snarare än forskningspolitiska överväganden.

Ett sista exempel på trenden med riktlinjer är ett seminarium kring ‘best practice’ som anordnas av SUHFs bibliometrigrupp och Högskolan i Borås. Här tar man utgångspunkt i de många varierande indikatorer som används vid svenska lärosäten. En rapport författad av Gustaf Nelhans och Pieta Eklund pekar på stora skillnader i hur bibliometrin används för medelsfördelning vid svenska lärosäten och en utökad men ännu ej publicerad studie visar att 24 av 26 undersökta lärosäten använde sig av bibliometri för resursfördelning. Noterbart är att mycket få lärosäten lever upp till de tio priniciper som formulerats i Leidenmanifestet. Bibliometriska mått användes på flera håll för att fördela resurser på individnivå, och överlag är dokumentationen kring systemen bristfällig och transparensen låg. Vid seminariet ämnar man diskutera resultaten från dessa undersökningar. Hur ska de som leverar underlag för dessa utvärderingar förhålla sig till det ibland tveksamma användandet av indikatorer? Finns det behov av riktlinjer? Och vilken kompetens bör krävas av den som utför analysen?

Hur ska vi då förstå författandet av manifest och utformandet av riktlinjer? Först och främst kan vi konstatera att det i hög utsträckning är professionella bibliometriker (dvs de tjänar sitt levebröd på att utföra dessa analyser/utvärderingar) som står bakom dessa dokument. En möjlig förklaring till att dessa skrivelser publiceras just nu är att bibliometrikerna känner sig allt mer ifrågasatta. Det har alltid funnits dem som kritiserat användandet av bibliometriska mått men initiativ som DORA visar på ett alltmer organiserat motstånd. Ett sätt att skapa förtroende är då att urskilja den “goda” bibliometrin från den “dåliga” och på så sätt legitimera fortsatt användande.

Dock vill jag hävda att dessa initiativ inte enbart kan tolkas som en slug taktik för att rädda bibliometrin från dess kritiker utan dessa ansatser är också ett resultat av ett ökat intresse kring bibliometrins effekter. Den forskning som bedrivs kring utvärderingens konsekvenser börjar också ta större plats inom bibliometrifältet i stort, och det finns indikationer på att ett allt mer reflexivt förhållningsätt börjar få fäste även inom de organisationer som utför bibliometriska analyser.

Oavsett vilken förklaringsmodell som man finner mest attraktiv så medför utvecklandet av principer och riktlinjer att dessa frågor aktualiseras och debatteras. Det finns dock en risk att diskussionen stannar vid det praktiska utformandet av indikatorer och att det metodologiska och tekniska kommer att dominera. Istället för att lista problem med nuvarande metoder, indikatorer och tillvägagångsätt så skulle det därför vara värdefullt att ställa mer övergripande frågor: När är bibliometriska metoder användbara och legitima? När utgör bibliometrin ett viktigt komplement till peer review? Och i vilka fall används bibliometrisk mått för att de är lätttillgängliga snarare än därför att de är efterfrågade? Min åsikt är att bibliometrin har en roll att fylla , och då speciellt för att motverka tendenser — konservatism, könsdiskriminering och undertryckande av interdisciplinär forskning —som förknippas med peer review. Att urskilja de tillfällen där bibliometrin inte bara kan användas utan också bör användas är således den fråga som bibliometrikerna och forskarsamhället bör diskutera.

Jämställdhet och vetenskaplig produktion

481px-Granada_Relocation_Center,_Amache,_Colorado.__Feel_My_Muscle__-_(art)_cut_out._Granada_Relocation_._._._-_NARA_-_539913

Könsskillnader gällande vetenskaplig produktion (antalet publikationer) och genomslag (citeringar) har länge varit en tvistefråga inom bibliometrin. En majoritet av undersökningarna kring produktivitet visar att män fortfarande står som författare till fler artiklar än kvinnor, och de citeras också oftare. Det finns dock indikationer på att dessa skillnader håller på att utjämnas då kvinnor, bland yngre forskare, gått om männen vad det gäller författandet av vetenskapliga publikationer. En trend som är logiskt då kvinnor i de flesta utvecklade samhällen överträffar männen vad det gäller nivå och resultat i utbildningssystemet.

Men vilken betydelse har länders utvecklings- och jämställdhetsnivå för kvinnors vetenskapliga produktion? Är det så att könsskillnader inom forskningen är mindre i ett mer jämlikt samhälle? En nyligen publicerad artikel av Sugimoto, Ni och Larivière försöker svara på dessa frågor genom en storskalig studie av knappt fem och en halv miljon artiklar. De finner dock inte några entydiga svar. Upp till en viss nivå så har det relativa välståndet en betydande inverkan på jämställdheten inom forskningen där ojämlikheten är störst i mycket fattiga länder. Men skillnaderna mellan medelrika och mycket rika länder är små. Resultaten gällande jämställdhet ger liknande svar. De mest ojämlika länderna — här återfinns exempelvis Iran där kvinnor är förhindrade att forska inom vissa fält — är också de där forskningen är mest ojämställd. Skillnaderna mellan länder med medelhög jämställdhet och de som rankas högst enligt Gender Inequality Index är  dock mycket liten. Alltså, en grundläggande nivå av utveckling och jämställdhet påverkar jämlikheten inom forskningen men effekten avtar gradvis. Det är dock viktigt att påpeka att studien inte beaktat den totala andelen kvinnor bland forskarna i enskilda länder, och en möjlig förklaring till resultaten skulle då vara att de kvinnor som lyckas ta sig fram i mindre jämställda samhällen är tvungna att prestera på en mycket högre nivå för att överhuvudtaget överleva inom akademin. Det bör också nämnas att studien endast omfattar artiklar indexerade i databasen Web of Science som har begränsad täckning inom samhällsvetenskap och humaniora.

Om vi trots dessa invändningar tar resultaten på allvar så innebär det att könsskillnader inom vetenskapen bara delvis kan skyllas på ett omgivande samhälle. Relativt stora skillnader i jämställdhet mellan discipliner, där ämnen som pedagogik, vårdvetenskap och biblioteksvetenskap uppvisar högre grad av jämställdhet gällande vetenskaplig produktion samtidigt som fysik, ekonomi och filosofi är ämnen där ojämställdheten består, bekräftar att inomvetenskapliga faktorer spelar stor roll. Att just dessa ämnen, med får man säga relativt hög svansföring, är mest ojämställda är kanske inte en slump. En uppmärksammad studie visar nämligen att vetenskapliga fält där idén om ett geni spelar stor roll också tenderar till att vara mest ojämställda. Således kan ojämställdheten inom akademin inte bara skyllas på omgivande strukturer utan skillnader mellan könen är också ett resultat av våra föreställningar kring vad vetenskap är, och vad det innebär att vara en god forskare. Att skjuta hål på föreställningarna om det vetenskapliga geniet, för genierna är nästan alltid män, synes därmed vara en möjlig väg för att minska ojämställdheten inom akademin.

Bibliometrin kan i denna process inte bara erbjuda en beskrivning av rådande strukturer, utan också, som jag skrivit om tidigare, verka subversivt och hjälpa till med att kullkasta könade föreställningar om vetenskaplighet och genialitet. Statististiska studier kan dock bara ta oss en bit på vägen, vilket författarna till studierna ovan också medger, och mer djuplodande kvalitativa ansatser behövs för att förstå, och motverka  ojämställdheten i forskarsamhället.

Bild:”Feel My Muscle” av Iwasaki, Hikaru, 1923-, Photographer (NARA record: 8464103) (U.S. National Archives and Records Administration) [Public domain], via Wikimedia Commons