1-procentsklubben

I en uppmärksammad studie som nyligen publicerades i PlosOne så drar författarna Ioannidis, Boyack och Klavans två slutsatser: mycket få forskare publicerar sig kontinuerligt i högt rankade tidskrifter (indexerade i Web of Science), och denna lilla skara (mindre än 1 procent) står som författare till över 40 % av alla artiklar under de 16 år som studerats. Artiklar skrivna av dessa författare citeras också i betydligt högre grad än andra.

 Resultaten är uppseendeväckande men kanske inte helt förvånande då tidigare forskning visar på en skev fördelning både vad det gäller antalet publicerade paper per forskare och antalet citeringar som dessa får. Föreliggande studie går dock bortom tidigare resultat som visat på distributioner som följer Bradfords lag eller Paretoprincipen om en 20/80 fördelning av författare och publikationer. Liknande distributioner har dock påvisats i andra sammanhang och mest uppmärksammad är kanske iakttagelsen att den rikaste procenten äger nära hälften av alla ekonomiska tillgångar (Oxfam.org).*

 Vi bör dock avhålla oss från att tro att 1-procentsregeln gäller hela vetenskapen – samhällsvetenskaperna, humaniora samt teknik följer inte detta mönster – och även om studien omfattar över 15 miljoner författare så är den begränsad till en specifik databas och de tidskrifter som indexeras där. Det är också så att samförfattarskap är den dominerande formen i de discipliner där 1-procentsregeln kan appliceras. Givetvis ger samförfattandet större möjligheter till att kontinuerligt publicera sig under en lång tidsperiod.

 Vilka forskningspolitiska implikationer kan man då dra av dessa resultat? En uppenbar slutsats är att satsa på de allra främsta forskarna då vi vet att dessa står för en stor del av den samlade produktionen av vetenskaplig litteratur. Satsningar på “excellence” – som för tillfället är populära i den svenska kontexten – går i denna riktning. Det kan dock finnas problem med en sådan strategi och författarna pekar på att ett alltför stort fokus på redan framgångsrika och ledande forskare kan medföra en alltför stor likriktning som i sin tur resulterar i gedigen och publicerbar, men kanske i mindre grad nydanande, forskning. Ett alternativ är att istället ge unga forskare , som ännu är långt ifrån 1-procentsklubben, möjlighet att etablera sig. Att möjliggöra för flera forskare, inte minst kvinnor, att bli aktiva och framgångsrika inom sitt fält kan således vara ett alternativ till att strö resurser över liten skara av högproduktiva forskare.

 *Även brottsligheten följer en liknande distribution: 1 procent av av befolkningen står för 63% av våldsbrotten (Falk m.fl. 2014).

 

Hur reagerar forskare på bibliometrisk utvärdering?

Under senare år har bibliometrisk utvärdering, ofta med utgångspunkt i antalet citeringar eller antalet publikationer, blivit en etablerad metod för att fördela resurser mellan forskare, institutioner och lärosäten. Hur detta påverkar den enskilde forskaren är en central fråga i min forskning. I en nyligen sammanställd studie – Accountability in context – utgår Sarah de Rijcke (Leidens Universitet) och jag från publiceringsmönster och forskningspraktiker vid den historisk-filosofiska fakulteten vid Uppsala Universitet. Undersökningen, som bygger på publikationer från 2006-2013, visar att tidskriftsartiklar på engelska har ökat substantiellt (se nedan) och detsamma gäller för andelen publikationer som registreras som “referegranskade”. Dessa förändringar kan inte direkt härledas till nyligen implementerade utvärderingssystem, men det kan konstateras att den utveckling som vi iakttagit ligger helt i linje med de incitatment som finns i dessa fördelningsmodeller.

Yearly changes

Studien kompletteras av en enkät där forskare vid fakulteten besvarat frågor kring publiceringspraktiker och eventuella förändringar av dessa. Flera respondenter påtalar ett större fokus på engelskspråkiga tidskriftspublikationer. Reaktionerna på denna utveckling är delade; vissa forskare ser förändrade publiceringspraktiker som ett hot mot humanioras särart samtidigt som andra välkomnar ett större fokus på en internationell publik. Svaren indikerar att bibliometrisk evaluering, men också krav på open access, ofta hamnar i konflikt med disciplinära normer. Samtidigt rankas ‘icke-epistemisk’ påverkan lågt när forskare värderar de faktorer som påverkar valet av publikationskanal (se nedan). Vidare visar tidigare studier av utvärdering och utvärderingssystem att påverkan på praktiker och attityder inom organisationer ofta är liten; speciellt i fält där institutionella normer är starka. Således bör vi vara försiktiga med att dra för långtgående slutsatser om de effekter som utvärderingssystem har.

factors

Den aktuella studien är begränsad och ambitionen är att bredda undersökningen till att omfatta fler forskningsfält samt att titta på hur intervjuer och etnografiska metoder kan bidra till att belysa frågan. Det finns alltså all anledningen att återkomma till ämnet framöver.

Studien finns nu publicerad i Research Evaluation.

Ett alldeles för blygsamt förslag

rankings

Så kallade jag intialt min replik på Kåre Bremers inlägg i Curie men texten publicerades till slut under titeln: Ja, låt rankingen styra hela forskningspolitiken. Det som jag fann anmärkningsvärt var inte Bremers förslag på ökad internationalisering, tydligare karriärvägar för yngre forskare eller ökade resurser för grundutbildningen utan att dessa förändringar motiverades av hur svenska universitet placerar sig i globala universitetsrankingar. Bremer, som är väl medveten om rankingarnas brister, argumenterar för att universitetsrankingar blivit så mäktiga att vi inte kan ignorera dem. Han förespråkar således att vi kapitulerar inför en mätmetod som är högst tveksam. Jag menar att vi snarare bör ifrågasätta rankingarnas betydelse och inte låta dessa styra forskningspolitiken.

Foto: Thed van Leeuwen

Projektstart och bloggstart

Denna månad startar jag upp mitt postdokprojekt: ”Den ´metrifierade´ vetenskapen: Mätandet av kvalité och förändringar i forskningens praktik”. Under tre år ska jag fördjupa mig i hur forskningen påverkas av att alltmer utvärderas med kvantitativa mått. I min ansökan  listade jag en rad av saker som ska uträttas under dessa tre år (ett av dem var faktiskt att starta en blogg!) men om jag kommer nå fram till just dessa ”deliverables” återstår att se.  Mitt huvudsakliga syfte är dock att kritiskt studera användningen av bibliometriska metoder, beroendet av kommersiella citeringsdatabaser och konstruerandet av utvärderingssystem. En central fråga är hur ett ökat fokus på kvantifierbara mått påverkar den enskilda forskaren, men inom ramen för projektet studerar jag också universitetsrankingar och deras roll i att framhäva det excellenta universitet. Globala rankingar av universitet och högskolor publiceras varje år och de får stor uppmärksamhet, men om de verkligen mäter kvalité är högst oklart.

Projektet är finansierat genom en internationell postdok (VR & Högskolan i Borås) och min utländska värdinstitution är Centre for Science and Technology Studies vid Leidens Universitet (CWTS). Där kommer jag ingå i forskargruppen ”Evaluation practices in context” (EPIC) som leds av Sarah de Rijcke.

I bloggen kommer ni kunna följa arbetet med projektet men jag ämnar också ta upp  aktuella forskningspolitiska frågor och forskningsresultat med anknytning till bibliometri och utvärdering av vetenskapen.