Agnes Wold, peer review och möjligheten till en subversiv bibliometri

I dagens Sommar kunde vi i lyssna till Agnes Wold, professor i klinisk bakterologi och överläkare vid Sahlgrenska akademin i Göteborg. Ett huvudtema i programmet var den studie om peer review och könsdiskriminering som hon tillsammans med kollegan Christine Wennerås publicerade 1997. Studien, med titeln ”Nepotism and sexism in peer review” (Nature, 341-3) visade att kvinnor systematiskt diskriminerades vid ansökningar till Medicinska forskningsrådet. Undersökningen motiverades av att beviljandegraden för kvinnor var under hälften av den för män. Genom att studera peer review-omdömen kunde Wennerås och Wold visa att kvinnor genomgående fick lägre poäng på alla tre kriterier; vetenskaplig kompetens, metodologi och forskningsprojektets relevans. Störst skillnad uppvisades gällande kriteriet vetenskaplig kompetens där kvinnor generellt ansågs sämre än de manliga sökande. I nästa steg av studien tittade Wennerås och Wold på de antal publikationer som de sökande författat, statusen på tidskriften de publicerat i, samt hur ofta de citerats. Sammantaget visade det sig att en kvinna behövde vara mer än 2, 5 gånger så produktiv för att betraktas som jämbördig med en manlig sökande. Studien visade också att vänskapliga kontakter med granskare ökade möjligheten att bli beviljad avsevärt.

Kombinationen av sällan åtkomligt material (peer review-utlåtanden) och bibliometrisk data möjliggjorde forskningen, som fått ett stort genomslag både inom och utanför vetenskapen. Tillsammans med Birgitta Jordansson och Ulf Sandström återkom Wold i debatten när rapporten Hans excellens publicerades 2010. I denna uppföljningsstudie kunde de visa hur senare års excellenssatsningar gynnat män framför kvinnor, och även här spelade bibliometrin en viktig roll.

Wennerås och Wolds artikel citeras ofta som exempel på de problem som finns med kollegial granskning. Den omnämns ofta i bibliometriska tidskrifter och då ofta kopplad till kritik av utvärdering med hjälp av peer review. Mer sällan framhålls studien som ett gott exempel på hur bibliometri kan användas. Ofta kritiseras bibliometriska mått och utvärderingsmetoder för att cementera och förstärka hierarkier och rankingar. Men som Wennerås och Wold förtjänstfullt visat kan ett bibliometriskt angrepssätt vara mycket effektivt även för att ifrågasätta etablerade hierarkier och normer. Studien är således ett utmärkt exempel på möjligheten till en subversiv bibliometri. Faktum är att bibliometriska metoder kan vara ett kraftfullt instrument för att utmana rådande föreställningar och kritisera etablerade system, men ett alltför stort fokus på deskriptiv och evavulerande bibliometri har starkt begränsat utrymmet för mer kritisk forskning.

På det stora hela rekommenderar jag Agnes Wolds sommarprat. Förutom att hon berättar den fascinerade historien om studien ovan så är hennes avlivande av allehanda myter kring föräldraskap – som den om att amning förebygger allergier – mycket hörvärda.

Hur reagerar forskare på bibliometrisk utvärdering?

Under senare år har bibliometrisk utvärdering, ofta med utgångspunkt i antalet citeringar eller antalet publikationer, blivit en etablerad metod för att fördela resurser mellan forskare, institutioner och lärosäten. Hur detta påverkar den enskilde forskaren är en central fråga i min forskning. I en nyligen sammanställd studie – Accountability in context – utgår Sarah de Rijcke (Leidens Universitet) och jag från publiceringsmönster och forskningspraktiker vid den historisk-filosofiska fakulteten vid Uppsala Universitet. Undersökningen, som bygger på publikationer från 2006-2013, visar att tidskriftsartiklar på engelska har ökat substantiellt (se nedan) och detsamma gäller för andelen publikationer som registreras som “referegranskade”. Dessa förändringar kan inte direkt härledas till nyligen implementerade utvärderingssystem, men det kan konstateras att den utveckling som vi iakttagit ligger helt i linje med de incitatment som finns i dessa fördelningsmodeller.

Yearly changes

Studien kompletteras av en enkät där forskare vid fakulteten besvarat frågor kring publiceringspraktiker och eventuella förändringar av dessa. Flera respondenter påtalar ett större fokus på engelskspråkiga tidskriftspublikationer. Reaktionerna på denna utveckling är delade; vissa forskare ser förändrade publiceringspraktiker som ett hot mot humanioras särart samtidigt som andra välkomnar ett större fokus på en internationell publik. Svaren indikerar att bibliometrisk evaluering, men också krav på open access, ofta hamnar i konflikt med disciplinära normer. Samtidigt rankas ‘icke-epistemisk’ påverkan lågt när forskare värderar de faktorer som påverkar valet av publikationskanal (se nedan). Vidare visar tidigare studier av utvärdering och utvärderingssystem att påverkan på praktiker och attityder inom organisationer ofta är liten; speciellt i fält där institutionella normer är starka. Således bör vi vara försiktiga med att dra för långtgående slutsatser om de effekter som utvärderingssystem har.

factors

Den aktuella studien är begränsad och ambitionen är att bredda undersökningen till att omfatta fler forskningsfält samt att titta på hur intervjuer och etnografiska metoder kan bidra till att belysa frågan. Det finns alltså all anledningen att återkomma till ämnet framöver.

Studien finns nu publicerad i Research Evaluation.