Nio punkter för en bra panel

I min förra bloggpost diskuterades några av de problem som är förknippade med peer review. Frågan är dock hur en panel av granskande forskare ska vara sammansatt för att undvika diskriminering, jäv och tendenser till att gynna det kända och etablerade. Svaret på denna fråga ges i artikeln ”The selection of talent as a group process. A literature review on the social dynamics of decision making in grant panels” som publicerades i Research Evaluation idag. Här listar nämligen författarna van Arensbergen, van der Weijden och van den Besselaar nio punkter för en god beredningsgrupp:

  1. Sätt samman beredningsgruppen så att det finns en heterogenitet bland paneldeltagare; både vad det gäller disciplinär bakgrund, kön, metodologisk inriktning och institutionstillhörighet. Ett sådant tillvägagångsätt reducerar risken för gruppkonformt tänkande.
  2. Se samtidigt till att granskarnas kompetenser överlappar så att de kan kommunicera och samarbeta med varandra.
  3. Ge granskarna information om de andras panelisternas expertis så att de kan värdera varandras kompetens.
  4. Arbeta för en atmosfär som främjar kollegialt samarbete och en god kommunikation mellan granskarna.
  5. Se till att det finns utrymme för delade åsikter och öppna konfliker mellan granskarna. Ge forskare med avvikande åsikter möjlighet att uttrycka dessa. En moderator, som själv inte är involverad i beslutsfattandet, bör övervaka processen och se till att alla får tillfälle att yttra sig.
  6. Låt granskarna ta ett större ansvar för de beslut som fattas genom att till exempel begära rapporter där bidragsbeslut tydligt motiveras. Detta medför att panelerna behöver vara mer explicita i hur beslut fattas samtidigt som förhastade och ogenomtänkta beslut undviks.
  7. Låt moderatorn eller ordföranden ta på sig rollen som ”djävulens advokat” för att lyfta fram alternativa synsätt och undvika hastiga beslut. Moderatorn bör också överse att vikt inte läggs vid irrelevant information eller att personliga intressen hos granskarna styr processen.
  8. Ge granskarna ordentligt med tid och resurser för att utföra ett gott arbete.
  9. Forskare bör belönas för tid och arbete. Uppdrag som granskare bör räknas forskaren tillgodo vid utvärderingar och tjänstetillsättning.

Kanske kan dessa nio punkter vara av nytta för forskningsfinansiärer, som VR och RJ, i arbetet med att tillsätta beredningsgrupper och utforma beslutsprocessen. I läsningen blir det dock tydligt att forskningen inom området är relativt begränsad givet den betydelse som bidragsbesluten har både för forskningen i stort och för den enskilde forskaren. Mer kunskap kring dessa processer krävs men trots diger information kring handläggandet och i vissa fall öppen tillgång till ansökningshandlingar så är transparensen vad det gäller beredningsförfarandet ofta mycket liten (se till exempel VRs beskrivning av en ”öppen” process). Det finns dock exempel på studier som lyckas med att öppna peer review-förfarandets svarta låda och för den som vill fördjupa sig i beredningsgruppernas sociala dynamik, med ett speciellt fokus på disciplinära skillnader i bedömningen av vetenskaplig kvalité, så rekommenderar jag Michèle Lamont’s studie: How Professors Think: Inside the Curious World of Academic Judgment (2009). Här får vi till exempel veta att ekonomer ser bedömningen av forskningsanslag som en förhållandevis enkel process där det gäller att utse vinnare och förlorare (s. 101), samtidigt som filosofer ifrågasätter möjligheten att bli bedömda av forskare utanför den egna disciplinen (64f.). Vår disciplinära bakgrund samt sociala faktorer som kön och ålder påverkar hur vi definierar och bedömer vetenskaplig kvalité. Detta gör att sammansättningen av paneler blir avgörande för de beslut som fattas, och just därför är vidare forskning på området av stor betydelse för arbetet med att utforma beredningsförfaranden och utvärderingsprocesser som är rättvisa, transparenta och framgångsrika i att gynna god och nydanande forskning.

Agnes Wold, peer review och möjligheten till en subversiv bibliometri

I dagens Sommar kunde vi i lyssna till Agnes Wold, professor i klinisk bakterologi och överläkare vid Sahlgrenska akademin i Göteborg. Ett huvudtema i programmet var den studie om peer review och könsdiskriminering som hon tillsammans med kollegan Christine Wennerås publicerade 1997. Studien, med titeln ”Nepotism and sexism in peer review” (Nature, 341-3) visade att kvinnor systematiskt diskriminerades vid ansökningar till Medicinska forskningsrådet. Undersökningen motiverades av att beviljandegraden för kvinnor var under hälften av den för män. Genom att studera peer review-omdömen kunde Wennerås och Wold visa att kvinnor genomgående fick lägre poäng på alla tre kriterier; vetenskaplig kompetens, metodologi och forskningsprojektets relevans. Störst skillnad uppvisades gällande kriteriet vetenskaplig kompetens där kvinnor generellt ansågs sämre än de manliga sökande. I nästa steg av studien tittade Wennerås och Wold på de antal publikationer som de sökande författat, statusen på tidskriften de publicerat i, samt hur ofta de citerats. Sammantaget visade det sig att en kvinna behövde vara mer än 2, 5 gånger så produktiv för att betraktas som jämbördig med en manlig sökande. Studien visade också att vänskapliga kontakter med granskare ökade möjligheten att bli beviljad avsevärt.

Kombinationen av sällan åtkomligt material (peer review-utlåtanden) och bibliometrisk data möjliggjorde forskningen, som fått ett stort genomslag både inom och utanför vetenskapen. Tillsammans med Birgitta Jordansson och Ulf Sandström återkom Wold i debatten när rapporten Hans excellens publicerades 2010. I denna uppföljningsstudie kunde de visa hur senare års excellenssatsningar gynnat män framför kvinnor, och även här spelade bibliometrin en viktig roll.

Wennerås och Wolds artikel citeras ofta som exempel på de problem som finns med kollegial granskning. Den omnämns ofta i bibliometriska tidskrifter och då ofta kopplad till kritik av utvärdering med hjälp av peer review. Mer sällan framhålls studien som ett gott exempel på hur bibliometri kan användas. Ofta kritiseras bibliometriska mått och utvärderingsmetoder för att cementera och förstärka hierarkier och rankingar. Men som Wennerås och Wold förtjänstfullt visat kan ett bibliometriskt angrepssätt vara mycket effektivt även för att ifrågasätta etablerade hierarkier och normer. Studien är således ett utmärkt exempel på möjligheten till en subversiv bibliometri. Faktum är att bibliometriska metoder kan vara ett kraftfullt instrument för att utmana rådande föreställningar och kritisera etablerade system, men ett alltför stort fokus på deskriptiv och evavulerande bibliometri har starkt begränsat utrymmet för mer kritisk forskning.

På det stora hela rekommenderar jag Agnes Wolds sommarprat. Förutom att hon berättar den fascinerade historien om studien ovan så är hennes avlivande av allehanda myter kring föräldraskap – som den om att amning förebygger allergier – mycket hörvärda.

1-procentsklubben

I en uppmärksammad studie som nyligen publicerades i PlosOne så drar författarna Ioannidis, Boyack och Klavans två slutsatser: mycket få forskare publicerar sig kontinuerligt i högt rankade tidskrifter (indexerade i Web of Science), och denna lilla skara (mindre än 1 procent) står som författare till över 40 % av alla artiklar under de 16 år som studerats. Artiklar skrivna av dessa författare citeras också i betydligt högre grad än andra.

 Resultaten är uppseendeväckande men kanske inte helt förvånande då tidigare forskning visar på en skev fördelning både vad det gäller antalet publicerade paper per forskare och antalet citeringar som dessa får. Föreliggande studie går dock bortom tidigare resultat som visat på distributioner som följer Bradfords lag eller Paretoprincipen om en 20/80 fördelning av författare och publikationer. Liknande distributioner har dock påvisats i andra sammanhang och mest uppmärksammad är kanske iakttagelsen att den rikaste procenten äger nära hälften av alla ekonomiska tillgångar (Oxfam.org).*

 Vi bör dock avhålla oss från att tro att 1-procentsregeln gäller hela vetenskapen – samhällsvetenskaperna, humaniora samt teknik följer inte detta mönster – och även om studien omfattar över 15 miljoner författare så är den begränsad till en specifik databas och de tidskrifter som indexeras där. Det är också så att samförfattarskap är den dominerande formen i de discipliner där 1-procentsregeln kan appliceras. Givetvis ger samförfattandet större möjligheter till att kontinuerligt publicera sig under en lång tidsperiod.

 Vilka forskningspolitiska implikationer kan man då dra av dessa resultat? En uppenbar slutsats är att satsa på de allra främsta forskarna då vi vet att dessa står för en stor del av den samlade produktionen av vetenskaplig litteratur. Satsningar på “excellence” – som för tillfället är populära i den svenska kontexten – går i denna riktning. Det kan dock finnas problem med en sådan strategi och författarna pekar på att ett alltför stort fokus på redan framgångsrika och ledande forskare kan medföra en alltför stor likriktning som i sin tur resulterar i gedigen och publicerbar, men kanske i mindre grad nydanande, forskning. Ett alternativ är att istället ge unga forskare , som ännu är långt ifrån 1-procentsklubben, möjlighet att etablera sig. Att möjliggöra för flera forskare, inte minst kvinnor, att bli aktiva och framgångsrika inom sitt fält kan således vara ett alternativ till att strö resurser över liten skara av högproduktiva forskare.

 *Även brottsligheten följer en liknande distribution: 1 procent av av befolkningen står för 63% av våldsbrotten (Falk m.fl. 2014).