I min förra bloggpost diskuterades några av de problem som är förknippade med peer review. Frågan är dock hur en panel av granskande forskare ska vara sammansatt för att undvika diskriminering, jäv och tendenser till att gynna det kända och etablerade. Svaret på denna fråga ges i artikeln ”The selection of talent as a group process. A literature review on the social dynamics of decision making in grant panels” som publicerades i Research Evaluation idag. Här listar nämligen författarna van Arensbergen, van der Weijden och van den Besselaar nio punkter för en god beredningsgrupp:

1. Sätt samman beredningsgruppen så att det finns en heterogenitet bland paneldeltagare; både vad det gäller disciplinär bakgrund, kön, metodologisk inriktning och institutionstillhörighet. Ett sådant tillvägagångsätt reducerar risken för gruppkonformt tänkande.
2. Se samtidigt till att granskarnas kompetenser överlappar så att de kan kommunicera och samarbeta med varandra.
3. Ge granskarna information om de andras panelisternas expertis så att de kan värdera varandras kompetens.
4. Arbeta för en atmosfär som främjar kollegialt samarbete och en god kommunikation mellan granskarna.
5. Se till att det finns utrymme för delade åsikter och öppna konfliker mellan granskarna. Ge forskare med avvikande åsikter möjlighet att uttrycka dessa. En moderator, som själv inte är involverad i beslutsfattandet, bör övervaka processen och se till att alla får tillfälle att yttra sig.
6. Låt granskarna ta ett större ansvar för de beslut som fattas genom att till exempel begära rapporter där bidragsbeslut tydligt motiveras. Detta medför att panelerna behöver vara mer explicita i hur beslut fattas samtidigt som förhastade och ogenomtänkta beslut undviks.
7. Låt moderatorn eller ordföranden ta på sig rollen som ”djävulens advokat” för att lyfta fram alternativa synsätt och undvika hastiga beslut. Moderatorn bör också överse att vikt inte läggs vid irrelevant information eller att personliga intressen hos granskarna styr processen.
8. Ge granskarna ordentligt med tid och resurser för att utföra ett gott arbete.
9. Forskare bör belönas för tid och arbete. Uppdrag som granskare bör räknas forskaren tillgodo vid utvärderingar och tjänstetillsättning.

Kanske kan dessa nio punkter vara av nytta för forskningsfinansiärer, som VR och RJ, i arbetet med att tillsätta beredningsgrupper och utforma beslutsprocessen. I läsningen blir det dock tydligt att forskningen inom området är relativt begränsad givet den betydelse som bidragsbesluten har både för forskningen i stort och för den enskilde forskaren. Mer kunskap kring dessa processer krävs men trots diger information kring handläggandet och i vissa fall öppen tillgång till ansökningshandlingar så är transparensen vad det gäller beredningsförfarandet ofta mycket liten (se till exempel VRs beskrivning av en ”öppen” process). Det finns dock exempel på studier som lyckas med att öppna peer review-förfarandets svarta låda och för den som vill fördjupa sig i beredningsgruppernas sociala dynamik, med ett speciellt fokus på disciplinära skillnader i bedömningen av vetenskaplig kvalité, så rekommenderar jag Michèle Lamont’s studie: How Professors Think: Inside the Curious World of Academic Judgment (2009). Här får vi till exempel veta att ekonomer ser bedömningen av forskningsanslag som en förhållandevis enkel process där det gäller att utse vinnare och förlorare (s. 101), samtidigt som filosofer ifrågasätter möjligheten att bli bedömda av forskare utanför den egna disciplinen (64f.). Vår disciplinära bakgrund samt sociala faktorer som kön och ålder påverkar hur vi definierar och bedömer vetenskaplig kvalité. Detta gör att sammansättningen av paneler blir avgörande för de beslut som fattas, och just därför är vidare forskning på området av stor betydelse för arbetet med att utforma beredningsförfaranden och utvärderingsprocesser som är rättvisa, transparenta och framgångsrika i att gynna god och nydanande forskning.