Bibliometrin i forskningsbiblioteket

Bookshelf_Prunksaal_OeNB_Vienna_AT_matl00786ch

Under de senaste veckornas pendlande mellan Göteborg och Borås så har jag roat mig med att läsa Joachim Hanssons underhållande essäsamling: Att bilda en bibliotekarie. De samlade essäerna behandlar centrala frågor inom biblioteksvetenskapen på ett initierat och lättsamt sätt. För den med lite djupare kännedom kring nordisk B&I-forskning är igenkänningsfaktorn hög, och essäerna kryddas av anekdoter och iakttagelser från Hanssons professionella liv. Boken har dock mer än anekdoter att bjuda på, och här vill jag speciellt uppmärksamma kapitlet kring bibliometri.

Hansson konstaterar att bibliometrin alltmer kommit att bli en viktig del av universitetsbibliotekens verksamhet, och till stor del bygger resonemangen på en tidigare artikel samförfattad med Fredrik Åström. Här kartlägger de användningen av bibliometri på utvalda svenska lärosäten och konstaterar att biblioteket och bibliotekarien spelar en central roll. Resultat som bekräftas och stärks i en pågående studie om institutionaliseringen av bibliometrisk utvärdering vid svenska universitet och högskolor.

Åström och Hansson finner att utveckling av den bibliometriska verksamheten vid svenska forskningsbibliotek kan ha flera positiva konsekvenser; bibliotekens synlighet bland forskarna ökar, utbudet av relevanta tjänster för forskarna växer (vilket får anses viktigt i en tid när traditionella tjänster tillhandahållna av bibliotekarier automatiseras) och då bibliometrin är viktig för styrningen av lärosätet så stärks också bandet till lärosätets ledning. Bibliometrin kan alltså ha en statushöjande funktion för biblioteket. Noterbart i detta sammanhang är att bibliometrin står för skenbart ’hårda’ och objektiva ’fakta’ i form av siffror i en verksamhet som annars präglas av en mer humanistisk kunskapssyn. Att det främst är män (mig själv inräknad) som sökt sig till detta område är tydligt, och personligen tror jag att bibliometrins statushöjande potential är en orsak till den ganska skeva könsfördelning som ännu råder inom skrået.

Utvecklingen av bibliometriska funktioner vid svenska lärosäten kan också ses i ett kritiskt ljus. En potentiell risk är att biblioteket som generellt haft en stödjande roll också tar på sig en övervakande funktion. Hur reagerar forskarna på att bibliotekarier inte bara bistår dem i arbetet utan också utvärderar detsamma? Risken är att utföraren får ta skulden för illa genomförda utvärderingar trots att beslutet fattats av andra, och då kan biblioteket hamna i en vansklig situation. Åström och Hansson frågar sig också om bibliotekarierna verkligen har den kompetens som erfordras för att utföra bibliometriska studier. Det är svårt att ge något entydigt svar på denna fråga; många som arbetar med bibliometri vid svenska lärosäten är ytterst insatta och flera både följer och deltar i aktuell forskning. Dock kan vi konstatera att bibliotekarieutbildningarna i allmänhet ger mycket lite undervisning kring bibliometri och vetenskaplig kommunikation. Att forskningsbibliotekets roll, och därmed bibliotekariens, snabbt förändras från en mer passiv, förmedlande och informationssökande till en mer aktiv producerande roll har mestadels gått utbildningarna förbi. Oftast inskränks undervisningen kring bibliometri till någon enstaka föreläsning och den kompetens som finns ute i landet har ofta förvärvats på egen hand. Att bibliotekarier med bibliometrisk kompetens är efterfrågade råder det ingen tvekan om, och bara under det senaste året har flera tjänster med en sådan inriktning annonserats.

Behovet av bibliometrisk kompetens är dock inte helt förbisedd och ett tydligt exempel är kursen Bibliometri för bibliotekarier (7,5) som gavs vid Högskolan i Borås förra hösten och som riktade sig till yrkesverksamma forskningsbibliotekarier. En annan är Bibliometrins grunder (7,5) som i år ges som valbar kurs inom kandidatprogrammet. Inom dessa kurser får studenterna en grundlig introduktion till ämnet både ur praktiskt och teoretiskt hänseende. Viss fördjupning kring aktuella trender som altmetriska mått och visualisering sker också. Viktigast är dock att studenterna här får diskutera bibliometrin ur ett bredare forskningspolitiskt perspektiv där ett kritiskt förhållningssätt framhålls. Kompetensen att rent praktiskt handha bibliometriska databaser och verktyg är givetvis en komponent, men om kombinationen bibliometri/bibliotek ska framstå som fortsatt lyckad så torde det kritiska perspektivet vara av avgörande betydelse.

Bibliometri, publiceringsstöd och open access är områden där forskningsbiblioteken har en betydelsefull roll att spela. Med utgångspunkt i traditionella styrkor kring informationssökning och tillhandahållande kan dessa nya funktioner ytterligare stärka biblioteket som en central aktör i kommunikationen av vetenskapen. Bibliometrin är på goda grunder en kontroversiell verksamhet som inte bör bedrivas hur som helst, men som Hansson skriver: ”Det är kanske inte så farligt ändå, för mitt i allt står de ju där, bibliotekarierna. De kan och de vet.”. Låt oss hoppas att han har rätt.

Bild: ”Bookshelf Prunksaal OeNB Vienna AT matl00786ch” by Matl – own work (photography). Licensed under Creative Commons Attribution-Share Alike 3.0

Grattis på födelsedagen Google Scholar!

Idag för tio år sedan så introducerades Google Scholar (GS). Relativt snart etablerade sig tjänsten som ett viktigt redskap i sökandet efter litteratur; idag säger 60% av forskarna att de använder GS regelbundet och för många, inklusive mig själv, är det den viktigaste söktjänsten. GS omfattar ett stort antal publikationer; nyligen publicerades en studie som räknar till ungefär 160 miljoner indexerade dokument. Detta gör den till den överlägset största söktjänsten för vetenskaplig litteratur.

Google Scholar har inte bara revolutionerat det sätt på vilket vi söker litteratur utan tjänsten har också starkt bidragit till populäriserandet av bibliometriska mått på författarnivån. Möjligheten att skapa en så kallad Google scholar profile (numera benämnd Google scholar citations) gör att alla forskare på ett enkelt sätt kan samla sina citeringar och raskt jämföra med kollegor. Denna populära service är en starkt bidragande orsakt till h-indexets dominanta position som mått på en forskares genomslag. GS har därmed stor betydelse för bibliometrins användning på individnivå.

Användandet av data från GS i evalueringssyfte är dock problematiskt på många sätt: datan är inte rensad och innehåller ofta rena felaktigheter, GS skiljer inte på olika typer av citerande dokument då allt från vetenskapliga artiklar och studentuppsatser indexeras, GS är lätt att manipulera och forskare som vill undersöka hur sökmotorn fungerar har liten eller ingen insyn i Googles svarta låda. Ett systematiserat utforskande av Google Scholar har därför starkt begränsats och främst har forskarna studerat, och utvecklat programvara för att analysera, citeringar på individnivå. Jämförelser mellan länder, universitet och ämnen har dock varit nästintill omöjliga att genomföra.

Dock ska det framhållas att GS också har många fördelar gentemot traditionella citeringsindex. Täckningen, speciellt inom samhällsvetenskap och humaniora, är avsevärt mycket större jämfört med Web of Science och Scopus. Detta åskådliggörs i en nyligen publicerad lista över författare i Google Scholar som har ett h-index över hundra. I sammanhanget bör det beaktas att man i denna lista räknat översatta verk som unika publikationer vilket framstår som högst problematiskt när h-index ska beräknas. GS gör det också möjligt att samla citeringar till böcker och bokkapitel. Vidare är databasen inte begränsad till engelskspråkiga dokument även om dessa är dominerande.

Under min tid som forskare har Google Scholar alltid funnits där som en första, och det må erkännas, alltför ofta enda ingång till den vetenskapliga litteraturen. Det är därför svårt för mig att bedöma dess vidare inflytande på forskares sökbeteende. Jag är dock övertygad om att tjänsten haft stor betydelse för hur vi söker efter litteratur, men också på hur vi bedömer källors trovärdighet och relevans. Säkerligen har GS också haft inverkan på hur vi värderar vårt eget inflytande i forskarsamhället, och tjänster som Google Scholar Citations kan nog med rätta anklagas för att föda en viss narcissism.

Trots Google Scholars brister, och dess ibland tveksamma inflytande, så är det inte en tjänst jag skulle vilja vara utan. Så låt oss därför hoppas att GS nu växer ur sina barnsjukdomar, och öppnar sin svarta låda så att åtminstone några av de uppenbara bristerna undanröjts till 20-årsdagen.

Det långsamma universitetet, publiceringsstress och den postdoktorala tillvaron

Snail_(PSF)

“We do need time to think. We do need time to digest. We do need time to misunderstand each other, especially when fostering lost dialogue between humanities and natural sciences. We cannot continuously tell you what our science means; what it will be good for; because we simply don’t know yet. Science needs time.” The slow science manifesto (2010)

Reaktionerna på ett alltför uppskruvat tempo i både arbetsliv och vardag kan ta sig många uttryck; böcker som Långsamhetens lov och Thinking fast and slow betonar eftertankens betydelse för kunskapsbildning och välbefinnande samtidigt som ett ökat intresse för surdegsbakning, långkok och ölbryggning kan ses som en längtan efter det omsorgsfulla och långsamma. Rörelsen kring “slow” startade också i den gastronomiska sfären med ett italienskt upprop mot snabbmat och Mcdonaldisering under 1980-talet. Långsamhetens betydelse har också kommit att betonas i akademiska sammanhang och begrepp som slow science och the slow university har lanserats.

Dessa initiativ kan betraktas mot en bakgrund av att alltfler forskare upplever att tempot i det akademiska arbetet har ökat, tydligt är också ökade krav på att redovisa och förbättra produktiviteten i enlighet med modeller inspirerade av New Public Management. En tilltagande andel forskare som har temporära anställningar samt det faktum att en allt större del av forskningen utförs inom tidsbegränsade och externt finansierade projekt är ytterligare faktorer som bidrar till ökad tidspress. En informant i Ylva Hasselbergs Vetenskapen som arbete (s. 157) uttrycker det på följande sätt: Har man inte publicerat i en av de topp tio-tidskrifterna som post doc är det små chanser till en foass när man kommer tillbaka till Sverige. Att forskare i fasen efter disputation känner en extra press att prestera, och då helst prestera sådant som kan rendera en fast tjänst, är knappast en överraskning. Ruth Müller har i studien Racing for what? specifikt fokuserat på hur postdoks inom biomedicin upplever och hanterar det uppskruvade tempot. Givetvis är det specifika förhållanden som råder inom biomedicin och ibland skulle det vara önskvärt med sociologiska studier av andra fält (Hasselbergs undersökning rör också medicinska forskare) men jag tror ändå att flera av slutsatserna är applicerbara i andra discipliner. I Müllers undersökning så lägger de postdoktorala forskarna stor tonvikt vid publikationer och det är viktigt för dem är att i så stor utsträckning som möjligt undvika att stå med ett projekt som inte genererar någon publikation alls. En strategi för att undvika ett sådant scenario är att parallellt arbeta på ett säkert projekt och ett högriskprojekt. På så sett kan forskarna försäkra sig om att åtminstone kunna addera någon publikation till sitt CV. Publiceringsstressen leder enligt Müller till att beslut om forskning alltid fattas med framtiden i beaktande: kan detta projekt leda till publikationer – som i sin tur resulterat i en ny tjänst eller ett nytt projekt – som i nästa skede gör det möjligt att starta en egen forskargrupp osv. Detta innebär att möjliga samarbeten men även handledning av studenter främst bedöms utifrån deras potential till att frambringa publikationer. Då akademiska publikationer är avgörande för karriärens fortskridande finns det risk att forskningsrelaterade uppgifter (t.ex. redaktörskap, refereegranskning och anordnandet av konferenser) som inte resulterar i publikationer nedvärderas, och andra uppdrag som undervisning, handledning samt interaktion med samhället riskerar att bli nedprioriterade. Vidare kan publiceringsstressen leda till att “säkra” och kortsiktiga projekt prioriteras framför mer nydanande och långsiktig forskning.

Ett ökat tempo i det akademiska arbete är dock något som omfattas av fler än bara postdoks, och i artikeln Academic life in the fast lane av Filip Vostal betraktas detta inte enbart som negativt. Snarare skiljer han mellan en negativ känsla av att vara pressad av externa faktorer som deadlines, undervisningsåtaganden och administrativa möten, och en positiv känsla av ”flow” och framsteg i den egna forskningen. Lite förenklat kan man säga att tempo uppfattas som något negativt när forskaren är jagad men som positivt när forskaren rör sig mot ett eget formulerat mål. Bidragande till den negativa känslan av tempo, vilken ofta yttrar sig som stress, är bland annat kortsiktigheten i projekt och anställningar, krav på att visa omedelbara resultat och det tilltagande mätandet av vetenskaplig produktivitet.

Talet om excellens är ytterligare en aspekt som bidrar till stressen och till en tilltagande känsla av att inte räcka till enligt Vokal. I stort sett alla universitet men även de flesta högskolor i Sverige och annorstädes anser sig vara, eller sträva efter, excellens inom ett eller flera områden, och på samma sätt bör varje enskild forskare sikta på att bli en ’excellent forskare’. Vad som egentligen menas med excellens är mycket oklart men ofta hänvisas till att forskningen ska vara ledande, eller till och med världsledande. Givetvis finns det många världsledande forskare i Sverige och än fler som inom begränsade områden kan räknas som ledande, men vi kan nog ändå konstatera att en stor andel av alla forskare aldrig kommer tillhöra denna exklusiva grupp. Även i egenskap av lärare ska lektorer nu sträva efter att vara excellenta och genom certifiering kan titeln ”excellent lärare” erhållas vid flera lärosäten. Kraven på excellens – att ständigt avkrävas världsledande insatser – skapar därmed ytterligare stress, och bidrar till ett ständigt dåligt samvete hos forskare och lärare som inte når upp till orimliga krav.

Det finns inget egenvärde i att vara långsam och the slow science manifesto målar upp en motsättning mellan teknik – ”We don’t blogg. We don’t Twitter” – som mer än något annat känns konservativt mossig. Dock är det så att akademin, och här inkluderar jag alla discipliner, är illa ute om det inte finns tid för eftertanke, omsorgsfullhet och reflektion. Risken för kortsiktig, repetitiv och föga nydanande forskning är då stor, och osäkra, stressade och CV-maximerande forskare tjänar inte samhället på bästa sätt. I rapporten Fostering Breakthrough Research, vars främsta syfte är att stärka Sverige som forskningsnation, återfinns flera punkter som också torde kunna minska stressen inom akademin. Exempelvis så föreslås att en större del av forskningspengarna ska ges som långsiktiga basanslag och att unga forskare bör erbjudas tydligare karriärvägar och tryggare anställningar. Det framstår också som viktigt att verka för en bättre balans mellan forskning och undervisning när tjänster tillsätts. Vidare bör det ihåliga och uttjatade konceptet ”excellens” överges för att istället prioritera en bred diskussion kring vad innebär att vara en god forskare och lärare i dagens akademi.

Avslutningsvis kan man konstatera att problemet egentligen inte är tempot i sig. En stor del av tempoökningen är snarare positiv och beror på en radikal ökning i tillgången till information i kombination med en tilltagande internationalisering. Problemet uppstår snarare när ett ökat tempo leder till (för)hastad och stressad forskning. Nostalgiskt tillblickande till ett långsamt universitet är knappast ett alternativ. Istället bör vi, som Vostal föreslår, verka för akademiska miljöer som främjar ‘ohastad’ (unhasted) forskning.

Bild: ”Snail (PSF)” by Pearson Scott Foresman – Pearson Scott Foresman, donated to the Wikimedia Foundation. Licensed under Public domain via Wikimedia Commons – http://commons.wikimedia.org/wiki/File:Snail_(PSF).png#mediaviewer/File:Snail_(PSF).png

108 bibliometriska indikatorer men ingen av dem duger

I en nyligen publicerad översikt författad av Lorna Wildgaard, Jesper Schneider och Birger Larsen så kartläggs och granskas 108 bibliometriska indikatorer utvecklade för att mäta produktivitet och genomslag på individnivå. Över hundra indikatorer — och då har de ändå bara fokuserat på författarnivån och på indikatorer som fokuserar på publikationer — ger verkligen substans till yttranden om ett överflöd av mått (A profusion of measures). Författarna konstaterat också att vi bevittnat en explosiv ökning av bibliometriska indikatorer för utvärdering av enskilda forskare under senare år, trots att många bibliometriker starkt ifrågasätter möjligheten till att överhuvudtaget använda bibliometri på individnivå. Orsaken till denna utveckling kan nästan uteslutande spåras tillbaka till fysikern Jorge Hirsch och det av honom introducerandet h-index (2005). H-indexet blev snabbt mycket populärt och orsaken till detta är troligtvis att det är så enkelt att räkna ut: h-index för en forskare är det antal publikationer (h) av forskaren som citerats minst h gånger. En forskare som författat 7 artiklar som citerats minst 7 gånger vardera ger h-index 7. Måttets genomslag förstärks också av att det automatiskt räknas ut för den som har en Google Scholar profil, och utvecklandet av program som Publish or Perish vilket kan användas för att kalkylera h-index och liknande mått har ytterligare bidragit till h-indexets populäritet. H-index fortsätter att vara det kanske mest populära måttet för att mäta forskningsproduktion på individnivå trots att ingående kritik riktats mot indikatorn. Bland annat så anses måttet vara instabilt för forskare som publicerat mindre än 50 publikationer och det bör inte användas för att jämföra forskare från olika discipliner eller forskningsfält. Vidare missgynnar det författare som publicerar selektivt, unga forskare och kvinnor. Dock verkar h-index fungera relativt bra för äldre manliga forskare som verkar i fält med hög citeringsfrekvens.

Förutom h-indexet så är Journal Impact Factor (JIF) kanske det mest välkända bibliometriska indikatorn och även denna används på individnivå. Detta trots att JIF är utformad för att mäta en tidskrifts inflytande men också i denna bemärkelse är måttet ifrågasatt och ett flertal alternativa indikatorer har föreslagits. Korfattat så anger JIF medeltalet för det antalet citeringar som artiklarna i en tidskrift får under två föregående år. Det innebär att artiklar i en tidskrift med en impact factor på 10 i medeltal citeras 10 gånger under de två år som föregår det år när mätningen görs. Dock säger detta mycket lite om kvaliteten på enskilda artiklar då vi vet att fördelningen av antalet citeringar inom en tidskrift är mycket skev — ett fåtal artiklar är högt citerade samtidigt som en stor del citeras mycket lite eller inte alls. Att en forskare publicerat i en tidskrift med hög JIF är en indikation på författarens förmågan att bli publicerad i tidskrifter med hög status, men det säger mycket lite om inflytande. Vidare finns det tecken på att betydelsen av en hög JIF börjar spela ut sin roll både för forskare och tidskrifter (The demise of the Impact Factor) och kampanjer, likt den som initierad av DORA 2013, spelar här en roll.

Men h-indexet och impact factorn är bara några i en lång rad av mått som behandlas i studien och dessa har delats in i fem grupper: indikatorer baserade på publiceringsvolym, indikatorer som bygger på tidskriftsmått (t.ex. Impact Factor), indikatorer som mäter effekt (t.ex. antalet citeringar), indikatorer som rankar publikationer inom en författares production (t.ex. h-index) samt indikatorer som rankar publikationer över tid. Alla mått har sedan granskats och bedömts utifrån två faktorer: hur svårt det är att samla data samt hur komplex indikatorn är. Mått där datan är svår att få tag på för den enskilde forskaren och där metodologin är för komplicerad bedöms därmed vara för svåra att operationalisera för slutanvändaren. Användarbarhet är således av central betydelse för att bedöma en indikators duglighet.

Givetvis har problemen med etablerade indikatorer såsom h-index och Journal Impact Factor get upphov till en rad av förslag på förbättringar, och rivaler till h-indexet såsom a-index, b-index, f-index, g-index, m-index, r-index, t-index, w-index och z-index, har föreslagits. Impact factorn har i sin tur utmanats av mått som SNIP (Source Normalized Impact Per Paper) där citeringsfrekvensen normaliserats för att bli jämförbar(are) mellan olika discipliner. Men Wildgaard och kollegor konstaterar dock att dessa mer utvecklande indikatorer ofta är för komplicerade för att verkligen vara ett alternativ till mer etablerade mått. De förordar istället att bibliometriska indikatorer, såsom impact factorn eller h-indexet, alltid ska akompanjeras av andra kompletterande mått. Detta då inget av de 108 indikatorerna på ett heltäckande sätt kan sägas representer det inflytande som en enskild forskare har. Trots alla denna möda, alla dessa beräkningar, normaliseringar och kvantifieringar så kvarstår problemet att forskare och administratörer väljer indikator baserat på användbarhet och tillgänglighet. Att utveckla mer avancerade indikatorer är alltså inte lösningen, och då det gäller att bedöma enskilda forskares bidrag till vetenskapen så går det inte att bortse från att den mest grundläggande ‘indikatorn’ fortfarande är traditionell och tidskrävande kollegial bedömning.

För den som ytterligare vill fördjupa sig i bibliometriska mått och deras användning på individnivå så rekommenderar jag att ta en titt på sidan för EU-projektet ACUMEN (Academic Careers Understood Through Measurements and Norms).

Bibliometrisk etik?

sti

Förra veckan besökte jag Leiden och den nittonde Science and Technology Indicators konferensen (STI). Ett framträdande tema i diskussionerna under de tre späckade dagarna var behovet av riktlinjer (guidelines) eller standards för bibliometrisk utvärdering. En välbesökt paneldiskussion ägnades åt denna fråga och Diana Hicks förslog ett antal  allmänt hållna principer snarare än fastslagna standards. Bland dessa återfinns följande punkter (fritt tolkat och översatt):

  1. Bibliometri ska och kan inte ersätta andra typer av bedömning
  2. Låt analysen ta den tid och de resurser som krävs
  3. Var transparant då det kommer till utförandet
  4. Normalisera data när så behövs
  5. Variera och anpassa mätmetoderna beroende på det vetenskapliga fält som studeras
  6. Koppla bibliometriska indikatorer till strategiska mål
  7. Ge de som utvärderas tillgång till den data som används

Dessa principer – som ännu bara ligger på ett idéstadium – är bara ett exempel på ett ökat intresse för att etablera ett övergripande ramverk för genomförandet bibliometrisk utvärdering. Vid ISSI (International Society for Scientometrics and Informetrics) konferensen 2013 diskuterades bland annat “The do’s and don’ts of individual bibliometrics” och denna diskussion följdes sedan upp vid STI konferensen i Berlin (Se Paul Wouters inlägg på samma tema här). Försöken att etablera standards och riktlinjer är tydlig också i den nyligen publicerade boken Beyond bibliometrics: Harnessing multidimensional indicators of scholarly impact. I denna volym diskuterar Jonathan Furner etiska riktlinjer för hur bibliometri bör användas och Yves Gingras formulerar standards för bibliometriska utvärderingar. Ytterligare ett exempel på ett mer reflexivt förhållningsätt kring dessa frågor var årets keynote som hölls av Peter Dahler-Larsen från Köpenhamns universitet. Hans forskning kring framväxten av ett utvärderingssamhälle gjorde ett stort avtryck på konferensen och för alla de som är intresserade av dessa frågor kan jag varmt rekommendera hans bok på samma tema: The evaluation society.

Varför kommer då dessa inititativ nu? Enligt min mening går det att identifiera åtminstone två anledningar. Först och främst så ser jag dessa inititativ som ett tecken på att bibliometrikerna allt mer blir medvetena om det inflytande som bibliometrin har kommit att få för strategiska beslut och forskningspolitiska överväganden. Detta är också det argument som oftast framhålls när behovet av riktlinjer uttrycks. Dock tror jag även att det finns ett intresse från professionen, och kanske då inte minst från de kommersiella företag som saluför bibliometrisk utvärdering, av att etablera standards som skiljer professionellt utförd bibliometri från det som lite nedlåtande kallas ‘amatörbibliometri’. Enligt min mening vore det dock förfelat att använda sig av standards för att skilja god bibliometri från dålig, och det som lite nedlåtande kallas amatörbibliometri kan ofta vara väl så bra. Speciellt gäller detta begränsade studier där kunskap och insikt i en specifik kontext ofta är av större vikt än teknisk och metodologisk fulländning.

Snarare än standards och riktlinjer på ett mer tekniskt plan så förordar jag utvecklandet av en bibliometrisk etik. En huvudregel för en sådan borde vara att avstå från att använda bibliometri då det inte är tillämpligt; när mätmetoden inte är anpassad till det som ska mätas eller när materialet helt enkelt är för litet för att kunna behandlas statistiskt. Speciellt viktigt blir ett sådant etiskt förhållningsätt i de många situationer där oberoende forskning och kommersiell utvärderingsverksamhet möts. Om jag i egenskap av forskare underkänner en mätmetod som icke lämplig så bör jag som kontrakterad bibliometrisk analytiker förhålla mig på samma kritiska sätt när liknande metoder används i evaluveringssyfte.

Kanske är det också så att behovet av riktlinjer blir extra tydligt i ett fält där kommersiella intressen spelar en stor roll. Nästan all den data som bibliometriker använder sig av kommer från företag som Thomson Reuters (Web of Science), Elsevier (Scopus) eller Google (Google Scholar) och några av forskningsfältets tyngsta aktörer som Centre for Science and Technology Studies (CWTS)* och Science-Metrix drar in en stor del av sina intäkter genom konsultverksamhet.

Även om motivet kring utvecklandet av riktlinjer och standards inte bara kan ses som del av ett kritiskt förhållningssätt till den egna verksamheten så bör vi välkomna det ökade mått av reflexivitet som en sådan diskussion innebär. Huruvida ett auktoritativt policydokument är möjligt att enas kring, och om ett sådan ens är önskvärt, återstår att se. Att ett samtal kring dessa frågor har inletts kan dock bara ses som positivt för bibliometrins utveckling.

*CWTS firade sin 25-årsdag under konferensen och förutom en pampig signaturmelodi som inledde varje session så publicerades också en konferenstidning som kom ut två gånger per dag. Ett mycket lyckat och framförallt underhållande initiativ. Ett exempel är första numret som finns som PDF här. Resterande nummer finns att se på: http://www.dewaan.nl/

Nio punkter för en bra panel

I min förra bloggpost diskuterades några av de problem som är förknippade med peer review. Frågan är dock hur en panel av granskande forskare ska vara sammansatt för att undvika diskriminering, jäv och tendenser till att gynna det kända och etablerade. Svaret på denna fråga ges i artikeln ”The selection of talent as a group process. A literature review on the social dynamics of decision making in grant panels” som publicerades i Research Evaluation idag. Här listar nämligen författarna van Arensbergen, van der Weijden och van den Besselaar nio punkter för en god beredningsgrupp:

  1. Sätt samman beredningsgruppen så att det finns en heterogenitet bland paneldeltagare; både vad det gäller disciplinär bakgrund, kön, metodologisk inriktning och institutionstillhörighet. Ett sådant tillvägagångsätt reducerar risken för gruppkonformt tänkande.
  2. Se samtidigt till att granskarnas kompetenser överlappar så att de kan kommunicera och samarbeta med varandra.
  3. Ge granskarna information om de andras panelisternas expertis så att de kan värdera varandras kompetens.
  4. Arbeta för en atmosfär som främjar kollegialt samarbete och en god kommunikation mellan granskarna.
  5. Se till att det finns utrymme för delade åsikter och öppna konfliker mellan granskarna. Ge forskare med avvikande åsikter möjlighet att uttrycka dessa. En moderator, som själv inte är involverad i beslutsfattandet, bör övervaka processen och se till att alla får tillfälle att yttra sig.
  6. Låt granskarna ta ett större ansvar för de beslut som fattas genom att till exempel begära rapporter där bidragsbeslut tydligt motiveras. Detta medför att panelerna behöver vara mer explicita i hur beslut fattas samtidigt som förhastade och ogenomtänkta beslut undviks.
  7. Låt moderatorn eller ordföranden ta på sig rollen som ”djävulens advokat” för att lyfta fram alternativa synsätt och undvika hastiga beslut. Moderatorn bör också överse att vikt inte läggs vid irrelevant information eller att personliga intressen hos granskarna styr processen.
  8. Ge granskarna ordentligt med tid och resurser för att utföra ett gott arbete.
  9. Forskare bör belönas för tid och arbete. Uppdrag som granskare bör räknas forskaren tillgodo vid utvärderingar och tjänstetillsättning.

Kanske kan dessa nio punkter vara av nytta för forskningsfinansiärer, som VR och RJ, i arbetet med att tillsätta beredningsgrupper och utforma beslutsprocessen. I läsningen blir det dock tydligt att forskningen inom området är relativt begränsad givet den betydelse som bidragsbesluten har både för forskningen i stort och för den enskilde forskaren. Mer kunskap kring dessa processer krävs men trots diger information kring handläggandet och i vissa fall öppen tillgång till ansökningshandlingar så är transparensen vad det gäller beredningsförfarandet ofta mycket liten (se till exempel VRs beskrivning av en ”öppen” process). Det finns dock exempel på studier som lyckas med att öppna peer review-förfarandets svarta låda och för den som vill fördjupa sig i beredningsgruppernas sociala dynamik, med ett speciellt fokus på disciplinära skillnader i bedömningen av vetenskaplig kvalité, så rekommenderar jag Michèle Lamont’s studie: How Professors Think: Inside the Curious World of Academic Judgment (2009). Här får vi till exempel veta att ekonomer ser bedömningen av forskningsanslag som en förhållandevis enkel process där det gäller att utse vinnare och förlorare (s. 101), samtidigt som filosofer ifrågasätter möjligheten att bli bedömda av forskare utanför den egna disciplinen (64f.). Vår disciplinära bakgrund samt sociala faktorer som kön och ålder påverkar hur vi definierar och bedömer vetenskaplig kvalité. Detta gör att sammansättningen av paneler blir avgörande för de beslut som fattas, och just därför är vidare forskning på området av stor betydelse för arbetet med att utforma beredningsförfaranden och utvärderingsprocesser som är rättvisa, transparenta och framgångsrika i att gynna god och nydanande forskning.

Agnes Wold, peer review och möjligheten till en subversiv bibliometri

I dagens Sommar kunde vi i lyssna till Agnes Wold, professor i klinisk bakterologi och överläkare vid Sahlgrenska akademin i Göteborg. Ett huvudtema i programmet var den studie om peer review och könsdiskriminering som hon tillsammans med kollegan Christine Wennerås publicerade 1997. Studien, med titeln ”Nepotism and sexism in peer review” (Nature, 341-3) visade att kvinnor systematiskt diskriminerades vid ansökningar till Medicinska forskningsrådet. Undersökningen motiverades av att beviljandegraden för kvinnor var under hälften av den för män. Genom att studera peer review-omdömen kunde Wennerås och Wold visa att kvinnor genomgående fick lägre poäng på alla tre kriterier; vetenskaplig kompetens, metodologi och forskningsprojektets relevans. Störst skillnad uppvisades gällande kriteriet vetenskaplig kompetens där kvinnor generellt ansågs sämre än de manliga sökande. I nästa steg av studien tittade Wennerås och Wold på de antal publikationer som de sökande författat, statusen på tidskriften de publicerat i, samt hur ofta de citerats. Sammantaget visade det sig att en kvinna behövde vara mer än 2, 5 gånger så produktiv för att betraktas som jämbördig med en manlig sökande. Studien visade också att vänskapliga kontakter med granskare ökade möjligheten att bli beviljad avsevärt.

Kombinationen av sällan åtkomligt material (peer review-utlåtanden) och bibliometrisk data möjliggjorde forskningen, som fått ett stort genomslag både inom och utanför vetenskapen. Tillsammans med Birgitta Jordansson och Ulf Sandström återkom Wold i debatten när rapporten Hans excellens publicerades 2010. I denna uppföljningsstudie kunde de visa hur senare års excellenssatsningar gynnat män framför kvinnor, och även här spelade bibliometrin en viktig roll.

Wennerås och Wolds artikel citeras ofta som exempel på de problem som finns med kollegial granskning. Den omnämns ofta i bibliometriska tidskrifter och då ofta kopplad till kritik av utvärdering med hjälp av peer review. Mer sällan framhålls studien som ett gott exempel på hur bibliometri kan användas. Ofta kritiseras bibliometriska mått och utvärderingsmetoder för att cementera och förstärka hierarkier och rankingar. Men som Wennerås och Wold förtjänstfullt visat kan ett bibliometriskt angrepssätt vara mycket effektivt även för att ifrågasätta etablerade hierarkier och normer. Studien är således ett utmärkt exempel på möjligheten till en subversiv bibliometri. Faktum är att bibliometriska metoder kan vara ett kraftfullt instrument för att utmana rådande föreställningar och kritisera etablerade system, men ett alltför stort fokus på deskriptiv och evavulerande bibliometri har starkt begränsat utrymmet för mer kritisk forskning.

På det stora hela rekommenderar jag Agnes Wolds sommarprat. Förutom att hon berättar den fascinerade historien om studien ovan så är hennes avlivande av allehanda myter kring föräldraskap – som den om att amning förebygger allergier – mycket hörvärda.

1-procentsklubben

I en uppmärksammad studie som nyligen publicerades i PlosOne så drar författarna Ioannidis, Boyack och Klavans två slutsatser: mycket få forskare publicerar sig kontinuerligt i högt rankade tidskrifter (indexerade i Web of Science), och denna lilla skara (mindre än 1 procent) står som författare till över 40 % av alla artiklar under de 16 år som studerats. Artiklar skrivna av dessa författare citeras också i betydligt högre grad än andra.

 Resultaten är uppseendeväckande men kanske inte helt förvånande då tidigare forskning visar på en skev fördelning både vad det gäller antalet publicerade paper per forskare och antalet citeringar som dessa får. Föreliggande studie går dock bortom tidigare resultat som visat på distributioner som följer Bradfords lag eller Paretoprincipen om en 20/80 fördelning av författare och publikationer. Liknande distributioner har dock påvisats i andra sammanhang och mest uppmärksammad är kanske iakttagelsen att den rikaste procenten äger nära hälften av alla ekonomiska tillgångar (Oxfam.org).*

 Vi bör dock avhålla oss från att tro att 1-procentsregeln gäller hela vetenskapen – samhällsvetenskaperna, humaniora samt teknik följer inte detta mönster – och även om studien omfattar över 15 miljoner författare så är den begränsad till en specifik databas och de tidskrifter som indexeras där. Det är också så att samförfattarskap är den dominerande formen i de discipliner där 1-procentsregeln kan appliceras. Givetvis ger samförfattandet större möjligheter till att kontinuerligt publicera sig under en lång tidsperiod.

 Vilka forskningspolitiska implikationer kan man då dra av dessa resultat? En uppenbar slutsats är att satsa på de allra främsta forskarna då vi vet att dessa står för en stor del av den samlade produktionen av vetenskaplig litteratur. Satsningar på “excellence” – som för tillfället är populära i den svenska kontexten – går i denna riktning. Det kan dock finnas problem med en sådan strategi och författarna pekar på att ett alltför stort fokus på redan framgångsrika och ledande forskare kan medföra en alltför stor likriktning som i sin tur resulterar i gedigen och publicerbar, men kanske i mindre grad nydanande, forskning. Ett alternativ är att istället ge unga forskare , som ännu är långt ifrån 1-procentsklubben, möjlighet att etablera sig. Att möjliggöra för flera forskare, inte minst kvinnor, att bli aktiva och framgångsrika inom sitt fält kan således vara ett alternativ till att strö resurser över liten skara av högproduktiva forskare.

 *Även brottsligheten följer en liknande distribution: 1 procent av av befolkningen står för 63% av våldsbrotten (Falk m.fl. 2014).

 

Hur reagerar forskare på bibliometrisk utvärdering?

Under senare år har bibliometrisk utvärdering, ofta med utgångspunkt i antalet citeringar eller antalet publikationer, blivit en etablerad metod för att fördela resurser mellan forskare, institutioner och lärosäten. Hur detta påverkar den enskilde forskaren är en central fråga i min forskning. I en nyligen sammanställd studie – Accountability in context – utgår Sarah de Rijcke (Leidens Universitet) och jag från publiceringsmönster och forskningspraktiker vid den historisk-filosofiska fakulteten vid Uppsala Universitet. Undersökningen, som bygger på publikationer från 2006-2013, visar att tidskriftsartiklar på engelska har ökat substantiellt (se nedan) och detsamma gäller för andelen publikationer som registreras som “referegranskade”. Dessa förändringar kan inte direkt härledas till nyligen implementerade utvärderingssystem, men det kan konstateras att den utveckling som vi iakttagit ligger helt i linje med de incitatment som finns i dessa fördelningsmodeller.

Yearly changes

Studien kompletteras av en enkät där forskare vid fakulteten besvarat frågor kring publiceringspraktiker och eventuella förändringar av dessa. Flera respondenter påtalar ett större fokus på engelskspråkiga tidskriftspublikationer. Reaktionerna på denna utveckling är delade; vissa forskare ser förändrade publiceringspraktiker som ett hot mot humanioras särart samtidigt som andra välkomnar ett större fokus på en internationell publik. Svaren indikerar att bibliometrisk evaluering, men också krav på open access, ofta hamnar i konflikt med disciplinära normer. Samtidigt rankas ‘icke-epistemisk’ påverkan lågt när forskare värderar de faktorer som påverkar valet av publikationskanal (se nedan). Vidare visar tidigare studier av utvärdering och utvärderingssystem att påverkan på praktiker och attityder inom organisationer ofta är liten; speciellt i fält där institutionella normer är starka. Således bör vi vara försiktiga med att dra för långtgående slutsatser om de effekter som utvärderingssystem har.

factors

Den aktuella studien är begränsad och ambitionen är att bredda undersökningen till att omfatta fler forskningsfält samt att titta på hur intervjuer och etnografiska metoder kan bidra till att belysa frågan. Det finns alltså all anledningen att återkomma till ämnet framöver.

Studien finns nu publicerad i Research Evaluation.

Ett alldeles för blygsamt förslag

rankings

Så kallade jag intialt min replik på Kåre Bremers inlägg i Curie men texten publicerades till slut under titeln: Ja, låt rankingen styra hela forskningspolitiken. Det som jag fann anmärkningsvärt var inte Bremers förslag på ökad internationalisering, tydligare karriärvägar för yngre forskare eller ökade resurser för grundutbildningen utan att dessa förändringar motiverades av hur svenska universitet placerar sig i globala universitetsrankingar. Bremer, som är väl medveten om rankingarnas brister, argumenterar för att universitetsrankingar blivit så mäktiga att vi inte kan ignorera dem. Han förespråkar således att vi kapitulerar inför en mätmetod som är högst tveksam. Jag menar att vi snarare bör ifrågasätta rankingarnas betydelse och inte låta dessa styra forskningspolitiken.

Foto: Thed van Leeuwen