Citera mig inte! Om ovälkomna och vilseledande referenser

Att bli omnämnd i litteraturen anses generellt vara ett tecken på erkännande, och om referensen plockas upp av ett citeringsindex, likt Google Scholar eller Web of Science så registreras även en ‘citering’ (citation) som den enskilde författaren kan lägga till sin samling. När citeringarna samlats på hög kan de sedan räknas, jämföras och användas som en, om än tveksam, indikator på synlighet och framgång. Som tidigt påpekats i diskussionen kring citeringar så kan mycket väl ett verk refereras till utan att det för den skull behöver innebära att det som hävdas i det framhålls som god vetenskap, och så kallade ‘negativa citeringar’ har varit ett ofta förekommande argument emot citeringsmåttens giltighet. Dock är det så att negativa citeringar – det vill säga referenser till studier som kritiseras i den citerande texten – är ovanliga, även om de är mer flitigt förekommande inom humaniora och samhällsvetenskap jämfört med andra fält. Dessutom vill jag hävda att negativa citeringar ofta är ett tecken på erkännande, då få finner det mödan värt att kritisera rön som inte är etablerade och kända. På ett rent personligt plan så finner jag det också mer givande att mina alster blir kritiserade då det tyder på engagemang, jämfört med att de refereras lite halvhjärtat i en parentes med fem andra liknande studier. Överlag så skulle jag alltså hävda att invändningar kring negativa citeringar har begränsad bäring i debatten kring citeringsmåttets lämplighet.

I forskningskommunikationen i stort bör den negativa citeringar också ses som ett hälsotecken då kritisk granskning av tidigare resultat är en central del av en välfungerad akademi. Ett större problem är däremot den förvillande referensen, som återger den refererade studien på ett vinklat eller rentav felaktigt sätt. Hur detta sker har studerats i en nyligen publicerad artikel av Serge Horbach, Kare Aagaard och Jesper W. Schneider. De undersöker referenser till en studie kring forskningsetik av John med kollegor som kommit att bli både inflytelserik och välciterad. Analysen av referenserna visar att ett stort antal av citeringarna är överflödiga, och en hel del är direkt vilseledande. Dessutom verkar det som antalet referenser som bara ytligt engagerar sig med studiens resultat ökar över tid. Författarna tolkar detta som att referensen har blivit en så kallad “concept symbol”, eller med ett mer populärarkulturellt begrepp ett “mem”. I flera fall har resultaten förvanskats till den grad att processen kan liknas vid en viskningslek där de ursprungliga rönen är nästintill oigenkännliga. Flera orsaker anges till denna utveckling, där slarv och lathet (ofta läser inte författare studier som de citerar) är delförklaringar. Även retoriska överväganden, där referenser främst tjänar till att stärka den egna tesen, gör att studier med entydiga slutsatser tenderar att citeras oftare än de med mer ambivalenta konklusioner. Risken finns således att spektakulära studier där implikationerna av resultaten ofta överdrivs får större inflytande på forskningen jämfört med mer försiktiga och noggranna analyser.

Negativa och förvillande citeringar kan också drabba en enskild författare, men finns det någon möjlighet undvika felaktiga referenser, eller rentav begära att ovälkomna citeringar avlägsnas? Den frågan ställer sig Jaime Teixeira da Silva och Quan Hoang-Vuong i en reflekterande text i tidskriften Scientometrics. Idén om att forskare skulle kunna begära att referenser till deras texter ska tas bort framstår onekligen som orealistisk, och författarna tillstår också att någon sådan möjlighet knappast kommer att realiseras inom en snar framtid. Samtidigt anser jag att idén om rätten att inte bli (fel)citerad är intressant som tankeexperiment. I specifika fall kan det för en forskare vara direkt olustigt att bli citerad, exempelvis i en kontroversiell och ifrågasatt studie, eller om citeringen i fråga kommer från en tveksam tidskrift (en så kallad rovdjurstidskrift). I praktiken är det dock så att lika lite som Esaias Tegnér kan förhindra att högerextrema grupper använder hans verk, så kan en forskare undvika att bli refererad till på oriktiga grunder. Dock skulle jag säga att det finns flera möjligheter att förbättra chanserna att ens verk inte blir refererad på ett missvisande sätt:

  1. Det mest uppenbara sätt på vilket en författare kan undgå att bli “felciterad” är att sträva efter en tydlig och korrekt framställning utan överdrifter eller svepande generaliseringar, eller för att parafrasera Tegnér: “Det dunkelt skrivna, är det dunkelt citerade”.
  2. När väl något är publicerat så kan också en försigkommen forskare se till att diskutera sitt alster på konferenser, seminarier och sociala medier för att på så sätt styra hur resultat och slutsatser mottas.
  3. Självciteringar är ifrågasatta och bör nyttjas med måtta, men de kan vara ett sätt förstärka de slutsatser som man själv ser som de mest centrala i ett forskningsbidrag. Att då själv referera till sitt verk kan bli ett sätt att påverka hur efterföljare forskare tolkar innehållet.
  4. Vid uppenbart felaktiga citeringar – särskilt om de publicerats i inflytelserika forum – kan det vara värt att genom en uppföljande artikel, eller kommentar, påvisa det som anses förvillande eller rent fel. Min bedömning är dock att det sällan förekommer situationer där en sådan ansträngning kan sägas vara motiverad.

Avslutningsvis kan det vara värt att återvända till de mer övergripande konsekvenserna av tveksamma referenser som beskrevs i inledningen. För även om det må vara förargligt att bli felciterad så är det på en aggregerad nivå som undermåliga citeringspraktiker kan bli direkt skadliga för vetenskapen i stort. Om forskningskommunikationen blir en viskningslek så begränsas möjligheten till vetenskapliga framsteg, och allmänhetens förtroende för akademisk kunskap riskerar att eroderas. Det bör här påpekas att givandet av referenser är en del av ett större forskningspolitiskt sammanhang där citeringar är hårdvaluta både för forskare och tidskrifter. Samtidigt finns det, i mitt tycke, möjlighet för var och en – i sina respektive roller som lärare, handledare, författare, granskare och redaktörer – att verka för ansvarsfulla citeringspraktiker som ökar möjligheten till verklig dialog och interaktion med tidigare forskning.

Bild: Av anonymus – Punch (the Danish) page 73, Public Domain, https://commons.wikimedia.org/w/index.php?curid=14174609

En vetenskap i kris? Ambivalent skildring av svensk forskning i Hanne Kjöllers bok

Ska vi tro de senaste årens inlägg i den forskningspolitiska debatten så befinner sig svensk akademi i en djupgående och flerdimensionell kris. Jag ska här inte bedöma sanningshalten i påståendet om existensen av en sådan kris, utan snarare konstatera att förklaringarna till problemen med svensk forskning ser relativt olika ut beroende på vem som formulerar kritiken. Tre huvudargument återfinns i debatten: det förstnämnda rör Sveriges position internationellt där vi i jämförelse med andra ledande forskningsnationer – läs Danmark – producerar färre högt citerade publikationer. Enligt denna beskrivning så har svensk forskning tappat i genomslagskraft, vi producerar för lite “toppforskning”. Ett annat argument är att forskningen inte är relevant nog, vilket är ett resonemang som ofta anförs från näringslivshåll, och då i andemeningen att forskningen inte i tillräckligt hög grad bidrar till innovation, utveckling och ekonomisk tillväxt. Varianter på samma tema förekommer också i inomvetenskapliga diskussioner där exempelvis Alvesson, Gabriel och Paulsen (2017) tes kring forskningens “meningslöshet” rönt en del uppmärksamhet . Den mest synliga argumentationslinjen på senare tid rör dock snarare vetenskapens politisering, och de som för fram dessa argument menar att andra mål för forskningspolitiken, som jämställdhet, inverkar menligt på akademins trovärdighet och kvalitet.

Oavsett hur vi förhåller oss till dessa “kriser” så finns det onekligen ett behov att sammanhållet diskutera och kritiskt granska både akademi och forskningspolitik, och gärna då med en bred ansats. Att ledarskribenten Hanne Kjöller nu vänder blicken mot den svenska forskningspolitiken är därför glädjande, inte minst då en kritisk journalistisk granskning av forskningen, en mångmiljardindustri som till stora delar är finansierad genom skattemedel, länge har saknats. En anledning är troligtvis att forskningspolitiken är ett komplext, och ibland motsägelsefullt fält som är svåröverblickbart. Dessutom har, som Kjöller också skriver, journalister ofta förhållit sig relativt hovsamt inför forskarsamhället. Hennes bidrag, “Kris i forskningsfrågan. Eller: vad fan får vi för pengarna” är således ett välkommet och uppfriskande inlägg i den forskningspolitiska debatten.

I sin skildring av forskningens problem så rör sig Kjöller från det lilla till det stora, från enskilda studier och de premisser som motiverar dem till strukturella och globala problem kring incitamentsstrukturer och publiceringsmönster Kjöllers styrka ligger uppenbart på det medicinska området där hennes fokus på medborgarnas och patienternas perspektiv är originellt och intresseväckande. Givetvis kan angreppsättet anklagas för att medvetet välja ut några enskilda projekt för att sedan låta dessa stå som exempel för en generell utveckling. Samtidigt är tillvägagångsättet effektfullt och det genomsyras av ett genuint intresse av att förstå forskningens hantverk och skildringen ger läsaren god inblick i processer och överväganden som sällan beskrivs utanför akademin.

Överlag gör Kjöller en stor poäng av den så kallade reproducerbarhetskrisen inom vetenskapen, och här är det framförallt John Ioannidis och hans omfattande granskningar av främst medicinsk forskning som hon stödjer sig på. Att betydande delar av exempelvis den psykologiska och medicinska forskningen är svår att reproducera är givetvis ett stort problem. Samtidigt är det väl drastiskt att hävda att den forskning som inte kan reproduceras är falsk, vilket Kjöller gör med stöd av Ioannidis. Utmaningarna med att reproducera forskning har studerats utförligt av vetenskapssociologer och de främsta orsakerna är sällan medvetet fusk. Problemet är snarare kopplat till bristfälliga beskrivningar av metod och svårigheter med att helt återskapa de förutsättningar som gällde vid den ursprungliga undersökningen. Det finns även de som menar att idén om en ‘reproducerbarhetskris‘ riskerar att leda till forskningspolitiska åtgärder som inte gagnar vetenskapen. Med detta sagt så står det klart att det finns starka incitament för forskare att överdriva sina resultat genom att exempelvis använda tveksamma statistiska metoder (så kallat p-hackande), eller genom att plocka ut den empiri som stöder en viss tes, och bortse från data som motsäger det önskvärda resultatet. Dessutom är få forskare motiverade att granska andras resultat då reproducerbarhetsstudier är svårpublicerade, och de tillmäts mindre prestige än originalstudier.

När Kjöller lyfter blicken och ger sig ut för att diskutera de stora forskningspolitiska frågorna så navigerar hon i ett mer komplext landskap, och inte sällan hamnar hon i motsägelsefulla positioner. Exempelvis så lyfts argumentet ovan: att Sverige halkar efter jämförbara länder gällande antalet publikationer och citeringar som ett tecken på en vetenskap i kris. Samtidigt skriver Kjöller, på annat håll, att det är just denna publikations- och citeringsjakt som gör att forskarna producerar ”meningslös” forskning. (För en vidare diskussion kring bibliometrisk utvärdering så rekommenderas Olof Hallonstens recension av Kjöllers bok). Satsningar mot inomvetenskaplig ”excellens” går inte alltid hand i hand med ökad relevans utanför akademin, och potentiellt sätt kan en satsning på excellent forskning – så att vi kan klå danskarna – göra att mer samhällstillvänd forskning nedprioriteras. En annan fråga där Kjöller famlar rör politikens inflytande över forskningen. I delar argumenterar hon för större statlig styrning, men stundtals anförs just politisk påverkan som ett problem (s. 134). Även kring genus tycker jag mig skönja en ambivalens, och till skillnad från de aspekter som diskuteras ovan så är denna motsägelse inget som Kjöller själv uppmärksammar. Kritiken mot genusvetenskap och jämställdhetsintegrering som nu sägs utgöra ett av de stora hoten mot svensk akademi får förvisso relativt liten uppmärksamhet i boken, men samtidigt är det uppenbart att Kjöller sållar sig till den skara som ser dessa påfund som ett hot. Intressant nog är just genusperspektivet, även om hon inte tematiserar detta, något hon själv lyfter i kapitlet kring den medicinska forskningen. Särskilt tydligt blir det i Kjöllers berättigade fråga varför inte fler studier gjorts kring förlossningsskador – trots att dessa drabbar många patienter, och då inte sällan med varaktiga och kännbara konsekvenser. Det uppenbara svaret, även för den som inte är genusvetenskapligt skolad, är att mer forskning inte genomförts just därför att patienterna i detta fall är kvinnor.

En orsak till att Kjöller ofta framstår som ambivalent i sin argumentation är att hon i stor utsträckning förlitar sig på en grupp av väletablerade debattörer inom den högre utbildningen och forskningen. Tyvärr är det inte alltid så att den kompetens och insikt som dessa har i forskningspolitiska spörsmål motsvarar deras höga svansföring. Exempelvis så får litteraturvetaren Peter Luthersson uttala sig om ”citeringskarteller” och hävda att detta handlar om enskilda forskare som ingått någon slags pakt om att referera till varandra. Men de ”karteller” som avslöjats, och givit namn till fenomenet, rör ett intrikat spel på tidskriftsnivå, och idén om pakter mellan enskilda forskare har inte belagts. På liknande vis framhålls Erik Ringmar, en statsvetare vars främsta tema är akademisk frihet, som expert på forskningspolitik. Ringmar hävdar exempelvis att några få forskare står för en stor andel av antalet citeringar till svenska publikationer (s. 110). Han har förvisso rätt i att en liten grupp forskare står som mottagare till en stor andel av alla citeringar, men denna skeva fördelning av berömmelse och erkännande återfinns i vetenskapen överlag, och kan inte tolkas som ett tecken på att svensk forskning är särskilt utsatt. Överlag förlitar sig Kjöller lite väl ofta på en senior kader av akademiska tyckare, och inte minst så ges hennes kollegor bland ledare- och kulturskribenter gott om utrymme. Svenska historiker, sociologer, statsvetare och andra forskare inom kunskapsproduktion, vetenskaplig kommunikation och forskningspolitik hade med fördel kunnat konsulteras i högre utsträckning, även om citat från dessa säkerligen varit mindre iögonfallande.

När Kjöller förlitar sig på en mer heterogen uppsättning av källor tenderar argumenten att bli tydligare och mer framåtblickande. Särskilt i frågan om öppen tillgång till forskning så är hennes position övertygande och underbyggd. Givetvis är det uppseendeväckande att allmänheten inte har tillgång till den forskning som det offentliga finansierat, och de stora förlagens vinstmarginaler är gravt provocerande. Måhända överdriver hon dock sin upptäckt något då rörelsen mot öppen tillgång (open access) har en lång historia, och omställningen till ett öppet system nu går allt snabbare. De initiativ som faktiskt tas i denna riktning – exempelvis genom det europeiska initiativet Plan S – kunde också ha behandlas lite utförligare. Nyligen utförda undersökningar visar också att upp emot 70% av den forskning som produceras vid ledande universitet nu är öppet tillgänglig. Det betyder inte att vägen till en öppen vetenskap är utan hinder, men betydande steg har tagits.

Om det i delar går att kritisera Kjöllers val av källor så bör hennes förhållningssätt till dessa i flera fall lovordas. Hon behandlar rätteligen inlägg från olika aktörer, exempelvis lärosätenas argument för mer basanslag och vetenskapsrådets ständiga plädering för fria projekt som kungsvägen mot bättre forskning, som partsinlagor. Förslaget om ett oberoende organ för analys av forskning och högre utbildning – likt de som finns i flera grannländer – ligger i linje med detta synsätt, och det är onekligen besynnerligt att ett sådant inte redan etablerats i Sverige. Även partipolitiskt lyckas Kjöller, i någon mån, upprätthålla en balans även om socialdemokraterna kritiseras mer frekvent jämfört med den borgerliga sidan. En intressant iakttagelse som hon gör i detta sammanhang är att själva omsvängningarna i politiken, snarare än innehållet i reformerna, kan ha inverkat skadligt på den svenska forskningen. Denna slutsats har också visst stöd i litteraturen då den danska forskningens framgångar förklarats just av långsiktiga spelregler snarare än reformiver.

Om ambitionen med “Kris i forskningsfrågan” är att – i likhet med makarna Myrdals berömda verk som parafraseras i titeln – skissera ett program för framtidens forskningspolitik så kan boken knappast ses som något annat än ett misslyckande. Snarare än att peka ut en riktning så framstår Kjöller som kluven inför flera av samtidens centrala forskningspolitiska problem, och denna rådvillhet är också något hon själv tematiserar. Nyckelfrågor förblir obesvarade: bör politikerna styra forskningen i högre grad? Ska en större andel av resurserna satsas på applicerbar forskning, eller bör fokus ligga på grundforskningen? Behövs ytterligare kontroll och utvärdering av forskningen, eller är det ständiga mätandet i själva verket en bidragande orsak till den “kris” som skisseras? Kjöller har inget facit, och kanske är det inte heller att förvänta då någon enighet kring dessa frågor knappast råder bland forskare och experter på området.

Dock, om vi för stunden bortser från de braskande rubrikerna, och det höga tonläget som stundtals präglar framställningen, så går det att göra en betydligt intressantare och välvilligare läsning av “Kris i forskningsfrågan”. En sådan läsning fokuserar inte på de delar där skarpa formuleringar och svepande generaliseringar görs, utan på det utforskande tillvägagångsätt som också präglar framställningen. Kjöller reflekterar över sin egen osäkerhet och den utmaning det innebär att försöka greppa forskningens komplexa system, och just denna öppenhet för motsägelser och svårigheter är för mig en av bokens stora tillgångar. Även om få entydiga svar ges, så lyckas Kjöller väl med att ringa in centrala och brådskande frågor kring forskningens framtid. Förhoppningsvis kan hennes insats resultera i att fler journalister vågar ge sig in i forskningspolitikens “snåriga djungel”. Kris eller ej, så finns här mycket att granska, kritisera och diskutera.

Denna text är en omarbetad och utökad version av en recension i Respons 2020, nr 6.

Skadlig mäthysteri, eller användbart styrmedel? Prestationsmått i svensk akademi

“If you measure things, if you look at things, if you pay attention to things, more things will happen” (akademisk ledare citerad i Söderlind & Geschwind, 2019).

Som citatet ovan förmedlar så händer något när saker räknas och uppmärksammas. En uppdelning, och en prioritering, sker mellan det som ska, och kan, mätas, och det som inte enkelt kan omsättas i numeriska värden. Frågan kring vad som händer vid mätning och utvärdering står i centrum för Johan Söderlinds avhandling A metric culture in academia: The influence of performance measurement on the academic culture of Swedish universities (2020), som försvarades vid KTH den 25 september. I avhandlingen studeras hur prestationsmått fått en allt större betydelse i organisationen av akademiskt arbete, och särskilt fokus riktas mot hur dessa system påverkar verksamheten. I fyra delstudier, vilka också publicerats som fristående artiklar, så studeras mätningens utformning och konsekvenser på olika nivåer i det akademiska arbetet. Några av studierna har en mer komparativ ingång där exempelvis skillnader mellan svensk akademi och andra nordiska länder belyses, medan andra artiklar fördjupar sig i mer specifika fenomen. Det empiriska materialet är rikt, och det gäller även det teoretiska och metodologiska ramverket. Utgångspunkten för själva studien är idén om ett utvärderingssamhälle som delvis kan förklaras av en senmodern organisation av samhället där granskning blivit ett centralt element för hur verksamheter styrs. Överlag ger avhandlingen en god överblick över prestationsmått och deras användning inom akademin, och den utgör också en välskriven introduktion till bärande studier och teorier inom fältet.

I avhandlingen presenterar en rad resultat, och då det är svårt att sammanfatta dem alla så väljer jag här att presentera ett urval av de som jag finner mest tongivande och nydanande. Ett lyckat val i flera av artiklarna är att fokusera på hur ledare (”managers”) inom akademin använder prestationsmått i sitt arbete. Söderlind finner här att många chefer använder mått i styrningen samtidigt som de är medvetna om systemens begränsningar. Inte sällan intar de också en medlande position när de kontextualiserar, och modifierar specifika indikatorer (exempelvis citeringar eller publiceringspoäng) för att kunna använda dem i ett specifikt syfte. Dessutom verkar det vara så att akademiska chefer ofta litar på sin egen erfarenhet av exempelvis bibliometriska mått när de bedömer deras användbarhet. En övergripande slutsats är att prestationsmått – både gällande utbildning och forskning – betraktas som viktiga och användbara, men enligt de akademiska ledare som Söderlind intervjuat så spelar de sällan en avgörande roll när beslut ska fattas.

Söderlinds avhandling behandlar även prestationsmåttens användning på en mer övergripande nivå, och ett viktigt bidrag i avhandlingen är en jämförande studie av de nordiska länderna. I denna kontext framstår Sverige som avvikande då vårt system för att utvärdera forskning skiljer sig från de som återfinns Norge, Danmark och Finland. Dessa länder använder sig av ett likartat system – ofta kallat den “norska modellen” – där poäng ges till publikationer beroende på publikationskanal och vetenskaplig nivå. Sverige däremot har använt sig av en annan modell där en kombination av fältnormaliserade citeringsmått, publikationsvolym och extern finansiering utgjort grunden för att omfördela resurser.1 Här finner Söderlind, helt riktigt, att det poängsystem som används i Danmark, Norge och Finland har större potential att förändra praktiker och publiceringsmönster. Detta då poängmodellen är lättförståelig och enkelt kan användas för resurstilldelning på lärosätes-, institutions-, eller individuell nivå. I sammanhanget kunde det dock varit intressant om Söderlind diskuterat det omfattande användandet av den ‘norska modellen’ på lokal nivå då det visat sig att nära hälften av alla svenska lärosäten har använt, eller använder sig av, liknande poängsystem. Således skulle man med fog kunna hävda att det ‘norska modellen’ haft stor betydelse för hur forskare i Sverige – och då särskilt de inom samhällsvetenskap och humaniora – resonerar kring publicering trots att den aldrig använts för att fördela medel mellan lärosäten.

En tredje aspekt som Söderlind framhåller, och som jag finner nydanande i sammanhanget, är bibliometrins pedagogiska potential. Dessa idéer lyfts i den fjärde artikeln där en specifik årlig utvärdering av forskning vid KTH studeras. Söderlind framhäver här särskilt betydelsen av en tät dialog mellan chefer, de utvärderade, och de som utvärderar (bibliometrikerna). En av bibliometrins främsta pedagogiska potential ligger således i dess förmåga att initiera samtal kring hur forskning bör värderas. Kanske skulle man till och med kunna hävda att bibliometrin utgör en effektiv provokation som frambringar diskussioner kring forskningskvalitet. Dock finns det en risk att sådana provokationer stannar vid en kritik av befintliga mått istället för att leda vidare till mer initierade resonemang. En spännande utveckling på Söderlinds studie vore således att närmare studera hur bibliometrins pedagogiska potential kan utvecklas så att dessa mått inte bara “mäter” kvalité utan också bidrar till att en ökad förståelse för hur vetenskaplig kvalitet kan studeras, och gynnas. En sådan utveckling skulle också ligga i linje med alternativa metoder för att utvärdera forskning, som till exempel idén om ‘evaluative inquiry, vilken syftar till ett mer öppet och utforskande tillvägagångsätt där kvalitativa och kvantitativa metoder kombineras.

Avhandlingen ger en god bild över hur prestationsmått används inom svensk akademi, men efter läsningen återstår ändå en del frågor: Hur ska vi till exempel förstå “mätandets kultur” mer generellt, och kan dess inflytande inom akademin jämföras med andra verksamheter som vård och skola? Har mätandet inom akademin uppstått i samband med ett större fokus på målstyrning inom offentlig verksamhet överlag, eller finns det en längre mer komplex inomvetenskaplig historia kring mätning och utvärdering? Här skulle jag vilja framhålla disciplinernas och de starka professionerna roll i utformandet av dessa system som särskilt intressanta, och potentiellt givande för vidare studier.

Sammanfattningsvis utgör Söderlinds avhandling en övertygande framställning kring akademisk utvärdering där kritik mot överdrivet mätande balanseras mot en förståelse för att indikatorer kan ha positiva effekter, exempelvis vad det gäller effektivitet vid beslutsfattande, transparens, och opartiskhet. Den övergripande slutsatsen i avhandlingen – att dessa mått, åtminstone gällande forskningen, hittills haft ganska modesta effekter – är i mitt tycke välgrundad. På samma sätt delar jag dock Söderlinds farhåga att effekterna av dessa system kan, om de inte hanteras på ett nyanserat och balanserat sätt, bli betydligt mer kännbara i framtiden.

1 I dagsläget är det oklart om Sverige kan sägas ha ett övergripande prestationsbaserat system på nationell nivå då den tidigvarande modellen inte har använts för att fördela resurser under de senaste åren.

Akademiska karriärer: Ska du bli excellent när du blir stor?

Unga forskare överöses med råd kring hur de bäst ska agera för en lyckad akademisk karriär. Val av ämne, hur man nätverkar och publicerar samt mentorer och förebilder är alla faktorer som sägs påverka möjligheterna till en fortsatt akademisk bana. Alltifrån topp-tio-tips till mer reflekterande diskussioner, som de i Efter festen: Om konsten att utvecklas från doktor till docent, finns att tillgå för den som är intresserad. Även inom bibliometrin så studeras akademiska karriärer och då ofta med ett fokus på att urskilja vad som kännetecknar framgångsrika forskare. Jonas Lindahl, som nyligen disputerade vid Umeå Universitet, verkar i denna tradition då han i sin avhandling In search for future excellence (2020) undersöker hur bibliometriska indikatorer kan användas för att förutsäga unga forskares framtida prestationer.

Lindahls empiriska delstudier rör naturvetenskaperna, teknik och medicin, och resultaten kan därför främst sägas vara relevanta för discipliner där den engelskspråkiga artikeln är den centrala publiceringskanalen. Likväl kan flera av hans slutsatser vara av mer generellt intresse, och de för mig centrala lärdomarna från avhandlingen kan sammanfattas i fem punkter:

1 Akademisk framgång, mätt i välciterade publikationer, kan i hög grad förutsägas. Lindahls studie fokuserar på att förutsäga “excellens” (definierat genom antalet publikationer som placerar sig bland de 10 % högst citerade inom fältet) och här har tidigt genomslag och publiceringskanal stor betydelse för framtida prestationer. Således, en ung forskare bör satsa på några riktigt betydande publikationer snarare än många, men mindre viktiga, alster. Kvalité trumfar kvantitet.

2 Det är enklare att förutsäga vem som kommer vara en toppforskare (här avses återigen topp-10 procent inom fältet) jämfört med att särskilja de som placera sig under detta skikt. Denna slutsats ligger i linje med studier av hur forskningsansökningar bedöms där granskare oftast finner det enklast att rangordna det absoluta topp- och bottensegmentet, medan de som hamnar i mitten är svårare att placera.

3 Högt citerade artiklar är det bästa sättet att förutse framtida framgång. Dock bör det betonas att just högt citerade publikationer utgör definitionen av framgång i studien, vilket gör att slutsatsen är mindre förvånande. Hade akademisk framgång istället mäts med andra parametrar: goda studentvärderingar, omnämnanden i dagspress eller social medier, utmärkelser, antalet handledda studenter eller doktorander så är det mycket möjligt att andra faktorer varit viktigare för korrekta förutsägelser om framtida bedrifter.

4 Män tenderar att oftare att sälla sig till gruppen ‘excellenta forskare’ (återigen mätt i citeringar) senare i karriären, och skillnader mellan könen syns redan under doktorandtiden. En viktig anledning tycks enligt Lindahl vara att män tenderar att samarbeta mer genom till exempel samförfattarskap med externa forskare, och de sampublicerar mer frekvent med sina handledare. Att manliga doktorander oftare står som författare tillsammans med handledare gällde oavsett om handledaren själv är kvinna eller man. Lindahl och hans medförfattare kopplar detta till den så kallade Matilda-effekten, enligt vilken kvinnors vetenskapliga bidrag systematiskt underskattas. En annan förklaring skulle kunna vara att möjligheten till nätverkande under doktorandtiden, och under åren efter disputation, påverkas av att kvinnor tenderar att ta större ansvar för barn och familj.

5 En intressant iakttagelse med anknytning till punkten ovan är att ett välutvecklat externt nätverk är viktigt under doktorandtiden samtidigt som det lokala nätverkandet (inom exempelvis ett lärosäte) får stor betydelse i den postdoktorala fasen. Att exempelvis ha etablerat ett nära samarbete med handledaren, eller med andra vid det egna lärosätet, kan vara direkt avgörande i den kritiska etableringsfasen efter disputation. Nu ska det sägas att det empiriska underlaget för denna delstudie rör ett svenskt universitet, och det kan vara så att denna effekt är starkare i ett system – likt det svenska – som präglas av låg rörlighet där många disputerade blir kvar vid det lärosäte där de doktorerade.

Den två sista punkter är enligt mitt tycke särskilt intressanta då de har direkta implikationer för doktorandutbildningens utformande och för hur stöd ges till forskare i den tidiga karriären. Att skillnader mellan män och kvinnor etableras redan under doktorandtiden är slående, och med utgångspunkt i slutsatserna ovan så kan konkreta förslag på åtgärder formuleras. En möjlighet vore att tydligare diskutera samförfattandets praktik med handledare under doktorandtiden, och hur detta ska ske på ett sätt som inte missgynnar kvinnor. Vidare bör betydelsen av externa och interna nätverk betonas, och här skulle man exempelvis kunna vara uppmärksam på aktiviteter som kan vara utestängande: seminarier och workshop under kvällar och helger, konferenser som kräver långa och tidskrävande resor och så vidare. Dessutom bör dessa skillnader tas i beaktande vid tjänstetillsättningar, och om det är så att män generellt har större möjlighet att etablera interna nätverk så kan tendensen – som synes särskilt stark i svensk akademi – att anställa “hemmasonen” vara särskilt problematisk. En ökad medvetenhet hos handledare och akademiska ledare om att dessa mönster finns kan i sig också bidra till förändrade synsätt och praktiker.

Själva huvudslutsatsen i avhandlingen, att framtida “excellens” kan förutses, har också den möjliga forskningspolitiska konsekvenser. Forskningsråd skulle kunna ta dessa rön i beaktande när anslag fördelas, och sakkunniga kan få direkt användning av dessa mått vid när kandidaten med ljusast framtidsprognos ska urskiljas. Till viss del görs det redan – exempelvis när citeringstal och publiceringskanaler beaktas vid tjänstetillsättningar – och i betydande utsträckning så korresponderar etablerade utvärderingspraktiker väl med Lindahls slutsatser. Dock, den definition av excellens som återspeglas i Lindahls avhandling är mycket snäv, och givetvis är det så att akademisk framgång är så mycket mer än antalet högt citerade publikationer. Likväl går det inte att bortse från att toppublikationer värderas högt i många situationer där akademisk framgång mäts, även om ett sådant ensidigt fokus kan få negativa konsekvenser både för vetenskapen i stort, och för den enskilda forskarens karriär och välmående.

Foto: ”Careers board game”, från https://flic.kr/p/8XGYurn

Karl Marxs h-index och den ryska revolutionen: En övning i kontrafaktisk bibliometri

Armed_soldiers_carry_a_banner_reading_'Communism',_Nikolskaya_street,_Moscow,_October_1917

I filmen Sliding doors från 1998 skildras två olika livsscenarier beroende på om huvudpersonen hinner med ett tåg eller ej.[1] I den första versionen upptäcker hon sin pojkväns otrohet och bryter upp från relationen, i den andra stannar hon kvar hos sin partner. Säkerligen har de flesta av oss spekulerat på liknande sätt kring händelser i vårt eget liv: Vad hade hänt om inte just detta skett? Hur hade livet då gestaltats? Funderingar av liknande slag är också vanliga inom skönlitteraturen, Robert Harris roman Faderland (1992) skildrar ett Europa där Tyskland gått segrande ur andra världskriget, och ett liknande scenario, men då mot en svensk fond, spelas upp i Tony Samuelssons Kafkapaviljongen (2009). Kittlande kontrafaktiska tankeexperiment är också en genre inom historieämnet där spekulationer kring alternativa utvecklingslinjer använts för att belysa avgörande händelser. Till delar kan kanske detta sätt att närma sig historien betraktas mer som en tankeövning, snarare än som seriös historieforskning. Men som historikern Kristian Gerner skriver i Vad hade hänt om… åtta kontrafaktiska historier (2015) så innebär framhållandet av alternativa händelseförlopp en möjlighet till resonemang kring, och förståelse för, de avgörande orsakerna till en specifik händelse. Kontrafaktiska resonemang, som ofta fokuserar på avgörande ögonblick eller beslut, tenderar också att aktualisera frågor om individens betydelse i historiens gång. I vilken mån styrs vår historia av enskilda beslut, händelser eller överväganden, och hur förhåller sig dessa till större strukturella förändringar?

Om vi omformulerar denna fråga till att gälla det bibliometriska studiet av vetenskapens genomslag så kan den ställas på följande sätt: Hur påverkas citerandet av ett vetenskapligt verk av den historiska utvecklingen? I en ny bibliometrisk studie, The mainstreaming of Marx: Measuring the effect of the Russian revolution on Karl Marx’s influence,[2] så prövas frågan hur en omvälvande händelse, den ryska revolutionen 1917, påverkat citerandet av Karl Marxs texter. Oavsett hur vi förhåller oss till Marxs texter på ett politiskt plan så är det otvetydigt så att han är en av de mest inflytelserika tänkarna under 1900-talet, och hans texter fortsätter att citeras i betydande omfattning. Om vi utgår från vad som registreras på Google Scholar och den profil som skapats åt honom där, så citeras Marx lite drygt 50 gånger per dag. Dessutom påpekar författarna till studien, Philip Magness och Michael Makovi, att Marxs texter, och då främst det Kommunistiska manifestet, är vanligt förekommande i kurslitteraturen vid universitetet och högskolor. Men är Marx inflytande resultatet av hans verks inneboende kvalité, eller är det snarare så att politiska händelser, och då främst den ryska revolutionen, som bidragit till hans popularitet? Med hjälp av kontrafaktiskt bibliometri säger sig författarna ge oss ett svar på denna fråga.

Screenshot 2020-06-02 at 09.31.00

Karl Marx, Google Scholar profil, 2020-06-09

Genom att konstruera och jämföra två Marx: den historiska och den kontrafaktiska (i studien kallade den syntetiska) så menar författarna att de kan mäta hur ryska revolutionen påverkat Marxs inflytande. Den kontrafaktiska Marx konstrueras genom ett jämförelsematerial av 98 andra inflytelseserika tänkare, däribland framstående samtida socialister som Proudhon, Bakunin och Kropotkin, politiska tänkare som Adam Smith, David Ricardo, John Stuart Mill och Friedrich List samt klassiska filosofer och skönlitterära författare. Genom statistiska analyser kan dessa sedan jämföras och en ‘syntetisk’ Marx kan konstrueras baserat på vad som skulle vara en ‘normal’ fördelning av citeringar i relation till tidigare data och i jämförelse med andra författares citeringsgrad över tid. Resultatet blir onekligen en slående kurva, där populäriteten för den historiska Karl Marx stiger betydligt efter 1917 samtidigt som den kontrafaktiska Marx bibehåller en konstant nivå.

SSRN-id3578840

Karl Marx vs kontrafaktiska Karl Marx, från Magness och Markovi 2020, s. 59.

Mönstret kvarstår även när jämförelsen görs enbart med andra socialistiska tänkare. Resultaten är talande, och det skulle vara svårt att argumentera emot att den ryska revolutionen har påverkar Marxs eftermäle, dock bör några förbehåll göras. Min främsta invändning rör inte den metodologiska ansatsen, utan den data som används. Studien bygger på Googles N-gram Viewer där man snabbt kan få en överblick över förekomsten av en term bland fulltexter i Google Books, en databas med över 40 miljoner poster. Sökningen har sedan skett på frasen “Karl Marx” i de indexerade verken. Således är det inte regelrätta citeringar, utan omnämnanden, som redovisas och studien kan därför inte sägas vara en regelrätt studie av referenser till Marx. Dessutom begränsar sig inte Google Books till att indexera vetenskaplig litteratur, utan här ingår ett flertal genrer, inklusive skönlitteratur, tidskrifter och dagstidningar. Således rör det sig mer om en allmän undersökning av den uppmärksamhet som Karl Marxs fått, snarare än direkta vetenskapliga citeringar. Samtidigt är det givetvis så att den ryska revolutionen, och Sovjetunionens grundande, starkt bidragit till Marxs inflytande. Att sådan påverkan skett, och att det avspeglas i antalet citeringar blir tydligt om vi konsulterar Eugene Garfields översikt över mest citerade personer i inom humaniora från 1978, Most cited authors in the Arts and Humanities. Att Marx är den mest citerade här är kanske inte förvånande, men att Lenin placerar sig på fjärde plats, före Platon, kan knappast förklaras av hans genuina bidrag till den humanistiska forskningen, utan utifrån hans historiska roll. Jag misstänker också att de ryska tidskrifter som vid tidpunkten fans indexerade Arts and Humanities Citation Index, bidrog väsentligt till Marxs och, särskilt Lenins, höga citeringstal.

En mer generell invändning mot studien är att den bygger på en idé om att vetenskapliga verk har en inneboende kvalité, som går att särskilja från dess relevans för omvärlden. En politiskt neutral vetenskapsvärld där forskares bidrag bedöms enbart utifrån sin inre koherens och logik existerar inte, och är nog vare sig önskvärd eller möjlig. Även sofistikerade teoretiska modeller behöver finna resonans i en social och politisk kontext för att bli uppmärksammade och inflytelserika. Dessa invändningar till trots så kan experiment av detta slag, och särskilt försök att använda bibliometri på historiska material, tjäna som tankeväckande uppslag för att undersöka interaktionen mellan dagspolitiska händelser, politiska ideologier och vetenskapliga teoribildningar. Den kontrafaktiska metoden kanske främst bör uppfattas som en lek, ett roligt tankeexperiment som roar och underhåller. Samtidigt finns det både pedagogiska och analytiska argument som motiverar kontrafaktiskt tänkande (och kontrafaktiskt bibliometri), och här vill jag särskilt framhålla förmågan ställa frågor på sin spets, och därmed rucka på invanda synsätt och föreställningar.

 

[1] Den amerikanske filmatiseringen bygger i sin tur på filmen ”Ödets nyck” från 1987 av Krzysztof Kieślowski.

[2]. Tack till Joakim Boström Elias som gjorde mig uppmärksam på denna studie.

Foto: ”Armed soldiers carry a banner reading ‘Communism’, Nikolskaya street, Moscow, October 1917”, Wikimedia, Upphovsman okänd.

Att överbrygga utvärderingsgapet: humanistisk forskning och bibliometriska mått

Bournemouth_(9453245033)

(Detta är en utökad version av en text som först publicerats på humtanks blogg]

Utvärderingsgapet, en term lanserad av vetenskapssociologen Paul Wouters, illustrerar en ofta förekommande diskrepans mellan det vi värderar högt och det som man kan mäta värdet på. Ett tydligt exempel är försöken att konstruera indikatorer som på basis av publikationer och citeringar skall mäta forskningens kvalité. Även om det idag råder konsensus om att citeringar i bästa fall kan betraktas som en indikation på synlighet och genomslag i forskningssamhället så spelar fortfarande bibliometriska mått en avgörande roll i fördelningen av resurser och vid tillsättningar av akademiska tjänster. Istället för att bedöma utifrån de kriterier som vi anser bäst reflektera kvalité och relevans får tillgänglig data samt enkelheten i genomförande i hög grad styra hur forskning utvärderas.

Diskrepansen mellan bibliometriska mått, exempelvis citeringar, och det de är avsedda att mäta har uppmärksammats inom forskningspolitiken i stort, och vikten av att använda indikatorer på ett ansvarsfullt sätt har alltmer betonats. Ett exempel är det uppmärksammade Leiden Manifesto on Research Metrics, samt DORA, ett världsomspännande upprop mot användandet av ‘Journal Impact Factor’ som mått på kvalité. Kritiken mot bibliometrisk utvärdering har, med rätta, varit särskilt hård från ett samhällsvetenskapligt och humanistiskt håll. Mått som antalet citeringar eller ‘impact factors’ för tidskrifter fungerar generellt dåligt inom humaniora, där publicerings- och citeringsmönster gör att mycket liten del av alla publikationer räknas i sådana system. Modeller likt den norska listan, där även monografier och bokkapitel ger poäng utifrån fastställda kvalitetsnivåer (1 eller 2) har därför blivit populära. Just den norska modellen används också vid flera lärosäten runt om i landet. Vi vet dock mindre om hur enskilda forskare inom humaniora förhåller sig till den uppsjö av bibliometriska indikatorer som finns att tillgå. Till mer etablerade mått som citeringar och tidskriftsrankningar sållar sig nu en grupp av alternativa mått (så kallade altmetrics) samt digitala plattformar som ResearchGate och Academia.edu vilka alla säger sig kunna ge indikationer på forskningens genomslag och synlighet. En första överblick gällande hur forskare inom humaniora i Sverige använder sig av dessa mått och tjänster ges i en nyligen publicerad undersökning, Conflicting measures and values: How humanities scholars in Australia and Sweden use and react to bibliometric indicators, där Gaby Haddow och jag analyserar svaren från 420 humanistiska forskare (varav 263 från Sverige). Generellt fann vi att australiensiska humanister (62 %) i mycket högre grad än svenska (14 %) använde sig av bibliometriska mått och indikatorer. Förklaringen till den stora skillnaden står förmodligen att finna i skillnader gällande språk (engelskspråkiga publikationer är ofta enklare att utvärdera med bibliometri), skillnader i hur forskning och högre utbildning är organiserade i de två länderna, samt i att Australien till skillnad från Sverige har en lång historia av bibliometrisk utvärdering bakom sig. Jämförelsevis fann vi ganska små skillnader mellan olika forskningsområden, men inte helt oväntat visade det sig att discipliner där forskarna i större utsträckning publicerar sig i tidskrifter, exempelvis filosofi, var mer benägna att använda bibliometriska mått.

Noterbart var den uppsjö av metriker och rankingar som forskarna begagnade sig av. Mer etablerade indikatorer såsom citeringar, journal impact factor och h-index (ett individbaserat och starkt kritiserat mått) nämndes givetvis av våra respondenter, men mer alternativa sätt att mäta genomslag, såsom nedladdningar och visningar, förekom också (fig 1).

Fig-2

 

Figur 1. Humanisters användning av indikatorer, datakällor och tidskriftsrankningar

Överlag kan det konstateras att forskarna omges av ett evalueringslandskap där en rik flora av mått finns att tillgå, och det är inte helt ovanligt att dessa jämförs med varandra. Exempelvis kan, såsom i detta australiensiska fall, en mer gynnsam och passande mätmetod spelas ut mot institutionella krav:

Only reason [för att använda citeringar] is to ward off any criticism that journal articles are not in A* or A ranked journals. High citations of articles in decent B-level journals should count for something, even though department policy is to discourage and/or ignore them (Australiensisk forskare, historia och arkeologi).

Flera av våra respondenter riktade skarp kritik mot användningen av bibliometriska mått – i ett av de mer hårda omdömena beskrivs bibliometri som ett: “unholy marriage of market capitalism and Stakhanovist micro-management”. Informanten fortsätter med att likna forskare i detta system vid hönor i bur, som tvingas att producera ett visst antal artiklar varje år. Mindre drastiskt kritik förekom också, och ett flertal forskare, inte minst inom fält som historia och litteraturvetenskap, kopplar bibliometriska indikatorer till mer generella förskjutningar i publiceringspraktiker där den engelskspråkiga tidskriftsartikeln får ökad betydelse. Huruvida dessa förändringar direkt går att härleda till bibliometrisk utvärdering framstår dock som oklart av rådande forskningsläge att döma. Snarare bör vi nog se det som att dessa mått accentuerar en redan pågående utveckling i denna riktning. I sammanhanget får vi heller inte glömma att en del forskare snarare välkomnar de förändringar som bibliometrin sägs påskynda:

Shift to publishing in English and emphasis on publishing in peer review journals (thank god). Hopefully this decreases the degree of laziness among researchers in my field” (svensk postdok, historia och arkeologi).

De bibliometriska måtten blir därmed en del av en diskursiv kamp inom enskilda forskningsfält där traditionella sätt att publicera sig (på svenska, i bokkapitel eller monografier) ställs mot nya praktiker där publicering i en engelskspråkiga tidskrifter framhålls. I delar kan denna fråga ses som en konflikt mellan generationer, och inte minst äldre forskare hänfaller ofta åt nostalgiska betraktelser av en förfluten tid utan bibliometri och publiceringsstrategier:

Fortunately, I am old and consequently I do not have to bother. Had I been young, I would have left academia rather than adjust to the moronic ‘publishing strategies’ forced upon us (svensk, lektor, arkeologi- och historia).

Delvis finns det poänger i detta resonemang; unga forskare är i en mer utsatt position då de ofta har osäkra anställningsförhållanden och de är därför tvungna att tänka mer ‘strategiskt’. Vidare finns det en risk att mer långsiktiga och riskabla projekt överges till förmån för forskning som snabbt kan ge utdelning i form av publikationer och citeringar. Samtidigt döljer utsagor likt dessa att det även förr fanns ‘publiceringstrategier’ där det exempelvis kunde vara av stor betydelse för den yngre forskaren att hålla sig väl med etablerade professorer som i rollen av redaktörer för antologier och bokserier kunde (och fortfarande kan) gynna en begynnande karriär. Vidare är det viktigt att framhålla att dessa två strategier knappast står i direkt konflikt med varandra. Snarare utmärks framgångsrika humanistiska forskare ofta av en förmåga att rikta sig till relevanta publiker både nationellt och internationellt, och inte sällan publicerar de sig i en rad forum och på olika språk.

Även om en del av kritiken mot bibliometrin bör ses som förklädda argument i inomdisciplinära strider så är utvärderandet av humaniora med hjälp av kvantitativa mått problematiskt på flera plan. En given invändning, ofta anförd i litteraturen, är det faktum att humanistisk forskning till stor del inte finns representerad i de bibliometriska databaserna, och detsamma gäller även flera av de alternativa mått som på senare år lanserats. På ett djupare plan är det även så att bibliometriska indikatorer rimmar illa med etablerade kvalitetsbegrepp och värderingspraktiker inom humaniora. En av våra australiensiska respondenter uttrycker det som ett problem i att översätta värden mellan olika sfärer: “… translating our sense of value to people who want quantitative data”. En grundläggande konflikt mellan radikalt olika sätt att tänka kring vetenskapligt värde skönjs här där då de snäva idéer om produktivitet, effektivitet och konkurrens som bibliometrin bygger på svårligen kan appliceras i en humanistisk kontext. Gapet mellan vad bibliometrin mäter och värderar, och vad som vanligen värderas som kvalité inom humanistisk forskning är således stor. Bland svenska humanister har ännu inte heller bibliometriska mått slagit igenom på allvar. Vår studie visar dock att situationen ser annorlunda ut i Australien, där forskarna trots protester och berättigad kritik, använder dessa mått i stor utsträckning.

Hur utvärderingsgapet ska överbryggas i framtiden framstår som oklart: Ska svenska humanister anpassa sig till de metoder som finns tillgängliga (en utveckling som kan skönjas internationellt), eller kan vi behålla och utveckla utvärderingspraktiker som i högre grad inkorporerar en bredare förståelse av kvalité? Min slutsats är att humanisterna inte bör nöja sig med att ihärdigt kritisera rådande kvalitetsmått, utan istället aktivt delta i utformandet av utvärderingssystem som överbryggar det gap som skisserats ovan. En sådan utveckling skulle inte bara gynna humaniora utan även vetenskapssamhället i stort.

Bild: Rafaela Ely (Bournemouth) [CC BY 2.0 (https://creativecommons.org/licenses/by/2.0)%5D, via Wikimedia Commons

“Förlåt jag blott citerar”: Åtta punkter för ansvarsfullt refererande

_Citation_needed_

“At the personal level of the scientific writer and the editor and publisher of journals, it tells that one might well be as careful about references as we are about titles, authorships, and proper presentation of data.” (de Solla Price, Little Science, big science…and beyond, 1986 s. 178,

Referensen spelar en nyckelfunktion i att göra en text vetenskaplig, och det är därför som stor vikt läggs vid att lära studenter att referera korrekt. Onekligen är de formella reglerna och själva refererandets teknik oumbärlig kunskap för den som skall ägna sig åt vetenskapens hantverk, och även erfarna forskare måste beakta de varierade krav som tidskrifter och bokutgivare ställer på utformandet av referenser och noter. Att lära sig referera korrekt är dock bara en del av att behärska refererandets ädla konst. Vi behöver också lära oss att citera ansvarsfullt.

I en tid när referenser – som genom sitt indexerande i citeringsdatabaser som Google Scholar eller Web of Science – blir till citeringar, vilka i sin tur omvandlas till hårdvaluta för institutioner, forskare och tidskrifter så blir refererandet en än mer komplex verksamhet. För vårt val av texter att hänvisa till blir då del i en evaluerande praktik där citeringar blir till kapital på en marknad där forskare konkurrerar om resurser av olika slag. Det gör också att vi som författare behöver ta ett större ansvar för hur vi refererar genom att aktivt reflektera över de val vi gör. En som tagit sig an denna uppgift är Bart Penders som mot bakgrund av senare års diskussioner och kritik av fenomen som till exempel självciteringar och citeringskarteller formulerat tio regler för ett mer ansvarfullt refererande. Med avstamp i dessa regler återger jag nedan åtta punkter där flera av Penders regler ingår, men där jag också tagit mig friheten att sammanfoga några av hans argument och lagt till några egna. Till skillnad från Pender så tar jag min utgångspunkt i ett samhällsvetenskapligt och humanistisk perspektiv på refererandets praktik snarare än ett naturvetenskapligt och medicinskt.

  1. Inkludera relevanta referenser

Denna regel, som återkommer i de flesta guider och handböcker kring hur referenser ska ges, innebär att du ska citera det som är relevant för din forskning, och speciellt inte låta påskina att argument som du funnit i litteraturen är dina egna. Knepiga fall är de där ett påstående är så väletablerat att det kan sägas vara självklart, och därför kanske inte kräver en referens. Denna process, där centrala verk så småningom blir så självklara att det inte längre citeras, benämndes av Robert K. Merton som ”obliteration by incorporation”. Är det till exempel nödvändigt att varje gång som ‘diskursanalys’ nämns referera till Michel Foucalt? Här är det genre, kontext och läsarnas eventuella förförståelse som avgör.

  1. Läs de publikationer som du refererar till

Det kan tyckas självklart att de källor som refereras också bör ha lästs, men så är inte alltid fallet. Att påskina att en utsaga bygger på en egen läsning av en text utan att ha läst den kan i vissa fall ses som en form av plagiarism. Frågan är dock vad ‘läst’ innebär i detta sammanhang? Behöver vi ha tagit oss igenom en hela bok från pärm till pärm för att kunna referera till den? Räcker det att ha scannat ‘abstract’ och ‘findings’ i den artikel som vi stödjer oss på? Svaren på dessa frågor beror återigen på kontext och syfte med referensen.

  1. Fokusera på det centrala innehållet när du refererar

När du refererar bör du fokusera på det innehåll som du stödjer dig på, och finns det flera viktiga argument så kanske texten bör citeras flera gånger. Det räcker alltså inte med att bara nämna texten i förbigående om dess innehåll är centralt för ditt eget bidrag. Ett utstuderat och ökänt exempel på en tveksam praktik är den så kallade ‘trojanska referensen’ där en för texten viktig referens ges i förbigående och utan att dess centrala betydelse för framställningen framgår. På så sätt kan författaren hävda att verket har citerats utan att på det sättet avslöja att den egna forskningen kanske inte var riktigt så nydanande som man vill påskina.

  1. Var transparent, men inte nödvändigtvis neutral och tråkig

Det finns inget tråkigare en att läsa förment neutrala forskningsöversikter där läsaren ges liten eller ingen ledning i hur den litteratur som passerar revy ska bedömas. Givetvis handlar det här inte om att forskaren måste ge värdeomdömen om varje enskilt bidrag, men det bör framgå hur de studier som refereras relaterar till varandra och eventuella kontrasterande perspektiv bör framhållas. Jag tror personligen att många författare heller ser att det de skrivit blir kritiserat än lite lamt omnämnt tillsammans med en hoper andra referenser. Genom att författaren engagerar sig i den litteratur som refereras så blir också den egna position tydlig, och transparent, för läsaren.

  1. Var specifik

Om det är något jag själv allt mer arbetar med i mitt eget skrivande så är det att dra ner på det som Bruno Latour kallar ’stacking’ av referenser (Science in Action, 1987 s. 33). Alltså fenomenet att samla en stor mängd referenser inom en och samma klammer för att stärka ett argument, eller ringa in ett forskningsproblem eller område. Argumentet för ett sådant tillvägagångsätt är att det både är effektivt och övertygande, och denna praktik blir nu allt vanligare även inom samhällsvetenskapen och humaniora. Problemet är dock att det drar ner läsvänligheten – det är få som uppskattar sidor som till hälften består av referenser – och ibland gör det texten rentav helt ogenomträngbar. Bättre då att vara specifik och istället ange mer i detalj vad en specifik källa handlar om. Exempelvis finner jag det bättre att ange att en text handlar om ‘självcitering’ och en annan om ‘citeringskarteller’ istället för att bunta ihop dem med ett gäng andra som behandlar ‘citeringspraktiker’ mer generellt. En annan strategi för att undvika ansamlingar av referenser är att prioritera i litteraturen: behöver verkligen den där tredje artiklen på liknande tema av samma författare anges?

  1. Gödsla inte med referenser

Överlag refererar forskare till alltfler publikationer i sina alster, och detta beror givetvis på ett allt större utbud av möjliga källor, samt förmodligen också på ett ökat användande av referenshanteringsprogram som gör det snabbt och enkelt att referera. Vidare är kollegor ofta pigga på att föreslå nya referenser när texter läses på ett seminarium eller när de referentgranskas, men mycket sällan är det någon som säger att det nog vore bra att hålla igen lite. Givetvis ska inte relevanta källor ignoreras, men det finns en tendens att belägga varje enskilt påstående med en, eller gärna flera referenser. Värdet av varje enskild referens reduceras då, och förutom att läsbarheten minskar så riskerar den flitigt citerande att framstå som osäker och osjälvständig. Generellt tenderar forskare att bli mer sparsamma i sitt refererande senare i den akademiska karriären när den egna auktoriteten är större. Ibland går detta självklart till överdrift – det förekommer att framstående professorer inte längre anser sig behöva stöd av andra överhuvudtaget och helt sonika utelämnar referenser helt – och i likhet med andra punkter är antalet referenser avhängigt av kontext, genre och publik.

  1. Citerad dig själv och dina kollegor, men bara när det är nödvändigt

Alla forskare refererar till sig själva, och det är i sig inget fel. Ofta utgör en ny publikation en fortsättning på en redan påbörjad forskningslinje och det ter sig då självklart att hänvisa till sig själv. Men ett krav för att en referens till eget arbete ska inkluderas är att den verkligen är relevant, och detta krav bör vara skarpare jämfört med andra referenser. I valet mellan att citera sig själv och att citera en annan forskare så bör det senare föredras. Vi tenderar även att citera de vi känner snarare än någon okänd i litteraturen. Så titta gärna igenom din referenslista: är en betydande del av referenser till dig själv, dina närmaste kollegor eller dina landsmän så finns det anledning att reflektera över urvalet. Kan det verkligen vara så att en så stor del av all framstående forskning inom det område som du studerar bedrivs av just den grupp som du dricker eftermiddagskaffe med? Är du man som kan det också vara lämpligt kontrollera så att du inte råkar referera extra mycket till andra män. Studier visar nämligen att män refererar oproportionerligt mycket till andra män, samtidigt som kvinnor inte uppvisar samma tendenser till att gynna det egna könet när referenser väljs.

  1. Uppdatera och variera dig

Generellt brukar forskare över tid utveckla en ‘citeringsidentitet’, och denna brukar ofta vara relativt stabil över tid. Detta innebär att när en forskare väl börjat citera ett visst verk så gör man det ofta gärna igen; det har blivit en del av den personliga ’citeringsrepertoaren’. Självklart är det enkelt att återkomma till verk som redan läst och är välkända, men risken finns att de gamla hjulspåren blir nötta och att annan relevant forskning förbises på grund av vana och bekvämlighet. Troligen förstärks också denna tendens av referenshanteringsprogram som Endnote eller Zotero där redan använda referenser ligger klara och redo att användas på nytt. Därför är det viktigt att hålla sig uppdaterad med litteraturen, både genom att följa vad som publiceras och genom att besöka konferenser och liknande, och medvetet se till att inte återupprepa samma referenser gång på gång.

Avslutningsvis vill jag påpeka att dessa punkter måste anpassas till de specifika citeringspraktiker som råder i det fält där en forskare verkar, och inte sällan är det så att vi behöver foga oss efter de konventioner som gäller för en specifik tidskrift eller bokserie. Ändå tror jag att doktorander, och även mer seniora forskare, kan vara betjänta av att reflektera över inte bara refererandets praktik utan också dess etik. Ett mer eftertänksamt refererande kan med stor säkerhet bidra till både mer läsbara texter och till högre kvalité på forskningen, samtidigt som det gör oss mer ansvarsfulla i hur vi förhåller oss till det som andra redan har författat.

 

”Förlåt jag blott citerar” är ett citat från den svenska lyriken Johan Henric Kellgrens dikt ”Man äger ej snille för det man är galen” (1787). Det är också titeln på en bok om citerandets konst författad av idéhistorikern Svante Nordin (2001) 

Bild: By futureatlas.com (originally posted to Flickr as ”Citation needed”) [CC BY 2.0 (https://creativecommons.org/licenses/by/2.0)%5D, via Wikimedia Commons

Självplagiat: forskningsfusk eller accepterad praktik?

copy paste

2013 anklagades den nederländske ekonomiprofessorn Peter Nijkamp för omfattande fusk i form av självplagiat. Nijkamp var vid denna tid en mycket välkänd forskare, med en sammanlagd produktion av över 2300 artiklar (han producerade cirka 1, 5 artikel per vecka), och under sin karriär så hade han tilldelats en rad prestigefyllda priser och uppdrag. Kort sagt, Nijkamp var en akademisk superstjärna.

Utan att gå in på detaljer så friades Nijkamp från anklagelserna kring forskningsfusk, samtidigt som det visade sig att han ägnat sig åt omfattande återbruk av tidigare texter utan att ange källa. En utredare kallade detta för ‘systematisk copy-pasting’ med målet att producera ett stort antal artiklar, och tidskriften Review of Economic Analysis kom att dra tillbaka två av Nijkamps publikationer (för vidare dokumentation kring ärendet se Retraction Watch). Flera kommittéer kom att granska ärendet, och då några fann att forskningsfusk var klarlagt menade andra att medvetet fusk inte kunde bevisas. Fallet kom därför att leda till en debatt kring vad som är legitimt återbruk, och vad som bättre beskrivs som tvivelaktiga praktiker eller till och med fusk.

Med utgångspunkt i Nijkampfallet diskuterar och studerar Horbach och Halffman självplagiat som fenomen. De analyserar inte bara den debatt som följde efter utredningarna kring Nijkamp utan de undersöker också omfattningen av självplagiat i olika discipliner. I studien utgår de från en ganska konservativ definition av ‘textåtervinning’ där till exempel ett visst återbruk av formuleringar kring metod inte räknas som självplagiat. De valde sedan ut ett antal artiklar författade av både högproduktiva och mer lågproduktiva forskare från fyra discipliner, psykologi, historia, nationalekonomi och biokemi, och studerade förekomsten av återanvänd text i dessa.

Deras studie visar att 6 % av alla artiklar visar tecken på ‘problematisk textåtervinning’ men skillnaderna mellan disciplinerna är stor. Inom historia fann man tecken på självplagiat i bara 1 av 48 studerade texter samtidigt som 14 % (36 av 258) av alla texter inom ekonomifältet innehöll återanvänd text. Bland några ekonomer visade det sig att mer än 40% av artiklarna innehöll självplagiat.

text recycling

(Horbach & Halffman 2017, s. 7)

Vad förklarar då den betydligt högre andelen av självplagiat inom ekonomifältet? En förklaring som författarna anför är att det kan bero på hur texter skrivs, där en mer formalistisk stil ger större möjlighet till att återanvända text. Detta kan delvis vara en orsak till att historieforskarna i sådan liten utsträckning använder sig av denna strategi. För dem är det ofta inte ens möjligt att självplagiera och samtidigt producera texter som accepteras av kollegorna. Det som talar emot denna hypotes är dock att biokemisterna – som i än högre grad än nationalekonomerna skriver i en formalistisk tradition – inte alls uppvisade samma grad av självplagiat. På samma sätt kan inte heller antalet medförfattare anses vara en förklaring.

Snarare är det nog så att dessa skillnader bör förstås utifrån disciplinspecifika normer kring hur god vetenskap produceras. Ett tecken på detta är att kollegor som försvarade Nijkamp menade att självplagiat inte alls var fusk, utan en etablerad praktik inom disciplinen. Att mycket produktiva och ledande forskare i större utsträckning än andra återanvänder text framstår också som ett tecken på att detta tillvägagångssätt är relativt accepterat.

Bör vi då betrakta självplagiat som forskningsfusk? Själv skulle jag hävda att det nog kan vara rimligt att återanvända text, men då bör detta tydligt anges så att eventuella granskare och läsare blir medvetna om originalkällan. Exempelvis kan ju delar av en text omarbetas för en annan läsargrupp – i en blogg eller i en mer populärvetenskaplig text – och då ser jag inget problem med att återanvända formuleringar om originalkällan anges. Att i referentgranskade artiklar använda tidigare text i form av hela stycken utan att ange detta framstår dock för mig som mer problematiskt, men vi rör oss här i en gråzon där disciplinspecifika sätt att uttrycka sig och bedriva forskning bör tas i beaktande.

Om vi bortser från frågan kring fusk så blir de stora disciplinära skillnaderna i självplagiat som Horbach och Halffman påvisar särskilt bekymmersamma mot bakgrunden av hur forskning idag utvärderas. Att återanvända text är onekligen en genväg till ett stort antal publikationer, och dessa kommer sedan att räknas in när forskningen utvärderas. De individer, institutioner och discipliner som i högre grad ägnar sig åt självplagiering kan då tillskansa sig både status och resurser på bekostnad av de som lite mer sällan använder sig att kommandot Ctrl+ C/Ctrl +V.

Etiska riktlinjer kring självplagiering har nu införts i Nederländerna och flera tidskrifter har också tagit ställning i frågan. Ett alternativ till att lita på forskarnas och redaktörernas etiska kompass vore dock att tidskrifter istället använder sig av plagiatkontroll. Inom svensk högre utbildning används Urkund flitigt – studenter tillåts vare sig kopiera andra eller sig själva – och tekniskt kan jag knappast tänka mig att det vore särskilt svårt att införa ett sådant system även för vetenskapliga publikationer. Onekligen skulle ett sådan lösning drastiskt minska förekomsten av plagiat och självplagiat.

Att skilja mellan en elefant och en kanin: Användningen av bibliometri i sakkunnigutlåtanden

Syrischer_Maler_von_1354_001

Impact measures of this kind are inexact and should not, in our view, be relied on for a detailed ranking of research achievements (it could be described as ‘a scale that can distinguish an elephant from a rabbit but not a horse from a cow’). (från sakkunnigutlåtande i nationalekonomi)

Under senare år har ett allt större intresse riktats mot hur utvärderingssystem och resursfördelningsmodeller påverkar forskningen. En central fråga är hur ett ökat fokus på prestationer som är kvantifierbara påverkar forskarnas praktiker och prioriteringar. En rad dokumenterade och möjliga effekter har identifierats på en generell nivå, men empiriska studier av hur bibliometri används vid utvärdering av enskilda individer är få. Dock vill jag påstå att just denna typ av användning, där anställningar och forskningsanslag står på spel, är särskilt viktiga då de har stor påverkan på den enskilde forskarens karriär. Ett problem har dock varit att utvärdering på individnivå är svårt att studera empiriskt, och diskussionen har tidigare främst baserats på enskilda exempel och anekdoter. Inom svensk akademi finns dock ett relativt unikt och omfattande material kring utvärderingspraktiker i form av sakkunnigutlåtanden vid tjänstetillsättningar, och dessa ger unika insikter i hur indikatorer används.

I artikeln, Indicators as judgment devices, studerar Alex Rushforth och jag just hur sakkunniga använder indikatorer och tidskriftsrankningar för att värdera och rangordna sökande till lektorat och professurer inom biomedicin och nationalekonomi. Dessa dokument ger oss unik inblick i hur bibliometriska mått används för att värdera enskilda forskare, och de ger också insikt i hur specifika indikatorer integreras i disciplinspecifika värderingspraktiker. Denna aspekt är särskilt intressant då prestige och position inom akademin till stor del styrs av status inom disciplinen, snarare än av status inom den organisation där forskaren är anställd.

I redovisningen av våra resultat bör det framhållas att långt ifrån alla sakkunniga använder sig av indikatorer, och knappt hälften av de utlåtanden som vi studerat (82 av 188) använde sig av bibliometriska mått eller tidskriftsrankningar. Ett återkommande argument bland de sakkunnig som använde sig av bibliometri var måttens ‘objektivitet’:

A bibliometric analysis was carried out to assess the scientific production and even more importantly, the real scientific impact of each applicant.” (utlåtande i biomedicin)

Generellt introducerades dock citeringsdata, eller ‘impact factorer’, utan någon vidare motivering. Vår tolkning är att de sakkunniga använder indikatorer som en typ av ‘utvärderingsverktyg’, och här bygger vi på Lucien Karpik (2010) och hans teori om ‘judgment devices’. Dessa används i situationer när konsumenten (i detta fall granskaren) behöver välja mellan en rad produkter (här kandidater) som inte helt enkelt kan jämföras. Ett exempel som Karpik tar upp är valet av husläkare eller värderingen av ett litterärt verk, och vi menar att forskare kan ses som ett ytterligare exempel på en ‘vara’ vars värde inte helt enkelt kan fastställas. I situationer där det finns en uppsjö av goda kandidater, vilket är fallet i många av de tillsättningsärenden vi studerat, så blir  ‘judgment devices’ också ett sätt att lösa en situation där ett överflöd av möjliga alternativ finns.

Journal Impact factor

Den mest kända, inflytelserika och samtidigt häftigt kritiserade bibliometriska indikatorn är utan tvivel Journal Impact Factor (JIF), som introducerades av Eugene Garfield redan 1963. JIF används flitigt också i vårt material, främst inom biomedicin men också inom nationalekonomi, och ofta introduceras den för att bedöma ‘kvaliteten’ på publicerade alster: 

…but it is a bit bothersome that many of the recent publications that XXXX has been principal investigator on are found in more narrow journals, as for example Scandinavian J Immunol. (Impact approx. 2.3). (utlåtande i biomedicin)

Many of original papers appeared in excellent quality journals and nearly two third [sic] of them were in journals with impact factor greater than 3. (utlåtande i biomedicin)

I många fall, likt exemplen ovan, så används JIF som ett riktmärke för vad som ska betraktas som bra tidskrifter och en undre gräns för kvalité på runt 3 verkar gälla inom biomedicin. I nationalekonomi är det betydligt svårare att finna en exakt gräns, även om sakkunniga föreslår 0.5 samt 0.9 som möjliga riktvärden.  Sammantaget är  det otvetydigt att JIF:en är viktig vid bedömningen av forskning inom biomedicin, och många av de utlåtanden som inte explicit använder sig av måttet hänvisar till ‘high impact journals’.

Ett annat beryktat, och vid utvärderingen av individuella forskare särskilt intressant mått, är det så kallade ‘h-index’. Till skillnad från JIF, som mäter tidskrifters genomsnittliga citeringsgrad, så är h-index ett försöka att sammanfatta en forskares produktivitet och inflytande över tid. En forskare med h-index x har författat x publikationer som citerats minst x gånger, dvs. en forskare som har författat 12 publikationer som vardera citerats 12 gånger eller fler har ett h-index på 12. I vår studie används h-index vanligtvis som ett slags bakgrundsinformation, likt affiliering, ålder, kön, och ofta anges det utan vidare kommentarer som här:

XXXX publishes in good to very good journals including Plos Genetics, FASEB J, and Mol Biol Cell. H–factor=18. (utlåtande i biomedicin).

H-index blir vad vi kallar en ‘totaliserande indikator’ där en hel karriär kan sammanfattas i en siffra, och vi finner också att måttet i flera fall sammanfaller med den sammanvägda bedömningen av kandidater.

Om citeringar och JIF är populära utvärderingsverktyg inom biomedicinen så tenderar nationalekonomer att bedöma artiklars ‘värde’ utifrån klassifikationer av, och listor över, tidskrifter. En bedömare uttrycker det mycket klart:

“A university that aims to compete at the first or second tiers in Europe should expect its full professors to show the ability to publish at least a few articles in the best journals in the field. Publishing a paper in a top finance journal requires a degree of effort, awareness of the latest thinking in the field, and excellence, which any number of articles in journals below second tier could not match. (utlåtande nationalekonomi)

Det flitiga användandet av tidskriftsrankningar – vi fann hela fem olika listor i vårt material – kan relateras till att det nationalekonomiska fältet tenderar att organisera sig hierarkiskt. En annan förklaring är att citeringar och JIF generellt fungerar sämre inom nationalekonomin jämfört med biomedicin där omsättningen av artiklar och citeringar är högre.

I vårt material finns också tydliga exempel på hur indikatorer kan kombineras och jämföras, och det är inte ovanligt att sakkunniga uppvisar goda kunskaper i bibliometri. I exemplet nedan så jämförs h-index med det totala antalet citeringar för att ge en mer nyanserad bild av kandidaten:

Of 44 published papers she is 1st author on 12 and senior author on 20. She has a surprisingly low citation rate, albeit with a high h–index (Max citation <60 in 2010, h–index 17, Web of Science). (utlåtande i biomedicin)

Vad den sakkunnig menar med låg citeringsgrad är att denna kandidat har publicerat många publikationer som refererats av andra (högt h-index), men hon saknar publikationer med mycket hög citeringsgrad (max citation <60). Att författarordningen är en viktig aspekt inom biomedicin framgår också i detta citat; det är första och  sista positionen som räknas.

Ett ännu tydligare exempel på hur kandidater, men också olika typer av indikatorer, jämförs är tabellen nedan där en rad kvantifierbara data kring författarskap, publikationer och citeringar sammanställts.

Fig 1 anonymized                                                                                                            (från utlåtande i biomedicin)

Här rör det sig om en ambitiös sakkunnig som har goda kunskaper i bibliometri; tabellen ackompanjeras av inte mindre än åtta fotnoter som förklarar de enskilda måttens betydelse och svagheter. En intressant detalj är att den sakkunnige använder sig av medianvärdet gällande citeringar snarare än medelvärdet, och det är en praktik som är statistiskt välgrundad då distributionen av citeringar ofta är mycket skev.

Sammanfattningsvis menar vi att bibliometriska indikatorer i dessa sammanhang bör förstås som ‘utvärderingsverktyg’ som är välintegrerade i disciplinära utvärderingspraktiker, och beroende på hur fältet är organiserat kommer olika typer av indikatorer, till exempel citeringar inom biomedicin eller tidskriftsrankningar inom nationalekonomi, att bli dominerande. Tidigare bibliometrisk forskning har i nedlåtande ordalag referat till denna typ av bibliometrisk praktik som ‘amatörmässig’ och varnat för dess utbredning. Vi vill dock påstå att de sakkunniga i dessa dokument ofta framstår som relativt kunniga gällande indikatorernas styrkor och svagheter. Vidare så besitter de en unik kompetens jämfört med professionella bibliometriker då de har kunskap om vilket värde dessa mått tillskrivs inom den egna disciplinen. Vår ståndpunkt är dock inte att användningen av bibliometri i dessa sammanhang är oproblematisk, och liksom Leidenmanifestet så menar vi att indikatorer av detta slag bör användas med stor försiktighet på individnivå. Att helt avfärda dessa mått som direkt olämpliga i alla sammanhang vore dock förhastat, och vi bör komma ihåg att bibliometrisk utvärdering också kan framhålla grupper, till exempel kvinnor, som ofta missgynnats i traditionell peer review.

Bild: Kalîla und Dimma von Bidpai: Der Hase und der Elefantenkönig vor dem Spiegelbild des Mondes in der Quelle, By Syrischer Maler von 1354 [Public domain], via Wikimedia Commons

Eugene Garfield (1925-2017): Utopist och ingenjör

eugene_garfield_hd2007_portrait

”I believe there is now only one kind of scientist – the information scientist.” (Garfield, 1962).

I söndags, den 26 februari 2017, gick en av informationsvetenskapens stora pionjärer ur tiden. Vid sidan om Derek J. de Solla Price (1922-1983) så framstår Eugene Garfield (1925-2017) som den moderna bibliometrins fader. Hans inflytande sträcker sig dock långt utanför en snäv krets av bibliometriker, och han bör enligt mig betraktas som en av informationsvetenskapens stora innovatörer. Garfields främsta bidrag är skapandet av den vetenskapliga citeringsdatabasen, Science Citation Index (1964), och grundandet av Institute for Scientific Information (ISI). I praktiken kan det rentav hävdas att Garfield med denna innovation introducerade den vetenskapliga ‘citeringen’ som vi känner den idag. (Notera att citering, eng. ‘citation‚ här inte är liktydigt med referens eller direkt citat utan avser just en framåtriktad länk mellan publikationer som citeringsdatabasen möjliggör. För en vidare diskussion kring konstruktionen av ‘citeringen’ se Paul Wouters, Citation Culture samt Gustaf Nelhans Citeringens praktiker).

Garfield startade sin bana som kemist men kom tidigt att intressera sig för hur forskning kommuniceras, och hans första stora bidrag inom detta område var Current Contents där korta sammanfattningar av vad som avhandlats i andra vetenskapliga tidskrifter publicerades. Det stora problemet för vetenskapen, enligt Garfield, var en snabbt ökande tillgång till information – han talade själv om en ‘information flood’. Konkret ställde han sig frågan hur forskare skulle mäkta med att följa vetenskapens utveckling ens inom ett begränsat fält. Med inspiration från Shepards Citation’s, som sedan länge samlat referenser inom juridiken, så lanserade Garfield 1955 idén om ett vetenskapligt citeringsindex där forskare inte bara kunde få information om de källor som en artikel refererade till utan också hur det aktuella verket citerats av efterkommande forskare. På så sätt menade Garfield att sökningen efter litteratur kunde förbättras avsevärt, och det medgav också stora möjligheter att studera den vetenskapliga kommunikationen i detalj. Det kom dock att ta närmare tio år innan citeringsindexet lanserades, och Garfield fick arbeta hårt med att finna stöd och finansiering för sin idé.

Tidigt identifierade sig Garfield som en informationsvetare – han hade redan i barndomen varit fascinerad av bibliotek och den kunskap som rymdes där – och en stor samling av hans texter bär just namnet ‘Essays of an Information Scientist’. I praktiken menade han att alla forskare – på grund av den snabba tillväxten av information – nu behövde bli informationsexperter. Citeringsindexet spelade givetvis en stor roll för dessa blivande experter, och Garfield såg framför sig en tid där biblioteket, i den utvecklade formen av ett ‘Informatorium’, skulle utgör en central hub i den vetenskapliga kommunikationen. I en text från 1962 beskriver han det på följande sätt:

As I see it, the ideal library must be able to supply information instantaneously. As an ideal library facility, The Informatorium will have to satisfy a wide variety of information requirements for a population that will be highly intellectual and scientifically trained. In my paper, I predicted rather optimistically and hopefully, that by the turn of the millennium there would be “a new Renaissance during which the population of the entire world will be thirsting for knowledge.” I think that age is already beginning in spite of, if not because of, threats of atomic destruction.

I en artikel från samma tid så inleder Garfield resonemanget med en referens till H.G. Wells och hans idéer om en världsomspännande hjärna (‘world brain’). Han menar att det är varje forskares dröm att ha tillgång till all upptänklig information, även om han tillstår att bibliotekarien ser alla de problem som återstår att lösa innan en sådan kan realiseras. Citeringsindexet kan dock, enligt Garfield, ses som ett första steg mot att en ‘världshjärna’. Förväntningarna på vad indexet kunde uppnå var knappast blygsamma, och Garfield, i likhet med andra stora informationsvisionärer som Paul Otlet (1868-1944) eller Vannevar Bush (1890-1974), såg hur hans innovation skulle förändra vetenskapen, och kanske också samhället, i grunden:

If we ever achieve “total communication, ” a state of research nirvana, then an enormous time-shared, random access computer memory will augment man’s finite memory and replace printed indexes and catalogs. In this condition of nirvana a World Brain will itself have become an auxiliary to man’s own brain. (Garfield, 1964)

Garfield var dock till skillnad från Otlet och Bush främst en praktisk man; en ingenjör, och hans texter kan snabbt gå från att diskutera en ‘världshjärna’ till att förklara hur en ny typ av kontorspaper kommer att förbättra informationshanteringen vid hans institut. Ett institut som snart kom att växa och utökas med flera databaser och tjänster. Allt för att underlätta sökningen efter information. Möjligheten att snabbt och enkelt hitta relevant litteratur framhölls starkt i marknadsföringen av ISI: ett exempel är denna film där Garfield själv presenterar Science Citation Index. Tidigt varnade dock bedömare för att indexet kunde användas för att utvärdera vetenskapen och forskare, och det är en debatt som pågår än idag. Tydligast blev kanske citeringens betydelse som kvalitetsmått genom Garfields introduktion av Journal Impact Factor (JIF) som ett mått på en tidskrifts genomslag. Denna indikator kom snabbt att få stor betydelse, och från att ha varit ett mått som rankade tidskrifter så kom den snart att användas även för att värdera enskilda artiklar eller forskare. JIF är än idag den mest inflytelserika och samtidigt det mest ifrågasatta bibliometriska indikatorn som dess användning vid utvärdering kritiserats i bland annat Doradeklarationen och Leidenmanifestet.

Garfields roll för bibliometrins utveckling kan inte nog framhållas, och stora delar av den forskning som bedrivs inom området skulle inte vara möjlig utan den databas som han skapade. Det är bara under senare år som seriösa konkurrenter till ISI (sedermera Web of Science, WoS) har lanserats genom Elseviers Scopus och i viss mån Google Scholar. Fortfarande görs dock en betydande del av all forskning inom bibliometrin med hjälp WoS, och den utgör också den standard mot vilken andra datakällor jämförs. Trots att WoS fortfarande är den dominerande datakällan så finns det ändå anledning att fundera över hur framtiden ser ut för citeringsdatabaserna mer generellt. Det finns flera tecken på att deras dominans alltmer utmanas av alternativa sätt att studera och utvärdera forskningen. Till exempel så har mått baserade på omnämnanden i sociala medier, så kallad altmetri, lanserats som en konkurrerande metod för att studera den vetenskapliga kommunikationen. Deras monopolställning utmanas kanske främst genom en utveckling mot en mer öppen vetenskap där referenser (och citeringar) blir direkt sökbara, och där möjligheter att söka i fulltext expanderar snabbt. Kanske var det sena 1900-talet höjdpunkten för citeringsdatabasen i den form som Garfield gav den, och Thomson Reuters beslut att under förra året sälja WoS kan måhända ses som ett tecken på att en gyllene era är över. Givetvis kommer Web of Science leva kvar som en mycket viktig källa för bibliometriska undersökningar där inte minst kvalitén på databasen och dess historiska täckning skiljer den från konkurrenterna, men den dominerande ställning som den en gång hade är nu förlorad. Detta till trots så var Science Citation Index en verkligt revolutionerande uppfinning på sin tid, och Garfields roll för den vetenskapliga kommunikationens utveckling kan inte ifrågasättas. Vidare framstår Garfields obändiga tro och optimism kring vetenskapens och informationens möjligheter minst lika relevant idag som för 60 år sedan, och jag är övertygad om Garfield i framtiden kommer räknas som en av informationsvetenskapens stora namn.

Bild: Chemical Heritage Foundation [CC BY-SA 3.0 (http://creativecommons.org/licenses/by-sa/3.0)%5D, via Wikimedia Commons