Etikettarkiv: bibliometri

Citera mig inte! Om ovälkomna och vilseledande referenser

Publicerad den av
Svara

Att bli omnämnd i litteraturen anses generellt vara ett tecken på erkännande, och om referensen plockas upp av ett citeringsindex, likt Google Scholar eller Web of Science så registreras även en ‘citering’ (citation) som den enskilde författaren kan lägga till sin samling. När citeringarna samlats på hög kan de sedan räknas, jämföras och användas som en, om än tveksam, indikator på synlighet och framgång. Som tidigt påpekats i diskussionen kring citeringar så kan mycket väl ett verk refereras till utan att det för den skull behöver innebära att det som hävdas i det framhålls som god vetenskap, och så kallade ‘negativa citeringar’ har varit ett ofta förekommande argument emot citeringsmåttens giltighet. Dock är det så att negativa citeringar – det vill säga referenser till studier som kritiseras i den citerande texten – är ovanliga, även om de är mer flitigt förekommande inom humaniora och samhällsvetenskap jämfört med andra fält. Dessutom vill jag hävda att negativa citeringar ofta är ett tecken på erkännande, då få finner det mödan värt att kritisera rön som inte är etablerade och kända. På ett rent personligt plan så finner jag det också mer givande att mina alster blir kritiserade då det tyder på engagemang, jämfört med att de refereras lite halvhjärtat i en parentes med fem andra liknande studier. Överlag så skulle jag alltså hävda att invändningar kring negativa citeringar har begränsad bäring i debatten kring citeringsmåttets lämplighet.

I forskningskommunikationen i stort bör den negativa citeringar också ses som ett hälsotecken då kritisk granskning av tidigare resultat är en central del av en välfungerad akademi. Ett större problem är däremot den förvillande referensen, som återger den refererade studien på ett vinklat eller rentav felaktigt sätt. Hur detta sker har studerats i en nyligen publicerad artikel av Serge Horbach, Kare Aagaard och Jesper W. Schneider. De undersöker referenser till en studie kring forskningsetik av John med kollegor som kommit att bli både inflytelserik och välciterad. Analysen av referenserna visar att ett stort antal av citeringarna är överflödiga, och en hel del är direkt vilseledande. Dessutom verkar det som antalet referenser som bara ytligt engagerar sig med studiens resultat ökar över tid. Författarna tolkar detta som att referensen har blivit en så kallad “concept symbol”, eller med ett mer populärarkulturellt begrepp ett “mem”. I flera fall har resultaten förvanskats till den grad att processen kan liknas vid en viskningslek där de ursprungliga rönen är nästintill oigenkännliga. Flera orsaker anges till denna utveckling, där slarv och lathet (ofta läser inte författare studier som de citerar) är delförklaringar. Även retoriska överväganden, där referenser främst tjänar till att stärka den egna tesen, gör att studier med entydiga slutsatser tenderar att citeras oftare än de med mer ambivalenta konklusioner. Risken finns således att spektakulära studier där implikationerna av resultaten ofta överdrivs får större inflytande på forskningen jämfört med mer försiktiga och noggranna analyser.

Negativa och förvillande citeringar kan också drabba en enskild författare, men finns det någon möjlighet undvika felaktiga referenser, eller rentav begära att ovälkomna citeringar avlägsnas? Den frågan ställer sig Jaime Teixeira da Silva och Quan Hoang-Vuong i en reflekterande text i tidskriften Scientometrics. Idén om att forskare skulle kunna begära att referenser till deras texter ska tas bort framstår onekligen som orealistisk, och författarna tillstår också att någon sådan möjlighet knappast kommer att realiseras inom en snar framtid. Samtidigt anser jag att idén om rätten att inte bli (fel)citerad är intressant som tankeexperiment. I specifika fall kan det för en forskare vara direkt olustigt att bli citerad, exempelvis i en kontroversiell och ifrågasatt studie, eller om citeringen i fråga kommer från en tveksam tidskrift (en så kallad rovdjurstidskrift). I praktiken är det dock så att lika lite som Esaias Tegnér kan förhindra att högerextrema grupper använder hans verk, så kan en forskare undvika att bli refererad till på oriktiga grunder. Dock skulle jag säga att det finns flera möjligheter att förbättra chanserna att ens verk inte blir refererad på ett missvisande sätt:

  1. Det mest uppenbara sätt på vilket en författare kan undgå att bli “felciterad” är att sträva efter en tydlig och korrekt framställning utan överdrifter eller svepande generaliseringar, eller för att parafrasera Tegnér: “Det dunkelt skrivna, är det dunkelt citerade”.
  2. När väl något är publicerat så kan också en försigkommen forskare se till att diskutera sitt alster på konferenser, seminarier och sociala medier för att på så sätt styra hur resultat och slutsatser mottas.
  3. Självciteringar är ifrågasatta och bör nyttjas med måtta, men de kan vara ett sätt förstärka de slutsatser som man själv ser som de mest centrala i ett forskningsbidrag. Att då själv referera till sitt verk kan bli ett sätt att påverka hur efterföljare forskare tolkar innehållet.
  4. Vid uppenbart felaktiga citeringar – särskilt om de publicerats i inflytelserika forum – kan det vara värt att genom en uppföljande artikel, eller kommentar, påvisa det som anses förvillande eller rent fel. Min bedömning är dock att det sällan förekommer situationer där en sådan ansträngning kan sägas vara motiverad.

Avslutningsvis kan det vara värt att återvända till de mer övergripande konsekvenserna av tveksamma referenser som beskrevs i inledningen. För även om det må vara förargligt att bli felciterad så är det på en aggregerad nivå som undermåliga citeringspraktiker kan bli direkt skadliga för vetenskapen i stort. Om forskningskommunikationen blir en viskningslek så begränsas möjligheten till vetenskapliga framsteg, och allmänhetens förtroende för akademisk kunskap riskerar att eroderas. Det bör här påpekas att givandet av referenser är en del av ett större forskningspolitiskt sammanhang där citeringar är hårdvaluta både för forskare och tidskrifter. Samtidigt finns det, i mitt tycke, möjlighet för var och en – i sina respektive roller som lärare, handledare, författare, granskare och redaktörer – att verka för ansvarsfulla citeringspraktiker som ökar möjligheten till verklig dialog och interaktion med tidigare forskning.

Bild: Av anonymus – Punch (the Danish) page 73, Public Domain, https://commons.wikimedia.org/w/index.php?curid=14174609

Annons

En vetenskap i kris? Ambivalent skildring av svensk forskning i Hanne Kjöllers bok

Publicerad den av
Svara

Ska vi tro de senaste årens inlägg i den forskningspolitiska debatten så befinner sig svensk akademi i en djupgående och flerdimensionell kris. Jag ska här inte bedöma sanningshalten i påståendet om existensen av en sådan kris, utan snarare konstatera att förklaringarna till problemen med svensk forskning ser relativt olika ut beroende på vem som formulerar kritiken. Tre huvudargument återfinns i debatten: det förstnämnda rör Sveriges position internationellt där vi i jämförelse med andra ledande forskningsnationer – läs Danmark – producerar färre högt citerade publikationer. Enligt denna beskrivning så har svensk forskning tappat i genomslagskraft, vi producerar för lite “toppforskning”. Ett annat argument är att forskningen inte är relevant nog, vilket är ett resonemang som ofta anförs från näringslivshåll, och då i andemeningen att forskningen inte i tillräckligt hög grad bidrar till innovation, utveckling och ekonomisk tillväxt. Varianter på samma tema förekommer också i inomvetenskapliga diskussioner där exempelvis Alvesson, Gabriel och Paulsen (2017) tes kring forskningens “meningslöshet” rönt en del uppmärksamhet . Den mest synliga argumentationslinjen på senare tid rör dock snarare vetenskapens politisering, och de som för fram dessa argument menar att andra mål för forskningspolitiken, som jämställdhet, inverkar menligt på akademins trovärdighet och kvalitet.

Oavsett hur vi förhåller oss till dessa “kriser” så finns det onekligen ett behov att sammanhållet diskutera och kritiskt granska både akademi och forskningspolitik, och gärna då med en bred ansats. Att ledarskribenten Hanne Kjöller nu vänder blicken mot den svenska forskningspolitiken är därför glädjande, inte minst då en kritisk journalistisk granskning av forskningen, en mångmiljardindustri som till stora delar är finansierad genom skattemedel, länge har saknats. En anledning är troligtvis att forskningspolitiken är ett komplext, och ibland motsägelsefullt fält som är svåröverblickbart. Dessutom har, som Kjöller också skriver, journalister ofta förhållit sig relativt hovsamt inför forskarsamhället. Hennes bidrag, “Kris i forskningsfrågan. Eller: vad fan får vi för pengarna” är således ett välkommet och uppfriskande inlägg i den forskningspolitiska debatten.

I sin skildring av forskningens problem så rör sig Kjöller från det lilla till det stora, från enskilda studier och de premisser som motiverar dem till strukturella och globala problem kring incitamentsstrukturer och publiceringsmönster Kjöllers styrka ligger uppenbart på det medicinska området där hennes fokus på medborgarnas och patienternas perspektiv är originellt och intresseväckande. Givetvis kan angreppsättet anklagas för att medvetet välja ut några enskilda projekt för att sedan låta dessa stå som exempel för en generell utveckling. Samtidigt är tillvägagångsättet effektfullt och det genomsyras av ett genuint intresse av att förstå forskningens hantverk och skildringen ger läsaren god inblick i processer och överväganden som sällan beskrivs utanför akademin.

Överlag gör Kjöller en stor poäng av den så kallade reproducerbarhetskrisen inom vetenskapen, och här är det framförallt John Ioannidis och hans omfattande granskningar av främst medicinsk forskning som hon stödjer sig på. Att betydande delar av exempelvis den psykologiska och medicinska forskningen är svår att reproducera är givetvis ett stort problem. Samtidigt är det väl drastiskt att hävda att den forskning som inte kan reproduceras är falsk, vilket Kjöller gör med stöd av Ioannidis. Utmaningarna med att reproducera forskning har studerats utförligt av vetenskapssociologer och de främsta orsakerna är sällan medvetet fusk. Problemet är snarare kopplat till bristfälliga beskrivningar av metod och svårigheter med att helt återskapa de förutsättningar som gällde vid den ursprungliga undersökningen. Det finns även de som menar att idén om en ‘reproducerbarhetskris‘ riskerar att leda till forskningspolitiska åtgärder som inte gagnar vetenskapen. Med detta sagt så står det klart att det finns starka incitament för forskare att överdriva sina resultat genom att exempelvis använda tveksamma statistiska metoder (så kallat p-hackande), eller genom att plocka ut den empiri som stöder en viss tes, och bortse från data som motsäger det önskvärda resultatet. Dessutom är få forskare motiverade att granska andras resultat då reproducerbarhetsstudier är svårpublicerade, och de tillmäts mindre prestige än originalstudier.

När Kjöller lyfter blicken och ger sig ut för att diskutera de stora forskningspolitiska frågorna så navigerar hon i ett mer komplext landskap, och inte sällan hamnar hon i motsägelsefulla positioner. Exempelvis så lyfts argumentet ovan: att Sverige halkar efter jämförbara länder gällande antalet publikationer och citeringar som ett tecken på en vetenskap i kris. Samtidigt skriver Kjöller, på annat håll, att det är just denna publikations- och citeringsjakt som gör att forskarna producerar ”meningslös” forskning. (För en vidare diskussion kring bibliometrisk utvärdering så rekommenderas Olof Hallonstens recension av Kjöllers bok). Satsningar mot inomvetenskaplig ”excellens” går inte alltid hand i hand med ökad relevans utanför akademin, och potentiellt sätt kan en satsning på excellent forskning – så att vi kan klå danskarna – göra att mer samhällstillvänd forskning nedprioriteras. En annan fråga där Kjöller famlar rör politikens inflytande över forskningen. I delar argumenterar hon för större statlig styrning, men stundtals anförs just politisk påverkan som ett problem (s. 134). Även kring genus tycker jag mig skönja en ambivalens, och till skillnad från de aspekter som diskuteras ovan så är denna motsägelse inget som Kjöller själv uppmärksammar. Kritiken mot genusvetenskap och jämställdhetsintegrering som nu sägs utgöra ett av de stora hoten mot svensk akademi får förvisso relativt liten uppmärksamhet i boken, men samtidigt är det uppenbart att Kjöller sållar sig till den skara som ser dessa påfund som ett hot. Intressant nog är just genusperspektivet, även om hon inte tematiserar detta, något hon själv lyfter i kapitlet kring den medicinska forskningen. Särskilt tydligt blir det i Kjöllers berättigade fråga varför inte fler studier gjorts kring förlossningsskador – trots att dessa drabbar många patienter, och då inte sällan med varaktiga och kännbara konsekvenser. Det uppenbara svaret, även för den som inte är genusvetenskapligt skolad, är att mer forskning inte genomförts just därför att patienterna i detta fall är kvinnor.

En orsak till att Kjöller ofta framstår som ambivalent i sin argumentation är att hon i stor utsträckning förlitar sig på en grupp av väletablerade debattörer inom den högre utbildningen och forskningen. Tyvärr är det inte alltid så att den kompetens och insikt som dessa har i forskningspolitiska spörsmål motsvarar deras höga svansföring. Exempelvis så får litteraturvetaren Peter Luthersson uttala sig om ”citeringskarteller” och hävda att detta handlar om enskilda forskare som ingått någon slags pakt om att referera till varandra. Men de ”karteller” som avslöjats, och givit namn till fenomenet, rör ett intrikat spel på tidskriftsnivå, och idén om pakter mellan enskilda forskare har inte belagts. På liknande vis framhålls Erik Ringmar, en statsvetare vars främsta tema är akademisk frihet, som expert på forskningspolitik. Ringmar hävdar exempelvis att några få forskare står för en stor andel av antalet citeringar till svenska publikationer (s. 110). Han har förvisso rätt i att en liten grupp forskare står som mottagare till en stor andel av alla citeringar, men denna skeva fördelning av berömmelse och erkännande återfinns i vetenskapen överlag, och kan inte tolkas som ett tecken på att svensk forskning är särskilt utsatt. Överlag förlitar sig Kjöller lite väl ofta på en senior kader av akademiska tyckare, och inte minst så ges hennes kollegor bland ledare- och kulturskribenter gott om utrymme. Svenska historiker, sociologer, statsvetare och andra forskare inom kunskapsproduktion, vetenskaplig kommunikation och forskningspolitik hade med fördel kunnat konsulteras i högre utsträckning, även om citat från dessa säkerligen varit mindre iögonfallande.

När Kjöller förlitar sig på en mer heterogen uppsättning av källor tenderar argumenten att bli tydligare och mer framåtblickande. Särskilt i frågan om öppen tillgång till forskning så är hennes position övertygande och underbyggd. Givetvis är det uppseendeväckande att allmänheten inte har tillgång till den forskning som det offentliga finansierat, och de stora förlagens vinstmarginaler är gravt provocerande. Måhända överdriver hon dock sin upptäckt något då rörelsen mot öppen tillgång (open access) har en lång historia, och omställningen till ett öppet system nu går allt snabbare. De initiativ som faktiskt tas i denna riktning – exempelvis genom det europeiska initiativet Plan S – kunde också ha behandlas lite utförligare. Nyligen utförda undersökningar visar också att upp emot 70% av den forskning som produceras vid ledande universitet nu är öppet tillgänglig. Det betyder inte att vägen till en öppen vetenskap är utan hinder, men betydande steg har tagits.

Om det i delar går att kritisera Kjöllers val av källor så bör hennes förhållningssätt till dessa i flera fall lovordas. Hon behandlar rätteligen inlägg från olika aktörer, exempelvis lärosätenas argument för mer basanslag och vetenskapsrådets ständiga plädering för fria projekt som kungsvägen mot bättre forskning, som partsinlagor. Förslaget om ett oberoende organ för analys av forskning och högre utbildning – likt de som finns i flera grannländer – ligger i linje med detta synsätt, och det är onekligen besynnerligt att ett sådant inte redan etablerats i Sverige. Även partipolitiskt lyckas Kjöller, i någon mån, upprätthålla en balans även om socialdemokraterna kritiseras mer frekvent jämfört med den borgerliga sidan. En intressant iakttagelse som hon gör i detta sammanhang är att själva omsvängningarna i politiken, snarare än innehållet i reformerna, kan ha inverkat skadligt på den svenska forskningen. Denna slutsats har också visst stöd i litteraturen då den danska forskningens framgångar förklarats just av långsiktiga spelregler snarare än reformiver.

Om ambitionen med “Kris i forskningsfrågan” är att – i likhet med makarna Myrdals berömda verk som parafraseras i titeln – skissera ett program för framtidens forskningspolitik så kan boken knappast ses som något annat än ett misslyckande. Snarare än att peka ut en riktning så framstår Kjöller som kluven inför flera av samtidens centrala forskningspolitiska problem, och denna rådvillhet är också något hon själv tematiserar. Nyckelfrågor förblir obesvarade: bör politikerna styra forskningen i högre grad? Ska en större andel av resurserna satsas på applicerbar forskning, eller bör fokus ligga på grundforskningen? Behövs ytterligare kontroll och utvärdering av forskningen, eller är det ständiga mätandet i själva verket en bidragande orsak till den “kris” som skisseras? Kjöller har inget facit, och kanske är det inte heller att förvänta då någon enighet kring dessa frågor knappast råder bland forskare och experter på området.

Dock, om vi för stunden bortser från de braskande rubrikerna, och det höga tonläget som stundtals präglar framställningen, så går det att göra en betydligt intressantare och välvilligare läsning av “Kris i forskningsfrågan”. En sådan läsning fokuserar inte på de delar där skarpa formuleringar och svepande generaliseringar görs, utan på det utforskande tillvägagångsätt som också präglar framställningen. Kjöller reflekterar över sin egen osäkerhet och den utmaning det innebär att försöka greppa forskningens komplexa system, och just denna öppenhet för motsägelser och svårigheter är för mig en av bokens stora tillgångar. Även om få entydiga svar ges, så lyckas Kjöller väl med att ringa in centrala och brådskande frågor kring forskningens framtid. Förhoppningsvis kan hennes insats resultera i att fler journalister vågar ge sig in i forskningspolitikens “snåriga djungel”. Kris eller ej, så finns här mycket att granska, kritisera och diskutera.

Denna text är en omarbetad och utökad version av en recension i Respons 2020, nr 6.

Skadlig mäthysteri, eller användbart styrmedel? Prestationsmått i svensk akademi

Publicerad den av
Svara

“If you measure things, if you look at things, if you pay attention to things, more things will happen” (akademisk ledare citerad i Söderlind & Geschwind, 2019).

Som citatet ovan förmedlar så händer något när saker räknas och uppmärksammas. En uppdelning, och en prioritering, sker mellan det som ska, och kan, mätas, och det som inte enkelt kan omsättas i numeriska värden. Frågan kring vad som händer vid mätning och utvärdering står i centrum för Johan Söderlinds avhandling A metric culture in academia: The influence of performance measurement on the academic culture of Swedish universities (2020), som försvarades vid KTH den 25 september. I avhandlingen studeras hur prestationsmått fått en allt större betydelse i organisationen av akademiskt arbete, och särskilt fokus riktas mot hur dessa system påverkar verksamheten. I fyra delstudier, vilka också publicerats som fristående artiklar, så studeras mätningens utformning och konsekvenser på olika nivåer i det akademiska arbetet. Några av studierna har en mer komparativ ingång där exempelvis skillnader mellan svensk akademi och andra nordiska länder belyses, medan andra artiklar fördjupar sig i mer specifika fenomen. Det empiriska materialet är rikt, och det gäller även det teoretiska och metodologiska ramverket. Utgångspunkten för själva studien är idén om ett utvärderingssamhälle som delvis kan förklaras av en senmodern organisation av samhället där granskning blivit ett centralt element för hur verksamheter styrs. Överlag ger avhandlingen en god överblick över prestationsmått och deras användning inom akademin, och den utgör också en välskriven introduktion till bärande studier och teorier inom fältet.

I avhandlingen presenterar en rad resultat, och då det är svårt att sammanfatta dem alla så väljer jag här att presentera ett urval av de som jag finner mest tongivande och nydanande. Ett lyckat val i flera av artiklarna är att fokusera på hur ledare (”managers”) inom akademin använder prestationsmått i sitt arbete. Söderlind finner här att många chefer använder mått i styrningen samtidigt som de är medvetna om systemens begränsningar. Inte sällan intar de också en medlande position när de kontextualiserar, och modifierar specifika indikatorer (exempelvis citeringar eller publiceringspoäng) för att kunna använda dem i ett specifikt syfte. Dessutom verkar det vara så att akademiska chefer ofta litar på sin egen erfarenhet av exempelvis bibliometriska mått när de bedömer deras användbarhet. En övergripande slutsats är att prestationsmått – både gällande utbildning och forskning – betraktas som viktiga och användbara, men enligt de akademiska ledare som Söderlind intervjuat så spelar de sällan en avgörande roll när beslut ska fattas.

Söderlinds avhandling behandlar även prestationsmåttens användning på en mer övergripande nivå, och ett viktigt bidrag i avhandlingen är en jämförande studie av de nordiska länderna. I denna kontext framstår Sverige som avvikande då vårt system för att utvärdera forskning skiljer sig från de som återfinns Norge, Danmark och Finland. Dessa länder använder sig av ett likartat system – ofta kallat den “norska modellen” – där poäng ges till publikationer beroende på publikationskanal och vetenskaplig nivå. Sverige däremot har använt sig av en annan modell där en kombination av fältnormaliserade citeringsmått, publikationsvolym och extern finansiering utgjort grunden för att omfördela resurser.1 Här finner Söderlind, helt riktigt, att det poängsystem som används i Danmark, Norge och Finland har större potential att förändra praktiker och publiceringsmönster. Detta då poängmodellen är lättförståelig och enkelt kan användas för resurstilldelning på lärosätes-, institutions-, eller individuell nivå. I sammanhanget kunde det dock varit intressant om Söderlind diskuterat det omfattande användandet av den ‘norska modellen’ på lokal nivå då det visat sig att nära hälften av alla svenska lärosäten har använt, eller använder sig av, liknande poängsystem. Således skulle man med fog kunna hävda att det ‘norska modellen’ haft stor betydelse för hur forskare i Sverige – och då särskilt de inom samhällsvetenskap och humaniora – resonerar kring publicering trots att den aldrig använts för att fördela medel mellan lärosäten.

En tredje aspekt som Söderlind framhåller, och som jag finner nydanande i sammanhanget, är bibliometrins pedagogiska potential. Dessa idéer lyfts i den fjärde artikeln där en specifik årlig utvärdering av forskning vid KTH studeras. Söderlind framhäver här särskilt betydelsen av en tät dialog mellan chefer, de utvärderade, och de som utvärderar (bibliometrikerna). En av bibliometrins främsta pedagogiska potential ligger således i dess förmåga att initiera samtal kring hur forskning bör värderas. Kanske skulle man till och med kunna hävda att bibliometrin utgör en effektiv provokation som frambringar diskussioner kring forskningskvalitet. Dock finns det en risk att sådana provokationer stannar vid en kritik av befintliga mått istället för att leda vidare till mer initierade resonemang. En spännande utveckling på Söderlinds studie vore således att närmare studera hur bibliometrins pedagogiska potential kan utvecklas så att dessa mått inte bara “mäter” kvalité utan också bidrar till att en ökad förståelse för hur vetenskaplig kvalitet kan studeras, och gynnas. En sådan utveckling skulle också ligga i linje med alternativa metoder för att utvärdera forskning, som till exempel idén om ‘evaluative inquiry, vilken syftar till ett mer öppet och utforskande tillvägagångsätt där kvalitativa och kvantitativa metoder kombineras.

Avhandlingen ger en god bild över hur prestationsmått används inom svensk akademi, men efter läsningen återstår ändå en del frågor: Hur ska vi till exempel förstå “mätandets kultur” mer generellt, och kan dess inflytande inom akademin jämföras med andra verksamheter som vård och skola? Har mätandet inom akademin uppstått i samband med ett större fokus på målstyrning inom offentlig verksamhet överlag, eller finns det en längre mer komplex inomvetenskaplig historia kring mätning och utvärdering? Här skulle jag vilja framhålla disciplinernas och de starka professionerna roll i utformandet av dessa system som särskilt intressanta, och potentiellt givande för vidare studier.

Sammanfattningsvis utgör Söderlinds avhandling en övertygande framställning kring akademisk utvärdering där kritik mot överdrivet mätande balanseras mot en förståelse för att indikatorer kan ha positiva effekter, exempelvis vad det gäller effektivitet vid beslutsfattande, transparens, och opartiskhet. Den övergripande slutsatsen i avhandlingen – att dessa mått, åtminstone gällande forskningen, hittills haft ganska modesta effekter – är i mitt tycke välgrundad. På samma sätt delar jag dock Söderlinds farhåga att effekterna av dessa system kan, om de inte hanteras på ett nyanserat och balanserat sätt, bli betydligt mer kännbara i framtiden.

1 I dagsläget är det oklart om Sverige kan sägas ha ett övergripande prestationsbaserat system på nationell nivå då den tidigvarande modellen inte har använts för att fördela resurser under de senaste åren.

“Förlåt jag blott citerar”: Åtta punkter för ansvarsfullt refererande

Publicerad den av
Svara

_Citation_needed_

“At the personal level of the scientific writer and the editor and publisher of journals, it tells that one might well be as careful about references as we are about titles, authorships, and proper presentation of data.” (de Solla Price, Little Science, big science…and beyond, 1986 s. 178,

Referensen spelar en nyckelfunktion i att göra en text vetenskaplig, och det är därför som stor vikt läggs vid att lära studenter att referera korrekt. Onekligen är de formella reglerna och själva refererandets teknik oumbärlig kunskap för den som skall ägna sig åt vetenskapens hantverk, och även erfarna forskare måste beakta de varierade krav som tidskrifter och bokutgivare ställer på utformandet av referenser och noter. Att lära sig referera korrekt är dock bara en del av att behärska refererandets ädla konst. Vi behöver också lära oss att citera ansvarsfullt.

I en tid när referenser – som genom sitt indexerande i citeringsdatabaser som Google Scholar eller Web of Science – blir till citeringar, vilka i sin tur omvandlas till hårdvaluta för institutioner, forskare och tidskrifter så blir refererandet en än mer komplex verksamhet. För vårt val av texter att hänvisa till blir då del i en evaluerande praktik där citeringar blir till kapital på en marknad där forskare konkurrerar om resurser av olika slag. Det gör också att vi som författare behöver ta ett större ansvar för hur vi refererar genom att aktivt reflektera över de val vi gör. En som tagit sig an denna uppgift är Bart Penders som mot bakgrund av senare års diskussioner och kritik av fenomen som till exempel självciteringar och citeringskarteller formulerat tio regler för ett mer ansvarfullt refererande. Med avstamp i dessa regler återger jag nedan åtta punkter där flera av Penders regler ingår, men där jag också tagit mig friheten att sammanfoga några av hans argument och lagt till några egna. Till skillnad från Pender så tar jag min utgångspunkt i ett samhällsvetenskapligt och humanistisk perspektiv på refererandets praktik snarare än ett naturvetenskapligt och medicinskt.

  1. Inkludera relevanta referenser

Denna regel, som återkommer i de flesta guider och handböcker kring hur referenser ska ges, innebär att du ska citera det som är relevant för din forskning, och speciellt inte låta påskina att argument som du funnit i litteraturen är dina egna. Knepiga fall är de där ett påstående är så väletablerat att det kan sägas vara självklart, och därför kanske inte kräver en referens. Denna process, där centrala verk så småningom blir så självklara att det inte längre citeras, benämndes av Robert K. Merton som ”obliteration by incorporation”. Är det till exempel nödvändigt att varje gång som ‘diskursanalys’ nämns referera till Michel Foucalt? Här är det genre, kontext och läsarnas eventuella förförståelse som avgör.

  1. Läs de publikationer som du refererar till

Det kan tyckas självklart att de källor som refereras också bör ha lästs, men så är inte alltid fallet. Att påskina att en utsaga bygger på en egen läsning av en text utan att ha läst den kan i vissa fall ses som en form av plagiarism. Frågan är dock vad ‘läst’ innebär i detta sammanhang? Behöver vi ha tagit oss igenom en hela bok från pärm till pärm för att kunna referera till den? Räcker det att ha scannat ‘abstract’ och ‘findings’ i den artikel som vi stödjer oss på? Svaren på dessa frågor beror återigen på kontext och syfte med referensen.

  1. Fokusera på det centrala innehållet när du refererar

När du refererar bör du fokusera på det innehåll som du stödjer dig på, och finns det flera viktiga argument så kanske texten bör citeras flera gånger. Det räcker alltså inte med att bara nämna texten i förbigående om dess innehåll är centralt för ditt eget bidrag. Ett utstuderat och ökänt exempel på en tveksam praktik är den så kallade ‘trojanska referensen’ där en för texten viktig referens ges i förbigående och utan att dess centrala betydelse för framställningen framgår. På så sätt kan författaren hävda att verket har citerats utan att på det sättet avslöja att den egna forskningen kanske inte var riktigt så nydanande som man vill påskina.

  1. Var transparent, men inte nödvändigtvis neutral och tråkig

Det finns inget tråkigare en att läsa förment neutrala forskningsöversikter där läsaren ges liten eller ingen ledning i hur den litteratur som passerar revy ska bedömas. Givetvis handlar det här inte om att forskaren måste ge värdeomdömen om varje enskilt bidrag, men det bör framgå hur de studier som refereras relaterar till varandra och eventuella kontrasterande perspektiv bör framhållas. Jag tror personligen att många författare heller ser att det de skrivit blir kritiserat än lite lamt omnämnt tillsammans med en hoper andra referenser. Genom att författaren engagerar sig i den litteratur som refereras så blir också den egna position tydlig, och transparent, för läsaren.

  1. Var specifik

Om det är något jag själv allt mer arbetar med i mitt eget skrivande så är det att dra ner på det som Bruno Latour kallar ’stacking’ av referenser (Science in Action, 1987 s. 33). Alltså fenomenet att samla en stor mängd referenser inom en och samma klammer för att stärka ett argument, eller ringa in ett forskningsproblem eller område. Argumentet för ett sådant tillvägagångsätt är att det både är effektivt och övertygande, och denna praktik blir nu allt vanligare även inom samhällsvetenskapen och humaniora. Problemet är dock att det drar ner läsvänligheten – det är få som uppskattar sidor som till hälften består av referenser – och ibland gör det texten rentav helt ogenomträngbar. Bättre då att vara specifik och istället ange mer i detalj vad en specifik källa handlar om. Exempelvis finner jag det bättre att ange att en text handlar om ‘självcitering’ och en annan om ‘citeringskarteller’ istället för att bunta ihop dem med ett gäng andra som behandlar ‘citeringspraktiker’ mer generellt. En annan strategi för att undvika ansamlingar av referenser är att prioritera i litteraturen: behöver verkligen den där tredje artiklen på liknande tema av samma författare anges?

  1. Gödsla inte med referenser

Överlag refererar forskare till alltfler publikationer i sina alster, och detta beror givetvis på ett allt större utbud av möjliga källor, samt förmodligen också på ett ökat användande av referenshanteringsprogram som gör det snabbt och enkelt att referera. Vidare är kollegor ofta pigga på att föreslå nya referenser när texter läses på ett seminarium eller när de referentgranskas, men mycket sällan är det någon som säger att det nog vore bra att hålla igen lite. Givetvis ska inte relevanta källor ignoreras, men det finns en tendens att belägga varje enskilt påstående med en, eller gärna flera referenser. Värdet av varje enskild referens reduceras då, och förutom att läsbarheten minskar så riskerar den flitigt citerande att framstå som osäker och osjälvständig. Generellt tenderar forskare att bli mer sparsamma i sitt refererande senare i den akademiska karriären när den egna auktoriteten är större. Ibland går detta självklart till överdrift – det förekommer att framstående professorer inte längre anser sig behöva stöd av andra överhuvudtaget och helt sonika utelämnar referenser helt – och i likhet med andra punkter är antalet referenser avhängigt av kontext, genre och publik.

  1. Citerad dig själv och dina kollegor, men bara när det är nödvändigt

Alla forskare refererar till sig själva, och det är i sig inget fel. Ofta utgör en ny publikation en fortsättning på en redan påbörjad forskningslinje och det ter sig då självklart att hänvisa till sig själv. Men ett krav för att en referens till eget arbete ska inkluderas är att den verkligen är relevant, och detta krav bör vara skarpare jämfört med andra referenser. I valet mellan att citera sig själv och att citera en annan forskare så bör det senare föredras. Vi tenderar även att citera de vi känner snarare än någon okänd i litteraturen. Så titta gärna igenom din referenslista: är en betydande del av referenser till dig själv, dina närmaste kollegor eller dina landsmän så finns det anledning att reflektera över urvalet. Kan det verkligen vara så att en så stor del av all framstående forskning inom det område som du studerar bedrivs av just den grupp som du dricker eftermiddagskaffe med? Är du man som kan det också vara lämpligt kontrollera så att du inte råkar referera extra mycket till andra män. Studier visar nämligen att män refererar oproportionerligt mycket till andra män, samtidigt som kvinnor inte uppvisar samma tendenser till att gynna det egna könet när referenser väljs.

  1. Uppdatera och variera dig

Generellt brukar forskare över tid utveckla en ‘citeringsidentitet’, och denna brukar ofta vara relativt stabil över tid. Detta innebär att när en forskare väl börjat citera ett visst verk så gör man det ofta gärna igen; det har blivit en del av den personliga ’citeringsrepertoaren’. Självklart är det enkelt att återkomma till verk som redan läst och är välkända, men risken finns att de gamla hjulspåren blir nötta och att annan relevant forskning förbises på grund av vana och bekvämlighet. Troligen förstärks också denna tendens av referenshanteringsprogram som Endnote eller Zotero där redan använda referenser ligger klara och redo att användas på nytt. Därför är det viktigt att hålla sig uppdaterad med litteraturen, både genom att följa vad som publiceras och genom att besöka konferenser och liknande, och medvetet se till att inte återupprepa samma referenser gång på gång.

Avslutningsvis vill jag påpeka att dessa punkter måste anpassas till de specifika citeringspraktiker som råder i det fält där en forskare verkar, och inte sällan är det så att vi behöver foga oss efter de konventioner som gäller för en specifik tidskrift eller bokserie. Ändå tror jag att doktorander, och även mer seniora forskare, kan vara betjänta av att reflektera över inte bara refererandets praktik utan också dess etik. Ett mer eftertänksamt refererande kan med stor säkerhet bidra till både mer läsbara texter och till högre kvalité på forskningen, samtidigt som det gör oss mer ansvarsfulla i hur vi förhåller oss till det som andra redan har författat.

 

”Förlåt jag blott citerar” är ett citat från den svenska lyriken Johan Henric Kellgrens dikt ”Man äger ej snille för det man är galen” (1787). Det är också titeln på en bok om citerandets konst författad av idéhistorikern Svante Nordin (2001) 

Bild: By futureatlas.com (originally posted to Flickr as ”Citation needed”) [CC BY 2.0 (https://creativecommons.org/licenses/by/2.0)%5D, via Wikimedia Commons

Självplagiat: forskningsfusk eller accepterad praktik?

Publicerad den av
Svara

copy paste

2013 anklagades den nederländske ekonomiprofessorn Peter Nijkamp för omfattande fusk i form av självplagiat. Nijkamp var vid denna tid en mycket välkänd forskare, med en sammanlagd produktion av över 2300 artiklar (han producerade cirka 1, 5 artikel per vecka), och under sin karriär så hade han tilldelats en rad prestigefyllda priser och uppdrag. Kort sagt, Nijkamp var en akademisk superstjärna.

Utan att gå in på detaljer så friades Nijkamp från anklagelserna kring forskningsfusk, samtidigt som det visade sig att han ägnat sig åt omfattande återbruk av tidigare texter utan att ange källa. En utredare kallade detta för ‘systematisk copy-pasting’ med målet att producera ett stort antal artiklar, och tidskriften Review of Economic Analysis kom att dra tillbaka två av Nijkamps publikationer (för vidare dokumentation kring ärendet se Retraction Watch). Flera kommittéer kom att granska ärendet, och då några fann att forskningsfusk var klarlagt menade andra att medvetet fusk inte kunde bevisas. Fallet kom därför att leda till en debatt kring vad som är legitimt återbruk, och vad som bättre beskrivs som tvivelaktiga praktiker eller till och med fusk.

Med utgångspunkt i Nijkampfallet diskuterar och studerar Horbach och Halffman självplagiat som fenomen. De analyserar inte bara den debatt som följde efter utredningarna kring Nijkamp utan de undersöker också omfattningen av självplagiat i olika discipliner. I studien utgår de från en ganska konservativ definition av ‘textåtervinning’ där till exempel ett visst återbruk av formuleringar kring metod inte räknas som självplagiat. De valde sedan ut ett antal artiklar författade av både högproduktiva och mer lågproduktiva forskare från fyra discipliner, psykologi, historia, nationalekonomi och biokemi, och studerade förekomsten av återanvänd text i dessa.

Deras studie visar att 6 % av alla artiklar visar tecken på ‘problematisk textåtervinning’ men skillnaderna mellan disciplinerna är stor. Inom historia fann man tecken på självplagiat i bara 1 av 48 studerade texter samtidigt som 14 % (36 av 258) av alla texter inom ekonomifältet innehöll återanvänd text. Bland några ekonomer visade det sig att mer än 40% av artiklarna innehöll självplagiat.

text recycling

(Horbach & Halffman 2017, s. 7)

Vad förklarar då den betydligt högre andelen av självplagiat inom ekonomifältet? En förklaring som författarna anför är att det kan bero på hur texter skrivs, där en mer formalistisk stil ger större möjlighet till att återanvända text. Detta kan delvis vara en orsak till att historieforskarna i sådan liten utsträckning använder sig av denna strategi. För dem är det ofta inte ens möjligt att självplagiera och samtidigt producera texter som accepteras av kollegorna. Det som talar emot denna hypotes är dock att biokemisterna – som i än högre grad än nationalekonomerna skriver i en formalistisk tradition – inte alls uppvisade samma grad av självplagiat. På samma sätt kan inte heller antalet medförfattare anses vara en förklaring.

Snarare är det nog så att dessa skillnader bör förstås utifrån disciplinspecifika normer kring hur god vetenskap produceras. Ett tecken på detta är att kollegor som försvarade Nijkamp menade att självplagiat inte alls var fusk, utan en etablerad praktik inom disciplinen. Att mycket produktiva och ledande forskare i större utsträckning än andra återanvänder text framstår också som ett tecken på att detta tillvägagångssätt är relativt accepterat.

Bör vi då betrakta självplagiat som forskningsfusk? Själv skulle jag hävda att det nog kan vara rimligt att återanvända text, men då bör detta tydligt anges så att eventuella granskare och läsare blir medvetna om originalkällan. Exempelvis kan ju delar av en text omarbetas för en annan läsargrupp – i en blogg eller i en mer populärvetenskaplig text – och då ser jag inget problem med att återanvända formuleringar om originalkällan anges. Att i referentgranskade artiklar använda tidigare text i form av hela stycken utan att ange detta framstår dock för mig som mer problematiskt, men vi rör oss här i en gråzon där disciplinspecifika sätt att uttrycka sig och bedriva forskning bör tas i beaktande.

Om vi bortser från frågan kring fusk så blir de stora disciplinära skillnaderna i självplagiat som Horbach och Halffman påvisar särskilt bekymmersamma mot bakgrunden av hur forskning idag utvärderas. Att återanvända text är onekligen en genväg till ett stort antal publikationer, och dessa kommer sedan att räknas in när forskningen utvärderas. De individer, institutioner och discipliner som i högre grad ägnar sig åt självplagiering kan då tillskansa sig både status och resurser på bekostnad av de som lite mer sällan använder sig att kommandot Ctrl+ C/Ctrl +V.

Etiska riktlinjer kring självplagiering har nu införts i Nederländerna och flera tidskrifter har också tagit ställning i frågan. Ett alternativ till att lita på forskarnas och redaktörernas etiska kompass vore dock att tidskrifter istället använder sig av plagiatkontroll. Inom svensk högre utbildning används Urkund flitigt – studenter tillåts vare sig kopiera andra eller sig själva – och tekniskt kan jag knappast tänka mig att det vore särskilt svårt att införa ett sådant system även för vetenskapliga publikationer. Onekligen skulle ett sådan lösning drastiskt minska förekomsten av plagiat och självplagiat.

Att skilja mellan en elefant och en kanin: Användningen av bibliometri i sakkunnigutlåtanden

Publicerad den av
3

Syrischer_Maler_von_1354_001

Impact measures of this kind are inexact and should not, in our view, be relied on for a detailed ranking of research achievements (it could be described as ‘a scale that can distinguish an elephant from a rabbit but not a horse from a cow’). (från sakkunnigutlåtande i nationalekonomi)

Under senare år har ett allt större intresse riktats mot hur utvärderingssystem och resursfördelningsmodeller påverkar forskningen. En central fråga är hur ett ökat fokus på prestationer som är kvantifierbara påverkar forskarnas praktiker och prioriteringar. En rad dokumenterade och möjliga effekter har identifierats på en generell nivå, men empiriska studier av hur bibliometri används vid utvärdering av enskilda individer är få. Dock vill jag påstå att just denna typ av användning, där anställningar och forskningsanslag står på spel, är särskilt viktiga då de har stor påverkan på den enskilde forskarens karriär. Ett problem har dock varit att utvärdering på individnivå är svårt att studera empiriskt, och diskussionen har tidigare främst baserats på enskilda exempel och anekdoter. Inom svensk akademi finns dock ett relativt unikt och omfattande material kring utvärderingspraktiker i form av sakkunnigutlåtanden vid tjänstetillsättningar, och dessa ger unika insikter i hur indikatorer används.

I artikeln, Indicators as judgment devices, studerar Alex Rushforth och jag just hur sakkunniga använder indikatorer och tidskriftsrankningar för att värdera och rangordna sökande till lektorat och professurer inom biomedicin och nationalekonomi. Dessa dokument ger oss unik inblick i hur bibliometriska mått används för att värdera enskilda forskare, och de ger också insikt i hur specifika indikatorer integreras i disciplinspecifika värderingspraktiker. Denna aspekt är särskilt intressant då prestige och position inom akademin till stor del styrs av status inom disciplinen, snarare än av status inom den organisation där forskaren är anställd.

I redovisningen av våra resultat bör det framhållas att långt ifrån alla sakkunniga använder sig av indikatorer, och knappt hälften av de utlåtanden som vi studerat (82 av 188) använde sig av bibliometriska mått eller tidskriftsrankningar. Ett återkommande argument bland de sakkunnig som använde sig av bibliometri var måttens ‘objektivitet’:

A bibliometric analysis was carried out to assess the scientific production and even more importantly, the real scientific impact of each applicant.” (utlåtande i biomedicin)

Generellt introducerades dock citeringsdata, eller ‘impact factorer’, utan någon vidare motivering. Vår tolkning är att de sakkunniga använder indikatorer som en typ av ‘utvärderingsverktyg’, och här bygger vi på Lucien Karpik (2010) och hans teori om ‘judgment devices’. Dessa används i situationer när konsumenten (i detta fall granskaren) behöver välja mellan en rad produkter (här kandidater) som inte helt enkelt kan jämföras. Ett exempel som Karpik tar upp är valet av husläkare eller värderingen av ett litterärt verk, och vi menar att forskare kan ses som ett ytterligare exempel på en ‘vara’ vars värde inte helt enkelt kan fastställas. I situationer där det finns en uppsjö av goda kandidater, vilket är fallet i många av de tillsättningsärenden vi studerat, så blir  ‘judgment devices’ också ett sätt att lösa en situation där ett överflöd av möjliga alternativ finns.

Journal Impact factor

Den mest kända, inflytelserika och samtidigt häftigt kritiserade bibliometriska indikatorn är utan tvivel Journal Impact Factor (JIF), som introducerades av Eugene Garfield redan 1963. JIF används flitigt också i vårt material, främst inom biomedicin men också inom nationalekonomi, och ofta introduceras den för att bedöma ‘kvaliteten’ på publicerade alster: 

…but it is a bit bothersome that many of the recent publications that XXXX has been principal investigator on are found in more narrow journals, as for example Scandinavian J Immunol. (Impact approx. 2.3). (utlåtande i biomedicin)

Many of original papers appeared in excellent quality journals and nearly two third [sic] of them were in journals with impact factor greater than 3. (utlåtande i biomedicin)

I många fall, likt exemplen ovan, så används JIF som ett riktmärke för vad som ska betraktas som bra tidskrifter och en undre gräns för kvalité på runt 3 verkar gälla inom biomedicin. I nationalekonomi är det betydligt svårare att finna en exakt gräns, även om sakkunniga föreslår 0.5 samt 0.9 som möjliga riktvärden.  Sammantaget är  det otvetydigt att JIF:en är viktig vid bedömningen av forskning inom biomedicin, och många av de utlåtanden som inte explicit använder sig av måttet hänvisar till ‘high impact journals’.

Ett annat beryktat, och vid utvärderingen av individuella forskare särskilt intressant mått, är det så kallade ‘h-index’. Till skillnad från JIF, som mäter tidskrifters genomsnittliga citeringsgrad, så är h-index ett försöka att sammanfatta en forskares produktivitet och inflytande över tid. En forskare med h-index x har författat x publikationer som citerats minst x gånger, dvs. en forskare som har författat 12 publikationer som vardera citerats 12 gånger eller fler har ett h-index på 12. I vår studie används h-index vanligtvis som ett slags bakgrundsinformation, likt affiliering, ålder, kön, och ofta anges det utan vidare kommentarer som här:

XXXX publishes in good to very good journals including Plos Genetics, FASEB J, and Mol Biol Cell. H–factor=18. (utlåtande i biomedicin).

H-index blir vad vi kallar en ‘totaliserande indikator’ där en hel karriär kan sammanfattas i en siffra, och vi finner också att måttet i flera fall sammanfaller med den sammanvägda bedömningen av kandidater.

Om citeringar och JIF är populära utvärderingsverktyg inom biomedicinen så tenderar nationalekonomer att bedöma artiklars ‘värde’ utifrån klassifikationer av, och listor över, tidskrifter. En bedömare uttrycker det mycket klart:

“A university that aims to compete at the first or second tiers in Europe should expect its full professors to show the ability to publish at least a few articles in the best journals in the field. Publishing a paper in a top finance journal requires a degree of effort, awareness of the latest thinking in the field, and excellence, which any number of articles in journals below second tier could not match. (utlåtande nationalekonomi)

Det flitiga användandet av tidskriftsrankningar – vi fann hela fem olika listor i vårt material – kan relateras till att det nationalekonomiska fältet tenderar att organisera sig hierarkiskt. En annan förklaring är att citeringar och JIF generellt fungerar sämre inom nationalekonomin jämfört med biomedicin där omsättningen av artiklar och citeringar är högre.

I vårt material finns också tydliga exempel på hur indikatorer kan kombineras och jämföras, och det är inte ovanligt att sakkunniga uppvisar goda kunskaper i bibliometri. I exemplet nedan så jämförs h-index med det totala antalet citeringar för att ge en mer nyanserad bild av kandidaten:

Of 44 published papers she is 1st author on 12 and senior author on 20. She has a surprisingly low citation rate, albeit with a high h–index (Max citation <60 in 2010, h–index 17, Web of Science). (utlåtande i biomedicin)

Vad den sakkunnig menar med låg citeringsgrad är att denna kandidat har publicerat många publikationer som refererats av andra (högt h-index), men hon saknar publikationer med mycket hög citeringsgrad (max citation <60). Att författarordningen är en viktig aspekt inom biomedicin framgår också i detta citat; det är första och  sista positionen som räknas.

Ett ännu tydligare exempel på hur kandidater, men också olika typer av indikatorer, jämförs är tabellen nedan där en rad kvantifierbara data kring författarskap, publikationer och citeringar sammanställts.

Fig 1 anonymized                                                                                                            (från utlåtande i biomedicin)

Här rör det sig om en ambitiös sakkunnig som har goda kunskaper i bibliometri; tabellen ackompanjeras av inte mindre än åtta fotnoter som förklarar de enskilda måttens betydelse och svagheter. En intressant detalj är att den sakkunnige använder sig av medianvärdet gällande citeringar snarare än medelvärdet, och det är en praktik som är statistiskt välgrundad då distributionen av citeringar ofta är mycket skev.

Sammanfattningsvis menar vi att bibliometriska indikatorer i dessa sammanhang bör förstås som ‘utvärderingsverktyg’ som är välintegrerade i disciplinära utvärderingspraktiker, och beroende på hur fältet är organiserat kommer olika typer av indikatorer, till exempel citeringar inom biomedicin eller tidskriftsrankningar inom nationalekonomi, att bli dominerande. Tidigare bibliometrisk forskning har i nedlåtande ordalag referat till denna typ av bibliometrisk praktik som ‘amatörmässig’ och varnat för dess utbredning. Vi vill dock påstå att de sakkunniga i dessa dokument ofta framstår som relativt kunniga gällande indikatorernas styrkor och svagheter. Vidare så besitter de en unik kompetens jämfört med professionella bibliometriker då de har kunskap om vilket värde dessa mått tillskrivs inom den egna disciplinen. Vår ståndpunkt är dock inte att användningen av bibliometri i dessa sammanhang är oproblematisk, och liksom Leidenmanifestet så menar vi att indikatorer av detta slag bör användas med stor försiktighet på individnivå. Att helt avfärda dessa mått som direkt olämpliga i alla sammanhang vore dock förhastat, och vi bör komma ihåg att bibliometrisk utvärdering också kan framhålla grupper, till exempel kvinnor, som ofta missgynnats i traditionell peer review.

Bild: Kalîla und Dimma von Bidpai: Der Hase und der Elefantenkönig vor dem Spiegelbild des Mondes in der Quelle, By Syrischer Maler von 1354 [Public domain], via Wikimedia Commons

Eugene Garfield (1925-2017): Utopist och ingenjör

Publicerad den av
1

eugene_garfield_hd2007_portrait

”I believe there is now only one kind of scientist – the information scientist.” (Garfield, 1962).

I söndags, den 26 februari 2017, gick en av informationsvetenskapens stora pionjärer ur tiden. Vid sidan om Derek J. de Solla Price (1922-1983) så framstår Eugene Garfield (1925-2017) som den moderna bibliometrins fader. Hans inflytande sträcker sig dock långt utanför en snäv krets av bibliometriker, och han bör enligt mig betraktas som en av informationsvetenskapens stora innovatörer. Garfields främsta bidrag är skapandet av den vetenskapliga citeringsdatabasen, Science Citation Index (1964), och grundandet av Institute for Scientific Information (ISI). I praktiken kan det rentav hävdas att Garfield med denna innovation introducerade den vetenskapliga ‘citeringen’ som vi känner den idag. (Notera att citering, eng. ‘citation‚ här inte är liktydigt med referens eller direkt citat utan avser just en framåtriktad länk mellan publikationer som citeringsdatabasen möjliggör. För en vidare diskussion kring konstruktionen av ‘citeringen’ se Paul Wouters, Citation Culture samt Gustaf Nelhans Citeringens praktiker).

Garfield startade sin bana som kemist men kom tidigt att intressera sig för hur forskning kommuniceras, och hans första stora bidrag inom detta område var Current Contents där korta sammanfattningar av vad som avhandlats i andra vetenskapliga tidskrifter publicerades. Det stora problemet för vetenskapen, enligt Garfield, var en snabbt ökande tillgång till information – han talade själv om en ‘information flood’. Konkret ställde han sig frågan hur forskare skulle mäkta med att följa vetenskapens utveckling ens inom ett begränsat fält. Med inspiration från Shepards Citation’s, som sedan länge samlat referenser inom juridiken, så lanserade Garfield 1955 idén om ett vetenskapligt citeringsindex där forskare inte bara kunde få information om de källor som en artikel refererade till utan också hur det aktuella verket citerats av efterkommande forskare. På så sätt menade Garfield att sökningen efter litteratur kunde förbättras avsevärt, och det medgav också stora möjligheter att studera den vetenskapliga kommunikationen i detalj. Det kom dock att ta närmare tio år innan citeringsindexet lanserades, och Garfield fick arbeta hårt med att finna stöd och finansiering för sin idé.

Tidigt identifierade sig Garfield som en informationsvetare – han hade redan i barndomen varit fascinerad av bibliotek och den kunskap som rymdes där – och en stor samling av hans texter bär just namnet ‘Essays of an Information Scientist’. I praktiken menade han att alla forskare – på grund av den snabba tillväxten av information – nu behövde bli informationsexperter. Citeringsindexet spelade givetvis en stor roll för dessa blivande experter, och Garfield såg framför sig en tid där biblioteket, i den utvecklade formen av ett ‘Informatorium’, skulle utgör en central hub i den vetenskapliga kommunikationen. I en text från 1962 beskriver han det på följande sätt:

As I see it, the ideal library must be able to supply information instantaneously. As an ideal library facility, The Informatorium will have to satisfy a wide variety of information requirements for a population that will be highly intellectual and scientifically trained. In my paper, I predicted rather optimistically and hopefully, that by the turn of the millennium there would be “a new Renaissance during which the population of the entire world will be thirsting for knowledge.” I think that age is already beginning in spite of, if not because of, threats of atomic destruction.

I en artikel från samma tid så inleder Garfield resonemanget med en referens till H.G. Wells och hans idéer om en världsomspännande hjärna (‘world brain’). Han menar att det är varje forskares dröm att ha tillgång till all upptänklig information, även om han tillstår att bibliotekarien ser alla de problem som återstår att lösa innan en sådan kan realiseras. Citeringsindexet kan dock, enligt Garfield, ses som ett första steg mot att en ‘världshjärna’. Förväntningarna på vad indexet kunde uppnå var knappast blygsamma, och Garfield, i likhet med andra stora informationsvisionärer som Paul Otlet (1868-1944) eller Vannevar Bush (1890-1974), såg hur hans innovation skulle förändra vetenskapen, och kanske också samhället, i grunden:

If we ever achieve “total communication, ” a state of research nirvana, then an enormous time-shared, random access computer memory will augment man’s finite memory and replace printed indexes and catalogs. In this condition of nirvana a World Brain will itself have become an auxiliary to man’s own brain. (Garfield, 1964)

Garfield var dock till skillnad från Otlet och Bush främst en praktisk man; en ingenjör, och hans texter kan snabbt gå från att diskutera en ‘världshjärna’ till att förklara hur en ny typ av kontorspaper kommer att förbättra informationshanteringen vid hans institut. Ett institut som snart kom att växa och utökas med flera databaser och tjänster. Allt för att underlätta sökningen efter information. Möjligheten att snabbt och enkelt hitta relevant litteratur framhölls starkt i marknadsföringen av ISI: ett exempel är denna film där Garfield själv presenterar Science Citation Index. Tidigt varnade dock bedömare för att indexet kunde användas för att utvärdera vetenskapen och forskare, och det är en debatt som pågår än idag. Tydligast blev kanske citeringens betydelse som kvalitetsmått genom Garfields introduktion av Journal Impact Factor (JIF) som ett mått på en tidskrifts genomslag. Denna indikator kom snabbt att få stor betydelse, och från att ha varit ett mått som rankade tidskrifter så kom den snart att användas även för att värdera enskilda artiklar eller forskare. JIF är än idag den mest inflytelserika och samtidigt det mest ifrågasatta bibliometriska indikatorn som dess användning vid utvärdering kritiserats i bland annat Doradeklarationen och Leidenmanifestet.

Garfields roll för bibliometrins utveckling kan inte nog framhållas, och stora delar av den forskning som bedrivs inom området skulle inte vara möjlig utan den databas som han skapade. Det är bara under senare år som seriösa konkurrenter till ISI (sedermera Web of Science, WoS) har lanserats genom Elseviers Scopus och i viss mån Google Scholar. Fortfarande görs dock en betydande del av all forskning inom bibliometrin med hjälp WoS, och den utgör också den standard mot vilken andra datakällor jämförs. Trots att WoS fortfarande är den dominerande datakällan så finns det ändå anledning att fundera över hur framtiden ser ut för citeringsdatabaserna mer generellt. Det finns flera tecken på att deras dominans alltmer utmanas av alternativa sätt att studera och utvärdera forskningen. Till exempel så har mått baserade på omnämnanden i sociala medier, så kallad altmetri, lanserats som en konkurrerande metod för att studera den vetenskapliga kommunikationen. Deras monopolställning utmanas kanske främst genom en utveckling mot en mer öppen vetenskap där referenser (och citeringar) blir direkt sökbara, och där möjligheter att söka i fulltext expanderar snabbt. Kanske var det sena 1900-talet höjdpunkten för citeringsdatabasen i den form som Garfield gav den, och Thomson Reuters beslut att under förra året sälja WoS kan måhända ses som ett tecken på att en gyllene era är över. Givetvis kommer Web of Science leva kvar som en mycket viktig källa för bibliometriska undersökningar där inte minst kvalitén på databasen och dess historiska täckning skiljer den från konkurrenterna, men den dominerande ställning som den en gång hade är nu förlorad. Detta till trots så var Science Citation Index en verkligt revolutionerande uppfinning på sin tid, och Garfields roll för den vetenskapliga kommunikationens utveckling kan inte ifrågasättas. Vidare framstår Garfields obändiga tro och optimism kring vetenskapens och informationens möjligheter minst lika relevant idag som för 60 år sedan, och jag är övertygad om Garfield i framtiden kommer räknas som en av informationsvetenskapens stora namn.

Bild: Chemical Heritage Foundation [CC BY-SA 3.0 (http://creativecommons.org/licenses/by-sa/3.0)%5D, via Wikimedia Commons

Det svenska bibliometriska landskapet

Publicerad den av
Svara

map

Röda rektanglar (högskolor), cirklar (universitet) och romber (specialiserade universitet och högskolor) indikerar lärosäten där bibliometri används, gröna de som ännu inte använder bibliometri för medelsfördelning.

Nästintill alla svenska lärosäten använder bibliometri, en rad olika indikatorer och mått är i bruk, och få verkar ha reflekterat kring vad det övergripande målet med dessa system är. Så kan resultaten från en studie som Pieta Eklund, Gustaf Nelhans, Fredrik Åström och jag nyss publicerat sammanfattas. Vi fann att bibliometri används vid 24 av 26 undersökta lärosäten, och fördelningen av medel sker på en rad olika nivåer: fakultet, institution och individ. Bara två lärosäten – Chalmers och Handelshögskolan i Stockholm – avstår från att använda bibliometri. Utan att ha exakta uppgifter kring bruket i andra länder så kan man med fog påstå att detta gör det svenska forskningssystemet till ett av de mest ”bibliometrifierade”. Det finns säkerligen flera anledningar till varför det ser ut på detta sätt, men vår studie pekar specifikt på det nationella system för medelsfördelning som infördes 2009 som en huvudorsak. Flera lärosäten anger också att medelstilldelningen inom lärosätet syftar till förbättra utdelningen i den bibliometriska omfördelning som sker nationellt.

Generellt används tre olika indikatorer vid svenska lärosäten: de som baseras på publikationer, de som använder sig av citeringar och de som bygger på en kombination av de båda. Vanligen väljer mindre högskolor publikationsbaserade indikatorer, inte sällan varianter av det norska systemet där olika publikationstyper ges poäng beroende på typ (tidskriftsartikel, monografi, bokkapitel) och nivå (1 eller 2). Vid de större universiteten är flera olika system parallellt i bruk, och endast Karolinska institutet och KTH fördelar medel enbart baserat på citeringar. Vid några lärosäten, till exempel Umeå, så används bibliometri för att fördela på flera nivåer: mellan fakulteterna, mellan institutioner och mellan individer. Medräknat den nationella nivån så kan alltså en enskild publikation räknas inte mindre än tre gånger, och till detta kan andra typer av mätningar och rankingar adderas.

Umeå

Illustration av system för medelstilldelning vid Umeå universitet (från Hammarfelt, Nelhans, Eklund och Åström, s. 9)

Förutom att kartlägga det utbredda användandet av bibliometriska indikatorer i Sverige så tittade vi också lite närmare på hur de introduceras, dokumenteras och appliceras. Då fann vi bland annat att:

  • bibliometriska fördelningsmodeller ofta införs med argumentet att de används av andra, eller så motiveras de utifrån utvärderingssystem på nationell nivå. Mer sällan ses fördelningsmodellerna som ett verktyg för att uppnå lärosätets egna målsättningar och visioner.
  • resursfördelningssystemen i allmänhet är illa dokumenterade och få, även på ledande administrativa positioner, verkar förstå hur de fungerar.
  • traditionella bibliometriska mått används, inget lärosäte begagnar sig av alternativa mätmetoder (t.ex. altmetri), och tillgänglighet (open access) räknas inte som meriterande i någon modell.
  • modeller som explicit utvecklats för att fördela resurser på aggregerade nivåer används för att utvärdera mindre grupper och i flera fall individer. Detta trots att bibliometrisk expertis relativt entydigt (se till exempel Leidenmanifestet) avråder från sådan användning.
  • vid ett par lärosäten belönas individuella forskare för publikationer där en artikel i ‘rätt’ tidskrift kan ge så mycket som 70.000 kr i tillskjutna forskningsmedel. En praktik som ger tydliga incitament, enligt mitt tycke, för tydliga.
  • vi förvånas över att dessa utvärderingssystem i mycket liten grad själva utvärderas. De införs, ofta utan något större förarbete, och sedan sker ingen uppföljning.

Avslutningsvis kan det konstateras att vi nu kanske nåt en bibliometrins höjdpunkt i Sverige, fler universitet och högskolor än någonsin tidigare använder sig av dessa mätmetoder, och flera har precis lanserat eller utreder möjligheten att införa prestationsbaserad resurstilldelning på bibliometrisk grund. Samtidigt är ett nytt nationellt utvärderingssystem under utredning, FOKUS, och skulle detta införas så lär säkerligen förändringar ske runtom på svenska lärosäten. För är det något denna studie visar så är det att trendkänsligheten är stor inom den svenska forskningsadministrationen.

Det danska undret och den svenska forskningspolitiken

Publicerad den av
1

Danskar

Under de senaste åren har trenden varit tydlig: Sverige presterar betydligt sämre än Danmark sett till forskningens internationella genomslagskraft (läs citeringar i Web of Science). Danmark presterar nu i klass med andra ledande europeiska nationer som Nederländerna och Schweiz, samtidigt som svensk forskning tappat mark från början av 1990-talet och framåt. Utvecklingen, som påvisats i flera undersökningar, illustreras bland annat i Vetenskapsrådets rapport Forskningens framtid!  där följande diagram som visar andelen högt citerade publikationer i jämförelse med världsgenomsnittet återfinns (s.12)

VR1534_Svensk-vetenskaplig-produktion_web

Dessa resultat har i en svensk kontext renderat i två centrala forskningspolitiska frågor: Hur kommer det sig att danskarna presterar så bra, och hur kan svensk forskning komma ikapp, eller till och med förbi? Den senare frågan har diskuterats flitigt under senare år. Den mest omfattande studien Fostering Breakthrough Research är författad av Gunnar Öquist och Mats Benner och de listar en rad olika förklaringar. Här återfinns också direkta förslag på hur svensk forskning kan förbättras. Några punkter som dessa författare trycker på är:

  1. Att andelen basanslag är högre i framgångsrika forskningsnationer som Danmark, Nederländerna och Schweiz.
  2. Universiteten i de mer framgångsrika länderna tar större ansvar för att själva bedöma och belöna kvalité’. Det akademiska ledarskapet är också starkare utvecklat och mer framåtblickande.
  3. Det svenska systemet saknar tydliga karriärvägar (tenure track) vilket däremot finns i Nederländerna och Schweiz.

Därtill pekar de på en rad andra faktorer som hämmande för utvecklingen av svensk forskning. Till exempel bristande rörlighet mellan lärosätena (mobilitet) och behovet av en ökad internationalisering av svensk forskning. Den starkaste slutsatsen från rapporten är dock att resurserna för forskning bör omdirigeras från externa projektanslag till basanslag.

Frågan kring svenska forskning och dess ställning internationellt har också varit ämnet för en serie radioreportage från Vetenskapsradion, där en rad framgångsrika länder – Nederländerna, Danmark och Schweiz – varit i fokus. Skillnader i forskarnas mobilitet, men också anställningsförhållanden är några av de faktorer som togs upp i programmen. Noterbart är att det i Danmark är lättare att få fast anställning, men att det också är lättare att som akademiker få sparken. En fördel med ett sådant system är att staplandet av tidsbegränsade projektbaserade anställningar i högre grad kan undvikas. Frågan är dock om ett sådant system är möjligt, eller ens önskvärt, i en svensk kontext där anställningstrygghet värderas högt.

De ambitiösa rapporter och utredningar som jämfört förhållandena i Sverige med förutsättningarna i mer framgångsrika nationer innehåller alla viktiga och relevanta synpunkter på hur svenska forskningspolitik bör bedrivas. Men trots att studierna i många fall är välförankrade i aktuell forskning så skulle jag vilja påstå att de till viss del ändå famlar i mörker. Det finns främst två anledningar till detta; för det första så är forskningsresultaten på området ofta motsägelsefulla och den reform som fungerar i en specifik kontext behöver inte göra det i en annan. Ty även om vetenskapen alltmer är internationell så är organisationen och finansieringen av densamma företrädesvis nationell. En annan begränsning är att en majoritet av alla analyser av relationen mellan forskningspolitiska reformer och vetenskapligt genomslag fokuserar på en eller kanske två faktorer, men förmodligen är det så att kombinationen av hur forskningen leds, organiseras, finansieras och utvärderas är av avgörande betydelse. Det forskningspolitiska systemet är mycket komplext, och vilket inflytande enskilda faktorer har är mycket svårt att fastställa.

I ett av de mer ambitiösa försöken att förstå den danska framgångssagan framhålls just den rätta kombinationen av flera faktorer som en möjlig förklaring, även om författarna avhåller sig från att ge några definitiva svar. Genom en omfattande studie av det danska forskningslandskapet visar Aagaard och Schneider (2015) hur dansk forskning kom till en vändpunkt under den senare delen av 1980-talet, och sen dess har kurvan pekat uppåt. Utan att peka på en specifik orsak så finner de flera potentiellt bidragande förändringar som ägde rum under 1980-talet och början av 1990-talet. Bland annat så stabiliserades balansen mellan basanslag och externa anslag, det institutionella ledarskapet stärktes, universiteten gynnades på bekostnad av statliga forskningsinstitut, det danska forskningsrådet etablerades och dokorandutbildningen formaliserades och stärktes. Dessa förändringar ledde sedermera till en ökad internationalisering av forskningen och konkurrensen om akademiska tjänster tilltog. Författarna är dock noga med att påpeka att Danmark också presterade väl runt 1980, och de poängterar att det knappast finns en specifik ‘winning formula’. Snarare är det så att receptet för ett gott forskningsklimat skiljer sig både över tid och rum, vilket gör det när omöjligt att direkt överföra den danska erfarenheten till en svenska kontext.

Med detta sagt så är det ändå klart att vi bör ta lärdom av framgångsrika exempel från andra länder, och baserade på dessa koka ihop ett recept som förhoppningsvis vänder Sveriges negativa trend. Kruxet verkar vara att hitta den rätta mixen i forskningssystemet där balansen mellan olika faktorer är avgörande. En reform som dock framstår som nödvändig utifrån kunskapssläget är att höja basanslagen, och detta är också ett förslag som lyfts i flera av de kommentarer (se bland andra RJs, Uppsala Universitets och SUHFs inspel) som duggar tätt inför den kommande forskningspropositionen. Av de tunga aktörerna så är det egentligen bara Vetenskapsrådet som inte lyfter fram frågan om ökade basanslag, utan de föreslår istället mer pengar till forskarinitierade projekt. Deras förslag, bäst karaktäriserat som ”mer av samma”, är märkligt givet att flertalet internationella jämförelser pekar just på den ökade ’projektifiering’ av svensk forskning som ett problem.

Exakt hur den framtida forskningspolitiken utformas återstår att se, men radikala förändringar är knappast att vänta. Att skynda långsamt, hur tråkigt det än må låta, är kanske ändå en förnuftig strategi. För om vi lärt oss något av det danska exemplet så är det att stabilitet över tid, tillsammans med tillräckliga ekonomiska resurser, är två grundläggande förutsättningarna för  ett gott forskningsklimat.

Bilder: Aftonbladet.se samt Vetenskapsrådets rapport Forskningens framtid!

Vad vi vet om bibliometrins effekter

Publicerad den av
2

Metric_tide_literature_review

Sedan länge är det känt att mätandet i sig förändrar det som mäts. Att vetenskapen och forskarna påverkas av att ett allt flitigare räknande av citeringar och publikationer torde därför vara oomtvistat, men hur ser denna påverkan ut? Det brittiska forskningsrådet Higher Education Funding Council for England (HEFCE) initierade nyligen en första genomgripande översikt av den forskningen som försökt att besvara detta spörsmål och slutsatserna i rapporten The Metric Tide, som publicerades idag, kan  sammanfattas i fyra punkter:

1. Strategiskt förhållningssätt och målförskjutning

Införandet av kvantitativa indikatorer innebär alltid en risk att forskare börjar fokuserar mer på att få höga poäng, enligt de kvalitetsmått som formulerats, snarare än på att bedriva högkvalitativ och nydanande forskning. Tecken på en sådan målförskjutning kan till exempel ses i Australien där räknandet av antalet artiklar ledde till fler publikationer, men publikationernas internationella genomslag minskade

2. Inskränkning av arbetsuppgifter

Bibliometrisk utvärdering belönar vissa specifika insatser samtidigt som andra verksamheter ger få eller inga poäng. Oftast är det internationella (läs engelskspråkiga) tidskriftsartiklar som premieras på bekostnad av andra typer av publikationer och arbetsinsatser. Störst påverkan har sådana system inom humaniora och delar av samhällsvetenskapen där tidskriftsartikeln ännu inte är den dominerande kommunikationskanalen. Tecken finns dock på att även dessa fält alltmer anpassar sig till den norm som råder inom andra discipliner (se till exempel förändringar i publikationsmönstren vid Uppsala Universitet). En betydande risk är också att forskare i allt mindre grad vänder sig till en inhemsk populärvetenskaplig publik då sådana publikationer inte ger utslag i utvärderingssystemen.

3. Institutionella effekter

Universitet och högskolor kan inte heller undgå att påverkas av bibliometriska mätningar. Universitetsrankingarnas betydelse för universitetens självbild är uppenbar, och att rankas högt i dessa blir allt viktigare. Forskningspolitiskt spelar rankingar också en betydande roll, och bara för nåt år sedan så kom ett seriöst förslag som gick ut på att skapa ett svenskt superuniversitet för att på så vis stiga i rankingen. Lärosätena måste också förhålla sig till nationella omfördelningssystem där den svenska modellen resulterat i lokala varianter, samtidigt som den brittiska motsvarigheten RAE skapat en transfermarknad – inte helt olik den som existerar inom fotbollen – för forskare som genererar höga poäng för sitt universitet.

4. Konsekvenser för kunskapsproduktionen

Hur bibliometriska mått påverkar kunskapsproduktionen mer generellt är svårt att överblicka, och kanske är det ännu för tidigt att redan nu identifiera djupgående förändringar i forskningens praktik. I många fall så är dock bibliometriska mått, som Journal Impact Factor (JIF), sedan länge etablerade och integrerade i det dagliga arbetet. Exempelvis så används JIF för att skilja mellan deskriptiv och nydanande forskning inom biomedicin. Undersökningar av hur bibliometriska utvärdering påverkar forskningens praktik måste därför också inbegripa studier av hur citeringsmått och andra indikatorer används i forskarnas vardag.

Trots dessa fyra punkter är vår kunskap om bibliometrins effekter knapphändig. Flera av de studier som översikten bygger på är begränsade till en kort tidsperiod och de säger mycket lite om utvärderingens långsiktiga effekter. Andra undersökningar erbjuder mer detaljerade analyser av en specific kontext men det är svårt att avgöra om resultaten är applicerbara mer generellt. Ofta studeras förändringar i publikationsmönster, men de trender som identifieras (t.ex. högre andel engelskspråkiga tidskriftsartiklar) behöver inte nödvändigtvis vara en konsekvens av bibliometrisk utvärdering. Vidare så verkar bibliometriska mått på flera nivåer (individ, institution, universitet, nation) och att urskilja effekterna av ett specifikt system är därför mycket svårt. Förhoppningsvis kan en kombination av större kvantitativa studier och mer kontextualiserade kvalitativa ansatser ta oss en bit på vägen. Det vi vet tyder dock på att användning av bibliometriska mått kan få konsekvenser i form av en ökad likriktning av vetenskapliga fält och en reduktion av forskarrollen. Sådana förändringar synes stå i direkt opposition till en forskningspolitik som syftar till mer samverkan, större öppenhet och ökad samhällelig relevans.