Etikettarkiv: bibliometri

Vetenskapens mått: En professorsföreläsning

Publicerad den av
Svara

[Här nedan publiceras i tämligen oredigerat skick den professorsföreläsning som jag höll den 8 maj 2025.]

I Alf Prøjsens klassiska barnbok Killing som kunde räkna till tio så skildras hur olika djur tvekar inför att låta sig räknas. Både hästen och suggan undrar hur killing bär sig åt, och kalven är rädd för att det ska göra ont. Kalven råmar bestört ”Hjälp, nu räknar han dej också.”

Missnöjda jagar de den lilla kalven ombord på en liten båt, men väl där blir räkningen helt avgörande för att farkosten inte ska sjunka. Slutsatsen är tydlig; vi skall låta oss räknas, eller för den delen mätas, då att reduceras till ett nummer kan vara högst effektivt i en situation där ett beslut måste fattas. Samtidigt vittnar djurens inledande tveksamhet till killingens räknande på en insikt om mätandet och räknandet så kallade performativa natur; när något mäts förändras det.

Denna föreläsning behandlar hur vetenskaplig produktion mäts, och hur system för utvärdering har kommit att påverka hur forskning bedrivs och kommuniceras. Fokus ligger på den specifika form för att utvärdera vetenskaplig produktion som går under namnet bibliometri. Bibliometri kan definieras som kvantitativa studier av publikationer och deras egenskaper, eller utan krusiduller räknandet av artiklar, böcker och allt annat som forskare producerar. Ett särskilt fokus riktas mot de konsekvenser – i form av exempelvis förändrade publikationsmönster – som ett alltför stort fokus på indikatorer och utvärderingssystem kan få. Syftet är att ge en koncis och nyanserad bild av hur ett ökat fokus på mätning kommit att påverka forskningen. Men räknandet och mätandet är på intet sätt unikt för akademin, utan kan sägas prägla det senmoderna samhället i stort. Räknandet betydelse – inom vetenskapen idag, och i stort – är menar jag kopplat till övergripande förändringar i hur verksamheter styrs, hur vi som individer ser på oss själva, och i hur vi ser på tid och tempo. Jag kommer inom kort återkomma till samtiden, men låt oss först unna oss en kortare historisk återblick.

Enligt en judisk-kristen tradition så var Kain den som uppfann mätandet och vägandet, uppfinningar som fyllde en dittintills oskyldig och enkel värld med oärlighet. Mätandet är alltså redan från start associerat med fusk, och i den bibliska traditionen med synd. I det följande kommer vi se hur tanken att mätandet också innebär att något går förlorat återkommer. Det kan handla om en mer abstrakt förlust av förtroende, eller av mer konkreta inskränkningar i den vetenskapliga professionens möjligheter till självstyre. Ett återkommande tema är den ambivalens som omgärdar mätandet. Ibland kunde mätning ses som direkt farlig, exempelvis så sades det i 1800-talets Tjeckien att barn under sex år fastande i växten ifall deras längd registrerades. Mätandet var dock inte bara av ondo. I medeltidens Polen fanns en åkomma, kallad ‘miara’ (polska för mått), som bara kunde botas genom att sjuklingen mättes. Tidigt fanns det alltså insikter om att mätandet påverkade det som mättes, om dessa effekter var positiva eller negativa rådde det större oenighet om. Denna ambivalens är också uppenbar när vi förflyttar oss till samtiden och till utvärderandet av vetenskapliga alster. Vi lever i ett granskningssamhälle där allt skall genomlysas, bedömas och utvärderas. Peter Dahler-Larsen, en dansk professor som författat en bok om utvärderingsssamhället, uttrycker det som att vi har svårare att föreställa oss ett samhället utan utvärdering, än att tänka oss att ett gäng utomjordingar landade på jorden. Och räknar vi de dagliga utvärderingssituationerna så är de många: varje inköp följs av en enkät som vill veta vad vi tycker, filmen som vi just såg på Netflix vill bli bedömd (var det en 1:a elle en 5:a), För några veckor sen så var jag med en granne och hjälpte honom att tömma sitt hyrda förråd inför flytt, och till och med då kommer frågan: ”Hur var din magasineringsupplevelse idag”? Just i dagarna presenterade en av döttrarna en hylla som hon gjort i slöjden: men hem till föräldarna kom också en detaljerad ifylld blankett med rubriken: ”Utvärdering: hylla” där reflektioner kring material (spik, skruv, trä, färg ) och metod redogjorde för i detalj. Kort sagt:  Det är som hela samhället skriker: bedöm mig! Snälla!

Det framstår som mer oklart när och hur utvärdering blev en sådan central aktivitet. De grundläggande idéerna kring rationalitet, och kontinuerlig förbättring, av verksamheter genom någon form av utvärdering kan spåras långt tillbaka i tiden. Det utvärderingssamhälle som exempelvis Marilyn Strathern beskriver kan kopplas samman med den framväxande moderniteten, och den rationalitetssträvan som sammankopplas med denna idétradition. Här spelar samtidens besatthet av att minimera risker, utförligt beskrivet av som den tyske sociologen Ulrich Beck – en central roll. För räknandet är den primära metod på vilket vi kan omvandla oberäkneliga faror till kalkylerbara risker. Exempelvis: en fara med att helt simpelt ge forskare resurser att bara utforska det de finner viktigt är ett vågsspel (kanske lägger de sin tid på fel saker, kanske bara latar de sig) men genom att räkna – t.ex. antal publikationer, eller citeringar, – så hoppas vi kunna minimera (och kontrollera) denna risk.

Även gällande bibliometrin går det att hitta flera ursprungshistorier. Försök att under det sena 1800-talet fastställa hur vetenskaplig excellens bäst främjades kan sägas vara starten för ett mer kvalificerat mätande. Psykologen, och rasbiologen, Francis Galton hävdade bestämt att arvet var av avgörande betydelse för vetenskaplig excellens. Konstruktören av den första universitetsrankingen –  James Mckeen Cattell – följde Galtons logik, och hans slutsats var enkel: eftersom söner till professorer var klart mer benägna att bli vetenskapsmän så var det främsta sättet att främja vetenskap helt enkelt att se till att professorer fick många barn (kvinnornas roll nämndes knappat alls).Till skillnad från sina anglosaxiska kollegor så framhöll  den franske botanikern Alphonse de Candolle miljön.  Idag kan vi nog med bestämt hävda att Candolles linje är den helt dominerande – och bibliometriska undersökningar syftar inte sällan till att studera vilka miljöer som främst gynnar god vetenskap, med en tanke att lära från dessa. Exempelvis kan det rör frågan kring hur pass mycket frihet forskarna bör ha, hur forskning ska finansieras, och hur akademiska organsationer ska styras, vilka samarbeten som är mest gynnsamma etc.?  

Under 1900-talet växte sedan bibliometrin gradvis fram som ett forskningsfält och redan 1934 använde biblioteksutopisten Paul Otlet just termen ‘bibliometri’ för första gången. Dess betydelse, både som vetenskaplig specialitet och som utvärderingsinstrument, kom att öka allteftersom större datamängder blev tillgängliga för analys.

Utanför fältet ses dock ofta bibliometrin som ett relativt nytt påfund, som del av en större trend av nyliberalt tänkande och akademisk kapitalism. Föreställningen om liberala marknadsidéer som drivande för bibliometrins etablering ackompanjeras inte sällan av föreställningen att alla dessa mätsystem kommer utifrån, och att de är ett sätt för klåfingriga politiker, tjänstemän och chefer att kontrollera forskarna på.

En populär förklaring till mätandets intåg stavas  NPM (New public management). Vanligen betraktas NPM som ett resultat av högerliberala idéer om marknadens överlägesenhet i ett fördela resurser, men styrformen kan också relateras till en mer allmän tendens där offentlig verksamhet ska hållas ansvarig inför medborgare och skattebetalare. NPM har inneburit att offentliga verksamheter allt mer har kommit att präglas av tre M: managers, mätning och marknad. Dessa tre M påverkar akademin i olika grad. Det kan konstateras att de tre M:en är kopplade: ökad mätning möjliggör administrativ styrning (managers) vilket i sin tur medför att den professionella (eller kollegiala) styrningen ifrågasätts. Den bibliometriska mätningen s bidrar också, genom mått på individuella prestationer och genom universitetsrankningar av olika slag, till etablerandet av en akademisk marknad av publikationer, citeringar och forskare.

Nyliberalism är, som Olof Hallonsten och jag nyligen diskuterat, dock inget entydigt begrepp utan snarare en svepande benämning på en samling föreställningar om hur samhället, och akademin, bäst ska organiseras. Storbritannien under Thatcher var ledande i utvecklingen där länder som Australien, Danmark, Nederländerna och Sverige har följt efter. För vetenskapens del så bör det här beaktas att mätandet nog snarare ska kopplas till en ökad ekonomisering i offentlig sektor (som bland annat Elisabeth Pobb-Berman föreslagit) snarare än en renodlad rörelse mot nyliberalism inom akademin. Exempelvis är det tydligt att stater med stark statlig styrning är mer benägna att införa bibliometriska modeller en de med ett mer heterogent akademiskt landskap. (Vi kan exempelvis jämföra USA, eller Tyskland med de skandinaviska länderna).

Idén om vetenskapen som en marknad uttrycks kanske allra tydligast i de globala rankningar av universitet, och forskare, som årligen publiceras. Universitetsrankingarnas betydelse för universitetens självbild är uppenbar, och att rankas högt i dessa blir allt viktigare, inte minst ur marknadsföringssyfte. En återkommande nyhet är hur många svenska universitet som lyckats ta sig in bland de hundra bästa på någon av de mest prestigefyllda listorna. Oroväckande många ser rankningarna– vars metodologi starkt kan ifrågasättas– som en faktisk illustration av hur Sverige står sig om kunskapsnation. Vad man lätt glömmer bort är att rankningar säger mycket lite om absolut kvalité: Att Sverige hitintills lyckats behålla 4-5 universitet bland de 100 ”bästa” i flertal rankingar är imponerande, men knappast realistiskt i framtiden där alltfler länder satsar alltmer på forskning.   Trots detta används dessa rankningar inte sällan som slagträ i den forskningspolitiska debatten, och inte sällan misstänker jag att de används mot bättre vetande. Och det är genomgående för bibliometriska mått: de flesta vet att de är problematiska, men vi använder dem ändå – i brist på annat.

Hur bibliometriska mått påverkar kunskapsproduktionen mer generellt är annars svårt att överblicka, och kanske är det ännu för tidigt att identifiera djupgående förändringar. Det vi vet tyder ändå på att användning av bibliometriska mått kan få konsekvenser i form av en ökat fokus på de kriterier som ställs upp av en disciplinär elit. Detta kan resultera i en likriktning av vetenskapliga fält och en reduktion av forskarrollen. Sådana förändringar står i direkt opposition till forskning som går dialog med omgivande samhälle och söker svara på samtidens stora utmaningar.

Sammantaget är det just möjligheten till att reglera och överblicka den svårstyrda fria forskningen som gör bibliometrin så attraktiv som mätmetod både bland forskarna själva, och bland beslutsfattare. Ett problem med denna typ av styrning är dock att det lätt uppstår konflikter mellan vad professionen anser som viktigast och det som systemen anbefaller. Exempelvis har det observerats hur forskare kramar ut så många publikationer ur ett projekt som bara möjligt; så kallad ‘salamipublicering’ (företeelsen går också under benämningen ‘minsta-publicerbara-enhet’). Vidare kan mer strategiska överväganden ske då forskare kan tänkas satsa på relativt ‘säkra’ eller kortsiktiga projekt som med stor sannolikhet kan utmynna i publicerbara resultat snarare än att investera i mer riskabel och utdragen, men potentiellt mer nydanande, forskning. Försöken att konstruera indikatorer som på basis av publikationer och citeringar skall mäta forskningens kvalité är ett annat exempel på denna diskrepans. Även om det idag råder konsensus om att citeringar i bästa fall kan betraktas som en indikation på synlighet och genomslag – snarare än som direkta kvalitetsmått – så spelar fortfarande bibliometriska mått en betydelelsefull roll i fördelningen av resurser och vid tillsättningar av akademiska tjänster. Istället för att bedöma utifrån de kriterier som vi anser bäst reflektera kvalité och relevans får tillgängliga data samt enkelheten i genomförande i hög grad styra utvärderingen.

Kritiken mot bibliometrisk utvärdering har, med rätta, varit särskilt hård från ett samhällsvetenskapligt och humanistiskt håll då Mått som antalet citeringar eller tidskriftsindikatorer fungerar generellt dåligt inom humaniora.

En möjlig väg är givetvis att svenska humanister anpassar sig till de gängse metoder inom andra fält. Att de likt bondgårdens djur i berättelsen om killingen accepterar räknandet som en nödvändighet för att överhuvudtaget synas, och i förlängningen överleva. En direkt kapitulation inför mätbarhetskraven är dock vare sig nödvändig, eller önskvärd. Snarare har den excellenshets som präglade forskningspolitiken under det tidiga 2000-talet kommit att ifrågasättas – inte minst i en Europeisk kontext, och med den de ganska ensidiga mått som används för att kvantifiera internationellt genomslag. I en diskussion där nu andra värden, som samverkan, öppenhet och samhällelig relevans, förhoppningsvis kan ges större plats så torde humanistiska och samhällsvetenskapliga perspektiv på vetenskaplig kvalité kunna få större genomslag. Humanister och samhällsvetare bör alltså inte nöja sig med att ihärdigt kritisera rådande kvalitetsmått, utan istället aktivt delta i utformandet av utvärderingsmetoder som överbryggar det gap som skisserats ovan. En sådan utveckling skulle gynna vetenskapssamhället i stort.

Men låt oss lämna nu lämna det  generella för att istället fundera över vad detta mätande gör med den enskilde forskaren. Det finns säkert fler i publiken – som i likhet med mig – går omkring med ett ständigt mätinstrument vid sin handled. Min säger i detta nu att pulsen ligger på 73 slag och jag har hittills idag avverkat 3347 steg. Syftet med klockan är att mäta hur långt, och snabbt, jag springer men den kommer också att påverka hur långt jag springer, och kanske även hur jag springer. Till exempel utökar jag gärna min runda något för att hamna just över det antal kilometer som jag vill springa, klockan ger mig också råd om att löpa med kortare steg, och skulle jag mot förmodan (tyvärr sker det alltför sällan på sistone)slå ett rekord gällande fart eller sträcka så annonserar den det triumferande, och uppmuntrande.

Trenden att mäta och analysera sin egen prestation, eller för den delen sin kropp, med hjälp av digitala hjälpmedel har fått stor uppmärksamhet. Benämningen det kvantiferade jaget” lanserades  för mer än 15 år sedan, och detta begrepp har även bäring inom akademin. I min forskning har jag särskilt tittat på plattformen ResearchGate. – ett slags forskningens Facebook. Sajten erbjuder användare att skapa en profil där den egna forskningen presenteras, och forskaren kan också följa kollegor för att på så sätt uppdateras kring deras verksamhet. Förutom att kalkylera olika mått så skickar ResearchGate ständiga meddelanden till sina användare, där ‘framgångar’ proklameras: ”du har tjugo nya läsare” eller ”dina publikationer har nu citerats 100 gånger”. Inom ramen för RG blir forskning som ett spel där målet är att samla så många poäng som möjligt. Vad dessa plattformar gör är att de ägnar sig åt ‘spelifiering’ (gamification). Spelifiering sägs kunna öka motivationen vid till exempel inlärning, men det har också använts för att höja produktiviteten i tillverkningsindustrin. Likadant kan RGs ständiga uppmaning att ‘uppdatera profilen’ och ‘ladda upp publikationer’ liknas vis det ständiga uppgraderandet av karaktärer i dataspel.

 De finns många poänger i att granska de mer cyniska aspekterna av dessa kommersiella plattformar, men det finns andra sätt att titta på fenomenet av det kvantifierbara jaget. Den ständiga uppmaningen att förbättra sig, att bli ett bättre jag , har ett djupare ursprung än pulsklockor och social medieplattformar och denna strävan – som kan spåras tillbaka till åtminstone upplysningen och reformationen – är central för hur vi förstår oss själva. Här menar Helena Francke, och jag, in en uppföljande studie att en viktig funktion i alla dessa plattformar – mycket i likhet med hur sociala medier fungerar generellt – är att ge existentiell bekräftelse, att bli sedd, och uppmärksammad. Stor del av vår identitet är kopplade till arbetet, och en stor del arbete – mycket av allt kontorsarbete och kanske särskilt inom akademisk forskning – ger lite direkt återkoppling, och ofta tar det lång tid innan vi vet om någon ens läst det vi arbetat med. Plattformarna fyller därför en viktig funktion i att synliggöra ett ofta ganska osynligt arbete, att bekräfta att vi gör det vi ska, och att vi gör det bra.

Plattformarnas ständiga uppmaning till att uppdatera våra profiler bidrar även till en upplevelse av allt högre tempo. Flera faktorer bidrar till ytterligare tidspress. En tilltagande andel forskare och lärare har tillfälliga anställningar, forskningen bedrivs ofta inom tidsbegränsade, externt finansierade projekt och undervisningen – inte minst inom humaniora och samhällsvetenskap – bedrivs med färre lärarledda timmar. I kombination med en excellensretorik, som nu tyvärr åter tycks vara på modet igen i Svensk politik, förstärker också känslan av att inte räcka till. I stort sett alla lärosäten anser sig sträva efter excellens inom ett eller flera områden: Är du excellent lille vän är den fråga som ställs till varje medarbetare, och det gäller även undervisningen? Att ständigt avkrävas världsledande insatser skapar ytterligare stress och ger dem (i princip alla) som inte når upp till orimligt höga förväntningar dåligt samvete.

Ofta förstås ett ökat tempo i samhället som ett resultat av teknikutveckling med ökad produktionstakt och allt snabbare kommunikationer som följd. Forskning kring hur detta påverkar akademin skildrar en situation där publicering hastas fram, där allt mindre tid ges till läsning av allt det som skrivs och där administrativa krav och utvärderingar upptar en allt större del av arbetet. I värsta fall resulterar denna hets i en situation som kan liknas vid Hartmut Rosas tes om ett ”rusande stillastående” – alltmer produceras utan att egentliga intellektuella landvinningar görs. (vi springer allt snabbare i vårt ekorrhjul)

Publiceringsstressen leder enligt Vetenskapssociologen Ruth Müller till att beslut om forskning alltid fattas med framtiden i beaktande: kan detta projekt leda till publikationer – som i sin tur resulterat i en ny tjänst eller ett nytt projekt – som i nästa skede gör det möjligt att starta en egen forskargrupp osv. Detta innebär att möjliga samarbeten men även handledning av studenter främst bedöms utifrån deras potential till att frambringa publikationer. Då akademiska publikationer är avgörande för karriärens fortskridande finns det risk att uppgifter som inte resulterar i publikationer nedvärderas, och andra uppdrag som undervisning, handledning samt interaktion med samhället riskerar att bli nedprioriterade. Vidare kan publiceringsstressen leda till att “säkra” och kortsiktiga projekt (där publikationer garanteras) prioriteras framför mer nydanande och långsiktig forskning.

Hur ska vi då hantera tempot inom akademin? Finns det alternativ som gynnar både forskningens kvalitet och arbetsmiljön för den enskilde forskaren? Jag har ingen lösning tyvärr, men några reflektioner vill jag gärna dela med mig av:

För det första: För en stor del av de akademiskt verksamma är långsamhet helt enkelt inget alternativ.

Dessutom är det är uppenbart att en stor del av accelerationen genom teknikutveckling och ökad informationstillgång har haft en positiv inverkan på kunskapsproduktionen i samhället. Åtskilliga forskare framhåller att acceleration också är njutbart, och att perioder av högt tempo kan upplevas som både akademiskt givande och stimulerande. Uppenbarligen måste ett stegrat tempo i arbetet inte nödvändigtvis uppfattas som negativt, och speciellt gäller detta fall där accelerationen är initierad av forskaren själv. Kontroll över den egna arbetstiden samt möjligheten att själv bestämma tempo blir därmed avgörande för välbefinnandet, och för god forskning.

Uppmaningar till en generell temposänkning lär heller inte slå an hos beslutsfattare och en bredare allmänhet. I stället bör vi verka för akademiska miljöer som främjar ”ohastad” forskning och undervisning. Här bör kollegialiteten, och då inte minst seminariet, som en plats för eftertanke och reflektion framhållas. Till skillnad från forskningspublikationer, välputsade konferenspresentationer eller massföreläsningar så är det i seminariet som tankar föds, utmanas och utvecklas. Seminariet ligger inte till grund för någon medelstilldelning, ger inte några poäng i rankningar och sällan betonas dess roll för innovation och nyttiggörande, och just därför är det – än så länge – en relativt skyddad plats. ”Långsamhetsoaser”, som socilogen Hartmut Rosa skulle kalla dessa fredade rum, kan i sig inte hindra fortsatt acceleration, men förhoppningsvis erbjuda utrymme för återhämtning, reflektion och kreativitet i en jäktad akademi som bär på en ständig rädsla för att hamna på efterkälken.

Appropå tid börjar vi nu närma oss slutet på mitt anförande, och kanske är det dags att försöka sammanfatta och knyta ihop: Som ni fått höra så har en stor del av min forskargärning har ägnats åt att kritisera användningen av indikatorer som reducerar ytterst komplexa frågeställningar –  vad är god forskning?  – Till ett exakt numeriskt värde. Av det jag sagt hittills har också mycket ägnats åt en sådan kritik. Men räknandet har en funktion – inte bara i Pröjsens saga där bara ett visst antal djur får plats på färjan som för djuren i säkerhet – utan också när vi söker förstå vetenskapens utveckling. Bibliometrin är ett omistligt verktyg när vi försöker förstå hur vetenskapen struktureras, och det kan också användas för att direkt ifrågasätta rådande förhållanden. Det mest tydliga exemplet i en svensk kontext är kanske Irene Wennerås och Agnes Wolds analys rörande medicinska forskare som visade att kvinnor i medicinområdet behöver prestera mer än dubbelt så väl (i termer av publikationer och citeringar) för att rankas som jämbördiga med män. Resultaten av den studie var att hela det medicinska forskningsrådet omstrukturerades.  Mätning kan ge makt och inflytande, och rätt använt kan bibliometrin användas för att ifrågasätta rådande missförhållanden och ojämlikheter.

Räknandet är därför inte vare sig ont eller gott i sig, utan snarare är det hur och när vi använder mått och indikatorer som är det centrala. Och kanske än viktigare i min egen forskning har varit att fråga sig varför vi mäter och räknar. Ofta mäter vi bara för att vi tror att vi måste – det är en ritual som behövs för ge legitimitet för handlingar och beslut, men vad måtten verkligen förmedlar förbli oklart.

Här är egentligen föreläsningen slut men nu sitter kanske en och annan i publiken och suktar, trots allt, efter lite räknande och mätande  – det har ju varit förvånansvärt lite siffror) (och ni behöver nåt som konkret kan hjälpa er att bedöma kvaliteten i det ni fått höra), och därför kommer här som en bonus några mätpunkter: anförandet tog exakt 31 minuter (något långsammare än när jag repeterade, det skrivan manuset innehöll ord (3747 ord), antalet själförfattade bloggposter och kapitel som jag stulit text ifrån till denna föreläsning är 7,  13 andra forskare har nämnts, varav 6 kvinnor, 7 män, utöver dessa har även fyra djur, kalven, suggan, hästen och killingen, förekommit.

Flertalet av de jag samarbetat med under åren nämns dock inte, men de räknas ändå. Utan alla goda kollegor – många av dem här en hel del på andra på annat håll – min familj (särskilt Linda min första och bästa läsare), och vänner så hade det inte varit nån professorsföreläsning. Inte heller efterföljande bubbel och mingel.

Tack, jag är så glad att ni är här idag, och nu har ni lyssnat klart.

Skärmavbild tagen av Jesse Dinneen

Citera mig inte! Om ovälkomna och vilseledande referenser

Publicerad den av
Svara

Att bli omnämnd i litteraturen anses generellt vara ett tecken på erkännande, och om referensen plockas upp av ett citeringsindex, likt Google Scholar eller Web of Science så registreras även en ‘citering’ (citation) som den enskilde författaren kan lägga till sin samling. När citeringarna samlats på hög kan de sedan räknas, jämföras och användas som en, om än tveksam, indikator på synlighet och framgång. Som tidigt påpekats i diskussionen kring citeringar så kan mycket väl ett verk refereras till utan att det för den skull behöver innebära att det som hävdas i det framhålls som god vetenskap, och så kallade ‘negativa citeringar’ har varit ett ofta förekommande argument emot citeringsmåttens giltighet. Dock är det så att negativa citeringar – det vill säga referenser till studier som kritiseras i den citerande texten – är ovanliga, även om de är mer flitigt förekommande inom humaniora och samhällsvetenskap jämfört med andra fält. Dessutom vill jag hävda att negativa citeringar ofta är ett tecken på erkännande, då få finner det mödan värt att kritisera rön som inte är etablerade och kända. På ett rent personligt plan så finner jag det också mer givande att mina alster blir kritiserade då det tyder på engagemang, jämfört med att de refereras lite halvhjärtat i en parentes med fem andra liknande studier. Överlag så skulle jag alltså hävda att invändningar kring negativa citeringar har begränsad bäring i debatten kring citeringsmåttets lämplighet.

I forskningskommunikationen i stort bör den negativa citeringar också ses som ett hälsotecken då kritisk granskning av tidigare resultat är en central del av en välfungerad akademi. Ett större problem är däremot den förvillande referensen, som återger den refererade studien på ett vinklat eller rentav felaktigt sätt. Hur detta sker har studerats i en nyligen publicerad artikel av Serge Horbach, Kare Aagaard och Jesper W. Schneider. De undersöker referenser till en studie kring forskningsetik av John med kollegor som kommit att bli både inflytelserik och välciterad. Analysen av referenserna visar att ett stort antal av citeringarna är överflödiga, och en hel del är direkt vilseledande. Dessutom verkar det som antalet referenser som bara ytligt engagerar sig med studiens resultat ökar över tid. Författarna tolkar detta som att referensen har blivit en så kallad “concept symbol”, eller med ett mer populärarkulturellt begrepp ett “mem”. I flera fall har resultaten förvanskats till den grad att processen kan liknas vid en viskningslek där de ursprungliga rönen är nästintill oigenkännliga. Flera orsaker anges till denna utveckling, där slarv och lathet (ofta läser inte författare studier som de citerar) är delförklaringar. Även retoriska överväganden, där referenser främst tjänar till att stärka den egna tesen, gör att studier med entydiga slutsatser tenderar att citeras oftare än de med mer ambivalenta konklusioner. Risken finns således att spektakulära studier där implikationerna av resultaten ofta överdrivs får större inflytande på forskningen jämfört med mer försiktiga och noggranna analyser.

Negativa och förvillande citeringar kan också drabba en enskild författare, men finns det någon möjlighet undvika felaktiga referenser, eller rentav begära att ovälkomna citeringar avlägsnas? Den frågan ställer sig Jaime Teixeira da Silva och Quan Hoang-Vuong i en reflekterande text i tidskriften Scientometrics. Idén om att forskare skulle kunna begära att referenser till deras texter ska tas bort framstår onekligen som orealistisk, och författarna tillstår också att någon sådan möjlighet knappast kommer att realiseras inom en snar framtid. Samtidigt anser jag att idén om rätten att inte bli (fel)citerad är intressant som tankeexperiment. I specifika fall kan det för en forskare vara direkt olustigt att bli citerad, exempelvis i en kontroversiell och ifrågasatt studie, eller om citeringen i fråga kommer från en tveksam tidskrift (en så kallad rovdjurstidskrift). I praktiken är det dock så att lika lite som Esaias Tegnér kan förhindra att högerextrema grupper använder hans verk, så kan en forskare undvika att bli refererad till på oriktiga grunder. Dock skulle jag säga att det finns flera möjligheter att förbättra chanserna att ens verk inte blir refererad på ett missvisande sätt:

  1. Det mest uppenbara sätt på vilket en författare kan undgå att bli “felciterad” är att sträva efter en tydlig och korrekt framställning utan överdrifter eller svepande generaliseringar, eller för att parafrasera Tegnér: “Det dunkelt skrivna, är det dunkelt citerade”.
  2. När väl något är publicerat så kan också en försigkommen forskare se till att diskutera sitt alster på konferenser, seminarier och sociala medier för att på så sätt styra hur resultat och slutsatser mottas.
  3. Självciteringar är ifrågasatta och bör nyttjas med måtta, men de kan vara ett sätt förstärka de slutsatser som man själv ser som de mest centrala i ett forskningsbidrag. Att då själv referera till sitt verk kan bli ett sätt att påverka hur efterföljare forskare tolkar innehållet.
  4. Vid uppenbart felaktiga citeringar – särskilt om de publicerats i inflytelserika forum – kan det vara värt att genom en uppföljande artikel, eller kommentar, påvisa det som anses förvillande eller rent fel. Min bedömning är dock att det sällan förekommer situationer där en sådan ansträngning kan sägas vara motiverad.

Avslutningsvis kan det vara värt att återvända till de mer övergripande konsekvenserna av tveksamma referenser som beskrevs i inledningen. För även om det må vara förargligt att bli felciterad så är det på en aggregerad nivå som undermåliga citeringspraktiker kan bli direkt skadliga för vetenskapen i stort. Om forskningskommunikationen blir en viskningslek så begränsas möjligheten till vetenskapliga framsteg, och allmänhetens förtroende för akademisk kunskap riskerar att eroderas. Det bör här påpekas att givandet av referenser är en del av ett större forskningspolitiskt sammanhang där citeringar är hårdvaluta både för forskare och tidskrifter. Samtidigt finns det, i mitt tycke, möjlighet för var och en – i sina respektive roller som lärare, handledare, författare, granskare och redaktörer – att verka för ansvarsfulla citeringspraktiker som ökar möjligheten till verklig dialog och interaktion med tidigare forskning.

Bild: Av anonymus – Punch (the Danish) page 73, Public Domain, https://commons.wikimedia.org/w/index.php?curid=14174609

En vetenskap i kris? Ambivalent skildring av svensk forskning i Hanne Kjöllers bok

Publicerad den av
Svara

Ska vi tro de senaste årens inlägg i den forskningspolitiska debatten så befinner sig svensk akademi i en djupgående och flerdimensionell kris. Jag ska här inte bedöma sanningshalten i påståendet om existensen av en sådan kris, utan snarare konstatera att förklaringarna till problemen med svensk forskning ser relativt olika ut beroende på vem som formulerar kritiken. Tre huvudargument återfinns i debatten: det förstnämnda rör Sveriges position internationellt där vi i jämförelse med andra ledande forskningsnationer – läs Danmark – producerar färre högt citerade publikationer. Enligt denna beskrivning så har svensk forskning tappat i genomslagskraft, vi producerar för lite “toppforskning”. Ett annat argument är att forskningen inte är relevant nog, vilket är ett resonemang som ofta anförs från näringslivshåll, och då i andemeningen att forskningen inte i tillräckligt hög grad bidrar till innovation, utveckling och ekonomisk tillväxt. Varianter på samma tema förekommer också i inomvetenskapliga diskussioner där exempelvis Alvesson, Gabriel och Paulsen (2017) tes kring forskningens “meningslöshet” rönt en del uppmärksamhet . Den mest synliga argumentationslinjen på senare tid rör dock snarare vetenskapens politisering, och de som för fram dessa argument menar att andra mål för forskningspolitiken, som jämställdhet, inverkar menligt på akademins trovärdighet och kvalitet.

Oavsett hur vi förhåller oss till dessa “kriser” så finns det onekligen ett behov att sammanhållet diskutera och kritiskt granska både akademi och forskningspolitik, och gärna då med en bred ansats. Att ledarskribenten Hanne Kjöller nu vänder blicken mot den svenska forskningspolitiken är därför glädjande, inte minst då en kritisk journalistisk granskning av forskningen, en mångmiljardindustri som till stora delar är finansierad genom skattemedel, länge har saknats. En anledning är troligtvis att forskningspolitiken är ett komplext, och ibland motsägelsefullt fält som är svåröverblickbart. Dessutom har, som Kjöller också skriver, journalister ofta förhållit sig relativt hovsamt inför forskarsamhället. Hennes bidrag, “Kris i forskningsfrågan. Eller: vad fan får vi för pengarna” är således ett välkommet och uppfriskande inlägg i den forskningspolitiska debatten.

I sin skildring av forskningens problem så rör sig Kjöller från det lilla till det stora, från enskilda studier och de premisser som motiverar dem till strukturella och globala problem kring incitamentsstrukturer och publiceringsmönster Kjöllers styrka ligger uppenbart på det medicinska området där hennes fokus på medborgarnas och patienternas perspektiv är originellt och intresseväckande. Givetvis kan angreppsättet anklagas för att medvetet välja ut några enskilda projekt för att sedan låta dessa stå som exempel för en generell utveckling. Samtidigt är tillvägagångsättet effektfullt och det genomsyras av ett genuint intresse av att förstå forskningens hantverk och skildringen ger läsaren god inblick i processer och överväganden som sällan beskrivs utanför akademin.

Överlag gör Kjöller en stor poäng av den så kallade reproducerbarhetskrisen inom vetenskapen, och här är det framförallt John Ioannidis och hans omfattande granskningar av främst medicinsk forskning som hon stödjer sig på. Att betydande delar av exempelvis den psykologiska och medicinska forskningen är svår att reproducera är givetvis ett stort problem. Samtidigt är det väl drastiskt att hävda att den forskning som inte kan reproduceras är falsk, vilket Kjöller gör med stöd av Ioannidis. Utmaningarna med att reproducera forskning har studerats utförligt av vetenskapssociologer och de främsta orsakerna är sällan medvetet fusk. Problemet är snarare kopplat till bristfälliga beskrivningar av metod och svårigheter med att helt återskapa de förutsättningar som gällde vid den ursprungliga undersökningen. Det finns även de som menar att idén om en ‘reproducerbarhetskris‘ riskerar att leda till forskningspolitiska åtgärder som inte gagnar vetenskapen. Med detta sagt så står det klart att det finns starka incitament för forskare att överdriva sina resultat genom att exempelvis använda tveksamma statistiska metoder (så kallat p-hackande), eller genom att plocka ut den empiri som stöder en viss tes, och bortse från data som motsäger det önskvärda resultatet. Dessutom är få forskare motiverade att granska andras resultat då reproducerbarhetsstudier är svårpublicerade, och de tillmäts mindre prestige än originalstudier.

När Kjöller lyfter blicken och ger sig ut för att diskutera de stora forskningspolitiska frågorna så navigerar hon i ett mer komplext landskap, och inte sällan hamnar hon i motsägelsefulla positioner. Exempelvis så lyfts argumentet ovan: att Sverige halkar efter jämförbara länder gällande antalet publikationer och citeringar som ett tecken på en vetenskap i kris. Samtidigt skriver Kjöller, på annat håll, att det är just denna publikations- och citeringsjakt som gör att forskarna producerar ”meningslös” forskning. (För en vidare diskussion kring bibliometrisk utvärdering så rekommenderas Olof Hallonstens recension av Kjöllers bok). Satsningar mot inomvetenskaplig ”excellens” går inte alltid hand i hand med ökad relevans utanför akademin, och potentiellt sätt kan en satsning på excellent forskning – så att vi kan klå danskarna – göra att mer samhällstillvänd forskning nedprioriteras. En annan fråga där Kjöller famlar rör politikens inflytande över forskningen. I delar argumenterar hon för större statlig styrning, men stundtals anförs just politisk påverkan som ett problem (s. 134). Även kring genus tycker jag mig skönja en ambivalens, och till skillnad från de aspekter som diskuteras ovan så är denna motsägelse inget som Kjöller själv uppmärksammar. Kritiken mot genusvetenskap och jämställdhetsintegrering som nu sägs utgöra ett av de stora hoten mot svensk akademi får förvisso relativt liten uppmärksamhet i boken, men samtidigt är det uppenbart att Kjöller sållar sig till den skara som ser dessa påfund som ett hot. Intressant nog är just genusperspektivet, även om hon inte tematiserar detta, något hon själv lyfter i kapitlet kring den medicinska forskningen. Särskilt tydligt blir det i Kjöllers berättigade fråga varför inte fler studier gjorts kring förlossningsskador – trots att dessa drabbar många patienter, och då inte sällan med varaktiga och kännbara konsekvenser. Det uppenbara svaret, även för den som inte är genusvetenskapligt skolad, är att mer forskning inte genomförts just därför att patienterna i detta fall är kvinnor.

En orsak till att Kjöller ofta framstår som ambivalent i sin argumentation är att hon i stor utsträckning förlitar sig på en grupp av väletablerade debattörer inom den högre utbildningen och forskningen. Tyvärr är det inte alltid så att den kompetens och insikt som dessa har i forskningspolitiska spörsmål motsvarar deras höga svansföring. Exempelvis så får litteraturvetaren Peter Luthersson uttala sig om ”citeringskarteller” och hävda att detta handlar om enskilda forskare som ingått någon slags pakt om att referera till varandra. Men de ”karteller” som avslöjats, och givit namn till fenomenet, rör ett intrikat spel på tidskriftsnivå, och idén om pakter mellan enskilda forskare har inte belagts. På liknande vis framhålls Erik Ringmar, en statsvetare vars främsta tema är akademisk frihet, som expert på forskningspolitik. Ringmar hävdar exempelvis att några få forskare står för en stor andel av antalet citeringar till svenska publikationer (s. 110). Han har förvisso rätt i att en liten grupp forskare står som mottagare till en stor andel av alla citeringar, men denna skeva fördelning av berömmelse och erkännande återfinns i vetenskapen överlag, och kan inte tolkas som ett tecken på att svensk forskning är särskilt utsatt. Överlag förlitar sig Kjöller lite väl ofta på en senior kader av akademiska tyckare, och inte minst så ges hennes kollegor bland ledare- och kulturskribenter gott om utrymme. Svenska historiker, sociologer, statsvetare och andra forskare inom kunskapsproduktion, vetenskaplig kommunikation och forskningspolitik hade med fördel kunnat konsulteras i högre utsträckning, även om citat från dessa säkerligen varit mindre iögonfallande.

När Kjöller förlitar sig på en mer heterogen uppsättning av källor tenderar argumenten att bli tydligare och mer framåtblickande. Särskilt i frågan om öppen tillgång till forskning så är hennes position övertygande och underbyggd. Givetvis är det uppseendeväckande att allmänheten inte har tillgång till den forskning som det offentliga finansierat, och de stora förlagens vinstmarginaler är gravt provocerande. Måhända överdriver hon dock sin upptäckt något då rörelsen mot öppen tillgång (open access) har en lång historia, och omställningen till ett öppet system nu går allt snabbare. De initiativ som faktiskt tas i denna riktning – exempelvis genom det europeiska initiativet Plan S – kunde också ha behandlas lite utförligare. Nyligen utförda undersökningar visar också att upp emot 70% av den forskning som produceras vid ledande universitet nu är öppet tillgänglig. Det betyder inte att vägen till en öppen vetenskap är utan hinder, men betydande steg har tagits.

Om det i delar går att kritisera Kjöllers val av källor så bör hennes förhållningssätt till dessa i flera fall lovordas. Hon behandlar rätteligen inlägg från olika aktörer, exempelvis lärosätenas argument för mer basanslag och vetenskapsrådets ständiga plädering för fria projekt som kungsvägen mot bättre forskning, som partsinlagor. Förslaget om ett oberoende organ för analys av forskning och högre utbildning – likt de som finns i flera grannländer – ligger i linje med detta synsätt, och det är onekligen besynnerligt att ett sådant inte redan etablerats i Sverige. Även partipolitiskt lyckas Kjöller, i någon mån, upprätthålla en balans även om socialdemokraterna kritiseras mer frekvent jämfört med den borgerliga sidan. En intressant iakttagelse som hon gör i detta sammanhang är att själva omsvängningarna i politiken, snarare än innehållet i reformerna, kan ha inverkat skadligt på den svenska forskningen. Denna slutsats har också visst stöd i litteraturen då den danska forskningens framgångar förklarats just av långsiktiga spelregler snarare än reformiver.

Om ambitionen med “Kris i forskningsfrågan” är att – i likhet med makarna Myrdals berömda verk som parafraseras i titeln – skissera ett program för framtidens forskningspolitik så kan boken knappast ses som något annat än ett misslyckande. Snarare än att peka ut en riktning så framstår Kjöller som kluven inför flera av samtidens centrala forskningspolitiska problem, och denna rådvillhet är också något hon själv tematiserar. Nyckelfrågor förblir obesvarade: bör politikerna styra forskningen i högre grad? Ska en större andel av resurserna satsas på applicerbar forskning, eller bör fokus ligga på grundforskningen? Behövs ytterligare kontroll och utvärdering av forskningen, eller är det ständiga mätandet i själva verket en bidragande orsak till den “kris” som skisseras? Kjöller har inget facit, och kanske är det inte heller att förvänta då någon enighet kring dessa frågor knappast råder bland forskare och experter på området.

Dock, om vi för stunden bortser från de braskande rubrikerna, och det höga tonläget som stundtals präglar framställningen, så går det att göra en betydligt intressantare och välvilligare läsning av “Kris i forskningsfrågan”. En sådan läsning fokuserar inte på de delar där skarpa formuleringar och svepande generaliseringar görs, utan på det utforskande tillvägagångsätt som också präglar framställningen. Kjöller reflekterar över sin egen osäkerhet och den utmaning det innebär att försöka greppa forskningens komplexa system, och just denna öppenhet för motsägelser och svårigheter är för mig en av bokens stora tillgångar. Även om få entydiga svar ges, så lyckas Kjöller väl med att ringa in centrala och brådskande frågor kring forskningens framtid. Förhoppningsvis kan hennes insats resultera i att fler journalister vågar ge sig in i forskningspolitikens “snåriga djungel”. Kris eller ej, så finns här mycket att granska, kritisera och diskutera.

Denna text är en omarbetad och utökad version av en recension i Respons 2020, nr 6.

Skadlig mäthysteri, eller användbart styrmedel? Prestationsmått i svensk akademi

Publicerad den av
Svara

“If you measure things, if you look at things, if you pay attention to things, more things will happen” (akademisk ledare citerad i Söderlind & Geschwind, 2019).

Som citatet ovan förmedlar så händer något när saker räknas och uppmärksammas. En uppdelning, och en prioritering, sker mellan det som ska, och kan, mätas, och det som inte enkelt kan omsättas i numeriska värden. Frågan kring vad som händer vid mätning och utvärdering står i centrum för Johan Söderlinds avhandling A metric culture in academia: The influence of performance measurement on the academic culture of Swedish universities (2020), som försvarades vid KTH den 25 september. I avhandlingen studeras hur prestationsmått fått en allt större betydelse i organisationen av akademiskt arbete, och särskilt fokus riktas mot hur dessa system påverkar verksamheten. I fyra delstudier, vilka också publicerats som fristående artiklar, så studeras mätningens utformning och konsekvenser på olika nivåer i det akademiska arbetet. Några av studierna har en mer komparativ ingång där exempelvis skillnader mellan svensk akademi och andra nordiska länder belyses, medan andra artiklar fördjupar sig i mer specifika fenomen. Det empiriska materialet är rikt, och det gäller även det teoretiska och metodologiska ramverket. Utgångspunkten för själva studien är idén om ett utvärderingssamhälle som delvis kan förklaras av en senmodern organisation av samhället där granskning blivit ett centralt element för hur verksamheter styrs. Överlag ger avhandlingen en god överblick över prestationsmått och deras användning inom akademin, och den utgör också en välskriven introduktion till bärande studier och teorier inom fältet.

I avhandlingen presenterar en rad resultat, och då det är svårt att sammanfatta dem alla så väljer jag här att presentera ett urval av de som jag finner mest tongivande och nydanande. Ett lyckat val i flera av artiklarna är att fokusera på hur ledare (”managers”) inom akademin använder prestationsmått i sitt arbete. Söderlind finner här att många chefer använder mått i styrningen samtidigt som de är medvetna om systemens begränsningar. Inte sällan intar de också en medlande position när de kontextualiserar, och modifierar specifika indikatorer (exempelvis citeringar eller publiceringspoäng) för att kunna använda dem i ett specifikt syfte. Dessutom verkar det vara så att akademiska chefer ofta litar på sin egen erfarenhet av exempelvis bibliometriska mått när de bedömer deras användbarhet. En övergripande slutsats är att prestationsmått – både gällande utbildning och forskning – betraktas som viktiga och användbara, men enligt de akademiska ledare som Söderlind intervjuat så spelar de sällan en avgörande roll när beslut ska fattas.

Söderlinds avhandling behandlar även prestationsmåttens användning på en mer övergripande nivå, och ett viktigt bidrag i avhandlingen är en jämförande studie av de nordiska länderna. I denna kontext framstår Sverige som avvikande då vårt system för att utvärdera forskning skiljer sig från de som återfinns Norge, Danmark och Finland. Dessa länder använder sig av ett likartat system – ofta kallat den “norska modellen” – där poäng ges till publikationer beroende på publikationskanal och vetenskaplig nivå. Sverige däremot har använt sig av en annan modell där en kombination av fältnormaliserade citeringsmått, publikationsvolym och extern finansiering utgjort grunden för att omfördela resurser.1 Här finner Söderlind, helt riktigt, att det poängsystem som används i Danmark, Norge och Finland har större potential att förändra praktiker och publiceringsmönster. Detta då poängmodellen är lättförståelig och enkelt kan användas för resurstilldelning på lärosätes-, institutions-, eller individuell nivå. I sammanhanget kunde det dock varit intressant om Söderlind diskuterat det omfattande användandet av den ‘norska modellen’ på lokal nivå då det visat sig att nära hälften av alla svenska lärosäten har använt, eller använder sig av, liknande poängsystem. Således skulle man med fog kunna hävda att det ‘norska modellen’ haft stor betydelse för hur forskare i Sverige – och då särskilt de inom samhällsvetenskap och humaniora – resonerar kring publicering trots att den aldrig använts för att fördela medel mellan lärosäten.

En tredje aspekt som Söderlind framhåller, och som jag finner nydanande i sammanhanget, är bibliometrins pedagogiska potential. Dessa idéer lyfts i den fjärde artikeln där en specifik årlig utvärdering av forskning vid KTH studeras. Söderlind framhäver här särskilt betydelsen av en tät dialog mellan chefer, de utvärderade, och de som utvärderar (bibliometrikerna). En av bibliometrins främsta pedagogiska potential ligger således i dess förmåga att initiera samtal kring hur forskning bör värderas. Kanske skulle man till och med kunna hävda att bibliometrin utgör en effektiv provokation som frambringar diskussioner kring forskningskvalitet. Dock finns det en risk att sådana provokationer stannar vid en kritik av befintliga mått istället för att leda vidare till mer initierade resonemang. En spännande utveckling på Söderlinds studie vore således att närmare studera hur bibliometrins pedagogiska potential kan utvecklas så att dessa mått inte bara “mäter” kvalité utan också bidrar till att en ökad förståelse för hur vetenskaplig kvalitet kan studeras, och gynnas. En sådan utveckling skulle också ligga i linje med alternativa metoder för att utvärdera forskning, som till exempel idén om ‘evaluative inquiry, vilken syftar till ett mer öppet och utforskande tillvägagångsätt där kvalitativa och kvantitativa metoder kombineras.

Avhandlingen ger en god bild över hur prestationsmått används inom svensk akademi, men efter läsningen återstår ändå en del frågor: Hur ska vi till exempel förstå “mätandets kultur” mer generellt, och kan dess inflytande inom akademin jämföras med andra verksamheter som vård och skola? Har mätandet inom akademin uppstått i samband med ett större fokus på målstyrning inom offentlig verksamhet överlag, eller finns det en längre mer komplex inomvetenskaplig historia kring mätning och utvärdering? Här skulle jag vilja framhålla disciplinernas och de starka professionerna roll i utformandet av dessa system som särskilt intressanta, och potentiellt givande för vidare studier.

Sammanfattningsvis utgör Söderlinds avhandling en övertygande framställning kring akademisk utvärdering där kritik mot överdrivet mätande balanseras mot en förståelse för att indikatorer kan ha positiva effekter, exempelvis vad det gäller effektivitet vid beslutsfattande, transparens, och opartiskhet. Den övergripande slutsatsen i avhandlingen – att dessa mått, åtminstone gällande forskningen, hittills haft ganska modesta effekter – är i mitt tycke välgrundad. På samma sätt delar jag dock Söderlinds farhåga att effekterna av dessa system kan, om de inte hanteras på ett nyanserat och balanserat sätt, bli betydligt mer kännbara i framtiden.

1 I dagsläget är det oklart om Sverige kan sägas ha ett övergripande prestationsbaserat system på nationell nivå då den tidigvarande modellen inte har använts för att fördela resurser under de senaste åren.

“Förlåt jag blott citerar”: Åtta punkter för ansvarsfullt refererande

Publicerad den av
Svara

_Citation_needed_

“At the personal level of the scientific writer and the editor and publisher of journals, it tells that one might well be as careful about references as we are about titles, authorships, and proper presentation of data.” (de Solla Price, Little Science, big science…and beyond, 1986 s. 178,

Referensen spelar en nyckelfunktion i att göra en text vetenskaplig, och det är därför som stor vikt läggs vid att lära studenter att referera korrekt. Onekligen är de formella reglerna och själva refererandets teknik oumbärlig kunskap för den som skall ägna sig åt vetenskapens hantverk, och även erfarna forskare måste beakta de varierade krav som tidskrifter och bokutgivare ställer på utformandet av referenser och noter. Att lära sig referera korrekt är dock bara en del av att behärska refererandets ädla konst. Vi behöver också lära oss att citera ansvarsfullt.

I en tid när referenser – som genom sitt indexerande i citeringsdatabaser som Google Scholar eller Web of Science – blir till citeringar, vilka i sin tur omvandlas till hårdvaluta för institutioner, forskare och tidskrifter så blir refererandet en än mer komplex verksamhet. För vårt val av texter att hänvisa till blir då del i en evaluerande praktik där citeringar blir till kapital på en marknad där forskare konkurrerar om resurser av olika slag. Det gör också att vi som författare behöver ta ett större ansvar för hur vi refererar genom att aktivt reflektera över de val vi gör. En som tagit sig an denna uppgift är Bart Penders som mot bakgrund av senare års diskussioner och kritik av fenomen som till exempel självciteringar och citeringskarteller formulerat tio regler för ett mer ansvarfullt refererande. Med avstamp i dessa regler återger jag nedan åtta punkter där flera av Penders regler ingår, men där jag också tagit mig friheten att sammanfoga några av hans argument och lagt till några egna. Till skillnad från Pender så tar jag min utgångspunkt i ett samhällsvetenskapligt och humanistisk perspektiv på refererandets praktik snarare än ett naturvetenskapligt och medicinskt.

  1. Inkludera relevanta referenser

Denna regel, som återkommer i de flesta guider och handböcker kring hur referenser ska ges, innebär att du ska citera det som är relevant för din forskning, och speciellt inte låta påskina att argument som du funnit i litteraturen är dina egna. Knepiga fall är de där ett påstående är så väletablerat att det kan sägas vara självklart, och därför kanske inte kräver en referens. Denna process, där centrala verk så småningom blir så självklara att det inte längre citeras, benämndes av Robert K. Merton som ”obliteration by incorporation”. Är det till exempel nödvändigt att varje gång som ‘diskursanalys’ nämns referera till Michel Foucalt? Här är det genre, kontext och läsarnas eventuella förförståelse som avgör.

  1. Läs de publikationer som du refererar till

Det kan tyckas självklart att de källor som refereras också bör ha lästs, men så är inte alltid fallet. Att påskina att en utsaga bygger på en egen läsning av en text utan att ha läst den kan i vissa fall ses som en form av plagiarism. Frågan är dock vad ‘läst’ innebär i detta sammanhang? Behöver vi ha tagit oss igenom en hela bok från pärm till pärm för att kunna referera till den? Räcker det att ha scannat ‘abstract’ och ‘findings’ i den artikel som vi stödjer oss på? Svaren på dessa frågor beror återigen på kontext och syfte med referensen.

  1. Fokusera på det centrala innehållet när du refererar

När du refererar bör du fokusera på det innehåll som du stödjer dig på, och finns det flera viktiga argument så kanske texten bör citeras flera gånger. Det räcker alltså inte med att bara nämna texten i förbigående om dess innehåll är centralt för ditt eget bidrag. Ett utstuderat och ökänt exempel på en tveksam praktik är den så kallade ‘trojanska referensen’ där en för texten viktig referens ges i förbigående och utan att dess centrala betydelse för framställningen framgår. På så sätt kan författaren hävda att verket har citerats utan att på det sättet avslöja att den egna forskningen kanske inte var riktigt så nydanande som man vill påskina.

  1. Var transparent, men inte nödvändigtvis neutral och tråkig

Det finns inget tråkigare en att läsa förment neutrala forskningsöversikter där läsaren ges liten eller ingen ledning i hur den litteratur som passerar revy ska bedömas. Givetvis handlar det här inte om att forskaren måste ge värdeomdömen om varje enskilt bidrag, men det bör framgå hur de studier som refereras relaterar till varandra och eventuella kontrasterande perspektiv bör framhållas. Jag tror personligen att många författare heller ser att det de skrivit blir kritiserat än lite lamt omnämnt tillsammans med en hoper andra referenser. Genom att författaren engagerar sig i den litteratur som refereras så blir också den egna position tydlig, och transparent, för läsaren.

  1. Var specifik

Om det är något jag själv allt mer arbetar med i mitt eget skrivande så är det att dra ner på det som Bruno Latour kallar ’stacking’ av referenser (Science in Action, 1987 s. 33). Alltså fenomenet att samla en stor mängd referenser inom en och samma klammer för att stärka ett argument, eller ringa in ett forskningsproblem eller område. Argumentet för ett sådant tillvägagångsätt är att det både är effektivt och övertygande, och denna praktik blir nu allt vanligare även inom samhällsvetenskapen och humaniora. Problemet är dock att det drar ner läsvänligheten – det är få som uppskattar sidor som till hälften består av referenser – och ibland gör det texten rentav helt ogenomträngbar. Bättre då att vara specifik och istället ange mer i detalj vad en specifik källa handlar om. Exempelvis finner jag det bättre att ange att en text handlar om ‘självcitering’ och en annan om ‘citeringskarteller’ istället för att bunta ihop dem med ett gäng andra som behandlar ‘citeringspraktiker’ mer generellt. En annan strategi för att undvika ansamlingar av referenser är att prioritera i litteraturen: behöver verkligen den där tredje artiklen på liknande tema av samma författare anges?

  1. Gödsla inte med referenser

Överlag refererar forskare till alltfler publikationer i sina alster, och detta beror givetvis på ett allt större utbud av möjliga källor, samt förmodligen också på ett ökat användande av referenshanteringsprogram som gör det snabbt och enkelt att referera. Vidare är kollegor ofta pigga på att föreslå nya referenser när texter läses på ett seminarium eller när de referentgranskas, men mycket sällan är det någon som säger att det nog vore bra att hålla igen lite. Givetvis ska inte relevanta källor ignoreras, men det finns en tendens att belägga varje enskilt påstående med en, eller gärna flera referenser. Värdet av varje enskild referens reduceras då, och förutom att läsbarheten minskar så riskerar den flitigt citerande att framstå som osäker och osjälvständig. Generellt tenderar forskare att bli mer sparsamma i sitt refererande senare i den akademiska karriären när den egna auktoriteten är större. Ibland går detta självklart till överdrift – det förekommer att framstående professorer inte längre anser sig behöva stöd av andra överhuvudtaget och helt sonika utelämnar referenser helt – och i likhet med andra punkter är antalet referenser avhängigt av kontext, genre och publik.

  1. Citerad dig själv och dina kollegor, men bara när det är nödvändigt

Alla forskare refererar till sig själva, och det är i sig inget fel. Ofta utgör en ny publikation en fortsättning på en redan påbörjad forskningslinje och det ter sig då självklart att hänvisa till sig själv. Men ett krav för att en referens till eget arbete ska inkluderas är att den verkligen är relevant, och detta krav bör vara skarpare jämfört med andra referenser. I valet mellan att citera sig själv och att citera en annan forskare så bör det senare föredras. Vi tenderar även att citera de vi känner snarare än någon okänd i litteraturen. Så titta gärna igenom din referenslista: är en betydande del av referenser till dig själv, dina närmaste kollegor eller dina landsmän så finns det anledning att reflektera över urvalet. Kan det verkligen vara så att en så stor del av all framstående forskning inom det område som du studerar bedrivs av just den grupp som du dricker eftermiddagskaffe med? Är du man som kan det också vara lämpligt kontrollera så att du inte råkar referera extra mycket till andra män. Studier visar nämligen att män refererar oproportionerligt mycket till andra män, samtidigt som kvinnor inte uppvisar samma tendenser till att gynna det egna könet när referenser väljs.

  1. Uppdatera och variera dig

Generellt brukar forskare över tid utveckla en ‘citeringsidentitet’, och denna brukar ofta vara relativt stabil över tid. Detta innebär att när en forskare väl börjat citera ett visst verk så gör man det ofta gärna igen; det har blivit en del av den personliga ’citeringsrepertoaren’. Självklart är det enkelt att återkomma till verk som redan läst och är välkända, men risken finns att de gamla hjulspåren blir nötta och att annan relevant forskning förbises på grund av vana och bekvämlighet. Troligen förstärks också denna tendens av referenshanteringsprogram som Endnote eller Zotero där redan använda referenser ligger klara och redo att användas på nytt. Därför är det viktigt att hålla sig uppdaterad med litteraturen, både genom att följa vad som publiceras och genom att besöka konferenser och liknande, och medvetet se till att inte återupprepa samma referenser gång på gång.

Avslutningsvis vill jag påpeka att dessa punkter måste anpassas till de specifika citeringspraktiker som råder i det fält där en forskare verkar, och inte sällan är det så att vi behöver foga oss efter de konventioner som gäller för en specifik tidskrift eller bokserie. Ändå tror jag att doktorander, och även mer seniora forskare, kan vara betjänta av att reflektera över inte bara refererandets praktik utan också dess etik. Ett mer eftertänksamt refererande kan med stor säkerhet bidra till både mer läsbara texter och till högre kvalité på forskningen, samtidigt som det gör oss mer ansvarsfulla i hur vi förhåller oss till det som andra redan har författat.

 

”Förlåt jag blott citerar” är ett citat från den svenska lyriken Johan Henric Kellgrens dikt ”Man äger ej snille för det man är galen” (1787). Det är också titeln på en bok om citerandets konst författad av idéhistorikern Svante Nordin (2001) 

Bild: By futureatlas.com (originally posted to Flickr as ”Citation needed”) [CC BY 2.0 (https://creativecommons.org/licenses/by/2.0)%5D, via Wikimedia Commons

Självplagiat: forskningsfusk eller accepterad praktik?

Publicerad den av
Svara

copy paste

2013 anklagades den nederländske ekonomiprofessorn Peter Nijkamp för omfattande fusk i form av självplagiat. Nijkamp var vid denna tid en mycket välkänd forskare, med en sammanlagd produktion av över 2300 artiklar (han producerade cirka 1, 5 artikel per vecka), och under sin karriär så hade han tilldelats en rad prestigefyllda priser och uppdrag. Kort sagt, Nijkamp var en akademisk superstjärna.

Utan att gå in på detaljer så friades Nijkamp från anklagelserna kring forskningsfusk, samtidigt som det visade sig att han ägnat sig åt omfattande återbruk av tidigare texter utan att ange källa. En utredare kallade detta för ‘systematisk copy-pasting’ med målet att producera ett stort antal artiklar, och tidskriften Review of Economic Analysis kom att dra tillbaka två av Nijkamps publikationer (för vidare dokumentation kring ärendet se Retraction Watch). Flera kommittéer kom att granska ärendet, och då några fann att forskningsfusk var klarlagt menade andra att medvetet fusk inte kunde bevisas. Fallet kom därför att leda till en debatt kring vad som är legitimt återbruk, och vad som bättre beskrivs som tvivelaktiga praktiker eller till och med fusk.

Med utgångspunkt i Nijkampfallet diskuterar och studerar Horbach och Halffman självplagiat som fenomen. De analyserar inte bara den debatt som följde efter utredningarna kring Nijkamp utan de undersöker också omfattningen av självplagiat i olika discipliner. I studien utgår de från en ganska konservativ definition av ‘textåtervinning’ där till exempel ett visst återbruk av formuleringar kring metod inte räknas som självplagiat. De valde sedan ut ett antal artiklar författade av både högproduktiva och mer lågproduktiva forskare från fyra discipliner, psykologi, historia, nationalekonomi och biokemi, och studerade förekomsten av återanvänd text i dessa.

Deras studie visar att 6 % av alla artiklar visar tecken på ‘problematisk textåtervinning’ men skillnaderna mellan disciplinerna är stor. Inom historia fann man tecken på självplagiat i bara 1 av 48 studerade texter samtidigt som 14 % (36 av 258) av alla texter inom ekonomifältet innehöll återanvänd text. Bland några ekonomer visade det sig att mer än 40% av artiklarna innehöll självplagiat.

text recycling

(Horbach & Halffman 2017, s. 7)

Vad förklarar då den betydligt högre andelen av självplagiat inom ekonomifältet? En förklaring som författarna anför är att det kan bero på hur texter skrivs, där en mer formalistisk stil ger större möjlighet till att återanvända text. Detta kan delvis vara en orsak till att historieforskarna i sådan liten utsträckning använder sig av denna strategi. För dem är det ofta inte ens möjligt att självplagiera och samtidigt producera texter som accepteras av kollegorna. Det som talar emot denna hypotes är dock att biokemisterna – som i än högre grad än nationalekonomerna skriver i en formalistisk tradition – inte alls uppvisade samma grad av självplagiat. På samma sätt kan inte heller antalet medförfattare anses vara en förklaring.

Snarare är det nog så att dessa skillnader bör förstås utifrån disciplinspecifika normer kring hur god vetenskap produceras. Ett tecken på detta är att kollegor som försvarade Nijkamp menade att självplagiat inte alls var fusk, utan en etablerad praktik inom disciplinen. Att mycket produktiva och ledande forskare i större utsträckning än andra återanvänder text framstår också som ett tecken på att detta tillvägagångssätt är relativt accepterat.

Bör vi då betrakta självplagiat som forskningsfusk? Själv skulle jag hävda att det nog kan vara rimligt att återanvända text, men då bör detta tydligt anges så att eventuella granskare och läsare blir medvetna om originalkällan. Exempelvis kan ju delar av en text omarbetas för en annan läsargrupp – i en blogg eller i en mer populärvetenskaplig text – och då ser jag inget problem med att återanvända formuleringar om originalkällan anges. Att i referentgranskade artiklar använda tidigare text i form av hela stycken utan att ange detta framstår dock för mig som mer problematiskt, men vi rör oss här i en gråzon där disciplinspecifika sätt att uttrycka sig och bedriva forskning bör tas i beaktande.

Om vi bortser från frågan kring fusk så blir de stora disciplinära skillnaderna i självplagiat som Horbach och Halffman påvisar särskilt bekymmersamma mot bakgrunden av hur forskning idag utvärderas. Att återanvända text är onekligen en genväg till ett stort antal publikationer, och dessa kommer sedan att räknas in när forskningen utvärderas. De individer, institutioner och discipliner som i högre grad ägnar sig åt självplagiering kan då tillskansa sig både status och resurser på bekostnad av de som lite mer sällan använder sig att kommandot Ctrl+ C/Ctrl +V.

Etiska riktlinjer kring självplagiering har nu införts i Nederländerna och flera tidskrifter har också tagit ställning i frågan. Ett alternativ till att lita på forskarnas och redaktörernas etiska kompass vore dock att tidskrifter istället använder sig av plagiatkontroll. Inom svensk högre utbildning används Urkund flitigt – studenter tillåts vare sig kopiera andra eller sig själva – och tekniskt kan jag knappast tänka mig att det vore särskilt svårt att införa ett sådant system även för vetenskapliga publikationer. Onekligen skulle ett sådan lösning drastiskt minska förekomsten av plagiat och självplagiat.

Att skilja mellan en elefant och en kanin: Användningen av bibliometri i sakkunnigutlåtanden

Publicerad den av
3

Syrischer_Maler_von_1354_001

Impact measures of this kind are inexact and should not, in our view, be relied on for a detailed ranking of research achievements (it could be described as ‘a scale that can distinguish an elephant from a rabbit but not a horse from a cow’). (från sakkunnigutlåtande i nationalekonomi)

Under senare år har ett allt större intresse riktats mot hur utvärderingssystem och resursfördelningsmodeller påverkar forskningen. En central fråga är hur ett ökat fokus på prestationer som är kvantifierbara påverkar forskarnas praktiker och prioriteringar. En rad dokumenterade och möjliga effekter har identifierats på en generell nivå, men empiriska studier av hur bibliometri används vid utvärdering av enskilda individer är få. Dock vill jag påstå att just denna typ av användning, där anställningar och forskningsanslag står på spel, är särskilt viktiga då de har stor påverkan på den enskilde forskarens karriär. Ett problem har dock varit att utvärdering på individnivå är svårt att studera empiriskt, och diskussionen har tidigare främst baserats på enskilda exempel och anekdoter. Inom svensk akademi finns dock ett relativt unikt och omfattande material kring utvärderingspraktiker i form av sakkunnigutlåtanden vid tjänstetillsättningar, och dessa ger unika insikter i hur indikatorer används.

I artikeln, Indicators as judgment devices, studerar Alex Rushforth och jag just hur sakkunniga använder indikatorer och tidskriftsrankningar för att värdera och rangordna sökande till lektorat och professurer inom biomedicin och nationalekonomi. Dessa dokument ger oss unik inblick i hur bibliometriska mått används för att värdera enskilda forskare, och de ger också insikt i hur specifika indikatorer integreras i disciplinspecifika värderingspraktiker. Denna aspekt är särskilt intressant då prestige och position inom akademin till stor del styrs av status inom disciplinen, snarare än av status inom den organisation där forskaren är anställd.

I redovisningen av våra resultat bör det framhållas att långt ifrån alla sakkunniga använder sig av indikatorer, och knappt hälften av de utlåtanden som vi studerat (82 av 188) använde sig av bibliometriska mått eller tidskriftsrankningar. Ett återkommande argument bland de sakkunnig som använde sig av bibliometri var måttens ‘objektivitet’:

A bibliometric analysis was carried out to assess the scientific production and even more importantly, the real scientific impact of each applicant.” (utlåtande i biomedicin)

Generellt introducerades dock citeringsdata, eller ‘impact factorer’, utan någon vidare motivering. Vår tolkning är att de sakkunniga använder indikatorer som en typ av ‘utvärderingsverktyg’, och här bygger vi på Lucien Karpik (2010) och hans teori om ‘judgment devices’. Dessa används i situationer när konsumenten (i detta fall granskaren) behöver välja mellan en rad produkter (här kandidater) som inte helt enkelt kan jämföras. Ett exempel som Karpik tar upp är valet av husläkare eller värderingen av ett litterärt verk, och vi menar att forskare kan ses som ett ytterligare exempel på en ‘vara’ vars värde inte helt enkelt kan fastställas. I situationer där det finns en uppsjö av goda kandidater, vilket är fallet i många av de tillsättningsärenden vi studerat, så blir  ‘judgment devices’ också ett sätt att lösa en situation där ett överflöd av möjliga alternativ finns.

Journal Impact factor

Den mest kända, inflytelserika och samtidigt häftigt kritiserade bibliometriska indikatorn är utan tvivel Journal Impact Factor (JIF), som introducerades av Eugene Garfield redan 1963. JIF används flitigt också i vårt material, främst inom biomedicin men också inom nationalekonomi, och ofta introduceras den för att bedöma ‘kvaliteten’ på publicerade alster: 

…but it is a bit bothersome that many of the recent publications that XXXX has been principal investigator on are found in more narrow journals, as for example Scandinavian J Immunol. (Impact approx. 2.3). (utlåtande i biomedicin)

Many of original papers appeared in excellent quality journals and nearly two third [sic] of them were in journals with impact factor greater than 3. (utlåtande i biomedicin)

I många fall, likt exemplen ovan, så används JIF som ett riktmärke för vad som ska betraktas som bra tidskrifter och en undre gräns för kvalité på runt 3 verkar gälla inom biomedicin. I nationalekonomi är det betydligt svårare att finna en exakt gräns, även om sakkunniga föreslår 0.5 samt 0.9 som möjliga riktvärden.  Sammantaget är  det otvetydigt att JIF:en är viktig vid bedömningen av forskning inom biomedicin, och många av de utlåtanden som inte explicit använder sig av måttet hänvisar till ‘high impact journals’.

Ett annat beryktat, och vid utvärderingen av individuella forskare särskilt intressant mått, är det så kallade ‘h-index’. Till skillnad från JIF, som mäter tidskrifters genomsnittliga citeringsgrad, så är h-index ett försöka att sammanfatta en forskares produktivitet och inflytande över tid. En forskare med h-index x har författat x publikationer som citerats minst x gånger, dvs. en forskare som har författat 12 publikationer som vardera citerats 12 gånger eller fler har ett h-index på 12. I vår studie används h-index vanligtvis som ett slags bakgrundsinformation, likt affiliering, ålder, kön, och ofta anges det utan vidare kommentarer som här:

XXXX publishes in good to very good journals including Plos Genetics, FASEB J, and Mol Biol Cell. H–factor=18. (utlåtande i biomedicin).

H-index blir vad vi kallar en ‘totaliserande indikator’ där en hel karriär kan sammanfattas i en siffra, och vi finner också att måttet i flera fall sammanfaller med den sammanvägda bedömningen av kandidater.

Om citeringar och JIF är populära utvärderingsverktyg inom biomedicinen så tenderar nationalekonomer att bedöma artiklars ‘värde’ utifrån klassifikationer av, och listor över, tidskrifter. En bedömare uttrycker det mycket klart:

“A university that aims to compete at the first or second tiers in Europe should expect its full professors to show the ability to publish at least a few articles in the best journals in the field. Publishing a paper in a top finance journal requires a degree of effort, awareness of the latest thinking in the field, and excellence, which any number of articles in journals below second tier could not match. (utlåtande nationalekonomi)

Det flitiga användandet av tidskriftsrankningar – vi fann hela fem olika listor i vårt material – kan relateras till att det nationalekonomiska fältet tenderar att organisera sig hierarkiskt. En annan förklaring är att citeringar och JIF generellt fungerar sämre inom nationalekonomin jämfört med biomedicin där omsättningen av artiklar och citeringar är högre.

I vårt material finns också tydliga exempel på hur indikatorer kan kombineras och jämföras, och det är inte ovanligt att sakkunniga uppvisar goda kunskaper i bibliometri. I exemplet nedan så jämförs h-index med det totala antalet citeringar för att ge en mer nyanserad bild av kandidaten:

Of 44 published papers she is 1st author on 12 and senior author on 20. She has a surprisingly low citation rate, albeit with a high h–index (Max citation <60 in 2010, h–index 17, Web of Science). (utlåtande i biomedicin)

Vad den sakkunnig menar med låg citeringsgrad är att denna kandidat har publicerat många publikationer som refererats av andra (högt h-index), men hon saknar publikationer med mycket hög citeringsgrad (max citation <60). Att författarordningen är en viktig aspekt inom biomedicin framgår också i detta citat; det är första och  sista positionen som räknas.

Ett ännu tydligare exempel på hur kandidater, men också olika typer av indikatorer, jämförs är tabellen nedan där en rad kvantifierbara data kring författarskap, publikationer och citeringar sammanställts.

Fig 1 anonymized                                                                                                            (från utlåtande i biomedicin)

Här rör det sig om en ambitiös sakkunnig som har goda kunskaper i bibliometri; tabellen ackompanjeras av inte mindre än åtta fotnoter som förklarar de enskilda måttens betydelse och svagheter. En intressant detalj är att den sakkunnige använder sig av medianvärdet gällande citeringar snarare än medelvärdet, och det är en praktik som är statistiskt välgrundad då distributionen av citeringar ofta är mycket skev.

Sammanfattningsvis menar vi att bibliometriska indikatorer i dessa sammanhang bör förstås som ‘utvärderingsverktyg’ som är välintegrerade i disciplinära utvärderingspraktiker, och beroende på hur fältet är organiserat kommer olika typer av indikatorer, till exempel citeringar inom biomedicin eller tidskriftsrankningar inom nationalekonomi, att bli dominerande. Tidigare bibliometrisk forskning har i nedlåtande ordalag referat till denna typ av bibliometrisk praktik som ‘amatörmässig’ och varnat för dess utbredning. Vi vill dock påstå att de sakkunniga i dessa dokument ofta framstår som relativt kunniga gällande indikatorernas styrkor och svagheter. Vidare så besitter de en unik kompetens jämfört med professionella bibliometriker då de har kunskap om vilket värde dessa mått tillskrivs inom den egna disciplinen. Vår ståndpunkt är dock inte att användningen av bibliometri i dessa sammanhang är oproblematisk, och liksom Leidenmanifestet så menar vi att indikatorer av detta slag bör användas med stor försiktighet på individnivå. Att helt avfärda dessa mått som direkt olämpliga i alla sammanhang vore dock förhastat, och vi bör komma ihåg att bibliometrisk utvärdering också kan framhålla grupper, till exempel kvinnor, som ofta missgynnats i traditionell peer review.

Bild: Kalîla und Dimma von Bidpai: Der Hase und der Elefantenkönig vor dem Spiegelbild des Mondes in der Quelle, By Syrischer Maler von 1354 [Public domain], via Wikimedia Commons

Eugene Garfield (1925-2017): Utopist och ingenjör

Publicerad den av
1

eugene_garfield_hd2007_portrait

”I believe there is now only one kind of scientist – the information scientist.” (Garfield, 1962).

I söndags, den 26 februari 2017, gick en av informationsvetenskapens stora pionjärer ur tiden. Vid sidan om Derek J. de Solla Price (1922-1983) så framstår Eugene Garfield (1925-2017) som den moderna bibliometrins fader. Hans inflytande sträcker sig dock långt utanför en snäv krets av bibliometriker, och han bör enligt mig betraktas som en av informationsvetenskapens stora innovatörer. Garfields främsta bidrag är skapandet av den vetenskapliga citeringsdatabasen, Science Citation Index (1964), och grundandet av Institute for Scientific Information (ISI). I praktiken kan det rentav hävdas att Garfield med denna innovation introducerade den vetenskapliga ‘citeringen’ som vi känner den idag. (Notera att citering, eng. ‘citation‚ här inte är liktydigt med referens eller direkt citat utan avser just en framåtriktad länk mellan publikationer som citeringsdatabasen möjliggör. För en vidare diskussion kring konstruktionen av ‘citeringen’ se Paul Wouters, Citation Culture samt Gustaf Nelhans Citeringens praktiker).

Garfield startade sin bana som kemist men kom tidigt att intressera sig för hur forskning kommuniceras, och hans första stora bidrag inom detta område var Current Contents där korta sammanfattningar av vad som avhandlats i andra vetenskapliga tidskrifter publicerades. Det stora problemet för vetenskapen, enligt Garfield, var en snabbt ökande tillgång till information – han talade själv om en ‘information flood’. Konkret ställde han sig frågan hur forskare skulle mäkta med att följa vetenskapens utveckling ens inom ett begränsat fält. Med inspiration från Shepards Citation’s, som sedan länge samlat referenser inom juridiken, så lanserade Garfield 1955 idén om ett vetenskapligt citeringsindex där forskare inte bara kunde få information om de källor som en artikel refererade till utan också hur det aktuella verket citerats av efterkommande forskare. På så sätt menade Garfield att sökningen efter litteratur kunde förbättras avsevärt, och det medgav också stora möjligheter att studera den vetenskapliga kommunikationen i detalj. Det kom dock att ta närmare tio år innan citeringsindexet lanserades, och Garfield fick arbeta hårt med att finna stöd och finansiering för sin idé.

Tidigt identifierade sig Garfield som en informationsvetare – han hade redan i barndomen varit fascinerad av bibliotek och den kunskap som rymdes där – och en stor samling av hans texter bär just namnet ‘Essays of an Information Scientist’. I praktiken menade han att alla forskare – på grund av den snabba tillväxten av information – nu behövde bli informationsexperter. Citeringsindexet spelade givetvis en stor roll för dessa blivande experter, och Garfield såg framför sig en tid där biblioteket, i den utvecklade formen av ett ‘Informatorium’, skulle utgör en central hub i den vetenskapliga kommunikationen. I en text från 1962 beskriver han det på följande sätt:

As I see it, the ideal library must be able to supply information instantaneously. As an ideal library facility, The Informatorium will have to satisfy a wide variety of information requirements for a population that will be highly intellectual and scientifically trained. In my paper, I predicted rather optimistically and hopefully, that by the turn of the millennium there would be “a new Renaissance during which the population of the entire world will be thirsting for knowledge.” I think that age is already beginning in spite of, if not because of, threats of atomic destruction.

I en artikel från samma tid så inleder Garfield resonemanget med en referens till H.G. Wells och hans idéer om en världsomspännande hjärna (‘world brain’). Han menar att det är varje forskares dröm att ha tillgång till all upptänklig information, även om han tillstår att bibliotekarien ser alla de problem som återstår att lösa innan en sådan kan realiseras. Citeringsindexet kan dock, enligt Garfield, ses som ett första steg mot att en ‘världshjärna’. Förväntningarna på vad indexet kunde uppnå var knappast blygsamma, och Garfield, i likhet med andra stora informationsvisionärer som Paul Otlet (1868-1944) eller Vannevar Bush (1890-1974), såg hur hans innovation skulle förändra vetenskapen, och kanske också samhället, i grunden:

If we ever achieve “total communication, ” a state of research nirvana, then an enormous time-shared, random access computer memory will augment man’s finite memory and replace printed indexes and catalogs. In this condition of nirvana a World Brain will itself have become an auxiliary to man’s own brain. (Garfield, 1964)

Garfield var dock till skillnad från Otlet och Bush främst en praktisk man; en ingenjör, och hans texter kan snabbt gå från att diskutera en ‘världshjärna’ till att förklara hur en ny typ av kontorspaper kommer att förbättra informationshanteringen vid hans institut. Ett institut som snart kom att växa och utökas med flera databaser och tjänster. Allt för att underlätta sökningen efter information. Möjligheten att snabbt och enkelt hitta relevant litteratur framhölls starkt i marknadsföringen av ISI: ett exempel är denna film där Garfield själv presenterar Science Citation Index. Tidigt varnade dock bedömare för att indexet kunde användas för att utvärdera vetenskapen och forskare, och det är en debatt som pågår än idag. Tydligast blev kanske citeringens betydelse som kvalitetsmått genom Garfields introduktion av Journal Impact Factor (JIF) som ett mått på en tidskrifts genomslag. Denna indikator kom snabbt att få stor betydelse, och från att ha varit ett mått som rankade tidskrifter så kom den snart att användas även för att värdera enskilda artiklar eller forskare. JIF är än idag den mest inflytelserika och samtidigt det mest ifrågasatta bibliometriska indikatorn som dess användning vid utvärdering kritiserats i bland annat Doradeklarationen och Leidenmanifestet.

Garfields roll för bibliometrins utveckling kan inte nog framhållas, och stora delar av den forskning som bedrivs inom området skulle inte vara möjlig utan den databas som han skapade. Det är bara under senare år som seriösa konkurrenter till ISI (sedermera Web of Science, WoS) har lanserats genom Elseviers Scopus och i viss mån Google Scholar. Fortfarande görs dock en betydande del av all forskning inom bibliometrin med hjälp WoS, och den utgör också den standard mot vilken andra datakällor jämförs. Trots att WoS fortfarande är den dominerande datakällan så finns det ändå anledning att fundera över hur framtiden ser ut för citeringsdatabaserna mer generellt. Det finns flera tecken på att deras dominans alltmer utmanas av alternativa sätt att studera och utvärdera forskningen. Till exempel så har mått baserade på omnämnanden i sociala medier, så kallad altmetri, lanserats som en konkurrerande metod för att studera den vetenskapliga kommunikationen. Deras monopolställning utmanas kanske främst genom en utveckling mot en mer öppen vetenskap där referenser (och citeringar) blir direkt sökbara, och där möjligheter att söka i fulltext expanderar snabbt. Kanske var det sena 1900-talet höjdpunkten för citeringsdatabasen i den form som Garfield gav den, och Thomson Reuters beslut att under förra året sälja WoS kan måhända ses som ett tecken på att en gyllene era är över. Givetvis kommer Web of Science leva kvar som en mycket viktig källa för bibliometriska undersökningar där inte minst kvalitén på databasen och dess historiska täckning skiljer den från konkurrenterna, men den dominerande ställning som den en gång hade är nu förlorad. Detta till trots så var Science Citation Index en verkligt revolutionerande uppfinning på sin tid, och Garfields roll för den vetenskapliga kommunikationens utveckling kan inte ifrågasättas. Vidare framstår Garfields obändiga tro och optimism kring vetenskapens och informationens möjligheter minst lika relevant idag som för 60 år sedan, och jag är övertygad om Garfield i framtiden kommer räknas som en av informationsvetenskapens stora namn.

Bild: Chemical Heritage Foundation [CC BY-SA 3.0 (http://creativecommons.org/licenses/by-sa/3.0)%5D, via Wikimedia Commons

Det svenska bibliometriska landskapet

Publicerad den av
Svara

map

Röda rektanglar (högskolor), cirklar (universitet) och romber (specialiserade universitet och högskolor) indikerar lärosäten där bibliometri används, gröna de som ännu inte använder bibliometri för medelsfördelning.

Nästintill alla svenska lärosäten använder bibliometri, en rad olika indikatorer och mått är i bruk, och få verkar ha reflekterat kring vad det övergripande målet med dessa system är. Så kan resultaten från en studie som Pieta Eklund, Gustaf Nelhans, Fredrik Åström och jag nyss publicerat sammanfattas. Vi fann att bibliometri används vid 24 av 26 undersökta lärosäten, och fördelningen av medel sker på en rad olika nivåer: fakultet, institution och individ. Bara två lärosäten – Chalmers och Handelshögskolan i Stockholm – avstår från att använda bibliometri. Utan att ha exakta uppgifter kring bruket i andra länder så kan man med fog påstå att detta gör det svenska forskningssystemet till ett av de mest ”bibliometrifierade”. Det finns säkerligen flera anledningar till varför det ser ut på detta sätt, men vår studie pekar specifikt på det nationella system för medelsfördelning som infördes 2009 som en huvudorsak. Flera lärosäten anger också att medelstilldelningen inom lärosätet syftar till förbättra utdelningen i den bibliometriska omfördelning som sker nationellt.

Generellt används tre olika indikatorer vid svenska lärosäten: de som baseras på publikationer, de som använder sig av citeringar och de som bygger på en kombination av de båda. Vanligen väljer mindre högskolor publikationsbaserade indikatorer, inte sällan varianter av det norska systemet där olika publikationstyper ges poäng beroende på typ (tidskriftsartikel, monografi, bokkapitel) och nivå (1 eller 2). Vid de större universiteten är flera olika system parallellt i bruk, och endast Karolinska institutet och KTH fördelar medel enbart baserat på citeringar. Vid några lärosäten, till exempel Umeå, så används bibliometri för att fördela på flera nivåer: mellan fakulteterna, mellan institutioner och mellan individer. Medräknat den nationella nivån så kan alltså en enskild publikation räknas inte mindre än tre gånger, och till detta kan andra typer av mätningar och rankingar adderas.

Umeå

Illustration av system för medelstilldelning vid Umeå universitet (från Hammarfelt, Nelhans, Eklund och Åström, s. 9)

Förutom att kartlägga det utbredda användandet av bibliometriska indikatorer i Sverige så tittade vi också lite närmare på hur de introduceras, dokumenteras och appliceras. Då fann vi bland annat att:

  • bibliometriska fördelningsmodeller ofta införs med argumentet att de används av andra, eller så motiveras de utifrån utvärderingssystem på nationell nivå. Mer sällan ses fördelningsmodellerna som ett verktyg för att uppnå lärosätets egna målsättningar och visioner.
  • resursfördelningssystemen i allmänhet är illa dokumenterade och få, även på ledande administrativa positioner, verkar förstå hur de fungerar.
  • traditionella bibliometriska mått används, inget lärosäte begagnar sig av alternativa mätmetoder (t.ex. altmetri), och tillgänglighet (open access) räknas inte som meriterande i någon modell.
  • modeller som explicit utvecklats för att fördela resurser på aggregerade nivåer används för att utvärdera mindre grupper och i flera fall individer. Detta trots att bibliometrisk expertis relativt entydigt (se till exempel Leidenmanifestet) avråder från sådan användning.
  • vid ett par lärosäten belönas individuella forskare för publikationer där en artikel i ‘rätt’ tidskrift kan ge så mycket som 70.000 kr i tillskjutna forskningsmedel. En praktik som ger tydliga incitament, enligt mitt tycke, för tydliga.
  • vi förvånas över att dessa utvärderingssystem i mycket liten grad själva utvärderas. De införs, ofta utan något större förarbete, och sedan sker ingen uppföljning.

Avslutningsvis kan det konstateras att vi nu kanske nåt en bibliometrins höjdpunkt i Sverige, fler universitet och högskolor än någonsin tidigare använder sig av dessa mätmetoder, och flera har precis lanserat eller utreder möjligheten att införa prestationsbaserad resurstilldelning på bibliometrisk grund. Samtidigt är ett nytt nationellt utvärderingssystem under utredning, FOKUS, och skulle detta införas så lär säkerligen förändringar ske runtom på svenska lärosäten. För är det något denna studie visar så är det att trendkänsligheten är stor inom den svenska forskningsadministrationen.

Det danska undret och den svenska forskningspolitiken

Publicerad den av
1

Danskar

Under de senaste åren har trenden varit tydlig: Sverige presterar betydligt sämre än Danmark sett till forskningens internationella genomslagskraft (läs citeringar i Web of Science). Danmark presterar nu i klass med andra ledande europeiska nationer som Nederländerna och Schweiz, samtidigt som svensk forskning tappat mark från början av 1990-talet och framåt. Utvecklingen, som påvisats i flera undersökningar, illustreras bland annat i Vetenskapsrådets rapport Forskningens framtid!  där följande diagram som visar andelen högt citerade publikationer i jämförelse med världsgenomsnittet återfinns (s.12)

VR1534_Svensk-vetenskaplig-produktion_web

Dessa resultat har i en svensk kontext renderat i två centrala forskningspolitiska frågor: Hur kommer det sig att danskarna presterar så bra, och hur kan svensk forskning komma ikapp, eller till och med förbi? Den senare frågan har diskuterats flitigt under senare år. Den mest omfattande studien Fostering Breakthrough Research är författad av Gunnar Öquist och Mats Benner och de listar en rad olika förklaringar. Här återfinns också direkta förslag på hur svensk forskning kan förbättras. Några punkter som dessa författare trycker på är:

  1. Att andelen basanslag är högre i framgångsrika forskningsnationer som Danmark, Nederländerna och Schweiz.
  2. Universiteten i de mer framgångsrika länderna tar större ansvar för att själva bedöma och belöna kvalité’. Det akademiska ledarskapet är också starkare utvecklat och mer framåtblickande.
  3. Det svenska systemet saknar tydliga karriärvägar (tenure track) vilket däremot finns i Nederländerna och Schweiz.

Därtill pekar de på en rad andra faktorer som hämmande för utvecklingen av svensk forskning. Till exempel bristande rörlighet mellan lärosätena (mobilitet) och behovet av en ökad internationalisering av svensk forskning. Den starkaste slutsatsen från rapporten är dock att resurserna för forskning bör omdirigeras från externa projektanslag till basanslag.

Frågan kring svenska forskning och dess ställning internationellt har också varit ämnet för en serie radioreportage från Vetenskapsradion, där en rad framgångsrika länder – Nederländerna, Danmark och Schweiz – varit i fokus. Skillnader i forskarnas mobilitet, men också anställningsförhållanden är några av de faktorer som togs upp i programmen. Noterbart är att det i Danmark är lättare att få fast anställning, men att det också är lättare att som akademiker få sparken. En fördel med ett sådant system är att staplandet av tidsbegränsade projektbaserade anställningar i högre grad kan undvikas. Frågan är dock om ett sådant system är möjligt, eller ens önskvärt, i en svensk kontext där anställningstrygghet värderas högt.

De ambitiösa rapporter och utredningar som jämfört förhållandena i Sverige med förutsättningarna i mer framgångsrika nationer innehåller alla viktiga och relevanta synpunkter på hur svenska forskningspolitik bör bedrivas. Men trots att studierna i många fall är välförankrade i aktuell forskning så skulle jag vilja påstå att de till viss del ändå famlar i mörker. Det finns främst två anledningar till detta; för det första så är forskningsresultaten på området ofta motsägelsefulla och den reform som fungerar i en specifik kontext behöver inte göra det i en annan. Ty även om vetenskapen alltmer är internationell så är organisationen och finansieringen av densamma företrädesvis nationell. En annan begränsning är att en majoritet av alla analyser av relationen mellan forskningspolitiska reformer och vetenskapligt genomslag fokuserar på en eller kanske två faktorer, men förmodligen är det så att kombinationen av hur forskningen leds, organiseras, finansieras och utvärderas är av avgörande betydelse. Det forskningspolitiska systemet är mycket komplext, och vilket inflytande enskilda faktorer har är mycket svårt att fastställa.

I ett av de mer ambitiösa försöken att förstå den danska framgångssagan framhålls just den rätta kombinationen av flera faktorer som en möjlig förklaring, även om författarna avhåller sig från att ge några definitiva svar. Genom en omfattande studie av det danska forskningslandskapet visar Aagaard och Schneider (2015) hur dansk forskning kom till en vändpunkt under den senare delen av 1980-talet, och sen dess har kurvan pekat uppåt. Utan att peka på en specifik orsak så finner de flera potentiellt bidragande förändringar som ägde rum under 1980-talet och början av 1990-talet. Bland annat så stabiliserades balansen mellan basanslag och externa anslag, det institutionella ledarskapet stärktes, universiteten gynnades på bekostnad av statliga forskningsinstitut, det danska forskningsrådet etablerades och dokorandutbildningen formaliserades och stärktes. Dessa förändringar ledde sedermera till en ökad internationalisering av forskningen och konkurrensen om akademiska tjänster tilltog. Författarna är dock noga med att påpeka att Danmark också presterade väl runt 1980, och de poängterar att det knappast finns en specifik ‘winning formula’. Snarare är det så att receptet för ett gott forskningsklimat skiljer sig både över tid och rum, vilket gör det när omöjligt att direkt överföra den danska erfarenheten till en svenska kontext.

Med detta sagt så är det ändå klart att vi bör ta lärdom av framgångsrika exempel från andra länder, och baserade på dessa koka ihop ett recept som förhoppningsvis vänder Sveriges negativa trend. Kruxet verkar vara att hitta den rätta mixen i forskningssystemet där balansen mellan olika faktorer är avgörande. En reform som dock framstår som nödvändig utifrån kunskapssläget är att höja basanslagen, och detta är också ett förslag som lyfts i flera av de kommentarer (se bland andra RJs, Uppsala Universitets och SUHFs inspel) som duggar tätt inför den kommande forskningspropositionen. Av de tunga aktörerna så är det egentligen bara Vetenskapsrådet som inte lyfter fram frågan om ökade basanslag, utan de föreslår istället mer pengar till forskarinitierade projekt. Deras förslag, bäst karaktäriserat som ”mer av samma”, är märkligt givet att flertalet internationella jämförelser pekar just på den ökade ’projektifiering’ av svensk forskning som ett problem.

Exakt hur den framtida forskningspolitiken utformas återstår att se, men radikala förändringar är knappast att vänta. Att skynda långsamt, hur tråkigt det än må låta, är kanske ändå en förnuftig strategi. För om vi lärt oss något av det danska exemplet så är det att stabilitet över tid, tillsammans med tillräckliga ekonomiska resurser, är två grundläggande förutsättningarna för  ett gott forskningsklimat.

Bilder: Aftonbladet.se samt Vetenskapsrådets rapport Forskningens framtid!