Etikettarkiv: forskningspolitik

Den kvantifierade forskaren och vetenskapens likriktning

Publicerad den av
Svara

Fysikprofessorn Jorge E. Hirsch tvekade, var verkligen den relativt simpla metod för att utvärdera forskare som han skissat på något att publicera? I början på augusti 2005 bestämde sig Hirsch och skickade in det fyra-sidiga manuskript där det index som skulle bära hans namn beskrevs. Hirsch kreation var ett kombinerat mått som påstods mäta både produktivitet och inflytande, och för den som kvickt ville jämföra forskares prestationer så var indikatorns enkelhet lockande. H-indexet blev således snabbt mycket populärt, inte minst eftersom det var enkelt att räkna ut: h-index för en forskare är det antal publikationer (h) av forskaren som citerats minst (h) gånger. Den som författat 7 artiklar som citerats minst 7 gånger vardera har således ett h-index 7. Trots omfattande kritik har måttet fått en central position, om än omstridd, när forskare utvärderas. Rentav har h-index kommit att symbolisera en era präglad av ett stort fokus på mätning och utvärdering av vetenskapen och dess företrädare. Under senare år har också ett allt större vetenskapssociologiskt intresse riktats emot de effekter som det ständiga utvärderandet och mätandet får. Leder mätandet till genuint bättre kvalité på forskningen eller enbart till överproduktion av relativt meningslösa publikationer? Och hur formar utvärderingen karriärer och akademiskt arbete: Ger de goda incitament och neutrala spelregler, eller resulterat de i en individcentrerad tävlan efter mätbara prestationer som uppmuntrar till fusk och manipulering? Dessa frågor kommer dryftas nedan utifrån nedslag i en internationell diskussion kring mätningens konsekvenser inom akademin.

Även om h-indexet är ett relativt nytt påfund så är själva räknandet av publikationer inom akademin knappast något nytt. Tidiga exempel på hur akademiska lärare bedömts utifrån sina publikationsmeriter sträcker sig tillbaka till det moderna universitets födelse i Tyskland, och under det tidiga 1800-talet sägs ryska professorers lön ha varit direkt avhängig den årliga produktionen av vetenskapliga alster. Ursprunget till de mått som idag fått en stor betydelse kan dock spåras till 1970-talets början. Det var då Eugene Garfield, grundaren av Science Citation Index, lanserade det mått som fick namnet ”impact factor”, vilket i praktiken utgjorde en detaljerad rankning av tidskrifter baserat på hur ofta de citeras under en tvåårsperiod. Det sägs att forskare – innan resultaten fanns lättillgängliga på webben – flockades kring de anslagstavlor där de senaste uppdateringarna kring tidskrifternas noteringar annonserades. Journal Impact factor (JIF), som indikatorn kom att kallas, fick ett snabbt genomslag, och upprepade studier har visat hur forskare inte enbart väljer var de ska publicera sina rön utifrån detta mått, utan också vilken forskning de ska bedriva. Tidskrifterna själva basunerar ut eventuella förbättringar på sina hemsidor och tackar även de författare som bidragit till framgången genom att publicera sig i tidskriften. Slutsatserna från de studier som analyserat impact factorns påverkan är tydlig: Istället för att vara ett sätt att mäta om målet, i detta fall god forskningskvalitet, uppnåtts så har indikatorn blivit ett mål i sig. Det viktigaste för en forskares framtida karriär blir då inte att producera relevant och högkvalitativ forskning per se, utan att frambringa publikationer som kan publiceras i högt rankade tidskrifter.

I den inflytelserika boken What are Universities for? (Penguin Press 2012) liknar Stefan Collini effekterna av mätning och utvärdering vid etablerandet av ett ”Champions League” för universitet. Främst syftar han i detta sammanhang på den omfattande utvärderingsapparat – numera med namnet Research Excellence Framework (REF) – som brittisk akademi regelbundet utsätts för. Omfattningen av REF har ökat genom åren och innehåller numera även delar som söker mäta forskningens samhälleliga påverkan. Själva selekteringen av de verk som ska bedömas är nyckeln för den institution som vill påverka sin rankning. Det kan exempelvis vara taktiskt att bara välja de allra bästa publikationerna, det vill säga de alster som publicerats av topprankade tidskrifter och förlag. Detta i sin tur leder enligt kritikerna till en uppdelning av forskare i ett A- och ett B-lag, där de förstnämnda är de vilkas publikationer räknas och värderas. Eftersom professorer med många “excellenta” publikationer blir särskilt värdefulla har även en sorts transfermarknad för akademiker etablerats. Konsekvenserna för den enskilda forskarens karriär och för de enheter som bedöms kan vara betydande. Men utvärderingen förändrar inte bara vem som forskar, utan också vad det forskas på. Val av ämne, problem, metod, och teoretisk inramning påverkas av hur utvärderingenssystemen är konstruerade: Ett tydligt exempel, också detta från brittisk akademi, är hur forskare och vetenskapliga projekt som sträcker sig över disciplinära gränser tenderar att missgynnas.

Just de epistemologiska effekterna av utvärderingen står i centrum för Juan Pablo Pardo-Guerras ingående studie The Quantified Scholar: How Research Evaluations Transformed the British Social Sciences (Columbia University Press 2022). Här studeras förändringar inom samhällsvetenskapernas ämnesmässiga orientering under mer än 30 år, och hur dessa kan relateras till det omfattande utvärderingsmaskineri som präglat brittisk akademi. Dock ska det betonas, som Pardo-Guerra gör, att det är de institutioner som strävar uppåt som starkast tar intryck av utvärderingssystem och rankinglistor. Kända och välrenommerade universitet som Cambridge eller Oxford befinner sig redan på toppen av statushierarkin och behöver därmed inte den bekräftelse som rankningar av olika slag erbjuder. Slående i all den litteratur som studerar utvärderingarnas och mätandets effekter är hur de nästan alltid tenderar att förstärka vedertagna hierarkier. Detta är dock knappast förvånande med tanke på att traditionell peer review och även citeringar tar sin utgångpunkt i en redan existerande prestigeekonomi inom vetenskapen.

Det verkligt nydanande i Pardo-Guerras ambitiösa ansats är att den kombinerar storskaliga studier avseende disciplinära förändringar i ämnesvokabulären med mer kvalitativa metoder. Detta möjliggör en djupare förståelse av hur utvärderingssystemen påverkar inriktning och fokus inom specifika fält och discipliner. En genomgående slutsats är att utvärderingen resulterat i en ökad homogenisering av forskningens innehåll där institutioner exempelvis inom sociologi tenderar att alltmer likna varandra. Oron för en tilltagande likriktning av vetenskapen har hitintills främst dryftats bland humanister och delar av samhällsvetenskapen. Särskilt har förändringar i hur forskningen kommuniceras – där en ökande andel av engelskspråkiga artiklar framhållits – betraktas som en gradvis förlust av humanioras särart till förmån för de traditioner som präglar samhälls- och naturvetenskap. För Pardo-Guerras undersökning står dock förändringar gällande ämne, teori och metod i centrum. En starkt bidragande orsak till likriktningen är det brittiska utvärderingssystemet fokus på excellens där excellens främst förstås som publikationer i topptidskrifter. Dessa, ofta amerikanska, tidskrifter är i sin tur mycket selektiva i vad de publicerar och för att kvalificera sig så behöver forskningen därför ligga nära en tänkt disciplinär kärna. Liknande observationer, då i en svensk kontext, har gjorts av Anders Hylmö, i Disciplined Reasoning: Styles of Reasoning and the Mainstream-heterodoxy Divide in Swedish Economics (Lund 2018).Inom nationalekonomin är fokus på ett antal topptidskrifter – ibland kallade “de fem stora”– än mer uttalat och de normer som gäller för dessa styr de frågor som ställs och de metoder som används. Tesen om en tilltagande homogenisering av ämnesval och därmed också ett stärkande av disciplinära gränser framstår som väl underbyggd i flera nationella och disciplinära kontexter. Däremot är det svårare, för att inte säga direkt omöjligt att finna direkta kausala kopplingar mellan specifika system för utvärdering, och epistemologiska förändringar i forskningens inriktning. Då vetenskapen är situerad i ett vidsträckt utvärderingslandskap som sträcker sig över både land- och disciplingränser blir det snart omöjligt att urskilja effekten av ett specifikt system. Frågan är alltså om den likriktning som Pardo-Guerra observerar är unik för brittisk akademi, eller som det snarare är ett fenomen som präglar vetenskapen i stort. Dock är det uppenbart att mätandet och utvärderandet, oavsett kontext, leder till att mer produceras av det som räknas, och mindre av det som inte räknas.

Hur kan då mångfalden bevaras och den ökade likriktningen hejdas? I detta hänseende framhåller Pardo-Guerra det lokala akademiska ledarskapet som särskilt betydelsefullt för de effekter som utvärderingen kan tänkas få. När chefer anammar mätandet i den dagliga styrningen av verksamheten leder detta till en ökad påverkan på forskningens fokus. Akademiska ledare som däremot medvetet mildrar utvärderandets effekter kan begränsa effekten av indikatorer och externa utvärderingar. Liknande slutsatser drar Johan Söderlind i sin avhandling A Metric Culture in Academia: The Influence of Performance Measurement on the Academic Culture of Swedish Universities (Kungliga Tekniska högskolan, 2020). Det visar sig nämligen att många chefer intar en medlande position då de kontextualiserar och modifierar specifika indikatorer (exempelvis citeringar eller publiceringspoäng) för att kunna använda dem i ett specifikt syfte. Dessutom verkar det vara så att akademiska chefer ofta litar på sin egen erfarenhet av exempelvis bibliometriska mått när de bedömer deras användbarhet. En övergripande slutsats är att prestationsmått – både gällande utbildning och forskning – betraktas som viktiga och användbara, men enligt de akademiska ledare som Söderlind intervjuat så spelar de sällan en direkt avgörande roll när beslut fattas.

Att utvärdering får effekter är knappast förvånande. Att indikatorer och rankningar inbjuder till strategisk manipulering eller rentav fusk torde inte heller vara någon större överraskning. Otaliga exempel finns dokumenterade i litteraturen, och ett av dessa är Ike Antkare som 2010 var en av de mest citerade forskarna i världen. Med ett h-index på 94 i Google Scholar så placerade han sig förre storheter som Albert Einstein och Alan Turing på listan över de som flitigast referats av andra. Antkare – vars namn ska uttydas “Jag bryr mig inte” på engelska – var dock en påhittad figur. Alla de publikationer som räknades denna fiktiva författare tillgodo hade genererats av ett dataprogram, och därefter accepterats av en uppsjö av tvivelaktiga konferenser och tidskrifter. Exemplet Antkare bör kanske i likhet med många liknande bluffar främst ses som ett raffinerat spratt med de mer tveksamma delar av den akademiska publiceringsindustrin. Samtidigt illustrerar de hur enkelt det är att lura systemet, och manipulationer sker ständigt: Den opportunistiska forskaren kan höja sitt index med hjälp av överdrivet självciterande, den sluge redaktören bilda en citeringskartell, och ett universitet kan rekrytera högt citerade forskare bara för att på så sätt stiga i de omtvistade, men ack så inflytelserika rankningarna av lärosäten. Flera av dessa tvivelaktiga och ibland rent bedrägliga beteenden diskuteras i antologin Gaming the Metrics: Misconduct and Manipulation in Academic Research (MIT Press 2020) där Mario Baigioli och Alexandra Lippman samlat en rad bidrag på temat fusk och manipulering. En gemensam ambition från flera författare i denna volym är att visa på hur en akademi som är allt mer fokuserad på mätning också resulterar i en rad nya sätt på vilken aktörer kan fiffla och luras för att tillskansa sig en fördel. Akademins hierarkier är trögrörliga och för den forskare, tidskrift, eller för den delen det lärosäte som snabbt vill höja sitt anseende utgör manipuleringen av publikations- och citeringsmått en möjlighet att snabbt avancera. Om fusk tidigare främst rörde tillblivelsen av forskning genom exempelvis fabrikationen av data, så rör dessa nya tvivelaktiga praktiker även själva publiceringen och dess mottagande i forskarsamhället.

Det mest oroande är dock inte de exempel på riktiga fuskare eller de raffinerade akademiska spratt som återges i antologin. Visst är den tjeckiska forskare som skapade en hel rad av internationella blufftidskrifter i vilka han publicerade artiklar samförfattade med påhittade forskare upprörande, och exemplen – likt Antkare – på hur system kan manipuleras är både underhållande och illustrativa. Men verkligen bekymmersamt är hur gränsen mellan legitim manövrering utifrån de incitament som mått och indikatorer ger och ren cynisk manipulation alltmer ser ut att suddas ut. Exempelvis kan framväxten av tvivelaktiga tidskrifter (ibland kallade rovdjurstidskrifter) ses som avhängig en logik där publicering i internationella tidskrifter utgör en nu snart universell mall för akademisk framgång. För dem som inte har tillgång till de prestigefyllda titlar som tillhandahålls av stora kommersiella förlag blir mer dubiösa initiativ attraktiva. Som Sarah de Rijcke och Tereza Stöckelova hävdar i sitt bidrag: De tveksamma tidskrifterna utgör inte en motpol till de stora förlagen, snarare drar de en kommersiell logik – där internationell excellens och prestige är det främsta säljargumentet – till sin yttersta spets. Vårt fokus bör alltså inte ligga på att urskilja enskilda fuskare. Snarare är det den akademiska spelplanen i sig som behöver reformeras.

Hur kan då detta ske och vilket hopp finns för en verksamhet som är så pass marinerad i mått, indikatorer och utvärderingssystem? Ett första steg för att åstadkomma förändring är att fundera på hur vi hamnade i denna situation. Guerra-Pardo framhåller att vi inte kan reducera fenomenet av den kvantifierade forskaren till ett senmodernt nyliberalt påfund, även om flera styrningsmodeller säkerligen hämtat inspiration från sådana idéströmningar. Inte heller kan forskarsamhället enbart skylla alla dessa mått och indikatorer på utomstående, snarare har vi själva – likt Hirsch – både skapat mått och indikatorer och dessutom låtit dem få den stora betydelse de nu har. Ett erkännande av vetenskapssamhällets eget ansvar bär också på insikten att forskarna själva har stora möjligheter att verka för förändring. Den betydande kritiken mot mätandet och dess konsekvenser har också resulterat i en rad förslag på hur forskningen kan befrias från ”mätandets tyranni”. Ett svar formulerat av ledande bibliometriker har varit att det inte är metoderna och måtten i sig som är problematiska utan hur de (miss)brukas. Lösningen, enligt exempelvis författarna av volymen Becoming Metric Wise (Chandos Publishing 2018) är istället mer avancerade indikatorer och större expertis. Vi behöver inte mindre mått, utan bättre sådana. Emot en sådan ståndpunkt kan det anföras att fler än 100 olika indikatorer för att mäta enskilda forskares produktivitet utvecklats bara under senare år. Jakten på det perfekta måttet, den mest raffinerade indikatorn kommer att fortsätta, men det är knappast någon lösning på de problem som skisserats ovan. En mer skeptisk hållning, ofta inspirerad av en allmän kritik av mätningens effekter såsom den finns formulerad i exempelvis Jerry Mullers The Tyranny of Metrics (Princeton University Press 2018), eller för den delen i Jonna Bornemarks Det omätbaras renässans (Volante 2018), argumenterar snarare för ett avskaffande av bibliometriska mått överhuvudtaget. Ett sådan position intar exempelvis Olof Hallonsten i en nyligen publicerad artikel med den talande titeln ”Stop evaluating science” där han utifrån en historisk och vetenskapssociologisk analys menar att mätandet är direkt skadligt för vetenskapens autonomi och framåtskridande. En tredje ståndpunkt i denna debatt landar i vad som kan betecknas som en realistisk kompromiss. Utgångspunkten för denna position, som vi kan kalla reformistisk, är att bibliometriska indikatorer bör användas med försiktighet och med en ständig medvetenhet om den kontexten där de appliceras. Det så kallade Leidenmanifestet (2015) förespråkar ett sådant synsätt, och dylika tankar har också fått fäste inom EU där en reformation av hur forskning utvärderas har kopplats till en bredare agenda kring öppen vetenskap. Även Pardo-Guerra syns förespråka ett reformistiskt förhållningssätt, där särskilt kollegial tillit och solidaritet framhålls som centrala för att motverka utvärderingsmaskineriets negativa konsekvenser.

När Hirsch långt senare reflekterade över h-indexets genomslag så fann han en parallell i Goethes litterära ballad om Trollkarlens lärling. Det mått han uppfunnit var nu utanför upphovsmannens kontroll och dess effekter var större än Hirsch någonsin kunnat ana. En liknande uppgivenhet kan säkert många uppleva då de ställs inför den uppsjö av utvärderingar och mätningar som präglar den nutida vetenskapen. Det finns dock hopp. För även om kvantifieringen av forskningen svårligen kan stoppas helt så finns det tydliga tecken på en kritisk agenda fått allt större gehör. Kanske är det trots allt möjligt att bryta kvantifikationens förtrollning.

Denna text är en utökad version av artikeln ”Vetenskaplig variant av jakten på retweets” SvD Under strecket, 1/3 2023.

Annons

En vetenskap i kris? Ambivalent skildring av svensk forskning i Hanne Kjöllers bok

Publicerad den av
Svara

Ska vi tro de senaste årens inlägg i den forskningspolitiska debatten så befinner sig svensk akademi i en djupgående och flerdimensionell kris. Jag ska här inte bedöma sanningshalten i påståendet om existensen av en sådan kris, utan snarare konstatera att förklaringarna till problemen med svensk forskning ser relativt olika ut beroende på vem som formulerar kritiken. Tre huvudargument återfinns i debatten: det förstnämnda rör Sveriges position internationellt där vi i jämförelse med andra ledande forskningsnationer – läs Danmark – producerar färre högt citerade publikationer. Enligt denna beskrivning så har svensk forskning tappat i genomslagskraft, vi producerar för lite “toppforskning”. Ett annat argument är att forskningen inte är relevant nog, vilket är ett resonemang som ofta anförs från näringslivshåll, och då i andemeningen att forskningen inte i tillräckligt hög grad bidrar till innovation, utveckling och ekonomisk tillväxt. Varianter på samma tema förekommer också i inomvetenskapliga diskussioner där exempelvis Alvesson, Gabriel och Paulsen (2017) tes kring forskningens “meningslöshet” rönt en del uppmärksamhet . Den mest synliga argumentationslinjen på senare tid rör dock snarare vetenskapens politisering, och de som för fram dessa argument menar att andra mål för forskningspolitiken, som jämställdhet, inverkar menligt på akademins trovärdighet och kvalitet.

Oavsett hur vi förhåller oss till dessa “kriser” så finns det onekligen ett behov att sammanhållet diskutera och kritiskt granska både akademi och forskningspolitik, och gärna då med en bred ansats. Att ledarskribenten Hanne Kjöller nu vänder blicken mot den svenska forskningspolitiken är därför glädjande, inte minst då en kritisk journalistisk granskning av forskningen, en mångmiljardindustri som till stora delar är finansierad genom skattemedel, länge har saknats. En anledning är troligtvis att forskningspolitiken är ett komplext, och ibland motsägelsefullt fält som är svåröverblickbart. Dessutom har, som Kjöller också skriver, journalister ofta förhållit sig relativt hovsamt inför forskarsamhället. Hennes bidrag, “Kris i forskningsfrågan. Eller: vad fan får vi för pengarna” är således ett välkommet och uppfriskande inlägg i den forskningspolitiska debatten.

I sin skildring av forskningens problem så rör sig Kjöller från det lilla till det stora, från enskilda studier och de premisser som motiverar dem till strukturella och globala problem kring incitamentsstrukturer och publiceringsmönster Kjöllers styrka ligger uppenbart på det medicinska området där hennes fokus på medborgarnas och patienternas perspektiv är originellt och intresseväckande. Givetvis kan angreppsättet anklagas för att medvetet välja ut några enskilda projekt för att sedan låta dessa stå som exempel för en generell utveckling. Samtidigt är tillvägagångsättet effektfullt och det genomsyras av ett genuint intresse av att förstå forskningens hantverk och skildringen ger läsaren god inblick i processer och överväganden som sällan beskrivs utanför akademin.

Överlag gör Kjöller en stor poäng av den så kallade reproducerbarhetskrisen inom vetenskapen, och här är det framförallt John Ioannidis och hans omfattande granskningar av främst medicinsk forskning som hon stödjer sig på. Att betydande delar av exempelvis den psykologiska och medicinska forskningen är svår att reproducera är givetvis ett stort problem. Samtidigt är det väl drastiskt att hävda att den forskning som inte kan reproduceras är falsk, vilket Kjöller gör med stöd av Ioannidis. Utmaningarna med att reproducera forskning har studerats utförligt av vetenskapssociologer och de främsta orsakerna är sällan medvetet fusk. Problemet är snarare kopplat till bristfälliga beskrivningar av metod och svårigheter med att helt återskapa de förutsättningar som gällde vid den ursprungliga undersökningen. Det finns även de som menar att idén om en ‘reproducerbarhetskris‘ riskerar att leda till forskningspolitiska åtgärder som inte gagnar vetenskapen. Med detta sagt så står det klart att det finns starka incitament för forskare att överdriva sina resultat genom att exempelvis använda tveksamma statistiska metoder (så kallat p-hackande), eller genom att plocka ut den empiri som stöder en viss tes, och bortse från data som motsäger det önskvärda resultatet. Dessutom är få forskare motiverade att granska andras resultat då reproducerbarhetsstudier är svårpublicerade, och de tillmäts mindre prestige än originalstudier.

När Kjöller lyfter blicken och ger sig ut för att diskutera de stora forskningspolitiska frågorna så navigerar hon i ett mer komplext landskap, och inte sällan hamnar hon i motsägelsefulla positioner. Exempelvis så lyfts argumentet ovan: att Sverige halkar efter jämförbara länder gällande antalet publikationer och citeringar som ett tecken på en vetenskap i kris. Samtidigt skriver Kjöller, på annat håll, att det är just denna publikations- och citeringsjakt som gör att forskarna producerar ”meningslös” forskning. (För en vidare diskussion kring bibliometrisk utvärdering så rekommenderas Olof Hallonstens recension av Kjöllers bok). Satsningar mot inomvetenskaplig ”excellens” går inte alltid hand i hand med ökad relevans utanför akademin, och potentiellt sätt kan en satsning på excellent forskning – så att vi kan klå danskarna – göra att mer samhällstillvänd forskning nedprioriteras. En annan fråga där Kjöller famlar rör politikens inflytande över forskningen. I delar argumenterar hon för större statlig styrning, men stundtals anförs just politisk påverkan som ett problem (s. 134). Även kring genus tycker jag mig skönja en ambivalens, och till skillnad från de aspekter som diskuteras ovan så är denna motsägelse inget som Kjöller själv uppmärksammar. Kritiken mot genusvetenskap och jämställdhetsintegrering som nu sägs utgöra ett av de stora hoten mot svensk akademi får förvisso relativt liten uppmärksamhet i boken, men samtidigt är det uppenbart att Kjöller sållar sig till den skara som ser dessa påfund som ett hot. Intressant nog är just genusperspektivet, även om hon inte tematiserar detta, något hon själv lyfter i kapitlet kring den medicinska forskningen. Särskilt tydligt blir det i Kjöllers berättigade fråga varför inte fler studier gjorts kring förlossningsskador – trots att dessa drabbar många patienter, och då inte sällan med varaktiga och kännbara konsekvenser. Det uppenbara svaret, även för den som inte är genusvetenskapligt skolad, är att mer forskning inte genomförts just därför att patienterna i detta fall är kvinnor.

En orsak till att Kjöller ofta framstår som ambivalent i sin argumentation är att hon i stor utsträckning förlitar sig på en grupp av väletablerade debattörer inom den högre utbildningen och forskningen. Tyvärr är det inte alltid så att den kompetens och insikt som dessa har i forskningspolitiska spörsmål motsvarar deras höga svansföring. Exempelvis så får litteraturvetaren Peter Luthersson uttala sig om ”citeringskarteller” och hävda att detta handlar om enskilda forskare som ingått någon slags pakt om att referera till varandra. Men de ”karteller” som avslöjats, och givit namn till fenomenet, rör ett intrikat spel på tidskriftsnivå, och idén om pakter mellan enskilda forskare har inte belagts. På liknande vis framhålls Erik Ringmar, en statsvetare vars främsta tema är akademisk frihet, som expert på forskningspolitik. Ringmar hävdar exempelvis att några få forskare står för en stor andel av antalet citeringar till svenska publikationer (s. 110). Han har förvisso rätt i att en liten grupp forskare står som mottagare till en stor andel av alla citeringar, men denna skeva fördelning av berömmelse och erkännande återfinns i vetenskapen överlag, och kan inte tolkas som ett tecken på att svensk forskning är särskilt utsatt. Överlag förlitar sig Kjöller lite väl ofta på en senior kader av akademiska tyckare, och inte minst så ges hennes kollegor bland ledare- och kulturskribenter gott om utrymme. Svenska historiker, sociologer, statsvetare och andra forskare inom kunskapsproduktion, vetenskaplig kommunikation och forskningspolitik hade med fördel kunnat konsulteras i högre utsträckning, även om citat från dessa säkerligen varit mindre iögonfallande.

När Kjöller förlitar sig på en mer heterogen uppsättning av källor tenderar argumenten att bli tydligare och mer framåtblickande. Särskilt i frågan om öppen tillgång till forskning så är hennes position övertygande och underbyggd. Givetvis är det uppseendeväckande att allmänheten inte har tillgång till den forskning som det offentliga finansierat, och de stora förlagens vinstmarginaler är gravt provocerande. Måhända överdriver hon dock sin upptäckt något då rörelsen mot öppen tillgång (open access) har en lång historia, och omställningen till ett öppet system nu går allt snabbare. De initiativ som faktiskt tas i denna riktning – exempelvis genom det europeiska initiativet Plan S – kunde också ha behandlas lite utförligare. Nyligen utförda undersökningar visar också att upp emot 70% av den forskning som produceras vid ledande universitet nu är öppet tillgänglig. Det betyder inte att vägen till en öppen vetenskap är utan hinder, men betydande steg har tagits.

Om det i delar går att kritisera Kjöllers val av källor så bör hennes förhållningssätt till dessa i flera fall lovordas. Hon behandlar rätteligen inlägg från olika aktörer, exempelvis lärosätenas argument för mer basanslag och vetenskapsrådets ständiga plädering för fria projekt som kungsvägen mot bättre forskning, som partsinlagor. Förslaget om ett oberoende organ för analys av forskning och högre utbildning – likt de som finns i flera grannländer – ligger i linje med detta synsätt, och det är onekligen besynnerligt att ett sådant inte redan etablerats i Sverige. Även partipolitiskt lyckas Kjöller, i någon mån, upprätthålla en balans även om socialdemokraterna kritiseras mer frekvent jämfört med den borgerliga sidan. En intressant iakttagelse som hon gör i detta sammanhang är att själva omsvängningarna i politiken, snarare än innehållet i reformerna, kan ha inverkat skadligt på den svenska forskningen. Denna slutsats har också visst stöd i litteraturen då den danska forskningens framgångar förklarats just av långsiktiga spelregler snarare än reformiver.

Om ambitionen med “Kris i forskningsfrågan” är att – i likhet med makarna Myrdals berömda verk som parafraseras i titeln – skissera ett program för framtidens forskningspolitik så kan boken knappast ses som något annat än ett misslyckande. Snarare än att peka ut en riktning så framstår Kjöller som kluven inför flera av samtidens centrala forskningspolitiska problem, och denna rådvillhet är också något hon själv tematiserar. Nyckelfrågor förblir obesvarade: bör politikerna styra forskningen i högre grad? Ska en större andel av resurserna satsas på applicerbar forskning, eller bör fokus ligga på grundforskningen? Behövs ytterligare kontroll och utvärdering av forskningen, eller är det ständiga mätandet i själva verket en bidragande orsak till den “kris” som skisseras? Kjöller har inget facit, och kanske är det inte heller att förvänta då någon enighet kring dessa frågor knappast råder bland forskare och experter på området.

Dock, om vi för stunden bortser från de braskande rubrikerna, och det höga tonläget som stundtals präglar framställningen, så går det att göra en betydligt intressantare och välvilligare läsning av “Kris i forskningsfrågan”. En sådan läsning fokuserar inte på de delar där skarpa formuleringar och svepande generaliseringar görs, utan på det utforskande tillvägagångsätt som också präglar framställningen. Kjöller reflekterar över sin egen osäkerhet och den utmaning det innebär att försöka greppa forskningens komplexa system, och just denna öppenhet för motsägelser och svårigheter är för mig en av bokens stora tillgångar. Även om få entydiga svar ges, så lyckas Kjöller väl med att ringa in centrala och brådskande frågor kring forskningens framtid. Förhoppningsvis kan hennes insats resultera i att fler journalister vågar ge sig in i forskningspolitikens “snåriga djungel”. Kris eller ej, så finns här mycket att granska, kritisera och diskutera.

Denna text är en omarbetad och utökad version av en recension i Respons 2020, nr 6.

Om engelskan som vetenskapsspråk(et)

Publicerad den av
2

brueghel-tower-of-babel

I 1700-talets Sverige kom svenskan alltmer att ersätta latinet som det ledande språket för vetenskaplig publicering. En förändring som kan relateras till ett allt större fokus på vetenskapen som en nationell angelägenhet. Under 1900-talet har vi sett en motsatt rörelse där nationella språk ersätts av engelskan när vetenskapens internationella, för att inte säga globala, karaktär betonats. Den ökande dominansen av engelska som vetenskapens ”lingua franca” är ämnet för en doktorsavhandling, Languages and linguistic exchanges in Swedish academia, som försvaras vid Stockholms Universitet idag. I fyra delstudier behandlar Linus Salö flera aspekter av engelskans inflytande. Den första studien handlar om hur debatten i Sverige alltmer kom att handla om hur svenskan förlorade mark gentemot engelskan inom politik, vetenskap och näringsliv. Därpå följer en undersökning av språk och makt inom två discipliner: psykologi och historia. I den tredje delstudien studeras språkanvändning i fysik och datavetenskap, men här är inte formella publikationer i fokus utan kommunikation mer generellt. I ett avslutande kapitel så tittar sedan Salö på hur nya språkpraktiker utvecklas när forskare ”tvingas” överföra kunskapsstoff från engelska till svenska. Avhandlingen erbjuder flera givande ingångar till frågeställningen om engelskans betydelse, och särskilt imponerande är hur Salö kombinerar metodologisk eklekticism med teoretiskt stringens.

Speciellt intressant från en bibliometrisk och forskningspolitisk horisont finner jag de resultat som pekar på hur försvaret för svenskan också blir ett sätt att upprätthålla sin egen position. De som länge ”investerat” i svenskspråkiga publikationer vill givetvis inte se att värdet på dessa devalveras. I den bourdieuska tradition som avhandlingen bygger på blir alltså frågan om språk också en illustration av strider inom en domän där etablerade praktiker utmanas, och i exemplet psykologi kom en svenskspråkig tradition att nästintill helt ersättas av publicering på engelska. I historia – där debatten kring svensk- kontra engelskspråkig publicering är högst aktuell – kan motsättningarna delvis förstås som en generationskonflikt där yngre forskare utmanar etablerade maktstrukturer. Samtidigt hävdar Salö, med stöd bland annat av Sarah de Rijckes och min studie av publiceringspraktiker inom humaniora, att ett ökat fokus på bibliometriska mått accentuerar engelskans betydelse. Sammantaget visar delstudien att språkfrågan måste förstås i en större kontext där framförallt makten över kunskapsproduktionen och publiceringskanalerna utgör viktiga aspekter.

Salö konstaterar att språkanvändning inom vetenskapen inte kan reduceras till enbart publikationer. Istället måste vi förstå språkets roll i en bredare kontext. Han visar bland annat att svenskan fortfarande spelar en betydande roll som arbetsspråk även i discipliner, som systemvetenskap och fysik, där nästintill alla vetenskapliga publikationer författas på engelska, och tvärtemot gängse föreställningar så kan forskare inom dessa discipliner beskriva även avancerad forskning på sitt modersmål. På liknande sätt kan vi ifrågasätta uppfattningen att humanister som främst publicerar på svenska för den sakens skull inte influeras av engelskans dominans. Till exempel så visar bibliometriska undersökningar att  svenskspråkiga publikationer och forskningsansökningar inom litteraturvetenskap i hög grad refererar till engelskspråkiga publikationer. Att svenska litteraturvetare i allt större utsträckning förlitar sig på engelska källor men skriver på svenska kan dock i förlängningen utgöra ett problem. För vad innebär det egentligen för ett forskningsfält att de kollegor man refererar till med största sannolikhet aldrig kommer läsa det man skrivit? Lite provokativt skull det kunna uttryckas på följande vis: det finns en risk att forskare som enbart publicerar sig på svenska blir uttolkare, introduktörer och översättare av verk och teoribildningar som lanserats i den engelskspråkiga forskningen, men själva bidrar man i liten grad till det internationella inomvetenskapliga samtalet. Samtidigt kommer det dock vara fortsatt mycket viktigt för discipliner som litteraturvetenskap och historia att kommunicera på svenska till en bred publik bestående av kollegor, studenter och allmänhet. Incitamentsstrukturer på individnivå och bibliometriska fördelningsmodeller bör alltså explicit gynna forskare som både riktar sig till internationella kollegor och till en inhemsk publik.

Svenska samhällsvetare och humanister behöver ständigt fundera på vilket språk som är lämpligt beroende på det syfte och den målgrupp som forskningen har. Språkfrågan kommer alltså även i fortsättningen debatteras, men förtjänsten med Salös avhandlingen är att den hjälper oss förstå hur komplext och mångfacetterat problemet är. Att andra aspekter än omsorgen om svenskan spelar in i denna diskussion är uppenbart, och etablerade föreställningar kring språkanvändningen i specifika discipliner behöver onekligen problematiseras. Salö hävdar avslutningsvis att engelskans värde på den akademiska marknaden bara tenderar att öka, samtidigt som svenskan ser ut att tappa ytterligare marknadsandelar. Förmodligen ligger det mycket i denna iakttagelse men det finns kanske ändå ett hopp för vetenskapssvenskan. Den digitala utvecklingen och framväxten av svenskspråkiga onlinetidskrifter kan kanske rentav dämpa engelskans dominans, och ett större forskningspolitiskt fokus på samhällelig relevans ( ”social impact”) pekar möjligtvis också i denna riktning.

Bild : Pieter Brueghel den äldre (1525/1530 – 1569). ”Babelstorn” https://commons.wikimedia.org/w/index.php?curid=22179117

Det svenska bibliometriska landskapet

Publicerad den av
Svara

map

Röda rektanglar (högskolor), cirklar (universitet) och romber (specialiserade universitet och högskolor) indikerar lärosäten där bibliometri används, gröna de som ännu inte använder bibliometri för medelsfördelning.

Nästintill alla svenska lärosäten använder bibliometri, en rad olika indikatorer och mått är i bruk, och få verkar ha reflekterat kring vad det övergripande målet med dessa system är. Så kan resultaten från en studie som Pieta Eklund, Gustaf Nelhans, Fredrik Åström och jag nyss publicerat sammanfattas. Vi fann att bibliometri används vid 24 av 26 undersökta lärosäten, och fördelningen av medel sker på en rad olika nivåer: fakultet, institution och individ. Bara två lärosäten – Chalmers och Handelshögskolan i Stockholm – avstår från att använda bibliometri. Utan att ha exakta uppgifter kring bruket i andra länder så kan man med fog påstå att detta gör det svenska forskningssystemet till ett av de mest ”bibliometrifierade”. Det finns säkerligen flera anledningar till varför det ser ut på detta sätt, men vår studie pekar specifikt på det nationella system för medelsfördelning som infördes 2009 som en huvudorsak. Flera lärosäten anger också att medelstilldelningen inom lärosätet syftar till förbättra utdelningen i den bibliometriska omfördelning som sker nationellt.

Generellt används tre olika indikatorer vid svenska lärosäten: de som baseras på publikationer, de som använder sig av citeringar och de som bygger på en kombination av de båda. Vanligen väljer mindre högskolor publikationsbaserade indikatorer, inte sällan varianter av det norska systemet där olika publikationstyper ges poäng beroende på typ (tidskriftsartikel, monografi, bokkapitel) och nivå (1 eller 2). Vid de större universiteten är flera olika system parallellt i bruk, och endast Karolinska institutet och KTH fördelar medel enbart baserat på citeringar. Vid några lärosäten, till exempel Umeå, så används bibliometri för att fördela på flera nivåer: mellan fakulteterna, mellan institutioner och mellan individer. Medräknat den nationella nivån så kan alltså en enskild publikation räknas inte mindre än tre gånger, och till detta kan andra typer av mätningar och rankingar adderas.

Umeå

Illustration av system för medelstilldelning vid Umeå universitet (från Hammarfelt, Nelhans, Eklund och Åström, s. 9)

Förutom att kartlägga det utbredda användandet av bibliometriska indikatorer i Sverige så tittade vi också lite närmare på hur de introduceras, dokumenteras och appliceras. Då fann vi bland annat att:

  • bibliometriska fördelningsmodeller ofta införs med argumentet att de används av andra, eller så motiveras de utifrån utvärderingssystem på nationell nivå. Mer sällan ses fördelningsmodellerna som ett verktyg för att uppnå lärosätets egna målsättningar och visioner.
  • resursfördelningssystemen i allmänhet är illa dokumenterade och få, även på ledande administrativa positioner, verkar förstå hur de fungerar.
  • traditionella bibliometriska mått används, inget lärosäte begagnar sig av alternativa mätmetoder (t.ex. altmetri), och tillgänglighet (open access) räknas inte som meriterande i någon modell.
  • modeller som explicit utvecklats för att fördela resurser på aggregerade nivåer används för att utvärdera mindre grupper och i flera fall individer. Detta trots att bibliometrisk expertis relativt entydigt (se till exempel Leidenmanifestet) avråder från sådan användning.
  • vid ett par lärosäten belönas individuella forskare för publikationer där en artikel i ‘rätt’ tidskrift kan ge så mycket som 70.000 kr i tillskjutna forskningsmedel. En praktik som ger tydliga incitament, enligt mitt tycke, för tydliga.
  • vi förvånas över att dessa utvärderingssystem i mycket liten grad själva utvärderas. De införs, ofta utan något större förarbete, och sedan sker ingen uppföljning.

Avslutningsvis kan det konstateras att vi nu kanske nåt en bibliometrins höjdpunkt i Sverige, fler universitet och högskolor än någonsin tidigare använder sig av dessa mätmetoder, och flera har precis lanserat eller utreder möjligheten att införa prestationsbaserad resurstilldelning på bibliometrisk grund. Samtidigt är ett nytt nationellt utvärderingssystem under utredning, FOKUS, och skulle detta införas så lär säkerligen förändringar ske runtom på svenska lärosäten. För är det något denna studie visar så är det att trendkänsligheten är stor inom den svenska forskningsadministrationen.

Det danska undret och den svenska forskningspolitiken

Publicerad den av
1

Danskar

Under de senaste åren har trenden varit tydlig: Sverige presterar betydligt sämre än Danmark sett till forskningens internationella genomslagskraft (läs citeringar i Web of Science). Danmark presterar nu i klass med andra ledande europeiska nationer som Nederländerna och Schweiz, samtidigt som svensk forskning tappat mark från början av 1990-talet och framåt. Utvecklingen, som påvisats i flera undersökningar, illustreras bland annat i Vetenskapsrådets rapport Forskningens framtid!  där följande diagram som visar andelen högt citerade publikationer i jämförelse med världsgenomsnittet återfinns (s.12)

VR1534_Svensk-vetenskaplig-produktion_web

Dessa resultat har i en svensk kontext renderat i två centrala forskningspolitiska frågor: Hur kommer det sig att danskarna presterar så bra, och hur kan svensk forskning komma ikapp, eller till och med förbi? Den senare frågan har diskuterats flitigt under senare år. Den mest omfattande studien Fostering Breakthrough Research är författad av Gunnar Öquist och Mats Benner och de listar en rad olika förklaringar. Här återfinns också direkta förslag på hur svensk forskning kan förbättras. Några punkter som dessa författare trycker på är:

  1. Att andelen basanslag är högre i framgångsrika forskningsnationer som Danmark, Nederländerna och Schweiz.
  2. Universiteten i de mer framgångsrika länderna tar större ansvar för att själva bedöma och belöna kvalité’. Det akademiska ledarskapet är också starkare utvecklat och mer framåtblickande.
  3. Det svenska systemet saknar tydliga karriärvägar (tenure track) vilket däremot finns i Nederländerna och Schweiz.

Därtill pekar de på en rad andra faktorer som hämmande för utvecklingen av svensk forskning. Till exempel bristande rörlighet mellan lärosätena (mobilitet) och behovet av en ökad internationalisering av svensk forskning. Den starkaste slutsatsen från rapporten är dock att resurserna för forskning bör omdirigeras från externa projektanslag till basanslag.

Frågan kring svenska forskning och dess ställning internationellt har också varit ämnet för en serie radioreportage från Vetenskapsradion, där en rad framgångsrika länder – Nederländerna, Danmark och Schweiz – varit i fokus. Skillnader i forskarnas mobilitet, men också anställningsförhållanden är några av de faktorer som togs upp i programmen. Noterbart är att det i Danmark är lättare att få fast anställning, men att det också är lättare att som akademiker få sparken. En fördel med ett sådant system är att staplandet av tidsbegränsade projektbaserade anställningar i högre grad kan undvikas. Frågan är dock om ett sådant system är möjligt, eller ens önskvärt, i en svensk kontext där anställningstrygghet värderas högt.

De ambitiösa rapporter och utredningar som jämfört förhållandena i Sverige med förutsättningarna i mer framgångsrika nationer innehåller alla viktiga och relevanta synpunkter på hur svenska forskningspolitik bör bedrivas. Men trots att studierna i många fall är välförankrade i aktuell forskning så skulle jag vilja påstå att de till viss del ändå famlar i mörker. Det finns främst två anledningar till detta; för det första så är forskningsresultaten på området ofta motsägelsefulla och den reform som fungerar i en specifik kontext behöver inte göra det i en annan. Ty även om vetenskapen alltmer är internationell så är organisationen och finansieringen av densamma företrädesvis nationell. En annan begränsning är att en majoritet av alla analyser av relationen mellan forskningspolitiska reformer och vetenskapligt genomslag fokuserar på en eller kanske två faktorer, men förmodligen är det så att kombinationen av hur forskningen leds, organiseras, finansieras och utvärderas är av avgörande betydelse. Det forskningspolitiska systemet är mycket komplext, och vilket inflytande enskilda faktorer har är mycket svårt att fastställa.

I ett av de mer ambitiösa försöken att förstå den danska framgångssagan framhålls just den rätta kombinationen av flera faktorer som en möjlig förklaring, även om författarna avhåller sig från att ge några definitiva svar. Genom en omfattande studie av det danska forskningslandskapet visar Aagaard och Schneider (2015) hur dansk forskning kom till en vändpunkt under den senare delen av 1980-talet, och sen dess har kurvan pekat uppåt. Utan att peka på en specifik orsak så finner de flera potentiellt bidragande förändringar som ägde rum under 1980-talet och början av 1990-talet. Bland annat så stabiliserades balansen mellan basanslag och externa anslag, det institutionella ledarskapet stärktes, universiteten gynnades på bekostnad av statliga forskningsinstitut, det danska forskningsrådet etablerades och dokorandutbildningen formaliserades och stärktes. Dessa förändringar ledde sedermera till en ökad internationalisering av forskningen och konkurrensen om akademiska tjänster tilltog. Författarna är dock noga med att påpeka att Danmark också presterade väl runt 1980, och de poängterar att det knappast finns en specifik ‘winning formula’. Snarare är det så att receptet för ett gott forskningsklimat skiljer sig både över tid och rum, vilket gör det när omöjligt att direkt överföra den danska erfarenheten till en svenska kontext.

Med detta sagt så är det ändå klart att vi bör ta lärdom av framgångsrika exempel från andra länder, och baserade på dessa koka ihop ett recept som förhoppningsvis vänder Sveriges negativa trend. Kruxet verkar vara att hitta den rätta mixen i forskningssystemet där balansen mellan olika faktorer är avgörande. En reform som dock framstår som nödvändig utifrån kunskapssläget är att höja basanslagen, och detta är också ett förslag som lyfts i flera av de kommentarer (se bland andra RJs, Uppsala Universitets och SUHFs inspel) som duggar tätt inför den kommande forskningspropositionen. Av de tunga aktörerna så är det egentligen bara Vetenskapsrådet som inte lyfter fram frågan om ökade basanslag, utan de föreslår istället mer pengar till forskarinitierade projekt. Deras förslag, bäst karaktäriserat som ”mer av samma”, är märkligt givet att flertalet internationella jämförelser pekar just på den ökade ’projektifiering’ av svensk forskning som ett problem.

Exakt hur den framtida forskningspolitiken utformas återstår att se, men radikala förändringar är knappast att vänta. Att skynda långsamt, hur tråkigt det än må låta, är kanske ändå en förnuftig strategi. För om vi lärt oss något av det danska exemplet så är det att stabilitet över tid, tillsammans med tillräckliga ekonomiska resurser, är två grundläggande förutsättningarna för  ett gott forskningsklimat.

Bilder: Aftonbladet.se samt Vetenskapsrådets rapport Forskningens framtid!

Vad vi vet om bibliometrins effekter

Publicerad den av
2

Metric_tide_literature_review

Sedan länge är det känt att mätandet i sig förändrar det som mäts. Att vetenskapen och forskarna påverkas av att ett allt flitigare räknande av citeringar och publikationer torde därför vara oomtvistat, men hur ser denna påverkan ut? Det brittiska forskningsrådet Higher Education Funding Council for England (HEFCE) initierade nyligen en första genomgripande översikt av den forskningen som försökt att besvara detta spörsmål och slutsatserna i rapporten The Metric Tide, som publicerades idag, kan  sammanfattas i fyra punkter:

1. Strategiskt förhållningssätt och målförskjutning

Införandet av kvantitativa indikatorer innebär alltid en risk att forskare börjar fokuserar mer på att få höga poäng, enligt de kvalitetsmått som formulerats, snarare än på att bedriva högkvalitativ och nydanande forskning. Tecken på en sådan målförskjutning kan till exempel ses i Australien där räknandet av antalet artiklar ledde till fler publikationer, men publikationernas internationella genomslag minskade

2. Inskränkning av arbetsuppgifter

Bibliometrisk utvärdering belönar vissa specifika insatser samtidigt som andra verksamheter ger få eller inga poäng. Oftast är det internationella (läs engelskspråkiga) tidskriftsartiklar som premieras på bekostnad av andra typer av publikationer och arbetsinsatser. Störst påverkan har sådana system inom humaniora och delar av samhällsvetenskapen där tidskriftsartikeln ännu inte är den dominerande kommunikationskanalen. Tecken finns dock på att även dessa fält alltmer anpassar sig till den norm som råder inom andra discipliner (se till exempel förändringar i publikationsmönstren vid Uppsala Universitet). En betydande risk är också att forskare i allt mindre grad vänder sig till en inhemsk populärvetenskaplig publik då sådana publikationer inte ger utslag i utvärderingssystemen.

3. Institutionella effekter

Universitet och högskolor kan inte heller undgå att påverkas av bibliometriska mätningar. Universitetsrankingarnas betydelse för universitetens självbild är uppenbar, och att rankas högt i dessa blir allt viktigare. Forskningspolitiskt spelar rankingar också en betydande roll, och bara för nåt år sedan så kom ett seriöst förslag som gick ut på att skapa ett svenskt superuniversitet för att på så vis stiga i rankingen. Lärosätena måste också förhålla sig till nationella omfördelningssystem där den svenska modellen resulterat i lokala varianter, samtidigt som den brittiska motsvarigheten RAE skapat en transfermarknad – inte helt olik den som existerar inom fotbollen – för forskare som genererar höga poäng för sitt universitet.

4. Konsekvenser för kunskapsproduktionen

Hur bibliometriska mått påverkar kunskapsproduktionen mer generellt är svårt att överblicka, och kanske är det ännu för tidigt att redan nu identifiera djupgående förändringar i forskningens praktik. I många fall så är dock bibliometriska mått, som Journal Impact Factor (JIF), sedan länge etablerade och integrerade i det dagliga arbetet. Exempelvis så används JIF för att skilja mellan deskriptiv och nydanande forskning inom biomedicin. Undersökningar av hur bibliometriska utvärdering påverkar forskningens praktik måste därför också inbegripa studier av hur citeringsmått och andra indikatorer används i forskarnas vardag.

Trots dessa fyra punkter är vår kunskap om bibliometrins effekter knapphändig. Flera av de studier som översikten bygger på är begränsade till en kort tidsperiod och de säger mycket lite om utvärderingens långsiktiga effekter. Andra undersökningar erbjuder mer detaljerade analyser av en specific kontext men det är svårt att avgöra om resultaten är applicerbara mer generellt. Ofta studeras förändringar i publikationsmönster, men de trender som identifieras (t.ex. högre andel engelskspråkiga tidskriftsartiklar) behöver inte nödvändigtvis vara en konsekvens av bibliometrisk utvärdering. Vidare så verkar bibliometriska mått på flera nivåer (individ, institution, universitet, nation) och att urskilja effekterna av ett specifikt system är därför mycket svårt. Förhoppningsvis kan en kombination av större kvantitativa studier och mer kontextualiserade kvalitativa ansatser ta oss en bit på vägen. Det vi vet tyder dock på att användning av bibliometriska mått kan få konsekvenser i form av en ökad likriktning av vetenskapliga fält och en reduktion av forskarrollen. Sådana förändringar synes stå i direkt opposition till en forskningspolitik som syftar till mer samverkan, större öppenhet och ökad samhällelig relevans.

Administrationen och det ”bibliometriska systemet”: Några klargöranden i den forskningspolitiska debatten

Publicerad den av
1

I ett flertal inlägg i SvD framför professor Inger Enkvist hård kritik mot dagens universitet, vår nuvarande forskningspolitik och användandet av bibliometri. Jag finner hennes övergripande syfte lovvärt men liksom en hel del andra inlägg i den forskningspolitiska debatten så är de till stora delar illa underbyggda, anekdotiska och ofta rent felaktiga i sak. Nedan diskuterar jag några av de påståenden som Enkvist gör kring bibliometri. Hennes ensidiga kritik av administrationen är också problematisk men det finns andra som bättre kan granska dessa påståenden.

Låt oss börja med Enkvists inledande beskrivning:

“I universitetsvärlden är konkurrensen om forskar- och lärartjänster hård, och allt ska gå fort. Ett nytt problem är att forskningskvaliteten nu direkt hotas av en ökande tendens att bedöma forskare efter antal artiklar mer än deras innehåll, counting, not content, en metod kallad bibliometri. Den här trenden har kallats the utility turn, vilket innebär att universitetens administratörer vill kunna mäta vilken ”nytta” som producerats.” (Forskningskvantitet viktigare än kvalitet, SvD, 11 Juni, 2015)

Forskare har länge bedömts utifrån antalet publikationer, och så skedde långt före utvecklandet av mer formaliserade bibliometriska metoder. Idéhistoriken Peter Josephsson visar i en läsvärd studie att tyska professorer redan vid 1700-talets slut bedömdes och anställdes utifrån antalet publicerade verk. En förteckning av professorer och deras verk, Das gelehrte Deutschland, användes för ändamålet och tanken var att berömda författare med stort rykte skulle locka till sig fler studenter. Här räknandes alla publikationer, även barnböcker, och systemet stötte tidigt på kritik som liknar de argument som framförs i dagen debatt.

‘Utility turn’ är dock för mig, och säkerligen för många andra, ett nytt begrepp som efter Enkvists introduktion kan komma att utmana mer etablerade benämningar som ‘New public management’, ‘Audit Society’ och ‘Evaluation Society’.

Vidare så står det klart att bibliometriska mått spelar en stor roll inom akademin. Däremot kan man fråga sig om dessa mått får allt större betydelse. Till exempel är förslaget på nytt nationellt utvärderingsystem i Sverige, FOKUS, baserat på peer review till skillnad från det nuvarande mer bibliometriskt inriktade. Upprop, som DORA och det nyligen publicerade Leidenmanifestet, pekar också mot en större medvetenhet kring riskerna med bibliometrisk utvärdering.

Debattinlägget fortsätter sedan att diskutera bibliometrins effekter: ”Utvärderingar från Australien säger att sedan bibliometri införts publiceras fler artiklar, men den sammanlagda kvaliteten har sjunkit, och ändå håller flera svenska universitet på att införa systemet.” (Forskningskvantitet viktigare än kvalitet) Den undersökning som Enkvist refererar till visar att fler artiklar publicerades men deras citeringsgrad (mätt gentemot ett internationellt snitt) minskade. Den säger alltså mycket lite om någon inneboende kvalité. Det finns de som hävdar att kvalité och impact (antalet citeringar) är samma sak, men givet Enkvists vidare argumentation kring citeringar som kvalitetsmått så antar jag att det inte är hennes ståndpunkt:

“Man får hoppas att banbrytande nya artiklar citeras ofta, men även här finns risker för snedvridning. En citering kan vara tecken på berömmelse snarare än kvalitet. En forskare kan också öka antalet citeringar genom att skapa en liten ”kartell” med andra forskare som arbetar in hänvisningar till varandra i sina texter. Detta torde ha förekommit även tidigare, men nu upphöjs sådana ovanor till kvalitetsindikatorer.” (Forskningskvantitet viktigare än kvalitet, SvD, 11 juni, 2015) .

Till detta kan vi tillägga att idén om så kallade “citeringskarteller” framförs ganska ofta i debatten kring bibliometri, och visst har de förekommit på tidskriftsnivå. Det finns dock inga indikationer, eller systematiska studier, på att sådana beräknande överenskommelser skulle vara särskilt förekommande på individnivå.

Enkvist är dock väl försiktig när hon skriver att flera universitet håller på att införa bibliometri. Faktum är att en stor majoritet av svenska lärosäten använder bibliometri i någon form (även hennes eget om än inte inom humaniora), och varje enskilt lärosäte har sin egen modell för utvärdering. Låt mig här poängtera: bibliometri är inte ett system utan en samling utvärderingsmetoder och därtill ett forskningsfält i sin egen rätt. Det finns ett flertal olika bibliometriska utvärderingssystem med vitt skilda incitament och beräkningsmetoder.

I tidigare inlägg har också Enkvist också kopplat samman användandet av bibliometri med en ökad makt för administrationen, och det finns givetvis visst fog för en sådan argumentation. Hon skriver bland annat “[a]tt bibliometri blivit populärt hos administrationen har att göra med att forskarna är specialiserade på olika områden som administrationen inte kan bedöma. Ändå vill administrationen ”leda” forskarna genom att tilldela forskningspengar eller forskningstid.” (När administrationen leder forskningen, SvD 20 maj, 2015). En sådan argumentation förbiser dock att en stor del av bibliometrianvändningen sker på initiativ från professionen själv, och att utmåla bibliometrin som ett externt vapen i administratörernas tjänst riskerar att fördumma debatten. Givetvis är användandet av bibliometri sammankopplat med bredare organiskatoriska trender i samhället – se till exempel mitt tidigare inlägg om NPM – men det finns också inomvetenskapliga faktorer som är drivande i denna utveckling. Forskarna är därmed inte bara ett offer för illvilliga administratörer utan i hög grad medskapare av dessa system.

Så tuktas bibliometrin

Publicerad den av
2

I dagens Nature publiceras “The Leiden manifesto” där tio principer för bibliometrisk utvärdering föreslås av en samling ledande bibliometriker och vetenskapssociologer med Diana Hicks och Paul Wouters i spetsen. Manifestet tar sin utgångspunkt i de diskussioner som förts vid bibliometriska konferenser under senare år. Jag har tidigare diskuterat försöken att formulera riktlinjer för användandet av bibliometriska mått, och de principer som nu lanserats är ett viktig steg i denna strävan. Nedan följer de tio principerna i mycket kortfattad form:

  1. Kvantitativ utvärdering ska stödja kvalitativa omdömen. Inte tvärtom.
  2. Mät kvalité och genomslag utifrån institutionens, forskargruppens eller forskarens specifika roll och syfte.
  3. Skydda framstående “lokal” forskning (till exempel inom humaniora).
  4. Bedömningen ska vara transparent. Data samt procedurer ska redovisas öppet.
  5. Den utvärderade ska få möjlighet att granska och revidera den data som ligger till grund för utvärderingen.
  6. Beakta variationer i publicerings- och citeringsmönster mellan vetenskapliga fält vid utvärdering.
  7. Utvärderingar av enskilda forskare bör baseras på kvalitativa omdömen.
  8. Undvik falsk precision (till exempel användandet av tre decimaler vid beräknandet av Journal Impact Factor).
  9. Uppmärksamma utvärderingens systematiska effekter på forskare och institutioner.
  10. Granska och utvärdera bibliometriska indikatorer regelbundet.

Överlag så stämmer dessa principer med väletablerade uppfattningar bland bibliometriker överlag, men det betyder knappast att alla eller ens en majoritet av de utvärderingar som utförs följer dessa principer. Noterbart är dock att principerna nästan uteslutande berör vad som inte bör göras, de begränsningar som bibliometrin har och de risker som finns med ett alltför frekvent användande. Detta trots att flera av författarna företräder institutioner som utför bibliometriska utvärderingar på konsultbasis.

Ett manifest kommer sällan ensamt, och vi ser liknande initiativ även i Sverige. För ett par månader sedan så publicerade Vetenskapsrådet sina “Riktlinjer för användning av bibliometri”. Från Leidenmanifestet känner vi igen formuleringar kring att bibliometrin bör kompletteras med kvalitativa omdömen och VR uttrycker tveksamheter kring mått som h-index och Journal Impact Factor. Riktlinjerna kring användandet av bibliometri på individnivå är dock motsägelsefulla . Å ena sidan skriver man att ”Vetenskapsrådet är mycket restriktivt när det gäller bibliometriska jämförelser mellan individer och använder sig inte av h-index eller liknande indikatorer” (från sammanfattningen), men samtidigt beskrivs hur citeringsdata för alla publikationer där sådan finns automatiskt kommer redovisas i PRISMA. Detta kan man knappast beskriva som restriktiv och reflekterad användning av bibliometri. VR inser givetvis att detta är kontroversiellt och inflikar: ”Forskares meriter ska aldrig bedömas, jämföras eller rankas enbart utifrån bibliometriska data.” (s. 7). Vilken vikt som ska läggas vid bibliometriska mått, huruvida de är komplementerande eller helt avgörande anges dock inte. Det är också, vilket jag påpekat i anslutning till förslaget om nytt utvärderingsystem för svensk forskning (FOKUS), naivt att tro att bedömare kommer kunna bortse från citeringsdata när de väl fått ta del av sådana uppgifter. Risken är att den tekniska möjligheten att automatiskt importera imformation kring citeringar får större konsekvenser än VR avser. Om citeringsdata systematiskt redovisas i PRISMA innebär det att bibliometri på individnivå kan komma spela en högst betydande roll vid bedömningar av forskningsansökningar. Om detta är intentionen så låt gå, men då bör man motivera varför citeringar ska användas vid bedömningen av forskningsprojekt. I nuläget verkar beslutet grundat på den tekniska möjligheten att importera citeringsdata snarare än forskningspolitiska överväganden.

Ett sista exempel på trenden med riktlinjer är ett seminarium kring ‘best practice’ som anordnas av SUHFs bibliometrigrupp och Högskolan i Borås. Här tar man utgångspunkt i de många varierande indikatorer som används vid svenska lärosäten. En rapport författad av Gustaf Nelhans och Pieta Eklund pekar på stora skillnader i hur bibliometrin används för medelsfördelning vid svenska lärosäten och en utökad men ännu ej publicerad studie visar att 24 av 26 undersökta lärosäten använde sig av bibliometri för resursfördelning. Noterbart är att mycket få lärosäten lever upp till de tio priniciper som formulerats i Leidenmanifestet. Bibliometriska mått användes på flera håll för att fördela resurser på individnivå, och överlag är dokumentationen kring systemen bristfällig och transparensen låg. Vid seminariet ämnar man diskutera resultaten från dessa undersökningar. Hur ska de som leverar underlag för dessa utvärderingar förhålla sig till det ibland tveksamma användandet av indikatorer? Finns det behov av riktlinjer? Och vilken kompetens bör krävas av den som utför analysen?

Hur ska vi då förstå författandet av manifest och utformandet av riktlinjer? Först och främst kan vi konstatera att det i hög utsträckning är professionella bibliometriker (dvs de tjänar sitt levebröd på att utföra dessa analyser/utvärderingar) som står bakom dessa dokument. En möjlig förklaring till att dessa skrivelser publiceras just nu är att bibliometrikerna känner sig allt mer ifrågasatta. Det har alltid funnits dem som kritiserat användandet av bibliometriska mått men initiativ som DORA visar på ett alltmer organiserat motstånd. Ett sätt att skapa förtroende är då att urskilja den “goda” bibliometrin från den “dåliga” och på så sätt legitimera fortsatt användande.

Dock vill jag hävda att dessa initiativ inte enbart kan tolkas som en slug taktik för att rädda bibliometrin från dess kritiker utan dessa ansatser är också ett resultat av ett ökat intresse kring bibliometrins effekter. Den forskning som bedrivs kring utvärderingens konsekvenser börjar också ta större plats inom bibliometrifältet i stort, och det finns indikationer på att ett allt mer reflexivt förhållningsätt börjar få fäste även inom de organisationer som utför bibliometriska analyser.

Oavsett vilken förklaringsmodell som man finner mest attraktiv så medför utvecklandet av principer och riktlinjer att dessa frågor aktualiseras och debatteras. Det finns dock en risk att diskussionen stannar vid det praktiska utformandet av indikatorer och att det metodologiska och tekniska kommer att dominera. Istället för att lista problem med nuvarande metoder, indikatorer och tillvägagångsätt så skulle det därför vara värdefullt att ställa mer övergripande frågor: När är bibliometriska metoder användbara och legitima? När utgör bibliometrin ett viktigt komplement till peer review? Och i vilka fall används bibliometrisk mått för att de är lätttillgängliga snarare än därför att de är efterfrågade? Min åsikt är att bibliometrin har en roll att fylla , och då speciellt för att motverka tendenser — konservatism, könsdiskriminering och undertryckande av interdisciplinär forskning —som förknippas med peer review. Att urskilja de tillfällen där bibliometrin inte bara kan användas utan också bör användas är således den fråga som bibliometrikerna och forskarsamhället bör diskutera.

Det långsamma universitetet, publiceringsstress och den postdoktorala tillvaron

Publicerad den av
2

Snail_(PSF)

“We do need time to think. We do need time to digest. We do need time to misunderstand each other, especially when fostering lost dialogue between humanities and natural sciences. We cannot continuously tell you what our science means; what it will be good for; because we simply don’t know yet. Science needs time.” The slow science manifesto (2010)

Reaktionerna på ett alltför uppskruvat tempo i både arbetsliv och vardag kan ta sig många uttryck; böcker som Långsamhetens lov och Thinking fast and slow betonar eftertankens betydelse för kunskapsbildning och välbefinnande samtidigt som ett ökat intresse för surdegsbakning, långkok och ölbryggning kan ses som en längtan efter det omsorgsfulla och långsamma. Rörelsen kring “slow” startade också i den gastronomiska sfären med ett italienskt upprop mot snabbmat och Mcdonaldisering under 1980-talet. Långsamhetens betydelse har också kommit att betonas i akademiska sammanhang och begrepp som slow science och the slow university har lanserats.

Dessa initiativ kan betraktas mot en bakgrund av att alltfler forskare upplever att tempot i det akademiska arbetet har ökat, tydligt är också ökade krav på att redovisa och förbättra produktiviteten i enlighet med modeller inspirerade av New Public Management. En tilltagande andel forskare som har temporära anställningar samt det faktum att en allt större del av forskningen utförs inom tidsbegränsade och externt finansierade projekt är ytterligare faktorer som bidrar till ökad tidspress. En informant i Ylva Hasselbergs Vetenskapen som arbete (s. 157) uttrycker det på följande sätt: Har man inte publicerat i en av de topp tio-tidskrifterna som post doc är det små chanser till en foass när man kommer tillbaka till Sverige. Att forskare i fasen efter disputation känner en extra press att prestera, och då helst prestera sådant som kan rendera en fast tjänst, är knappast en överraskning. Ruth Müller har i studien Racing for what? specifikt fokuserat på hur postdoks inom biomedicin upplever och hanterar det uppskruvade tempot. Givetvis är det specifika förhållanden som råder inom biomedicin och ibland skulle det vara önskvärt med sociologiska studier av andra fält (Hasselbergs undersökning rör också medicinska forskare) men jag tror ändå att flera av slutsatserna är applicerbara i andra discipliner. I Müllers undersökning så lägger de postdoktorala forskarna stor tonvikt vid publikationer och det är viktigt för dem är att i så stor utsträckning som möjligt undvika att stå med ett projekt som inte genererar någon publikation alls. En strategi för att undvika ett sådant scenario är att parallellt arbeta på ett säkert projekt och ett högriskprojekt. På så sett kan forskarna försäkra sig om att åtminstone kunna addera någon publikation till sitt CV. Publiceringsstressen leder enligt Müller till att beslut om forskning alltid fattas med framtiden i beaktande: kan detta projekt leda till publikationer – som i sin tur resulterat i en ny tjänst eller ett nytt projekt – som i nästa skede gör det möjligt att starta en egen forskargrupp osv. Detta innebär att möjliga samarbeten men även handledning av studenter främst bedöms utifrån deras potential till att frambringa publikationer. Då akademiska publikationer är avgörande för karriärens fortskridande finns det risk att forskningsrelaterade uppgifter (t.ex. redaktörskap, refereegranskning och anordnandet av konferenser) som inte resulterar i publikationer nedvärderas, och andra uppdrag som undervisning, handledning samt interaktion med samhället riskerar att bli nedprioriterade. Vidare kan publiceringsstressen leda till att “säkra” och kortsiktiga projekt prioriteras framför mer nydanande och långsiktig forskning.

Ett ökat tempo i det akademiska arbete är dock något som omfattas av fler än bara postdoks, och i artikeln Academic life in the fast lane av Filip Vostal betraktas detta inte enbart som negativt. Snarare skiljer han mellan en negativ känsla av att vara pressad av externa faktorer som deadlines, undervisningsåtaganden och administrativa möten, och en positiv känsla av ”flow” och framsteg i den egna forskningen. Lite förenklat kan man säga att tempo uppfattas som något negativt när forskaren är jagad men som positivt när forskaren rör sig mot ett eget formulerat mål. Bidragande till den negativa känslan av tempo, vilken ofta yttrar sig som stress, är bland annat kortsiktigheten i projekt och anställningar, krav på att visa omedelbara resultat och det tilltagande mätandet av vetenskaplig produktivitet.

Talet om excellens är ytterligare en aspekt som bidrar till stressen och till en tilltagande känsla av att inte räcka till enligt Vokal. I stort sett alla universitet men även de flesta högskolor i Sverige och annorstädes anser sig vara, eller sträva efter, excellens inom ett eller flera områden, och på samma sätt bör varje enskild forskare sikta på att bli en ’excellent forskare’. Vad som egentligen menas med excellens är mycket oklart men ofta hänvisas till att forskningen ska vara ledande, eller till och med världsledande. Givetvis finns det många världsledande forskare i Sverige och än fler som inom begränsade områden kan räknas som ledande, men vi kan nog ändå konstatera att en stor andel av alla forskare aldrig kommer tillhöra denna exklusiva grupp. Även i egenskap av lärare ska lektorer nu sträva efter att vara excellenta och genom certifiering kan titeln ”excellent lärare” erhållas vid flera lärosäten. Kraven på excellens – att ständigt avkrävas världsledande insatser – skapar därmed ytterligare stress, och bidrar till ett ständigt dåligt samvete hos forskare och lärare som inte når upp till orimliga krav.

Det finns inget egenvärde i att vara långsam och the slow science manifesto målar upp en motsättning mellan teknik – ”We don’t blogg. We don’t Twitter” – som mer än något annat känns konservativt mossig. Dock är det så att akademin, och här inkluderar jag alla discipliner, är illa ute om det inte finns tid för eftertanke, omsorgsfullhet och reflektion. Risken för kortsiktig, repetitiv och föga nydanande forskning är då stor, och osäkra, stressade och CV-maximerande forskare tjänar inte samhället på bästa sätt. I rapporten Fostering Breakthrough Research, vars främsta syfte är att stärka Sverige som forskningsnation, återfinns flera punkter som också torde kunna minska stressen inom akademin. Exempelvis så föreslås att en större del av forskningspengarna ska ges som långsiktiga basanslag och att unga forskare bör erbjudas tydligare karriärvägar och tryggare anställningar. Det framstår också som viktigt att verka för en bättre balans mellan forskning och undervisning när tjänster tillsätts. Vidare bör det ihåliga och uttjatade konceptet ”excellens” överges för att istället prioritera en bred diskussion kring vad innebär att vara en god forskare och lärare i dagens akademi.

Avslutningsvis kan man konstatera att problemet egentligen inte är tempot i sig. En stor del av tempoökningen är snarare positiv och beror på en radikal ökning i tillgången till information i kombination med en tilltagande internationalisering. Problemet uppstår snarare när ett ökat tempo leder till (för)hastad och stressad forskning. Nostalgiskt tillblickande till ett långsamt universitet är knappast ett alternativ. Istället bör vi, som Vostal föreslår, verka för akademiska miljöer som främjar ‘ohastad’ (unhasted) forskning.

Bild: ”Snail (PSF)” by Pearson Scott Foresman – Pearson Scott Foresman, donated to the Wikimedia Foundation. Licensed under Public domain via Wikimedia Commons – http://commons.wikimedia.org/wiki/File:Snail_(PSF).png#mediaviewer/File:Snail_(PSF).png

Ett alldeles för blygsamt förslag

Publicerad den av
Svara

rankings

Så kallade jag intialt min replik på Kåre Bremers inlägg i Curie men texten publicerades till slut under titeln: Ja, låt rankingen styra hela forskningspolitiken. Det som jag fann anmärkningsvärt var inte Bremers förslag på ökad internationalisering, tydligare karriärvägar för yngre forskare eller ökade resurser för grundutbildningen utan att dessa förändringar motiverades av hur svenska universitet placerar sig i globala universitetsrankingar. Bremer, som är väl medveten om rankingarnas brister, argumenterar för att universitetsrankingar blivit så mäktiga att vi inte kan ignorera dem. Han förespråkar således att vi kapitulerar inför en mätmetod som är högst tveksam. Jag menar att vi snarare bör ifrågasätta rankingarnas betydelse och inte låta dessa styra forskningspolitiken.

Foto: Thed van Leeuwen