Självplagiat: forskningsfusk eller accepterad praktik?

copy paste

2013 anklagades den nederländske ekonomiprofessorn Peter Nijkamp för omfattande fusk i form av självplagiat. Nijkamp var vid denna tid en mycket välkänd forskare, med en sammanlagd produktion av över 2300 artiklar (han producerade cirka 1, 5 artikel per vecka), och under sin karriär så hade han tilldelats en rad prestigefyllda priser och uppdrag. Kort sagt, Nijkamp var en akademisk superstjärna.

Utan att gå in på detaljer så friades Nijkamp från anklagelserna kring forskningsfusk, samtidigt som det visade sig att han ägnat sig åt omfattande återbruk av tidigare texter utan att ange källa. En utredare kallade detta för ‘systematisk copy-pasting’ med målet att producera ett stort antal artiklar, och tidskriften Review of Economic Analysis kom att dra tillbaka två av Nijkamps publikationer (för vidare dokumentation kring ärendet se Retraction Watch). Flera kommittéer kom att granska ärendet, och då några fann att forskningsfusk var klarlagt menade andra att medvetet fusk inte kunde bevisas. Fallet kom därför att leda till en debatt kring vad som är legitimt återbruk, och vad som bättre beskrivs som tvivelaktiga praktiker eller till och med fusk.

Med utgångspunkt i Nijkampfallet diskuterar och studerar Horbach och Halffman självplagiat som fenomen. De analyserar inte bara den debatt som följde efter utredningarna kring Nijkamp utan de undersöker också omfattningen av självplagiat i olika discipliner. I studien utgår de från en ganska konservativ definition av ‘textåtervinning’ där till exempel ett visst återbruk av formuleringar kring metod inte räknas som självplagiat. De valde sedan ut ett antal artiklar författade av både högproduktiva och mer lågproduktiva forskare från fyra discipliner, psykologi, historia, nationalekonomi och biokemi, och studerade förekomsten av återanvänd text i dessa.

Deras studie visar att 6 % av alla artiklar visar tecken på ‘problematisk textåtervinning’ men skillnaderna mellan disciplinerna är stor. Inom historia fann man tecken på självplagiat i bara 1 av 48 studerade texter samtidigt som 14 % (36 av 258) av alla texter inom ekonomifältet innehöll återanvänd text. Bland några ekonomer visade det sig att mer än 40% av artiklarna innehöll självplagiat.

text recycling

(Horbach & Halffman 2017, s. 7)

Vad förklarar då den betydligt högre andelen av självplagiat inom ekonomifältet? En förklaring som författarna anför är att det kan bero på hur texter skrivs, där en mer formalistisk stil ger större möjlighet till att återanvända text. Detta kan delvis vara en orsak till att historieforskarna i sådan liten utsträckning använder sig av denna strategi. För dem är det ofta inte ens möjligt att självplagiera och samtidigt producera texter som accepteras av kollegorna. Det som talar emot denna hypotes är dock att biokemisterna – som i än högre grad än nationalekonomerna skriver i en formalistisk tradition – inte alls uppvisade samma grad av självplagiat. På samma sätt kan inte heller antalet medförfattare anses vara en förklaring.

Snarare är det nog så att dessa skillnader bör förstås utifrån disciplinspecifika normer kring hur god vetenskap produceras. Ett tecken på detta är att kollegor som försvarade Nijkamp menade att självplagiat inte alls var fusk, utan en etablerad praktik inom disciplinen. Att mycket produktiva och ledande forskare i större utsträckning än andra återanvänder text framstår också som ett tecken på att detta tillvägagångssätt är relativt accepterat.

Bör vi då betrakta självplagiat som forskningsfusk? Själv skulle jag hävda att det nog kan vara rimligt att återanvända text, men då bör detta tydligt anges så att eventuella granskare och läsare blir medvetna om originalkällan. Exempelvis kan ju delar av en text omarbetas för en annan läsargrupp – i en blogg eller i en mer populärvetenskaplig text – och då ser jag inget problem med att återanvända formuleringar om originalkällan anges. Att i referentgranskade artiklar använda tidigare text i form av hela stycken utan att ange detta framstår dock för mig som mer problematiskt, men vi rör oss här i en gråzon där disciplinspecifika sätt att uttrycka sig och bedriva forskning bör tas i beaktande.

Om vi bortser från frågan kring fusk så blir de stora disciplinära skillnaderna i självplagiat som Horbach och Halffman påvisar särskilt bekymmersamma mot bakgrunden av hur forskning idag utvärderas. Att återanvända text är onekligen en genväg till ett stort antal publikationer, och dessa kommer sedan att räknas in när forskningen utvärderas. De individer, institutioner och discipliner som i högre grad ägnar sig åt självplagiering kan då tillskansa sig både status och resurser på bekostnad av de som lite mer sällan använder sig att kommandot Ctrl+ C/Ctrl +V.

Etiska riktlinjer kring självplagiering har nu införts i Nederländerna och flera tidskrifter har också tagit ställning i frågan. Ett alternativ till att lita på forskarnas och redaktörernas etiska kompass vore dock att tidskrifter istället använder sig av plagiatkontroll. Inom svensk högre utbildning används Urkund flitigt – studenter tillåts vare sig kopiera andra eller sig själva – och tekniskt kan jag knappast tänka mig att det vore särskilt svårt att införa ett sådant system även för vetenskapliga publikationer. Onekligen skulle ett sådan lösning drastiskt minska förekomsten av plagiat och självplagiat.

Annonser

Att skilja mellan en elefant och en kanin: Användningen av bibliometri i sakkunnigutlåtanden

Syrischer_Maler_von_1354_001

Impact measures of this kind are inexact and should not, in our view, be relied on for a detailed ranking of research achievements (it could be described as ‘a scale that can distinguish an elephant from a rabbit but not a horse from a cow’). (från sakkunnigutlåtande i nationalekonomi)

Under senare år har ett allt större intresse riktats mot hur utvärderingssystem och resursfördelningsmodeller påverkar forskningen. En central fråga är hur ett ökat fokus på prestationer som är kvantifierbara påverkar forskarnas praktiker och prioriteringar. En rad dokumenterade och möjliga effekter har identifierats på en generell nivå, men empiriska studier av hur bibliometri används vid utvärdering av enskilda individer är få. Dock vill jag påstå att just denna typ av användning, där anställningar och forskningsanslag står på spel, är särskilt viktiga då de har stor påverkan på den enskilde forskarens karriär. Ett problem har dock varit att utvärdering på individnivå är svårt att studera empiriskt, och diskussionen har tidigare främst baserats på enskilda exempel och anekdoter. Inom svensk akademi finns dock ett relativt unikt och omfattande material kring utvärderingspraktiker i form av sakkunnigutlåtanden vid tjänstetillsättningar, och dessa ger unika insikter i hur indikatorer används.

I artikeln, Indicators as judgment devices, studerar Alex Rushforth och jag just hur sakkunniga använder indikatorer och tidskriftsrankningar för att värdera och rangordna sökande till lektorat och professurer inom biomedicin och nationalekonomi. Dessa dokument ger oss unik inblick i hur bibliometriska mått används för att värdera enskilda forskare, och de ger också insikt i hur specifika indikatorer integreras i disciplinspecifika värderingspraktiker. Denna aspekt är särskilt intressant då prestige och position inom akademin till stor del styrs av status inom disciplinen, snarare än av status inom den organisation där forskaren är anställd.

I redovisningen av våra resultat bör det framhållas att långt ifrån alla sakkunniga använder sig av indikatorer, och knappt hälften av de utlåtanden som vi studerat (82 av 188) använde sig av bibliometriska mått eller tidskriftsrankningar. Ett återkommande argument bland de sakkunnig som använde sig av bibliometri var måttens ‘objektivitet’:

A bibliometric analysis was carried out to assess the scientific production and even more importantly, the real scientific impact of each applicant.” (utlåtande i biomedicin)

Generellt introducerades dock citeringsdata, eller ‘impact factorer’, utan någon vidare motivering. Vår tolkning är att de sakkunniga använder indikatorer som en typ av ‘utvärderingsverktyg’, och här bygger vi på Lucien Karpik (2010) och hans teori om ‘judgment devices’. Dessa används i situationer när konsumenten (i detta fall granskaren) behöver välja mellan en rad produkter (här kandidater) som inte helt enkelt kan jämföras. Ett exempel som Karpik tar upp är valet av husläkare eller värderingen av ett litterärt verk, och vi menar att forskare kan ses som ett ytterligare exempel på en ‘vara’ vars värde inte helt enkelt kan fastställas. I situationer där det finns en uppsjö av goda kandidater, vilket är fallet i många av de tillsättningsärenden vi studerat, så blir  ‘judgment devices’ också ett sätt att lösa en situation där ett överflöd av möjliga alternativ finns.

Journal Impact factor

Den mest kända, inflytelserika och samtidigt häftigt kritiserade bibliometriska indikatorn är utan tvivel Journal Impact Factor (JIF), som introducerades av Eugene Garfield redan 1963. JIF används flitigt också i vårt material, främst inom biomedicin men också inom nationalekonomi, och ofta introduceras den för att bedöma ‘kvaliteten’ på publicerade alster: 

…but it is a bit bothersome that many of the recent publications that XXXX has been principal investigator on are found in more narrow journals, as for example Scandinavian J Immunol. (Impact approx. 2.3). (utlåtande i biomedicin)

Many of original papers appeared in excellent quality journals and nearly two third [sic] of them were in journals with impact factor greater than 3. (utlåtande i biomedicin)

I många fall, likt exemplen ovan, så används JIF som ett riktmärke för vad som ska betraktas som bra tidskrifter och en undre gräns för kvalité på runt 3 verkar gälla inom biomedicin. I nationalekonomi är det betydligt svårare att finna en exakt gräns, även om sakkunniga föreslår 0.5 samt 0.9 som möjliga riktvärden.  Sammantaget är  det otvetydigt att JIF:en är viktig vid bedömningen av forskning inom biomedicin, och många av de utlåtanden som inte explicit använder sig av måttet hänvisar till ‘high impact journals’.

Ett annat beryktat, och vid utvärderingen av individuella forskare särskilt intressant mått, är det så kallade ‘h-index’. Till skillnad från JIF, som mäter tidskrifters genomsnittliga citeringsgrad, så är h-index ett försöka att sammanfatta en forskares produktivitet och inflytande över tid. En forskare med h-index x har författat x publikationer som citerats minst x gånger, dvs. en forskare som har författat 12 publikationer som vardera citerats 12 gånger eller fler har ett h-index på 12. I vår studie används h-index vanligtvis som ett slags bakgrundsinformation, likt affiliering, ålder, kön, och ofta anges det utan vidare kommentarer som här:

XXXX publishes in good to very good journals including Plos Genetics, FASEB J, and Mol Biol Cell. H–factor=18. (utlåtande i biomedicin).

H-index blir vad vi kallar en ‘totaliserande indikator’ där en hel karriär kan sammanfattas i en siffra, och vi finner också att måttet i flera fall sammanfaller med den sammanvägda bedömningen av kandidater.

Om citeringar och JIF är populära utvärderingsverktyg inom biomedicinen så tenderar nationalekonomer att bedöma artiklars ‘värde’ utifrån klassifikationer av, och listor över, tidskrifter. En bedömare uttrycker det mycket klart:

“A university that aims to compete at the first or second tiers in Europe should expect its full professors to show the ability to publish at least a few articles in the best journals in the field. Publishing a paper in a top finance journal requires a degree of effort, awareness of the latest thinking in the field, and excellence, which any number of articles in journals below second tier could not match. (utlåtande nationalekonomi)

Det flitiga användandet av tidskriftsrankningar – vi fann hela fem olika listor i vårt material – kan relateras till att det nationalekonomiska fältet tenderar att organisera sig hierarkiskt. En annan förklaring är att citeringar och JIF generellt fungerar sämre inom nationalekonomin jämfört med biomedicin där omsättningen av artiklar och citeringar är högre.

I vårt material finns också tydliga exempel på hur indikatorer kan kombineras och jämföras, och det är inte ovanligt att sakkunniga uppvisar goda kunskaper i bibliometri. I exemplet nedan så jämförs h-index med det totala antalet citeringar för att ge en mer nyanserad bild av kandidaten:

Of 44 published papers she is 1st author on 12 and senior author on 20. She has a surprisingly low citation rate, albeit with a high h–index (Max citation <60 in 2010, h–index 17, Web of Science). (utlåtande i biomedicin)

Vad den sakkunnig menar med låg citeringsgrad är att denna kandidat har publicerat många publikationer som refererats av andra (högt h-index), men hon saknar publikationer med mycket hög citeringsgrad (max citation <60). Att författarordningen är en viktig aspekt inom biomedicin framgår också i detta citat; det är första och  sista positionen som räknas.

Ett ännu tydligare exempel på hur kandidater, men också olika typer av indikatorer, jämförs är tabellen nedan där en rad kvantifierbara data kring författarskap, publikationer och citeringar sammanställts.

Fig 1 anonymized                                                                                                            (från utlåtande i biomedicin)

Här rör det sig om en ambitiös sakkunnig som har goda kunskaper i bibliometri; tabellen ackompanjeras av inte mindre än åtta fotnoter som förklarar de enskilda måttens betydelse och svagheter. En intressant detalj är att den sakkunnige använder sig av medianvärdet gällande citeringar snarare än medelvärdet, och det är en praktik som är statistiskt välgrundad då distributionen av citeringar ofta är mycket skev.

Sammanfattningsvis menar vi att bibliometriska indikatorer i dessa sammanhang bör förstås som ‘utvärderingsverktyg’ som är välintegrerade i disciplinära utvärderingspraktiker, och beroende på hur fältet är organiserat kommer olika typer av indikatorer, till exempel citeringar inom biomedicin eller tidskriftsrankningar inom nationalekonomi, att bli dominerande. Tidigare bibliometrisk forskning har i nedlåtande ordalag referat till denna typ av bibliometrisk praktik som ‘amatörmässig’ och varnat för dess utbredning. Vi vill dock påstå att de sakkunniga i dessa dokument ofta framstår som relativt kunniga gällande indikatorernas styrkor och svagheter. Vidare så besitter de en unik kompetens jämfört med professionella bibliometriker då de har kunskap om vilket värde dessa mått tillskrivs inom den egna disciplinen. Vår ståndpunkt är dock inte att användningen av bibliometri i dessa sammanhang är oproblematisk, och liksom Leidenmanifestet så menar vi att indikatorer av detta slag bör användas med stor försiktighet på individnivå. Att helt avfärda dessa mått som direkt olämpliga i alla sammanhang vore dock förhastat, och vi bör komma ihåg att bibliometrisk utvärdering också kan framhålla grupper, till exempel kvinnor, som ofta missgynnats i traditionell peer review.

Bild: Kalîla und Dimma von Bidpai: Der Hase und der Elefantenkönig vor dem Spiegelbild des Mondes in der Quelle, By Syrischer Maler von 1354 [Public domain], via Wikimedia Commons

Eugene Garfield (1925-2017): Utopist och ingenjör

eugene_garfield_hd2007_portrait

”I believe there is now only one kind of scientist – the information scientist.” (Garfield, 1962).

I söndags, den 26 februari 2017, gick en av informationsvetenskapens stora pionjärer ur tiden. Vid sidan om Derek J. de Solla Price (1922-1983) så framstår Eugene Garfield (1925-2017) som den moderna bibliometrins fader. Hans inflytande sträcker sig dock långt utanför en snäv krets av bibliometriker, och han bör enligt mig betraktas som en av informationsvetenskapens stora innovatörer. Garfields främsta bidrag är skapandet av den vetenskapliga citeringsdatabasen, Science Citation Index (1964), och grundandet av Institute for Scientific Information (ISI). I praktiken kan det rentav hävdas att Garfield med denna innovation introducerade den vetenskapliga ‘citeringen’ som vi känner den idag. (Notera att citering, eng. ‘citation‚ här inte är liktydigt med referens eller direkt citat utan avser just en framåtriktad länk mellan publikationer som citeringsdatabasen möjliggör. För en vidare diskussion kring konstruktionen av ‘citeringen’ se Paul Wouters, Citation Culture samt Gustaf Nelhans Citeringens praktiker).

Garfield startade sin bana som kemist men kom tidigt att intressera sig för hur forskning kommuniceras, och hans första stora bidrag inom detta område var Current Contents där korta sammanfattningar av vad som avhandlats i andra vetenskapliga tidskrifter publicerades. Det stora problemet för vetenskapen, enligt Garfield, var en snabbt ökande tillgång till information – han talade själv om en ‘information flood’. Konkret ställde han sig frågan hur forskare skulle mäkta med att följa vetenskapens utveckling ens inom ett begränsat fält. Med inspiration från Shepards Citation’s, som sedan länge samlat referenser inom juridiken, så lanserade Garfield 1955 idén om ett vetenskapligt citeringsindex där forskare inte bara kunde få information om de källor som en artikel refererade till utan också hur det aktuella verket citerats av efterkommande forskare. På så sätt menade Garfield att sökningen efter litteratur kunde förbättras avsevärt, och det medgav också stora möjligheter att studera den vetenskapliga kommunikationen i detalj. Det kom dock att ta närmare tio år innan citeringsindexet lanserades, och Garfield fick arbeta hårt med att finna stöd och finansiering för sin idé.

Tidigt identifierade sig Garfield som en informationsvetare – han hade redan i barndomen varit fascinerad av bibliotek och den kunskap som rymdes där – och en stor samling av hans texter bär just namnet ‘Essays of an Information Scientist’. I praktiken menade han att alla forskare – på grund av den snabba tillväxten av information – nu behövde bli informationsexperter. Citeringsindexet spelade givetvis en stor roll för dessa blivande experter, och Garfield såg framför sig en tid där biblioteket, i den utvecklade formen av ett ‘Informatorium’, skulle utgör en central hub i den vetenskapliga kommunikationen. I en text från 1962 beskriver han det på följande sätt:

As I see it, the ideal library must be able to supply information instantaneously. As an ideal library facility, The Informatorium will have to satisfy a wide variety of information requirements for a population that will be highly intellectual and scientifically trained. In my paper, I predicted rather optimistically and hopefully, that by the turn of the millennium there would be “a new Renaissance during which the population of the entire world will be thirsting for knowledge.” I think that age is already beginning in spite of, if not because of, threats of atomic destruction.

I en artikel från samma tid så inleder Garfield resonemanget med en referens till H.G. Wells och hans idéer om en världsomspännande hjärna (‘world brain’). Han menar att det är varje forskares dröm att ha tillgång till all upptänklig information, även om han tillstår att bibliotekarien ser alla de problem som återstår att lösa innan en sådan kan realiseras. Citeringsindexet kan dock, enligt Garfield, ses som ett första steg mot att en ‘världshjärna’. Förväntningarna på vad indexet kunde uppnå var knappast blygsamma, och Garfield, i likhet med andra stora informationsvisionärer som Paul Otlet (1868-1944) eller Vannevar Bush (1890-1974), såg hur hans innovation skulle förändra vetenskapen, och kanske också samhället, i grunden:

If we ever achieve “total communication, ” a state of research nirvana, then an enormous time-shared, random access computer memory will augment man’s finite memory and replace printed indexes and catalogs. In this condition of nirvana a World Brain will itself have become an auxiliary to man’s own brain. (Garfield, 1964)

Garfield var dock till skillnad från Otlet och Bush främst en praktisk man; en ingenjör, och hans texter kan snabbt gå från att diskutera en ‘världshjärna’ till att förklara hur en ny typ av kontorspaper kommer att förbättra informationshanteringen vid hans institut. Ett institut som snart kom att växa och utökas med flera databaser och tjänster. Allt för att underlätta sökningen efter information. Möjligheten att snabbt och enkelt hitta relevant litteratur framhölls starkt i marknadsföringen av ISI: ett exempel är denna film där Garfield själv presenterar Science Citation Index. Tidigt varnade dock bedömare för att indexet kunde användas för att utvärdera vetenskapen och forskare, och det är en debatt som pågår än idag. Tydligast blev kanske citeringens betydelse som kvalitetsmått genom Garfields introduktion av Journal Impact Factor (JIF) som ett mått på en tidskrifts genomslag. Denna indikator kom snabbt att få stor betydelse, och från att ha varit ett mått som rankade tidskrifter så kom den snart att användas även för att värdera enskilda artiklar eller forskare. JIF är än idag den mest inflytelserika och samtidigt det mest ifrågasatta bibliometriska indikatorn som dess användning vid utvärdering kritiserats i bland annat Doradeklarationen och Leidenmanifestet.

Garfields roll för bibliometrins utveckling kan inte nog framhållas, och stora delar av den forskning som bedrivs inom området skulle inte vara möjlig utan den databas som han skapade. Det är bara under senare år som seriösa konkurrenter till ISI (sedermera Web of Science, WoS) har lanserats genom Elseviers Scopus och i viss mån Google Scholar. Fortfarande görs dock en betydande del av all forskning inom bibliometrin med hjälp WoS, och den utgör också den standard mot vilken andra datakällor jämförs. Trots att WoS fortfarande är den dominerande datakällan så finns det ändå anledning att fundera över hur framtiden ser ut för citeringsdatabaserna mer generellt. Det finns flera tecken på att deras dominans alltmer utmanas av alternativa sätt att studera och utvärdera forskningen. Till exempel så har mått baserade på omnämnanden i sociala medier, så kallad altmetri, lanserats som en konkurrerande metod för att studera den vetenskapliga kommunikationen. Deras monopolställning utmanas kanske främst genom en utveckling mot en mer öppen vetenskap där referenser (och citeringar) blir direkt sökbara, och där möjligheter att söka i fulltext expanderar snabbt. Kanske var det sena 1900-talet höjdpunkten för citeringsdatabasen i den form som Garfield gav den, och Thomson Reuters beslut att under förra året sälja WoS kan måhända ses som ett tecken på att en gyllene era är över. Givetvis kommer Web of Science leva kvar som en mycket viktig källa för bibliometriska undersökningar där inte minst kvalitén på databasen och dess historiska täckning skiljer den från konkurrenterna, men den dominerande ställning som den en gång hade är nu förlorad. Detta till trots så var Science Citation Index en verkligt revolutionerande uppfinning på sin tid, och Garfields roll för den vetenskapliga kommunikationens utveckling kan inte ifrågasättas. Vidare framstår Garfields obändiga tro och optimism kring vetenskapens och informationens möjligheter minst lika relevant idag som för 60 år sedan, och jag är övertygad om Garfield i framtiden kommer räknas som en av informationsvetenskapens stora namn.

Bild: Chemical Heritage Foundation [CC BY-SA 3.0 (http://creativecommons.org/licenses/by-sa/3.0)%5D, via Wikimedia Commons

Det svenska bibliometriska landskapet

map

Röda rektanglar (högskolor), cirklar (universitet) och romber (specialiserade universitet och högskolor) indikerar lärosäten där bibliometri används, gröna de som ännu inte använder bibliometri för medelsfördelning.

Nästintill alla svenska lärosäten använder bibliometri, en rad olika indikatorer och mått är i bruk, och få verkar ha reflekterat kring vad det övergripande målet med dessa system är. Så kan resultaten från en studie som Pieta Eklund, Gustaf Nelhans, Fredrik Åström och jag nyss publicerat sammanfattas. Vi fann att bibliometri används vid 24 av 26 undersökta lärosäten, och fördelningen av medel sker på en rad olika nivåer: fakultet, institution och individ. Bara två lärosäten – Chalmers och Handelshögskolan i Stockholm – avstår från att använda bibliometri. Utan att ha exakta uppgifter kring bruket i andra länder så kan man med fog påstå att detta gör det svenska forskningssystemet till ett av de mest ”bibliometrifierade”. Det finns säkerligen flera anledningar till varför det ser ut på detta sätt, men vår studie pekar specifikt på det nationella system för medelsfördelning som infördes 2009 som en huvudorsak. Flera lärosäten anger också att medelstilldelningen inom lärosätet syftar till förbättra utdelningen i den bibliometriska omfördelning som sker nationellt.

Generellt används tre olika indikatorer vid svenska lärosäten: de som baseras på publikationer, de som använder sig av citeringar och de som bygger på en kombination av de båda. Vanligen väljer mindre högskolor publikationsbaserade indikatorer, inte sällan varianter av det norska systemet där olika publikationstyper ges poäng beroende på typ (tidskriftsartikel, monografi, bokkapitel) och nivå (1 eller 2). Vid de större universiteten är flera olika system parallellt i bruk, och endast Karolinska institutet och KTH fördelar medel enbart baserat på citeringar. Vid några lärosäten, till exempel Umeå, så används bibliometri för att fördela på flera nivåer: mellan fakulteterna, mellan institutioner och mellan individer. Medräknat den nationella nivån så kan alltså en enskild publikation räknas inte mindre än tre gånger, och till detta kan andra typer av mätningar och rankingar adderas.

Umeå

Illustration av system för medelstilldelning vid Umeå universitet (från Hammarfelt, Nelhans, Eklund och Åström, s. 9)

Förutom att kartlägga det utbredda användandet av bibliometriska indikatorer i Sverige så tittade vi också lite närmare på hur de introduceras, dokumenteras och appliceras. Då fann vi bland annat att:

  • bibliometriska fördelningsmodeller ofta införs med argumentet att de används av andra, eller så motiveras de utifrån utvärderingssystem på nationell nivå. Mer sällan ses fördelningsmodellerna som ett verktyg för att uppnå lärosätets egna målsättningar och visioner.
  • resursfördelningssystemen i allmänhet är illa dokumenterade och få, även på ledande administrativa positioner, verkar förstå hur de fungerar.
  • traditionella bibliometriska mått används, inget lärosäte begagnar sig av alternativa mätmetoder (t.ex. altmetri), och tillgänglighet (open access) räknas inte som meriterande i någon modell.
  • modeller som explicit utvecklats för att fördela resurser på aggregerade nivåer används för att utvärdera mindre grupper och i flera fall individer. Detta trots att bibliometrisk expertis relativt entydigt (se till exempel Leidenmanifestet) avråder från sådan användning.
  • vid ett par lärosäten belönas individuella forskare för publikationer där en artikel i ‘rätt’ tidskrift kan ge så mycket som 70.000 kr i tillskjutna forskningsmedel. En praktik som ger tydliga incitament, enligt mitt tycke, för tydliga.
  • vi förvånas över att dessa utvärderingssystem i mycket liten grad själva utvärderas. De införs, ofta utan något större förarbete, och sedan sker ingen uppföljning.

Avslutningsvis kan det konstateras att vi nu kanske nåt en bibliometrins höjdpunkt i Sverige, fler universitet och högskolor än någonsin tidigare använder sig av dessa mätmetoder, och flera har precis lanserat eller utreder möjligheten att införa prestationsbaserad resurstilldelning på bibliometrisk grund. Samtidigt är ett nytt nationellt utvärderingssystem under utredning, FOKUS, och skulle detta införas så lär säkerligen förändringar ske runtom på svenska lärosäten. För är det något denna studie visar så är det att trendkänsligheten är stor inom den svenska forskningsadministrationen.

Det danska undret och den svenska forskningspolitiken

Danskar

Under de senaste åren har trenden varit tydlig: Sverige presterar betydligt sämre än Danmark sett till forskningens internationella genomslagskraft (läs citeringar i Web of Science). Danmark presterar nu i klass med andra ledande europeiska nationer som Nederländerna och Schweiz, samtidigt som svensk forskning tappat mark från början av 1990-talet och framåt. Utvecklingen, som påvisats i flera undersökningar, illustreras bland annat i Vetenskapsrådets rapport Forskningens framtid!  där följande diagram som visar andelen högt citerade publikationer i jämförelse med världsgenomsnittet återfinns (s.12)

VR1534_Svensk-vetenskaplig-produktion_web

Dessa resultat har i en svensk kontext renderat i två centrala forskningspolitiska frågor: Hur kommer det sig att danskarna presterar så bra, och hur kan svensk forskning komma ikapp, eller till och med förbi? Den senare frågan har diskuterats flitigt under senare år. Den mest omfattande studien Fostering Breakthrough Research är författad av Gunnar Öquist och Mats Benner och de listar en rad olika förklaringar. Här återfinns också direkta förslag på hur svensk forskning kan förbättras. Några punkter som dessa författare trycker på är:

  1. Att andelen basanslag är högre i framgångsrika forskningsnationer som Danmark, Nederländerna och Schweiz.
  2. Universiteten i de mer framgångsrika länderna tar större ansvar för att själva bedöma och belöna kvalité’. Det akademiska ledarskapet är också starkare utvecklat och mer framåtblickande.
  3. Det svenska systemet saknar tydliga karriärvägar (tenure track) vilket däremot finns i Nederländerna och Schweiz.

Därtill pekar de på en rad andra faktorer som hämmande för utvecklingen av svensk forskning. Till exempel bristande rörlighet mellan lärosätena (mobilitet) och behovet av en ökad internationalisering av svensk forskning. Den starkaste slutsatsen från rapporten är dock att resurserna för forskning bör omdirigeras från externa projektanslag till basanslag.

Frågan kring svenska forskning och dess ställning internationellt har också varit ämnet för en serie radioreportage från Vetenskapsradion, där en rad framgångsrika länder – Nederländerna, Danmark och Schweiz – varit i fokus. Skillnader i forskarnas mobilitet, men också anställningsförhållanden är några av de faktorer som togs upp i programmen. Noterbart är att det i Danmark är lättare att få fast anställning, men att det också är lättare att som akademiker få sparken. En fördel med ett sådant system är att staplandet av tidsbegränsade projektbaserade anställningar i högre grad kan undvikas. Frågan är dock om ett sådant system är möjligt, eller ens önskvärt, i en svensk kontext där anställningstrygghet värderas högt.

De ambitiösa rapporter och utredningar som jämfört förhållandena i Sverige med förutsättningarna i mer framgångsrika nationer innehåller alla viktiga och relevanta synpunkter på hur svenska forskningspolitik bör bedrivas. Men trots att studierna i många fall är välförankrade i aktuell forskning så skulle jag vilja påstå att de till viss del ändå famlar i mörker. Det finns främst två anledningar till detta; för det första så är forskningsresultaten på området ofta motsägelsefulla och den reform som fungerar i en specifik kontext behöver inte göra det i en annan. Ty även om vetenskapen alltmer är internationell så är organisationen och finansieringen av densamma företrädesvis nationell. En annan begränsning är att en majoritet av alla analyser av relationen mellan forskningspolitiska reformer och vetenskapligt genomslag fokuserar på en eller kanske två faktorer, men förmodligen är det så att kombinationen av hur forskningen leds, organiseras, finansieras och utvärderas är av avgörande betydelse. Det forskningspolitiska systemet är mycket komplext, och vilket inflytande enskilda faktorer har är mycket svårt att fastställa.

I ett av de mer ambitiösa försöken att förstå den danska framgångssagan framhålls just den rätta kombinationen av flera faktorer som en möjlig förklaring, även om författarna avhåller sig från att ge några definitiva svar. Genom en omfattande studie av det danska forskningslandskapet visar Aagaard och Schneider (2015) hur dansk forskning kom till en vändpunkt under den senare delen av 1980-talet, och sen dess har kurvan pekat uppåt. Utan att peka på en specifik orsak så finner de flera potentiellt bidragande förändringar som ägde rum under 1980-talet och början av 1990-talet. Bland annat så stabiliserades balansen mellan basanslag och externa anslag, det institutionella ledarskapet stärktes, universiteten gynnades på bekostnad av statliga forskningsinstitut, det danska forskningsrådet etablerades och dokorandutbildningen formaliserades och stärktes. Dessa förändringar ledde sedermera till en ökad internationalisering av forskningen och konkurrensen om akademiska tjänster tilltog. Författarna är dock noga med att påpeka att Danmark också presterade väl runt 1980, och de poängterar att det knappast finns en specifik ‘winning formula’. Snarare är det så att receptet för ett gott forskningsklimat skiljer sig både över tid och rum, vilket gör det när omöjligt att direkt överföra den danska erfarenheten till en svenska kontext.

Med detta sagt så är det ändå klart att vi bör ta lärdom av framgångsrika exempel från andra länder, och baserade på dessa koka ihop ett recept som förhoppningsvis vänder Sveriges negativa trend. Kruxet verkar vara att hitta den rätta mixen i forskningssystemet där balansen mellan olika faktorer är avgörande. En reform som dock framstår som nödvändig utifrån kunskapssläget är att höja basanslagen, och detta är också ett förslag som lyfts i flera av de kommentarer (se bland andra RJs, Uppsala Universitets och SUHFs inspel) som duggar tätt inför den kommande forskningspropositionen. Av de tunga aktörerna så är det egentligen bara Vetenskapsrådet som inte lyfter fram frågan om ökade basanslag, utan de föreslår istället mer pengar till forskarinitierade projekt. Deras förslag, bäst karaktäriserat som ”mer av samma”, är märkligt givet att flertalet internationella jämförelser pekar just på den ökade ’projektifiering’ av svensk forskning som ett problem.

Exakt hur den framtida forskningspolitiken utformas återstår att se, men radikala förändringar är knappast att vänta. Att skynda långsamt, hur tråkigt det än må låta, är kanske ändå en förnuftig strategi. För om vi lärt oss något av det danska exemplet så är det att stabilitet över tid, tillsammans med tillräckliga ekonomiska resurser, är två grundläggande förutsättningarna för  ett gott forskningsklimat.

Bilder: Aftonbladet.se samt Vetenskapsrådets rapport Forskningens framtid!

Vad vi vet om bibliometrins effekter

Metric_tide_literature_review

Sedan länge är det känt att mätandet i sig förändrar det som mäts. Att vetenskapen och forskarna påverkas av att ett allt flitigare räknande av citeringar och publikationer torde därför vara oomtvistat, men hur ser denna påverkan ut? Det brittiska forskningsrådet Higher Education Funding Council for England (HEFCE) initierade nyligen en första genomgripande översikt av den forskningen som försökt att besvara detta spörsmål och slutsatserna i rapporten The Metric Tide, som publicerades idag, kan  sammanfattas i fyra punkter:

1. Strategiskt förhållningssätt och målförskjutning

Införandet av kvantitativa indikatorer innebär alltid en risk att forskare börjar fokuserar mer på att få höga poäng, enligt de kvalitetsmått som formulerats, snarare än på att bedriva högkvalitativ och nydanande forskning. Tecken på en sådan målförskjutning kan till exempel ses i Australien där räknandet av antalet artiklar ledde till fler publikationer, men publikationernas internationella genomslag minskade

2. Inskränkning av arbetsuppgifter

Bibliometrisk utvärdering belönar vissa specifika insatser samtidigt som andra verksamheter ger få eller inga poäng. Oftast är det internationella (läs engelskspråkiga) tidskriftsartiklar som premieras på bekostnad av andra typer av publikationer och arbetsinsatser. Störst påverkan har sådana system inom humaniora och delar av samhällsvetenskapen där tidskriftsartikeln ännu inte är den dominerande kommunikationskanalen. Tecken finns dock på att även dessa fält alltmer anpassar sig till den norm som råder inom andra discipliner (se till exempel förändringar i publikationsmönstren vid Uppsala Universitet). En betydande risk är också att forskare i allt mindre grad vänder sig till en inhemsk populärvetenskaplig publik då sådana publikationer inte ger utslag i utvärderingssystemen.

3. Institutionella effekter

Universitet och högskolor kan inte heller undgå att påverkas av bibliometriska mätningar. Universitetsrankingarnas betydelse för universitetens självbild är uppenbar, och att rankas högt i dessa blir allt viktigare. Forskningspolitiskt spelar rankingar också en betydande roll, och bara för nåt år sedan så kom ett seriöst förslag som gick ut på att skapa ett svenskt superuniversitet för att på så vis stiga i rankingen. Lärosätena måste också förhålla sig till nationella omfördelningssystem där den svenska modellen resulterat i lokala varianter, samtidigt som den brittiska motsvarigheten RAE skapat en transfermarknad – inte helt olik den som existerar inom fotbollen – för forskare som genererar höga poäng för sitt universitet.

4. Konsekvenser för kunskapsproduktionen

Hur bibliometriska mått påverkar kunskapsproduktionen mer generellt är svårt att överblicka, och kanske är det ännu för tidigt att redan nu identifiera djupgående förändringar i forskningens praktik. I många fall så är dock bibliometriska mått, som Journal Impact Factor (JIF), sedan länge etablerade och integrerade i det dagliga arbetet. Exempelvis så används JIF för att skilja mellan deskriptiv och nydanande forskning inom biomedicin. Undersökningar av hur bibliometriska utvärdering påverkar forskningens praktik måste därför också inbegripa studier av hur citeringsmått och andra indikatorer används i forskarnas vardag.

Trots dessa fyra punkter är vår kunskap om bibliometrins effekter knapphändig. Flera av de studier som översikten bygger på är begränsade till en kort tidsperiod och de säger mycket lite om utvärderingens långsiktiga effekter. Andra undersökningar erbjuder mer detaljerade analyser av en specific kontext men det är svårt att avgöra om resultaten är applicerbara mer generellt. Ofta studeras förändringar i publikationsmönster, men de trender som identifieras (t.ex. högre andel engelskspråkiga tidskriftsartiklar) behöver inte nödvändigtvis vara en konsekvens av bibliometrisk utvärdering. Vidare så verkar bibliometriska mått på flera nivåer (individ, institution, universitet, nation) och att urskilja effekterna av ett specifikt system är därför mycket svårt. Förhoppningsvis kan en kombination av större kvantitativa studier och mer kontextualiserade kvalitativa ansatser ta oss en bit på vägen. Det vi vet tyder dock på att användning av bibliometriska mått kan få konsekvenser i form av en ökad likriktning av vetenskapliga fält och en reduktion av forskarrollen. Sådana förändringar synes stå i direkt opposition till en forskningspolitik som syftar till mer samverkan, större öppenhet och ökad samhällelig relevans.

Administrationen och det ”bibliometriska systemet”: Några klargöranden i den forskningspolitiska debatten

I ett flertal inlägg i SvD framför professor Inger Enkvist hård kritik mot dagens universitet, vår nuvarande forskningspolitik och användandet av bibliometri. Jag finner hennes övergripande syfte lovvärt men liksom en hel del andra inlägg i den forskningspolitiska debatten så är de till stora delar illa underbyggda, anekdotiska och ofta rent felaktiga i sak. Nedan diskuterar jag några av de påståenden som Enkvist gör kring bibliometri. Hennes ensidiga kritik av administrationen är också problematisk men det finns andra som bättre kan granska dessa påståenden.

Låt oss börja med Enkvists inledande beskrivning:

I universitetsvärlden är konkurrensen om forskar- och lärartjänster hård, och allt ska gå fort. Ett nytt problem är att forskningskvaliteten nu direkt hotas av en ökande tendens att bedöma forskare efter antal artiklar mer än deras innehåll, counting, not content, en metod kallad bibliometri. Den här trenden har kallats the utility turn, vilket innebär att universitetens administratörer vill kunna mäta vilken ”nytta” som producerats.” (Forskningskvantitet viktigare än kvalitet, SvD, 11 Juni, 2015)

Forskare har länge bedömts utifrån antalet publikationer, och så skedde långt före utvecklandet av mer formaliserade bibliometriska metoder. Idéhistoriken Peter Josephsson visar i en läsvärd studie att tyska professorer redan vid 1700-talets slut bedömdes och anställdes utifrån antalet publicerade verk. En förteckning av professorer och deras verk, Das gelehrte Deutschland, användes för ändamålet och tanken var att berömda författare med stort rykte skulle locka till sig fler studenter. Här räknandes alla publikationer, även barnböcker, och systemet stötte tidigt på kritik som liknar de argument som framförs i dagen debatt.

‘Utility turn’ är dock för mig, och säkerligen för många andra, ett nytt begrepp som efter Enkvists introduktion kan komma att utmana mer etablerade benämningar som ‘New public management’, ‘Audit Society’ och ‘Evaluation Society’.

Vidare så står det klart att bibliometriska mått spelar en stor roll inom akademin. Däremot kan man fråga sig om dessa mått får allt större betydelse. Till exempel är förslaget på nytt nationellt utvärderingsystem i Sverige, FOKUS, baserat på peer review till skillnad från det nuvarande mer bibliometriskt inriktade. Upprop, som DORA och det nyligen publicerade Leidenmanifestet, pekar också mot en större medvetenhet kring riskerna med bibliometrisk utvärdering.

Debattinlägget fortsätter sedan att diskutera bibliometrins effekter:Utvärderingar från Australien säger att sedan bibliometri införts publiceras fler artiklar, men den sammanlagda kvaliteten har sjunkit, och ändå håller flera svenska universitet på att införa systemet.” (Forskningskvantitet viktigare än kvalitet) Den undersökning som Enkvist refererar till visar att fler artiklar publicerades men deras citeringsgrad (mätt gentemot ett internationellt snitt) minskade. Den säger alltså mycket lite om någon inneboende kvalité. Det finns de som hävdar att kvalité och impact (antalet citeringar) är samma sak, men givet Enkvists vidare argumentation kring citeringar som kvalitetsmått så antar jag att det inte är hennes ståndpunkt:

Man får hoppas att banbrytande nya artiklar citeras ofta, men även här finns risker för snedvridning. En citering kan vara tecken på berömmelse snarare än kvalitet. En forskare kan också öka antalet citeringar genom att skapa en liten ”kartellmed andra forskare som arbetar in hänvisningar till varandra i sina texter. Detta torde ha förekommit även tidigare, men nu upphöjs sådana ovanor till kvalitetsindikatorer.” (Forskningskvantitet viktigare än kvalitet, SvD, 11 juni, 2015) .

Till detta kan vi tillägga att idén om så kallade “citeringskarteller” framförs ganska ofta i debatten kring bibliometri, och visst har de förekommit på tidskriftsnivå. Det finns dock inga indikationer, eller systematiska studier, på att sådana beräknande överenskommelser skulle vara särskilt förekommande på individnivå.

Enkvist är dock väl försiktig när hon skriver att flera universitet håller på att införa bibliometri. Faktum är att en stor majoritet av svenska lärosäten använder bibliometri i någon form (även hennes eget om än inte inom humaniora), och varje enskilt lärosäte har sin egen modell för utvärdering. Låt mig här poängtera: bibliometri är inte ett system utan en samling utvärderingsmetoder och därtill ett forskningsfält i sin egen rätt. Det finns ett flertal olika bibliometriska utvärderingssystem med vitt skilda incitament och beräkningsmetoder.

I tidigare inlägg har också Enkvist också kopplat samman användandet av bibliometri med en ökad makt för administrationen, och det finns givetvis visst fog för en sådan argumentation. Hon skriver bland annat “[a]tt bibliometri blivit populärt hos administrationen har att göra med att forskarna är specialiserade på olika områden som administrationen inte kan bedöma. Ändå vill administrationen ”leda” forskarna genom att tilldela forskningspengar eller forskningstid.” (När administrationen leder forskningen, SvD 20 maj, 2015). En sådan argumentation förbiser dock att en stor del av bibliometrianvändningen sker på initiativ från professionen själv, och att utmåla bibliometrin som ett externt vapen i administratörernas tjänst riskerar att fördumma debatten. Givetvis är användandet av bibliometri sammankopplat med bredare organiskatoriska trender i samhället – se till exempel mitt tidigare inlägg om NPM – men det finns också inomvetenskapliga faktorer som är drivande i denna utveckling. Forskarna är därmed inte bara ett offer för illvilliga administratörer utan i hög grad medskapare av dessa system.

Så tuktas bibliometrin

I dagens Nature publiceras “The Leiden manifesto” där tio principer för bibliometrisk utvärdering föreslås av en samling ledande bibliometriker och vetenskapssociologer med Diana Hicks och Paul Wouters i spetsen. Manifestet tar sin utgångspunkt i de diskussioner som förts vid bibliometriska konferenser under senare år. Jag har tidigare diskuterat försöken att formulera riktlinjer för användandet av bibliometriska mått, och de principer som nu lanserats är ett viktig steg i denna strävan. Nedan följer de tio principerna i mycket kortfattad form:

  1. Kvantitativ utvärdering ska stödja kvalitativa omdömen. Inte tvärtom.
  2. Mät kvalité och genomslag utifrån institutionens, forskargruppens eller forskarens specifika roll och syfte.
  3. Skydda framstående “lokal” forskning (till exempel inom humaniora).
  4. Bedömningen ska vara transparent. Data samt procedurer ska redovisas öppet.
  5. Den utvärderade ska få möjlighet att granska och revidera den data som ligger till grund för utvärderingen.
  6. Beakta variationer i publicerings- och citeringsmönster mellan vetenskapliga fält vid utvärdering.
  7. Utvärderingar av enskilda forskare bör baseras på kvalitativa omdömen.
  8. Undvik falsk precision (till exempel användandet av tre decimaler vid beräknandet av Journal Impact Factor).
  9. Uppmärksamma utvärderingens systematiska effekter på forskare och institutioner.
  10. Granska och utvärdera bibliometriska indikatorer regelbundet.

Överlag så stämmer dessa principer med väletablerade uppfattningar bland bibliometriker överlag, men det betyder knappast att alla eller ens en majoritet av de utvärderingar som utförs följer dessa principer. Noterbart är dock att principerna nästan uteslutande berör vad som inte bör göras, de begränsningar som bibliometrin har och de risker som finns med ett alltför frekvent användande. Detta trots att flera av författarna företräder institutioner som utför bibliometriska utvärderingar på konsultbasis.

Ett manifest kommer sällan ensamt, och vi ser liknande initiativ även i Sverige. För ett par månader sedan så publicerade Vetenskapsrådet sina “Riktlinjer för användning av bibliometri”. Från Leidenmanifestet känner vi igen formuleringar kring att bibliometrin bör kompletteras med kvalitativa omdömen och VR uttrycker tveksamheter kring mått som h-index och Journal Impact Factor. Riktlinjerna kring användandet av bibliometri på individnivå är dock motsägelsefulla . Å ena sidan skriver man att ”Vetenskapsrådet är mycket restriktivt när det gäller bibliometriska jämförelser mellan individer och använder sig inte av h-index eller liknande indikatorer” (från sammanfattningen), men samtidigt beskrivs hur citeringsdata för alla publikationer där sådan finns automatiskt kommer redovisas i PRISMA. Detta kan man knappast beskriva som restriktiv och reflekterad användning av bibliometri. VR inser givetvis att detta är kontroversiellt och inflikar: ”Forskares meriter ska aldrig bedömas, jämföras eller rankas enbart utifrån bibliometriska data.” (s. 7). Vilken vikt som ska läggas vid bibliometriska mått, huruvida de är komplementerande eller helt avgörande anges dock inte. Det är också, vilket jag påpekat i anslutning till förslaget om nytt utvärderingsystem för svensk forskning (FOKUS), naivt att tro att bedömare kommer kunna bortse från citeringsdata när de väl fått ta del av sådana uppgifter. Risken är att den tekniska möjligheten att automatiskt importera imformation kring citeringar får större konsekvenser än VR avser. Om citeringsdata systematiskt redovisas i PRISMA innebär det att bibliometri på individnivå kan komma spela en högst betydande roll vid bedömningar av forskningsansökningar. Om detta är intentionen så låt gå, men då bör man motivera varför citeringar ska användas vid bedömningen av forskningsprojekt. I nuläget verkar beslutet grundat på den tekniska möjligheten att importera citeringsdata snarare än forskningspolitiska överväganden.

Ett sista exempel på trenden med riktlinjer är ett seminarium kring ‘best practice’ som anordnas av SUHFs bibliometrigrupp och Högskolan i Borås. Här tar man utgångspunkt i de många varierande indikatorer som används vid svenska lärosäten. En rapport författad av Gustaf Nelhans och Pieta Eklund pekar på stora skillnader i hur bibliometrin används för medelsfördelning vid svenska lärosäten och en utökad men ännu ej publicerad studie visar att 24 av 26 undersökta lärosäten använde sig av bibliometri för resursfördelning. Noterbart är att mycket få lärosäten lever upp till de tio priniciper som formulerats i Leidenmanifestet. Bibliometriska mått användes på flera håll för att fördela resurser på individnivå, och överlag är dokumentationen kring systemen bristfällig och transparensen låg. Vid seminariet ämnar man diskutera resultaten från dessa undersökningar. Hur ska de som leverar underlag för dessa utvärderingar förhålla sig till det ibland tveksamma användandet av indikatorer? Finns det behov av riktlinjer? Och vilken kompetens bör krävas av den som utför analysen?

Hur ska vi då förstå författandet av manifest och utformandet av riktlinjer? Först och främst kan vi konstatera att det i hög utsträckning är professionella bibliometriker (dvs de tjänar sitt levebröd på att utföra dessa analyser/utvärderingar) som står bakom dessa dokument. En möjlig förklaring till att dessa skrivelser publiceras just nu är att bibliometrikerna känner sig allt mer ifrågasatta. Det har alltid funnits dem som kritiserat användandet av bibliometriska mått men initiativ som DORA visar på ett alltmer organiserat motstånd. Ett sätt att skapa förtroende är då att urskilja den “goda” bibliometrin från den “dåliga” och på så sätt legitimera fortsatt användande.

Dock vill jag hävda att dessa initiativ inte enbart kan tolkas som en slug taktik för att rädda bibliometrin från dess kritiker utan dessa ansatser är också ett resultat av ett ökat intresse kring bibliometrins effekter. Den forskning som bedrivs kring utvärderingens konsekvenser börjar också ta större plats inom bibliometrifältet i stort, och det finns indikationer på att ett allt mer reflexivt förhållningsätt börjar få fäste även inom de organisationer som utför bibliometriska analyser.

Oavsett vilken förklaringsmodell som man finner mest attraktiv så medför utvecklandet av principer och riktlinjer att dessa frågor aktualiseras och debatteras. Det finns dock en risk att diskussionen stannar vid det praktiska utformandet av indikatorer och att det metodologiska och tekniska kommer att dominera. Istället för att lista problem med nuvarande metoder, indikatorer och tillvägagångsätt så skulle det därför vara värdefullt att ställa mer övergripande frågor: När är bibliometriska metoder användbara och legitima? När utgör bibliometrin ett viktigt komplement till peer review? Och i vilka fall används bibliometrisk mått för att de är lätttillgängliga snarare än därför att de är efterfrågade? Min åsikt är att bibliometrin har en roll att fylla , och då speciellt för att motverka tendenser — konservatism, könsdiskriminering och undertryckande av interdisciplinär forskning —som förknippas med peer review. Att urskilja de tillfällen där bibliometrin inte bara kan användas utan också bör användas är således den fråga som bibliometrikerna och forskarsamhället bör diskutera.

Jämställdhet och vetenskaplig produktion

481px-Granada_Relocation_Center,_Amache,_Colorado.__Feel_My_Muscle__-_(art)_cut_out._Granada_Relocation_._._._-_NARA_-_539913

Könsskillnader gällande vetenskaplig produktion (antalet publikationer) och genomslag (citeringar) har länge varit en tvistefråga inom bibliometrin. En majoritet av undersökningarna kring produktivitet visar att män fortfarande står som författare till fler artiklar än kvinnor, och de citeras också oftare. Det finns dock indikationer på att dessa skillnader håller på att utjämnas då kvinnor, bland yngre forskare, gått om männen vad det gäller författandet av vetenskapliga publikationer. En trend som är logiskt då kvinnor i de flesta utvecklade samhällen överträffar männen vad det gäller nivå och resultat i utbildningssystemet.

Men vilken betydelse har länders utvecklings- och jämställdhetsnivå för kvinnors vetenskapliga produktion? Är det så att könsskillnader inom forskningen är mindre i ett mer jämlikt samhälle? En nyligen publicerad artikel av Sugimoto, Ni och Larivière försöker svara på dessa frågor genom en storskalig studie av knappt fem och en halv miljon artiklar. De finner dock inte några entydiga svar. Upp till en viss nivå så har det relativa välståndet en betydande inverkan på jämställdheten inom forskningen där ojämlikheten är störst i mycket fattiga länder. Men skillnaderna mellan medelrika och mycket rika länder är små. Resultaten gällande jämställdhet ger liknande svar. De mest ojämlika länderna — här återfinns exempelvis Iran där kvinnor är förhindrade att forska inom vissa fält — är också de där forskningen är mest ojämställd. Skillnaderna mellan länder med medelhög jämställdhet och de som rankas högst enligt Gender Inequality Index är  dock mycket liten. Alltså, en grundläggande nivå av utveckling och jämställdhet påverkar jämlikheten inom forskningen men effekten avtar gradvis. Det är dock viktigt att påpeka att studien inte beaktat den totala andelen kvinnor bland forskarna i enskilda länder, och en möjlig förklaring till resultaten skulle då vara att de kvinnor som lyckas ta sig fram i mindre jämställda samhällen är tvungna att prestera på en mycket högre nivå för att överhuvudtaget överleva inom akademin. Det bör också nämnas att studien endast omfattar artiklar indexerade i databasen Web of Science som har begränsad täckning inom samhällsvetenskap och humaniora.

Om vi trots dessa invändningar tar resultaten på allvar så innebär det att könsskillnader inom vetenskapen bara delvis kan skyllas på ett omgivande samhälle. Relativt stora skillnader i jämställdhet mellan discipliner, där ämnen som pedagogik, vårdvetenskap och biblioteksvetenskap uppvisar högre grad av jämställdhet gällande vetenskaplig produktion samtidigt som fysik, ekonomi och filosofi är ämnen där ojämställdheten består, bekräftar att inomvetenskapliga faktorer spelar stor roll. Att just dessa ämnen, med får man säga relativt hög svansföring, är mest ojämställda är kanske inte en slump. En uppmärksammad studie visar nämligen att vetenskapliga fält där idén om ett geni spelar stor roll också tenderar till att vara mest ojämställda. Således kan ojämställdheten inom akademin inte bara skyllas på omgivande strukturer utan skillnader mellan könen är också ett resultat av våra föreställningar kring vad vetenskap är, och vad det innebär att vara en god forskare. Att skjuta hål på föreställningarna om det vetenskapliga geniet, för genierna är nästan alltid män, synes därmed vara en möjlig väg för att minska ojämställdheten inom akademin.

Bibliometrin kan i denna process inte bara erbjuda en beskrivning av rådande strukturer, utan också, som jag skrivit om tidigare, verka subversivt och hjälpa till med att kullkasta könade föreställningar om vetenskaplighet och genialitet. Statististiska studier kan dock bara ta oss en bit på vägen, vilket författarna till studierna ovan också medger, och mer djuplodande kvalitativa ansatser behövs för att förstå, och motverka  ojämställdheten i forskarsamhället.

Bild:”Feel My Muscle” av Iwasaki, Hikaru, 1923-, Photographer (NARA record: 8464103) (U.S. National Archives and Records Administration) [Public domain], via Wikimedia Commons

Vetenskapens Tony Gates? New public management och bibliometrisk utvärdering av forskning

IMG_0171

I den första säsongen av den prisbelönta serien Line of Duty (2012) misstänks kriminalkommissarien Tony Gates för korruption och tjänstefel. Ett av de brott han misstänks för är “stacking”: att överdriva antalet begångna brott vid gripanden för att höja den egna uppklarandegraden. På detta sätt har han bland annat tillskansat sig titeln som “årets polis”. Liknande strategiska beteenden för att uppfylla kvalitetsmått har länge debatterats också inom sjukvården (se till exempel Maciej Zarembas uppmärksammade reportageserie). I kölvattnet av denna debatt har också frågan om hur New Public management och liknande idéer har influerat styrningen av högre utbildningen och forskning diskuterats. Ett problem med denna typ av styrning är att det lätt uppstår konflikter mellan vad professionen anser som viktigast och det som systemen anbefaller. I fallet Tony Gates rör det sig om att prioritera fall som är lätta att lösa, och i sjukvården kan mer ”enkla” behandlingar, som benbrott, prioriteras framför psykologiska åkommor som är svårbehandlade och långvariga. Inom forskningen kan vi se exempel på ’stacking’ när forskare kramar ut så många publikationer ur ett projekt som bara möjligt; så kallad “Salamipublicering” (företeelsen går också under benämningen least-publishable-unit). Vidare kan också mer strategiska överväganden ske då forskare kan tänkas satsa på relativt ’säkra’ eller kortsiktiga projekt som med stor sannolikhet kan utmynna i publicerbara resultat snarare än att satsa på mer riskabel och utdragen men potentiellt mer nydanande forskning.

Denna typ av kvantitativa kvalitetsmått förknippas ofta med New public management (NPM). NPM är på intet sätt ett nytt fenomen, och det finns forskare som hävdar att det rentav spelat ut sin roll i den nya digitala eran. New public management är heller inget entydigt begrepp utan snarare en svepande benämning på hur idéer hämtade från näringslivet har kommit att påverka hur offentliga verksamheter styrs. Storbritannien under Thatcher var ledande i utvecklingen men länder som Australien, Danmark, Nederländerna och Sverige har följt efter. Ekonomen Roland Almquist menar att det finns flera förklaringar till framväxten av NPM. En förklaring är att gamla styrsätt blivit föråldrade i och med införandet av nya informationssystem, och ett annat att ökad press på ekonomisk återhållsamhet inom offentlig verksamhet har lett till en efterfrågan av nya styrredskap. Den mest vanliga förklaringen, åtminstone bland kritikerna, är dock att NPM är ett resultat av högerliberala idéer om marknadens primat. Dock kan NPM också ses i relation till en mer allmän tendens där offentlig verksamhet ska hållas ansvarig (accountable) inför medborgare och skattebetalare.

NPM har inneburit att offentliga verksamheter allt mer har kommit att präglas av tre M: managers, mätning och marknad. (se till exempel Ferlie et al.). Dessa tre M påverkar givetvis akademin i olika grad, och här kommer jag mer specifikt att fokusera på mätning. Det kan dock konstateras att de tre M:en är kopplade: ökad mätning möjliggör administrativ styrning (managers) vilket i sin tur medför att den professionella styrningen ifrågasätts. På senare tid har just professionaliteten varit ett ämne för debatt, och framväxten av ett det ‘administrativa lärosätet’ har länge kritiserats. Den bibliometriska mätningen som vi här intresserar oss för bidrar också, genom mått på individuella prestationer och genom universitetsrankingar av olika slag, till etablerandet av en ‘akademisk marknad’ av publikationer, citeringar och forskare. Dock ska NPM:s verkningar inom akademin inte heller överdrivas – kollegialiteten är forfarande stark på många håll och få andra professioner besitter den autonomi som universitetslärare har. Detta gör sektorn svårstyrd och disciplinära traditioner väger ofta, men inte alltid, tyngre än krav från administrativa system.

En respons på debatten kring NPM inom offentlig sektor är en specifik satsning, utlyst av Riksbankens Jubileumsfond. Med projektet Forskningen granskad: Användningen av prestationsindikatorer för att mäta akademisk forskning, praktiker och effekter har Fredrik Åström och jag förmånen att vara en del av denna ansats som omfattar ett flertal initiativ där bland annat sjukvård, skolor och högre utbildning studeras. Inom detta projekt kommer vi att utforska de system som alltmer används för att ‘mäta forskning’ vid svenska lärosäten, och hur dessa system i sin tur återspeglas i forskarnas praktiker. Har omförhandlingar skett i synen på hur man bedriver sin forskning? Finns det tendenser till att bibliometrisk utvärdering påverkar formulerandet av projekt? Och har förändringar skett vad det gäller publiceringspraktiker? Det finns indikationer på att införandet av prestationsbaserad resurstilldelning har medfört förändringar i hur forskare publicerar, men större och mer omfattande studier krävs.

Det finns alltid exempel, som kriminalinspektör Tony Gates, på individer som utnyttjar luckor i systemet, och att designa utvärderingssystem som helt omöjliggör sådant beteende är knappast görligt. Att addera ytterligare kontrollfunktioner framstår heller inte som rätt väg att gå. Istället bör vi fundera på vid vilka tillfällen utvärdering och detaljstyrning ökar kvaliteten och vid vilka de snarare medför ett ökat fokus på kvantitativ måluppfyllelse. Förhoppningsvis kan projekten i RJ:s satsning bidra med nya insikter i denna fråga.

Foto: Fredrik Åström, Lunds Universitet.