Skadlig mäthysteri, eller användbart styrmedel? Prestationsmått i svensk akademi

“If you measure things, if you look at things, if you pay attention to things, more things will happen” (akademisk ledare citerad i Söderlind & Geschwind, 2019).

Som citatet ovan förmedlar så händer något när saker räknas och uppmärksammas. En uppdelning, och en prioritering, sker mellan det som ska, och kan, mätas, och det som inte enkelt kan omsättas i numeriska värden. Frågan kring vad som händer vid mätning och utvärdering står i centrum för Johan Söderlinds avhandling A metric culture in academia: The influence of performance measurement on the academic culture of Swedish universities (2020), som försvarades vid KTH den 25 september. I avhandlingen studeras hur prestationsmått fått en allt större betydelse i organisationen av akademiskt arbete, och särskilt fokus riktas mot hur dessa system påverkar verksamheten. I fyra delstudier, vilka också publicerats som fristående artiklar, så studeras mätningens utformning och konsekvenser på olika nivåer i det akademiska arbetet. Några av studierna har en mer komparativ ingång där exempelvis skillnader mellan svensk akademi och andra nordiska länder belyses, medan andra artiklar fördjupar sig i mer specifika fenomen. Det empiriska materialet är rikt, och det gäller även det teoretiska och metodologiska ramverket. Utgångspunkten för själva studien är idén om ett utvärderingssamhälle som delvis kan förklaras av en senmodern organisation av samhället där granskning blivit ett centralt element för hur verksamheter styrs. Överlag ger avhandlingen en god överblick över prestationsmått och deras användning inom akademin, och den utgör också en välskriven introduktion till bärande studier och teorier inom fältet.

I avhandlingen presenterar en rad resultat, och då det är svårt att sammanfatta dem alla så väljer jag här att presentera ett urval av de som jag finner mest tongivande och nydanande. Ett lyckat val i flera av artiklarna är att fokusera på hur ledare (”managers”) inom akademin använder prestationsmått i sitt arbete. Söderlind finner här att många chefer använder mått i styrningen samtidigt som de är medvetna om systemens begränsningar. Inte sällan intar de också en medlande position när de kontextualiserar, och modifierar specifika indikatorer (exempelvis citeringar eller publiceringspoäng) för att kunna använda dem i ett specifikt syfte. Dessutom verkar det vara så att akademiska chefer ofta litar på sin egen erfarenhet av exempelvis bibliometriska mått när de bedömer deras användbarhet. En övergripande slutsats är att prestationsmått – både gällande utbildning och forskning – betraktas som viktiga och användbara, men enligt de akademiska ledare som Söderlind intervjuat så spelar de sällan en avgörande roll när beslut ska fattas.

Söderlinds avhandling behandlar även prestationsmåttens användning på en mer övergripande nivå, och ett viktigt bidrag i avhandlingen är en jämförande studie av de nordiska länderna. I denna kontext framstår Sverige som avvikande då vårt system för att utvärdera forskning skiljer sig från de som återfinns Norge, Danmark och Finland. Dessa länder använder sig av ett likartat system – ofta kallat den “norska modellen” – där poäng ges till publikationer beroende på publikationskanal och vetenskaplig nivå. Sverige däremot har använt sig av en annan modell där en kombination av fältnormaliserade citeringsmått, publikationsvolym och extern finansiering utgjort grunden för att omfördela resurser.1 Här finner Söderlind, helt riktigt, att det poängsystem som används i Danmark, Norge och Finland har större potential att förändra praktiker och publiceringsmönster. Detta då poängmodellen är lättförståelig och enkelt kan användas för resurstilldelning på lärosätes-, institutions-, eller individuell nivå. I sammanhanget kunde det dock varit intressant om Söderlind diskuterat det omfattande användandet av den ‘norska modellen’ på lokal nivå då det visat sig att nära hälften av alla svenska lärosäten har använt, eller använder sig av, liknande poängsystem. Således skulle man med fog kunna hävda att det ‘norska modellen’ haft stor betydelse för hur forskare i Sverige – och då särskilt de inom samhällsvetenskap och humaniora – resonerar kring publicering trots att den aldrig använts för att fördela medel mellan lärosäten.

En tredje aspekt som Söderlind framhåller, och som jag finner nydanande i sammanhanget, är bibliometrins pedagogiska potential. Dessa idéer lyfts i den fjärde artikeln där en specifik årlig utvärdering av forskning vid KTH studeras. Söderlind framhäver här särskilt betydelsen av en tät dialog mellan chefer, de utvärderade, och de som utvärderar (bibliometrikerna). En av bibliometrins främsta pedagogiska potential ligger således i dess förmåga att initiera samtal kring hur forskning bör värderas. Kanske skulle man till och med kunna hävda att bibliometrin utgör en effektiv provokation som frambringar diskussioner kring forskningskvalitet. Dock finns det en risk att sådana provokationer stannar vid en kritik av befintliga mått istället för att leda vidare till mer initierade resonemang. En spännande utveckling på Söderlinds studie vore således att närmare studera hur bibliometrins pedagogiska potential kan utvecklas så att dessa mått inte bara “mäter” kvalité utan också bidrar till att en ökad förståelse för hur vetenskaplig kvalitet kan studeras, och gynnas. En sådan utveckling skulle också ligga i linje med alternativa metoder för att utvärdera forskning, som till exempel idén om ‘evaluative inquiry, vilken syftar till ett mer öppet och utforskande tillvägagångsätt där kvalitativa och kvantitativa metoder kombineras.

Avhandlingen ger en god bild över hur prestationsmått används inom svensk akademi, men efter läsningen återstår ändå en del frågor: Hur ska vi till exempel förstå “mätandets kultur” mer generellt, och kan dess inflytande inom akademin jämföras med andra verksamheter som vård och skola? Har mätandet inom akademin uppstått i samband med ett större fokus på målstyrning inom offentlig verksamhet överlag, eller finns det en längre mer komplex inomvetenskaplig historia kring mätning och utvärdering? Här skulle jag vilja framhålla disciplinernas och de starka professionerna roll i utformandet av dessa system som särskilt intressanta, och potentiellt givande för vidare studier.

Sammanfattningsvis utgör Söderlinds avhandling en övertygande framställning kring akademisk utvärdering där kritik mot överdrivet mätande balanseras mot en förståelse för att indikatorer kan ha positiva effekter, exempelvis vad det gäller effektivitet vid beslutsfattande, transparens, och opartiskhet. Den övergripande slutsatsen i avhandlingen – att dessa mått, åtminstone gällande forskningen, hittills haft ganska modesta effekter – är i mitt tycke välgrundad. På samma sätt delar jag dock Söderlinds farhåga att effekterna av dessa system kan, om de inte hanteras på ett nyanserat och balanserat sätt, bli betydligt mer kännbara i framtiden.

1 I dagsläget är det oklart om Sverige kan sägas ha ett övergripande prestationsbaserat system på nationell nivå då den tidigvarande modellen inte har använts för att fördela resurser under de senaste åren.

Akademiska karriärer: Ska du bli excellent när du blir stor?

Unga forskare överöses med råd kring hur de bäst ska agera för en lyckad akademisk karriär. Val av ämne, hur man nätverkar och publicerar samt mentorer och förebilder är alla faktorer som sägs påverka möjligheterna till en fortsatt akademisk bana. Alltifrån topp-tio-tips till mer reflekterande diskussioner, som de i Efter festen: Om konsten att utvecklas från doktor till docent, finns att tillgå för den som är intresserad. Även inom bibliometrin så studeras akademiska karriärer och då ofta med ett fokus på att urskilja vad som kännetecknar framgångsrika forskare. Jonas Lindahl, som nyligen disputerade vid Umeå Universitet, verkar i denna tradition då han i sin avhandling In search for future excellence (2020) undersöker hur bibliometriska indikatorer kan användas för att förutsäga unga forskares framtida prestationer.

Lindahls empiriska delstudier rör naturvetenskaperna, teknik och medicin, och resultaten kan därför främst sägas vara relevanta för discipliner där den engelskspråkiga artikeln är den centrala publiceringskanalen. Likväl kan flera av hans slutsatser vara av mer generellt intresse, och de för mig centrala lärdomarna från avhandlingen kan sammanfattas i fem punkter:

1 Akademisk framgång, mätt i välciterade publikationer, kan i hög grad förutsägas. Lindahls studie fokuserar på att förutsäga “excellens” (definierat genom antalet publikationer som placerar sig bland de 10 % högst citerade inom fältet) och här har tidigt genomslag och publiceringskanal stor betydelse för framtida prestationer. Således, en ung forskare bör satsa på några riktigt betydande publikationer snarare än många, men mindre viktiga, alster. Kvalité trumfar kvantitet.

2 Det är enklare att förutsäga vem som kommer vara en toppforskare (här avses återigen topp-10 procent inom fältet) jämfört med att särskilja de som placera sig under detta skikt. Denna slutsats ligger i linje med studier av hur forskningsansökningar bedöms där granskare oftast finner det enklast att rangordna det absoluta topp- och bottensegmentet, medan de som hamnar i mitten är svårare att placera.

3 Högt citerade artiklar är det bästa sättet att förutse framtida framgång. Dock bör det betonas att just högt citerade publikationer utgör definitionen av framgång i studien, vilket gör att slutsatsen är mindre förvånande. Hade akademisk framgång istället mäts med andra parametrar: goda studentvärderingar, omnämnanden i dagspress eller social medier, utmärkelser, antalet handledda studenter eller doktorander så är det mycket möjligt att andra faktorer varit viktigare för korrekta förutsägelser om framtida bedrifter.

4 Män tenderar att oftare att sälla sig till gruppen ‘excellenta forskare’ (återigen mätt i citeringar) senare i karriären, och skillnader mellan könen syns redan under doktorandtiden. En viktig anledning tycks enligt Lindahl vara att män tenderar att samarbeta mer genom till exempel samförfattarskap med externa forskare, och de sampublicerar mer frekvent med sina handledare. Att manliga doktorander oftare står som författare tillsammans med handledare gällde oavsett om handledaren själv är kvinna eller man. Lindahl och hans medförfattare kopplar detta till den så kallade Matilda-effekten, enligt vilken kvinnors vetenskapliga bidrag systematiskt underskattas. En annan förklaring skulle kunna vara att möjligheten till nätverkande under doktorandtiden, och under åren efter disputation, påverkas av att kvinnor tenderar att ta större ansvar för barn och familj.

5 En intressant iakttagelse med anknytning till punkten ovan är att ett välutvecklat externt nätverk är viktigt under doktorandtiden samtidigt som det lokala nätverkandet (inom exempelvis ett lärosäte) får stor betydelse i den postdoktorala fasen. Att exempelvis ha etablerat ett nära samarbete med handledaren, eller med andra vid det egna lärosätet, kan vara direkt avgörande i den kritiska etableringsfasen efter disputation. Nu ska det sägas att det empiriska underlaget för denna delstudie rör ett svenskt universitet, och det kan vara så att denna effekt är starkare i ett system – likt det svenska – som präglas av låg rörlighet där många disputerade blir kvar vid det lärosäte där de doktorerade.

Den två sista punkter är enligt mitt tycke särskilt intressanta då de har direkta implikationer för doktorandutbildningens utformande och för hur stöd ges till forskare i den tidiga karriären. Att skillnader mellan män och kvinnor etableras redan under doktorandtiden är slående, och med utgångspunkt i slutsatserna ovan så kan konkreta förslag på åtgärder formuleras. En möjlighet vore att tydligare diskutera samförfattandets praktik med handledare under doktorandtiden, och hur detta ska ske på ett sätt som inte missgynnar kvinnor. Vidare bör betydelsen av externa och interna nätverk betonas, och här skulle man exempelvis kunna vara uppmärksam på aktiviteter som kan vara utestängande: seminarier och workshop under kvällar och helger, konferenser som kräver långa och tidskrävande resor och så vidare. Dessutom bör dessa skillnader tas i beaktande vid tjänstetillsättningar, och om det är så att män generellt har större möjlighet att etablera interna nätverk så kan tendensen – som synes särskilt stark i svensk akademi – att anställa “hemmasonen” vara särskilt problematisk. En ökad medvetenhet hos handledare och akademiska ledare om att dessa mönster finns kan i sig också bidra till förändrade synsätt och praktiker.

Själva huvudslutsatsen i avhandlingen, att framtida “excellens” kan förutses, har också den möjliga forskningspolitiska konsekvenser. Forskningsråd skulle kunna ta dessa rön i beaktande när anslag fördelas, och sakkunniga kan få direkt användning av dessa mått vid när kandidaten med ljusast framtidsprognos ska urskiljas. Till viss del görs det redan – exempelvis när citeringstal och publiceringskanaler beaktas vid tjänstetillsättningar – och i betydande utsträckning så korresponderar etablerade utvärderingspraktiker väl med Lindahls slutsatser. Dock, den definition av excellens som återspeglas i Lindahls avhandling är mycket snäv, och givetvis är det så att akademisk framgång är så mycket mer än antalet högt citerade publikationer. Likväl går det inte att bortse från att toppublikationer värderas högt i många situationer där akademisk framgång mäts, även om ett sådant ensidigt fokus kan få negativa konsekvenser både för vetenskapen i stort, och för den enskilda forskarens karriär och välmående.

Foto: ”Careers board game”, från https://flic.kr/p/8XGYurn

Karl Marxs h-index och den ryska revolutionen: En övning i kontrafaktisk bibliometri

Armed_soldiers_carry_a_banner_reading_'Communism',_Nikolskaya_street,_Moscow,_October_1917

I filmen Sliding doors från 1998 skildras två olika livsscenarier beroende på om huvudpersonen hinner med ett tåg eller ej.[1] I den första versionen upptäcker hon sin pojkväns otrohet och bryter upp från relationen, i den andra stannar hon kvar hos sin partner. Säkerligen har de flesta av oss spekulerat på liknande sätt kring händelser i vårt eget liv: Vad hade hänt om inte just detta skett? Hur hade livet då gestaltats? Funderingar av liknande slag är också vanliga inom skönlitteraturen, Robert Harris roman Faderland (1992) skildrar ett Europa där Tyskland gått segrande ur andra världskriget, och ett liknande scenario, men då mot en svensk fond, spelas upp i Tony Samuelssons Kafkapaviljongen (2009). Kittlande kontrafaktiska tankeexperiment är också en genre inom historieämnet där spekulationer kring alternativa utvecklingslinjer använts för att belysa avgörande händelser. Till delar kan kanske detta sätt att närma sig historien betraktas mer som en tankeövning, snarare än som seriös historieforskning. Men som historikern Kristian Gerner skriver i Vad hade hänt om… åtta kontrafaktiska historier (2015) så innebär framhållandet av alternativa händelseförlopp en möjlighet till resonemang kring, och förståelse för, de avgörande orsakerna till en specifik händelse. Kontrafaktiska resonemang, som ofta fokuserar på avgörande ögonblick eller beslut, tenderar också att aktualisera frågor om individens betydelse i historiens gång. I vilken mån styrs vår historia av enskilda beslut, händelser eller överväganden, och hur förhåller sig dessa till större strukturella förändringar?

Om vi omformulerar denna fråga till att gälla det bibliometriska studiet av vetenskapens genomslag så kan den ställas på följande sätt: Hur påverkas citerandet av ett vetenskapligt verk av den historiska utvecklingen? I en ny bibliometrisk studie, The mainstreaming of Marx: Measuring the effect of the Russian revolution on Karl Marx’s influence,[2] så prövas frågan hur en omvälvande händelse, den ryska revolutionen 1917, påverkat citerandet av Karl Marxs texter. Oavsett hur vi förhåller oss till Marxs texter på ett politiskt plan så är det otvetydigt så att han är en av de mest inflytelserika tänkarna under 1900-talet, och hans texter fortsätter att citeras i betydande omfattning. Om vi utgår från vad som registreras på Google Scholar och den profil som skapats åt honom där, så citeras Marx lite drygt 50 gånger per dag. Dessutom påpekar författarna till studien, Philip Magness och Michael Makovi, att Marxs texter, och då främst det Kommunistiska manifestet, är vanligt förekommande i kurslitteraturen vid universitetet och högskolor. Men är Marx inflytande resultatet av hans verks inneboende kvalité, eller är det snarare så att politiska händelser, och då främst den ryska revolutionen, som bidragit till hans popularitet? Med hjälp av kontrafaktiskt bibliometri säger sig författarna ge oss ett svar på denna fråga.

Screenshot 2020-06-02 at 09.31.00

Karl Marx, Google Scholar profil, 2020-06-09

Genom att konstruera och jämföra två Marx: den historiska och den kontrafaktiska (i studien kallade den syntetiska) så menar författarna att de kan mäta hur ryska revolutionen påverkat Marxs inflytande. Den kontrafaktiska Marx konstrueras genom ett jämförelsematerial av 98 andra inflytelseserika tänkare, däribland framstående samtida socialister som Proudhon, Bakunin och Kropotkin, politiska tänkare som Adam Smith, David Ricardo, John Stuart Mill och Friedrich List samt klassiska filosofer och skönlitterära författare. Genom statistiska analyser kan dessa sedan jämföras och en ‘syntetisk’ Marx kan konstrueras baserat på vad som skulle vara en ‘normal’ fördelning av citeringar i relation till tidigare data och i jämförelse med andra författares citeringsgrad över tid. Resultatet blir onekligen en slående kurva, där populäriteten för den historiska Karl Marx stiger betydligt efter 1917 samtidigt som den kontrafaktiska Marx bibehåller en konstant nivå.

SSRN-id3578840

Karl Marx vs kontrafaktiska Karl Marx, från Magness och Markovi 2020, s. 59.

Mönstret kvarstår även när jämförelsen görs enbart med andra socialistiska tänkare. Resultaten är talande, och det skulle vara svårt att argumentera emot att den ryska revolutionen har påverkar Marxs eftermäle, dock bör några förbehåll göras. Min främsta invändning rör inte den metodologiska ansatsen, utan den data som används. Studien bygger på Googles N-gram Viewer där man snabbt kan få en överblick över förekomsten av en term bland fulltexter i Google Books, en databas med över 40 miljoner poster. Sökningen har sedan skett på frasen “Karl Marx” i de indexerade verken. Således är det inte regelrätta citeringar, utan omnämnanden, som redovisas och studien kan därför inte sägas vara en regelrätt studie av referenser till Marx. Dessutom begränsar sig inte Google Books till att indexera vetenskaplig litteratur, utan här ingår ett flertal genrer, inklusive skönlitteratur, tidskrifter och dagstidningar. Således rör det sig mer om en allmän undersökning av den uppmärksamhet som Karl Marxs fått, snarare än direkta vetenskapliga citeringar. Samtidigt är det givetvis så att den ryska revolutionen, och Sovjetunionens grundande, starkt bidragit till Marxs inflytande. Att sådan påverkan skett, och att det avspeglas i antalet citeringar blir tydligt om vi konsulterar Eugene Garfields översikt över mest citerade personer i inom humaniora från 1978, Most cited authors in the Arts and Humanities. Att Marx är den mest citerade här är kanske inte förvånande, men att Lenin placerar sig på fjärde plats, före Platon, kan knappast förklaras av hans genuina bidrag till den humanistiska forskningen, utan utifrån hans historiska roll. Jag misstänker också att de ryska tidskrifter som vid tidpunkten fans indexerade Arts and Humanities Citation Index, bidrog väsentligt till Marxs och, särskilt Lenins, höga citeringstal.

En mer generell invändning mot studien är att den bygger på en idé om att vetenskapliga verk har en inneboende kvalité, som går att särskilja från dess relevans för omvärlden. En politiskt neutral vetenskapsvärld där forskares bidrag bedöms enbart utifrån sin inre koherens och logik existerar inte, och är nog vare sig önskvärd eller möjlig. Även sofistikerade teoretiska modeller behöver finna resonans i en social och politisk kontext för att bli uppmärksammade och inflytelserika. Dessa invändningar till trots så kan experiment av detta slag, och särskilt försök att använda bibliometri på historiska material, tjäna som tankeväckande uppslag för att undersöka interaktionen mellan dagspolitiska händelser, politiska ideologier och vetenskapliga teoribildningar. Den kontrafaktiska metoden kanske främst bör uppfattas som en lek, ett roligt tankeexperiment som roar och underhåller. Samtidigt finns det både pedagogiska och analytiska argument som motiverar kontrafaktiskt tänkande (och kontrafaktiskt bibliometri), och här vill jag särskilt framhålla förmågan ställa frågor på sin spets, och därmed rucka på invanda synsätt och föreställningar.

 

[1] Den amerikanske filmatiseringen bygger i sin tur på filmen ”Ödets nyck” från 1987 av Krzysztof Kieślowski.

[2]. Tack till Joakim Boström Elias som gjorde mig uppmärksam på denna studie.

Foto: ”Armed soldiers carry a banner reading ‘Communism’, Nikolskaya street, Moscow, October 1917”, Wikimedia, Upphovsman okänd.

Att överbrygga utvärderingsgapet: humanistisk forskning och bibliometriska mått

Bournemouth_(9453245033)

(Detta är en utökad version av en text som först publicerats på humtanks blogg]

Utvärderingsgapet, en term lanserad av vetenskapssociologen Paul Wouters, illustrerar en ofta förekommande diskrepans mellan det vi värderar högt och det som man kan mäta värdet på. Ett tydligt exempel är försöken att konstruera indikatorer som på basis av publikationer och citeringar skall mäta forskningens kvalité. Även om det idag råder konsensus om att citeringar i bästa fall kan betraktas som en indikation på synlighet och genomslag i forskningssamhället så spelar fortfarande bibliometriska mått en avgörande roll i fördelningen av resurser och vid tillsättningar av akademiska tjänster. Istället för att bedöma utifrån de kriterier som vi anser bäst reflektera kvalité och relevans får tillgänglig data samt enkelheten i genomförande i hög grad styra hur forskning utvärderas.

Diskrepansen mellan bibliometriska mått, exempelvis citeringar, och det de är avsedda att mäta har uppmärksammats inom forskningspolitiken i stort, och vikten av att använda indikatorer på ett ansvarsfullt sätt har alltmer betonats. Ett exempel är det uppmärksammade Leiden Manifesto on Research Metrics, samt DORA, ett världsomspännande upprop mot användandet av ‘Journal Impact Factor’ som mått på kvalité. Kritiken mot bibliometrisk utvärdering har, med rätta, varit särskilt hård från ett samhällsvetenskapligt och humanistiskt håll. Mått som antalet citeringar eller ‘impact factors’ för tidskrifter fungerar generellt dåligt inom humaniora, där publicerings- och citeringsmönster gör att mycket liten del av alla publikationer räknas i sådana system. Modeller likt den norska listan, där även monografier och bokkapitel ger poäng utifrån fastställda kvalitetsnivåer (1 eller 2) har därför blivit populära. Just den norska modellen används också vid flera lärosäten runt om i landet. Vi vet dock mindre om hur enskilda forskare inom humaniora förhåller sig till den uppsjö av bibliometriska indikatorer som finns att tillgå. Till mer etablerade mått som citeringar och tidskriftsrankningar sållar sig nu en grupp av alternativa mått (så kallade altmetrics) samt digitala plattformar som ResearchGate och Academia.edu vilka alla säger sig kunna ge indikationer på forskningens genomslag och synlighet. En första överblick gällande hur forskare inom humaniora i Sverige använder sig av dessa mått och tjänster ges i en nyligen publicerad undersökning, Conflicting measures and values: How humanities scholars in Australia and Sweden use and react to bibliometric indicators, där Gaby Haddow och jag analyserar svaren från 420 humanistiska forskare (varav 263 från Sverige). Generellt fann vi att australiensiska humanister (62 %) i mycket högre grad än svenska (14 %) använde sig av bibliometriska mått och indikatorer. Förklaringen till den stora skillnaden står förmodligen att finna i skillnader gällande språk (engelskspråkiga publikationer är ofta enklare att utvärdera med bibliometri), skillnader i hur forskning och högre utbildning är organiserade i de två länderna, samt i att Australien till skillnad från Sverige har en lång historia av bibliometrisk utvärdering bakom sig. Jämförelsevis fann vi ganska små skillnader mellan olika forskningsområden, men inte helt oväntat visade det sig att discipliner där forskarna i större utsträckning publicerar sig i tidskrifter, exempelvis filosofi, var mer benägna att använda bibliometriska mått.

Noterbart var den uppsjö av metriker och rankingar som forskarna begagnade sig av. Mer etablerade indikatorer såsom citeringar, journal impact factor och h-index (ett individbaserat och starkt kritiserat mått) nämndes givetvis av våra respondenter, men mer alternativa sätt att mäta genomslag, såsom nedladdningar och visningar, förekom också (fig 1).

Fig-2

 

Figur 1. Humanisters användning av indikatorer, datakällor och tidskriftsrankningar

Överlag kan det konstateras att forskarna omges av ett evalueringslandskap där en rik flora av mått finns att tillgå, och det är inte helt ovanligt att dessa jämförs med varandra. Exempelvis kan, såsom i detta australiensiska fall, en mer gynnsam och passande mätmetod spelas ut mot institutionella krav:

Only reason [för att använda citeringar] is to ward off any criticism that journal articles are not in A* or A ranked journals. High citations of articles in decent B-level journals should count for something, even though department policy is to discourage and/or ignore them (Australiensisk forskare, historia och arkeologi).

Flera av våra respondenter riktade skarp kritik mot användningen av bibliometriska mått – i ett av de mer hårda omdömena beskrivs bibliometri som ett: “unholy marriage of market capitalism and Stakhanovist micro-management”. Informanten fortsätter med att likna forskare i detta system vid hönor i bur, som tvingas att producera ett visst antal artiklar varje år. Mindre drastiskt kritik förekom också, och ett flertal forskare, inte minst inom fält som historia och litteraturvetenskap, kopplar bibliometriska indikatorer till mer generella förskjutningar i publiceringspraktiker där den engelskspråkiga tidskriftsartikeln får ökad betydelse. Huruvida dessa förändringar direkt går att härleda till bibliometrisk utvärdering framstår dock som oklart av rådande forskningsläge att döma. Snarare bör vi nog se det som att dessa mått accentuerar en redan pågående utveckling i denna riktning. I sammanhanget får vi heller inte glömma att en del forskare snarare välkomnar de förändringar som bibliometrin sägs påskynda:

Shift to publishing in English and emphasis on publishing in peer review journals (thank god). Hopefully this decreases the degree of laziness among researchers in my field” (svensk postdok, historia och arkeologi).

De bibliometriska måtten blir därmed en del av en diskursiv kamp inom enskilda forskningsfält där traditionella sätt att publicera sig (på svenska, i bokkapitel eller monografier) ställs mot nya praktiker där publicering i en engelskspråkiga tidskrifter framhålls. I delar kan denna fråga ses som en konflikt mellan generationer, och inte minst äldre forskare hänfaller ofta åt nostalgiska betraktelser av en förfluten tid utan bibliometri och publiceringsstrategier:

Fortunately, I am old and consequently I do not have to bother. Had I been young, I would have left academia rather than adjust to the moronic ‘publishing strategies’ forced upon us (svensk, lektor, arkeologi- och historia).

Delvis finns det poänger i detta resonemang; unga forskare är i en mer utsatt position då de ofta har osäkra anställningsförhållanden och de är därför tvungna att tänka mer ‘strategiskt’. Vidare finns det en risk att mer långsiktiga och riskabla projekt överges till förmån för forskning som snabbt kan ge utdelning i form av publikationer och citeringar. Samtidigt döljer utsagor likt dessa att det även förr fanns ‘publiceringstrategier’ där det exempelvis kunde vara av stor betydelse för den yngre forskaren att hålla sig väl med etablerade professorer som i rollen av redaktörer för antologier och bokserier kunde (och fortfarande kan) gynna en begynnande karriär. Vidare är det viktigt att framhålla att dessa två strategier knappast står i direkt konflikt med varandra. Snarare utmärks framgångsrika humanistiska forskare ofta av en förmåga att rikta sig till relevanta publiker både nationellt och internationellt, och inte sällan publicerar de sig i en rad forum och på olika språk.

Även om en del av kritiken mot bibliometrin bör ses som förklädda argument i inomdisciplinära strider så är utvärderandet av humaniora med hjälp av kvantitativa mått problematiskt på flera plan. En given invändning, ofta anförd i litteraturen, är det faktum att humanistisk forskning till stor del inte finns representerad i de bibliometriska databaserna, och detsamma gäller även flera av de alternativa mått som på senare år lanserats. På ett djupare plan är det även så att bibliometriska indikatorer rimmar illa med etablerade kvalitetsbegrepp och värderingspraktiker inom humaniora. En av våra australiensiska respondenter uttrycker det som ett problem i att översätta värden mellan olika sfärer: “… translating our sense of value to people who want quantitative data”. En grundläggande konflikt mellan radikalt olika sätt att tänka kring vetenskapligt värde skönjs här där då de snäva idéer om produktivitet, effektivitet och konkurrens som bibliometrin bygger på svårligen kan appliceras i en humanistisk kontext. Gapet mellan vad bibliometrin mäter och värderar, och vad som vanligen värderas som kvalité inom humanistisk forskning är således stor. Bland svenska humanister har ännu inte heller bibliometriska mått slagit igenom på allvar. Vår studie visar dock att situationen ser annorlunda ut i Australien, där forskarna trots protester och berättigad kritik, använder dessa mått i stor utsträckning.

Hur utvärderingsgapet ska överbryggas i framtiden framstår som oklart: Ska svenska humanister anpassa sig till de metoder som finns tillgängliga (en utveckling som kan skönjas internationellt), eller kan vi behålla och utveckla utvärderingspraktiker som i högre grad inkorporerar en bredare förståelse av kvalité? Min slutsats är att humanisterna inte bör nöja sig med att ihärdigt kritisera rådande kvalitetsmått, utan istället aktivt delta i utformandet av utvärderingssystem som överbryggar det gap som skisserats ovan. En sådan utveckling skulle inte bara gynna humaniora utan även vetenskapssamhället i stort.

Bild: Rafaela Ely (Bournemouth) [CC BY 2.0 (https://creativecommons.org/licenses/by/2.0)%5D, via Wikimedia Commons

“Förlåt jag blott citerar”: Åtta punkter för ansvarsfullt refererande

_Citation_needed_

“At the personal level of the scientific writer and the editor and publisher of journals, it tells that one might well be as careful about references as we are about titles, authorships, and proper presentation of data.” (de Solla Price, Little Science, big science…and beyond, 1986 s. 178,

Referensen spelar en nyckelfunktion i att göra en text vetenskaplig, och det är därför som stor vikt läggs vid att lära studenter att referera korrekt. Onekligen är de formella reglerna och själva refererandets teknik oumbärlig kunskap för den som skall ägna sig åt vetenskapens hantverk, och även erfarna forskare måste beakta de varierade krav som tidskrifter och bokutgivare ställer på utformandet av referenser och noter. Att lära sig referera korrekt är dock bara en del av att behärska refererandets ädla konst. Vi behöver också lära oss att citera ansvarsfullt.

I en tid när referenser – som genom sitt indexerande i citeringsdatabaser som Google Scholar eller Web of Science – blir till citeringar, vilka i sin tur omvandlas till hårdvaluta för institutioner, forskare och tidskrifter så blir refererandet en än mer komplex verksamhet. För vårt val av texter att hänvisa till blir då del i en evaluerande praktik där citeringar blir till kapital på en marknad där forskare konkurrerar om resurser av olika slag. Det gör också att vi som författare behöver ta ett större ansvar för hur vi refererar genom att aktivt reflektera över de val vi gör. En som tagit sig an denna uppgift är Bart Penders som mot bakgrund av senare års diskussioner och kritik av fenomen som till exempel självciteringar och citeringskarteller formulerat tio regler för ett mer ansvarfullt refererande. Med avstamp i dessa regler återger jag nedan åtta punkter där flera av Penders regler ingår, men där jag också tagit mig friheten att sammanfoga några av hans argument och lagt till några egna. Till skillnad från Pender så tar jag min utgångspunkt i ett samhällsvetenskapligt och humanistisk perspektiv på refererandets praktik snarare än ett naturvetenskapligt och medicinskt.

  1. Inkludera relevanta referenser

Denna regel, som återkommer i de flesta guider och handböcker kring hur referenser ska ges, innebär att du ska citera det som är relevant för din forskning, och speciellt inte låta påskina att argument som du funnit i litteraturen är dina egna. Knepiga fall är de där ett påstående är så väletablerat att det kan sägas vara självklart, och därför kanske inte kräver en referens. Denna process, där centrala verk så småningom blir så självklara att det inte längre citeras, benämndes av Robert K. Merton som ”obliteration by incorporation”. Är det till exempel nödvändigt att varje gång som ‘diskursanalys’ nämns referera till Michel Foucalt? Här är det genre, kontext och läsarnas eventuella förförståelse som avgör.

  1. Läs de publikationer som du refererar till

Det kan tyckas självklart att de källor som refereras också bör ha lästs, men så är inte alltid fallet. Att påskina att en utsaga bygger på en egen läsning av en text utan att ha läst den kan i vissa fall ses som en form av plagiarism. Frågan är dock vad ‘läst’ innebär i detta sammanhang? Behöver vi ha tagit oss igenom en hela bok från pärm till pärm för att kunna referera till den? Räcker det att ha scannat ‘abstract’ och ‘findings’ i den artikel som vi stödjer oss på? Svaren på dessa frågor beror återigen på kontext och syfte med referensen.

  1. Fokusera på det centrala innehållet när du refererar

När du refererar bör du fokusera på det innehåll som du stödjer dig på, och finns det flera viktiga argument så kanske texten bör citeras flera gånger. Det räcker alltså inte med att bara nämna texten i förbigående om dess innehåll är centralt för ditt eget bidrag. Ett utstuderat och ökänt exempel på en tveksam praktik är den så kallade ‘trojanska referensen’ där en för texten viktig referens ges i förbigående och utan att dess centrala betydelse för framställningen framgår. På så sätt kan författaren hävda att verket har citerats utan att på det sättet avslöja att den egna forskningen kanske inte var riktigt så nydanande som man vill påskina.

  1. Var transparent, men inte nödvändigtvis neutral och tråkig

Det finns inget tråkigare en att läsa förment neutrala forskningsöversikter där läsaren ges liten eller ingen ledning i hur den litteratur som passerar revy ska bedömas. Givetvis handlar det här inte om att forskaren måste ge värdeomdömen om varje enskilt bidrag, men det bör framgå hur de studier som refereras relaterar till varandra och eventuella kontrasterande perspektiv bör framhållas. Jag tror personligen att många författare heller ser att det de skrivit blir kritiserat än lite lamt omnämnt tillsammans med en hoper andra referenser. Genom att författaren engagerar sig i den litteratur som refereras så blir också den egna position tydlig, och transparent, för läsaren.

  1. Var specifik

Om det är något jag själv allt mer arbetar med i mitt eget skrivande så är det att dra ner på det som Bruno Latour kallar ’stacking’ av referenser (Science in Action, 1987 s. 33). Alltså fenomenet att samla en stor mängd referenser inom en och samma klammer för att stärka ett argument, eller ringa in ett forskningsproblem eller område. Argumentet för ett sådant tillvägagångsätt är att det både är effektivt och övertygande, och denna praktik blir nu allt vanligare även inom samhällsvetenskapen och humaniora. Problemet är dock att det drar ner läsvänligheten – det är få som uppskattar sidor som till hälften består av referenser – och ibland gör det texten rentav helt ogenomträngbar. Bättre då att vara specifik och istället ange mer i detalj vad en specifik källa handlar om. Exempelvis finner jag det bättre att ange att en text handlar om ‘självcitering’ och en annan om ‘citeringskarteller’ istället för att bunta ihop dem med ett gäng andra som behandlar ‘citeringspraktiker’ mer generellt. En annan strategi för att undvika ansamlingar av referenser är att prioritera i litteraturen: behöver verkligen den där tredje artiklen på liknande tema av samma författare anges?

  1. Gödsla inte med referenser

Överlag refererar forskare till alltfler publikationer i sina alster, och detta beror givetvis på ett allt större utbud av möjliga källor, samt förmodligen också på ett ökat användande av referenshanteringsprogram som gör det snabbt och enkelt att referera. Vidare är kollegor ofta pigga på att föreslå nya referenser när texter läses på ett seminarium eller när de referentgranskas, men mycket sällan är det någon som säger att det nog vore bra att hålla igen lite. Givetvis ska inte relevanta källor ignoreras, men det finns en tendens att belägga varje enskilt påstående med en, eller gärna flera referenser. Värdet av varje enskild referens reduceras då, och förutom att läsbarheten minskar så riskerar den flitigt citerande att framstå som osäker och osjälvständig. Generellt tenderar forskare att bli mer sparsamma i sitt refererande senare i den akademiska karriären när den egna auktoriteten är större. Ibland går detta självklart till överdrift – det förekommer att framstående professorer inte längre anser sig behöva stöd av andra överhuvudtaget och helt sonika utelämnar referenser helt – och i likhet med andra punkter är antalet referenser avhängigt av kontext, genre och publik.

  1. Citerad dig själv och dina kollegor, men bara när det är nödvändigt

Alla forskare refererar till sig själva, och det är i sig inget fel. Ofta utgör en ny publikation en fortsättning på en redan påbörjad forskningslinje och det ter sig då självklart att hänvisa till sig själv. Men ett krav för att en referens till eget arbete ska inkluderas är att den verkligen är relevant, och detta krav bör vara skarpare jämfört med andra referenser. I valet mellan att citera sig själv och att citera en annan forskare så bör det senare föredras. Vi tenderar även att citera de vi känner snarare än någon okänd i litteraturen. Så titta gärna igenom din referenslista: är en betydande del av referenser till dig själv, dina närmaste kollegor eller dina landsmän så finns det anledning att reflektera över urvalet. Kan det verkligen vara så att en så stor del av all framstående forskning inom det område som du studerar bedrivs av just den grupp som du dricker eftermiddagskaffe med? Är du man som kan det också vara lämpligt kontrollera så att du inte råkar referera extra mycket till andra män. Studier visar nämligen att män refererar oproportionerligt mycket till andra män, samtidigt som kvinnor inte uppvisar samma tendenser till att gynna det egna könet när referenser väljs.

  1. Uppdatera och variera dig

Generellt brukar forskare över tid utveckla en ‘citeringsidentitet’, och denna brukar ofta vara relativt stabil över tid. Detta innebär att när en forskare väl börjat citera ett visst verk så gör man det ofta gärna igen; det har blivit en del av den personliga ’citeringsrepertoaren’. Självklart är det enkelt att återkomma till verk som redan läst och är välkända, men risken finns att de gamla hjulspåren blir nötta och att annan relevant forskning förbises på grund av vana och bekvämlighet. Troligen förstärks också denna tendens av referenshanteringsprogram som Endnote eller Zotero där redan använda referenser ligger klara och redo att användas på nytt. Därför är det viktigt att hålla sig uppdaterad med litteraturen, både genom att följa vad som publiceras och genom att besöka konferenser och liknande, och medvetet se till att inte återupprepa samma referenser gång på gång.

Avslutningsvis vill jag påpeka att dessa punkter måste anpassas till de specifika citeringspraktiker som råder i det fält där en forskare verkar, och inte sällan är det så att vi behöver foga oss efter de konventioner som gäller för en specifik tidskrift eller bokserie. Ändå tror jag att doktorander, och även mer seniora forskare, kan vara betjänta av att reflektera över inte bara refererandets praktik utan också dess etik. Ett mer eftertänksamt refererande kan med stor säkerhet bidra till både mer läsbara texter och till högre kvalité på forskningen, samtidigt som det gör oss mer ansvarsfulla i hur vi förhåller oss till det som andra redan har författat.

 

”Förlåt jag blott citerar” är ett citat från den svenska lyriken Johan Henric Kellgrens dikt ”Man äger ej snille för det man är galen” (1787). Det är också titeln på en bok om citerandets konst författad av idéhistorikern Svante Nordin (2001) 

Bild: By futureatlas.com (originally posted to Flickr as ”Citation needed”) [CC BY 2.0 (https://creativecommons.org/licenses/by/2.0)%5D, via Wikimedia Commons

Självplagiat: forskningsfusk eller accepterad praktik?

copy paste

2013 anklagades den nederländske ekonomiprofessorn Peter Nijkamp för omfattande fusk i form av självplagiat. Nijkamp var vid denna tid en mycket välkänd forskare, med en sammanlagd produktion av över 2300 artiklar (han producerade cirka 1, 5 artikel per vecka), och under sin karriär så hade han tilldelats en rad prestigefyllda priser och uppdrag. Kort sagt, Nijkamp var en akademisk superstjärna.

Utan att gå in på detaljer så friades Nijkamp från anklagelserna kring forskningsfusk, samtidigt som det visade sig att han ägnat sig åt omfattande återbruk av tidigare texter utan att ange källa. En utredare kallade detta för ‘systematisk copy-pasting’ med målet att producera ett stort antal artiklar, och tidskriften Review of Economic Analysis kom att dra tillbaka två av Nijkamps publikationer (för vidare dokumentation kring ärendet se Retraction Watch). Flera kommittéer kom att granska ärendet, och då några fann att forskningsfusk var klarlagt menade andra att medvetet fusk inte kunde bevisas. Fallet kom därför att leda till en debatt kring vad som är legitimt återbruk, och vad som bättre beskrivs som tvivelaktiga praktiker eller till och med fusk.

Med utgångspunkt i Nijkampfallet diskuterar och studerar Horbach och Halffman självplagiat som fenomen. De analyserar inte bara den debatt som följde efter utredningarna kring Nijkamp utan de undersöker också omfattningen av självplagiat i olika discipliner. I studien utgår de från en ganska konservativ definition av ‘textåtervinning’ där till exempel ett visst återbruk av formuleringar kring metod inte räknas som självplagiat. De valde sedan ut ett antal artiklar författade av både högproduktiva och mer lågproduktiva forskare från fyra discipliner, psykologi, historia, nationalekonomi och biokemi, och studerade förekomsten av återanvänd text i dessa.

Deras studie visar att 6 % av alla artiklar visar tecken på ‘problematisk textåtervinning’ men skillnaderna mellan disciplinerna är stor. Inom historia fann man tecken på självplagiat i bara 1 av 48 studerade texter samtidigt som 14 % (36 av 258) av alla texter inom ekonomifältet innehöll återanvänd text. Bland några ekonomer visade det sig att mer än 40% av artiklarna innehöll självplagiat.

text recycling

(Horbach & Halffman 2017, s. 7)

Vad förklarar då den betydligt högre andelen av självplagiat inom ekonomifältet? En förklaring som författarna anför är att det kan bero på hur texter skrivs, där en mer formalistisk stil ger större möjlighet till att återanvända text. Detta kan delvis vara en orsak till att historieforskarna i sådan liten utsträckning använder sig av denna strategi. För dem är det ofta inte ens möjligt att självplagiera och samtidigt producera texter som accepteras av kollegorna. Det som talar emot denna hypotes är dock att biokemisterna – som i än högre grad än nationalekonomerna skriver i en formalistisk tradition – inte alls uppvisade samma grad av självplagiat. På samma sätt kan inte heller antalet medförfattare anses vara en förklaring.

Snarare är det nog så att dessa skillnader bör förstås utifrån disciplinspecifika normer kring hur god vetenskap produceras. Ett tecken på detta är att kollegor som försvarade Nijkamp menade att självplagiat inte alls var fusk, utan en etablerad praktik inom disciplinen. Att mycket produktiva och ledande forskare i större utsträckning än andra återanvänder text framstår också som ett tecken på att detta tillvägagångssätt är relativt accepterat.

Bör vi då betrakta självplagiat som forskningsfusk? Själv skulle jag hävda att det nog kan vara rimligt att återanvända text, men då bör detta tydligt anges så att eventuella granskare och läsare blir medvetna om originalkällan. Exempelvis kan ju delar av en text omarbetas för en annan läsargrupp – i en blogg eller i en mer populärvetenskaplig text – och då ser jag inget problem med att återanvända formuleringar om originalkällan anges. Att i referentgranskade artiklar använda tidigare text i form av hela stycken utan att ange detta framstår dock för mig som mer problematiskt, men vi rör oss här i en gråzon där disciplinspecifika sätt att uttrycka sig och bedriva forskning bör tas i beaktande.

Om vi bortser från frågan kring fusk så blir de stora disciplinära skillnaderna i självplagiat som Horbach och Halffman påvisar särskilt bekymmersamma mot bakgrunden av hur forskning idag utvärderas. Att återanvända text är onekligen en genväg till ett stort antal publikationer, och dessa kommer sedan att räknas in när forskningen utvärderas. De individer, institutioner och discipliner som i högre grad ägnar sig åt självplagiering kan då tillskansa sig både status och resurser på bekostnad av de som lite mer sällan använder sig att kommandot Ctrl+ C/Ctrl +V.

Etiska riktlinjer kring självplagiering har nu införts i Nederländerna och flera tidskrifter har också tagit ställning i frågan. Ett alternativ till att lita på forskarnas och redaktörernas etiska kompass vore dock att tidskrifter istället använder sig av plagiatkontroll. Inom svensk högre utbildning används Urkund flitigt – studenter tillåts vare sig kopiera andra eller sig själva – och tekniskt kan jag knappast tänka mig att det vore särskilt svårt att införa ett sådant system även för vetenskapliga publikationer. Onekligen skulle ett sådan lösning drastiskt minska förekomsten av plagiat och självplagiat.

Att skilja mellan en elefant och en kanin: Användningen av bibliometri i sakkunnigutlåtanden

Syrischer_Maler_von_1354_001

Impact measures of this kind are inexact and should not, in our view, be relied on for a detailed ranking of research achievements (it could be described as ‘a scale that can distinguish an elephant from a rabbit but not a horse from a cow’). (från sakkunnigutlåtande i nationalekonomi)

Under senare år har ett allt större intresse riktats mot hur utvärderingssystem och resursfördelningsmodeller påverkar forskningen. En central fråga är hur ett ökat fokus på prestationer som är kvantifierbara påverkar forskarnas praktiker och prioriteringar. En rad dokumenterade och möjliga effekter har identifierats på en generell nivå, men empiriska studier av hur bibliometri används vid utvärdering av enskilda individer är få. Dock vill jag påstå att just denna typ av användning, där anställningar och forskningsanslag står på spel, är särskilt viktiga då de har stor påverkan på den enskilde forskarens karriär. Ett problem har dock varit att utvärdering på individnivå är svårt att studera empiriskt, och diskussionen har tidigare främst baserats på enskilda exempel och anekdoter. Inom svensk akademi finns dock ett relativt unikt och omfattande material kring utvärderingspraktiker i form av sakkunnigutlåtanden vid tjänstetillsättningar, och dessa ger unika insikter i hur indikatorer används.

I artikeln, Indicators as judgment devices, studerar Alex Rushforth och jag just hur sakkunniga använder indikatorer och tidskriftsrankningar för att värdera och rangordna sökande till lektorat och professurer inom biomedicin och nationalekonomi. Dessa dokument ger oss unik inblick i hur bibliometriska mått används för att värdera enskilda forskare, och de ger också insikt i hur specifika indikatorer integreras i disciplinspecifika värderingspraktiker. Denna aspekt är särskilt intressant då prestige och position inom akademin till stor del styrs av status inom disciplinen, snarare än av status inom den organisation där forskaren är anställd.

I redovisningen av våra resultat bör det framhållas att långt ifrån alla sakkunniga använder sig av indikatorer, och knappt hälften av de utlåtanden som vi studerat (82 av 188) använde sig av bibliometriska mått eller tidskriftsrankningar. Ett återkommande argument bland de sakkunnig som använde sig av bibliometri var måttens ‘objektivitet’:

A bibliometric analysis was carried out to assess the scientific production and even more importantly, the real scientific impact of each applicant.” (utlåtande i biomedicin)

Generellt introducerades dock citeringsdata, eller ‘impact factorer’, utan någon vidare motivering. Vår tolkning är att de sakkunniga använder indikatorer som en typ av ‘utvärderingsverktyg’, och här bygger vi på Lucien Karpik (2010) och hans teori om ‘judgment devices’. Dessa används i situationer när konsumenten (i detta fall granskaren) behöver välja mellan en rad produkter (här kandidater) som inte helt enkelt kan jämföras. Ett exempel som Karpik tar upp är valet av husläkare eller värderingen av ett litterärt verk, och vi menar att forskare kan ses som ett ytterligare exempel på en ‘vara’ vars värde inte helt enkelt kan fastställas. I situationer där det finns en uppsjö av goda kandidater, vilket är fallet i många av de tillsättningsärenden vi studerat, så blir  ‘judgment devices’ också ett sätt att lösa en situation där ett överflöd av möjliga alternativ finns.

Journal Impact factor

Den mest kända, inflytelserika och samtidigt häftigt kritiserade bibliometriska indikatorn är utan tvivel Journal Impact Factor (JIF), som introducerades av Eugene Garfield redan 1963. JIF används flitigt också i vårt material, främst inom biomedicin men också inom nationalekonomi, och ofta introduceras den för att bedöma ‘kvaliteten’ på publicerade alster: 

…but it is a bit bothersome that many of the recent publications that XXXX has been principal investigator on are found in more narrow journals, as for example Scandinavian J Immunol. (Impact approx. 2.3). (utlåtande i biomedicin)

Many of original papers appeared in excellent quality journals and nearly two third [sic] of them were in journals with impact factor greater than 3. (utlåtande i biomedicin)

I många fall, likt exemplen ovan, så används JIF som ett riktmärke för vad som ska betraktas som bra tidskrifter och en undre gräns för kvalité på runt 3 verkar gälla inom biomedicin. I nationalekonomi är det betydligt svårare att finna en exakt gräns, även om sakkunniga föreslår 0.5 samt 0.9 som möjliga riktvärden.  Sammantaget är  det otvetydigt att JIF:en är viktig vid bedömningen av forskning inom biomedicin, och många av de utlåtanden som inte explicit använder sig av måttet hänvisar till ‘high impact journals’.

Ett annat beryktat, och vid utvärderingen av individuella forskare särskilt intressant mått, är det så kallade ‘h-index’. Till skillnad från JIF, som mäter tidskrifters genomsnittliga citeringsgrad, så är h-index ett försöka att sammanfatta en forskares produktivitet och inflytande över tid. En forskare med h-index x har författat x publikationer som citerats minst x gånger, dvs. en forskare som har författat 12 publikationer som vardera citerats 12 gånger eller fler har ett h-index på 12. I vår studie används h-index vanligtvis som ett slags bakgrundsinformation, likt affiliering, ålder, kön, och ofta anges det utan vidare kommentarer som här:

XXXX publishes in good to very good journals including Plos Genetics, FASEB J, and Mol Biol Cell. H–factor=18. (utlåtande i biomedicin).

H-index blir vad vi kallar en ‘totaliserande indikator’ där en hel karriär kan sammanfattas i en siffra, och vi finner också att måttet i flera fall sammanfaller med den sammanvägda bedömningen av kandidater.

Om citeringar och JIF är populära utvärderingsverktyg inom biomedicinen så tenderar nationalekonomer att bedöma artiklars ‘värde’ utifrån klassifikationer av, och listor över, tidskrifter. En bedömare uttrycker det mycket klart:

“A university that aims to compete at the first or second tiers in Europe should expect its full professors to show the ability to publish at least a few articles in the best journals in the field. Publishing a paper in a top finance journal requires a degree of effort, awareness of the latest thinking in the field, and excellence, which any number of articles in journals below second tier could not match. (utlåtande nationalekonomi)

Det flitiga användandet av tidskriftsrankningar – vi fann hela fem olika listor i vårt material – kan relateras till att det nationalekonomiska fältet tenderar att organisera sig hierarkiskt. En annan förklaring är att citeringar och JIF generellt fungerar sämre inom nationalekonomin jämfört med biomedicin där omsättningen av artiklar och citeringar är högre.

I vårt material finns också tydliga exempel på hur indikatorer kan kombineras och jämföras, och det är inte ovanligt att sakkunniga uppvisar goda kunskaper i bibliometri. I exemplet nedan så jämförs h-index med det totala antalet citeringar för att ge en mer nyanserad bild av kandidaten:

Of 44 published papers she is 1st author on 12 and senior author on 20. She has a surprisingly low citation rate, albeit with a high h–index (Max citation <60 in 2010, h–index 17, Web of Science). (utlåtande i biomedicin)

Vad den sakkunnig menar med låg citeringsgrad är att denna kandidat har publicerat många publikationer som refererats av andra (högt h-index), men hon saknar publikationer med mycket hög citeringsgrad (max citation <60). Att författarordningen är en viktig aspekt inom biomedicin framgår också i detta citat; det är första och  sista positionen som räknas.

Ett ännu tydligare exempel på hur kandidater, men också olika typer av indikatorer, jämförs är tabellen nedan där en rad kvantifierbara data kring författarskap, publikationer och citeringar sammanställts.

Fig 1 anonymized                                                                                                            (från utlåtande i biomedicin)

Här rör det sig om en ambitiös sakkunnig som har goda kunskaper i bibliometri; tabellen ackompanjeras av inte mindre än åtta fotnoter som förklarar de enskilda måttens betydelse och svagheter. En intressant detalj är att den sakkunnige använder sig av medianvärdet gällande citeringar snarare än medelvärdet, och det är en praktik som är statistiskt välgrundad då distributionen av citeringar ofta är mycket skev.

Sammanfattningsvis menar vi att bibliometriska indikatorer i dessa sammanhang bör förstås som ‘utvärderingsverktyg’ som är välintegrerade i disciplinära utvärderingspraktiker, och beroende på hur fältet är organiserat kommer olika typer av indikatorer, till exempel citeringar inom biomedicin eller tidskriftsrankningar inom nationalekonomi, att bli dominerande. Tidigare bibliometrisk forskning har i nedlåtande ordalag referat till denna typ av bibliometrisk praktik som ‘amatörmässig’ och varnat för dess utbredning. Vi vill dock påstå att de sakkunniga i dessa dokument ofta framstår som relativt kunniga gällande indikatorernas styrkor och svagheter. Vidare så besitter de en unik kompetens jämfört med professionella bibliometriker då de har kunskap om vilket värde dessa mått tillskrivs inom den egna disciplinen. Vår ståndpunkt är dock inte att användningen av bibliometri i dessa sammanhang är oproblematisk, och liksom Leidenmanifestet så menar vi att indikatorer av detta slag bör användas med stor försiktighet på individnivå. Att helt avfärda dessa mått som direkt olämpliga i alla sammanhang vore dock förhastat, och vi bör komma ihåg att bibliometrisk utvärdering också kan framhålla grupper, till exempel kvinnor, som ofta missgynnats i traditionell peer review.

Bild: Kalîla und Dimma von Bidpai: Der Hase und der Elefantenkönig vor dem Spiegelbild des Mondes in der Quelle, By Syrischer Maler von 1354 [Public domain], via Wikimedia Commons

Eugene Garfield (1925-2017): Utopist och ingenjör

eugene_garfield_hd2007_portrait

”I believe there is now only one kind of scientist – the information scientist.” (Garfield, 1962).

I söndags, den 26 februari 2017, gick en av informationsvetenskapens stora pionjärer ur tiden. Vid sidan om Derek J. de Solla Price (1922-1983) så framstår Eugene Garfield (1925-2017) som den moderna bibliometrins fader. Hans inflytande sträcker sig dock långt utanför en snäv krets av bibliometriker, och han bör enligt mig betraktas som en av informationsvetenskapens stora innovatörer. Garfields främsta bidrag är skapandet av den vetenskapliga citeringsdatabasen, Science Citation Index (1964), och grundandet av Institute for Scientific Information (ISI). I praktiken kan det rentav hävdas att Garfield med denna innovation introducerade den vetenskapliga ‘citeringen’ som vi känner den idag. (Notera att citering, eng. ‘citation‚ här inte är liktydigt med referens eller direkt citat utan avser just en framåtriktad länk mellan publikationer som citeringsdatabasen möjliggör. För en vidare diskussion kring konstruktionen av ‘citeringen’ se Paul Wouters, Citation Culture samt Gustaf Nelhans Citeringens praktiker).

Garfield startade sin bana som kemist men kom tidigt att intressera sig för hur forskning kommuniceras, och hans första stora bidrag inom detta område var Current Contents där korta sammanfattningar av vad som avhandlats i andra vetenskapliga tidskrifter publicerades. Det stora problemet för vetenskapen, enligt Garfield, var en snabbt ökande tillgång till information – han talade själv om en ‘information flood’. Konkret ställde han sig frågan hur forskare skulle mäkta med att följa vetenskapens utveckling ens inom ett begränsat fält. Med inspiration från Shepards Citation’s, som sedan länge samlat referenser inom juridiken, så lanserade Garfield 1955 idén om ett vetenskapligt citeringsindex där forskare inte bara kunde få information om de källor som en artikel refererade till utan också hur det aktuella verket citerats av efterkommande forskare. På så sätt menade Garfield att sökningen efter litteratur kunde förbättras avsevärt, och det medgav också stora möjligheter att studera den vetenskapliga kommunikationen i detalj. Det kom dock att ta närmare tio år innan citeringsindexet lanserades, och Garfield fick arbeta hårt med att finna stöd och finansiering för sin idé.

Tidigt identifierade sig Garfield som en informationsvetare – han hade redan i barndomen varit fascinerad av bibliotek och den kunskap som rymdes där – och en stor samling av hans texter bär just namnet ‘Essays of an Information Scientist’. I praktiken menade han att alla forskare – på grund av den snabba tillväxten av information – nu behövde bli informationsexperter. Citeringsindexet spelade givetvis en stor roll för dessa blivande experter, och Garfield såg framför sig en tid där biblioteket, i den utvecklade formen av ett ‘Informatorium’, skulle utgör en central hub i den vetenskapliga kommunikationen. I en text från 1962 beskriver han det på följande sätt:

As I see it, the ideal library must be able to supply information instantaneously. As an ideal library facility, The Informatorium will have to satisfy a wide variety of information requirements for a population that will be highly intellectual and scientifically trained. In my paper, I predicted rather optimistically and hopefully, that by the turn of the millennium there would be “a new Renaissance during which the population of the entire world will be thirsting for knowledge.” I think that age is already beginning in spite of, if not because of, threats of atomic destruction.

I en artikel från samma tid så inleder Garfield resonemanget med en referens till H.G. Wells och hans idéer om en världsomspännande hjärna (‘world brain’). Han menar att det är varje forskares dröm att ha tillgång till all upptänklig information, även om han tillstår att bibliotekarien ser alla de problem som återstår att lösa innan en sådan kan realiseras. Citeringsindexet kan dock, enligt Garfield, ses som ett första steg mot att en ‘världshjärna’. Förväntningarna på vad indexet kunde uppnå var knappast blygsamma, och Garfield, i likhet med andra stora informationsvisionärer som Paul Otlet (1868-1944) eller Vannevar Bush (1890-1974), såg hur hans innovation skulle förändra vetenskapen, och kanske också samhället, i grunden:

If we ever achieve “total communication, ” a state of research nirvana, then an enormous time-shared, random access computer memory will augment man’s finite memory and replace printed indexes and catalogs. In this condition of nirvana a World Brain will itself have become an auxiliary to man’s own brain. (Garfield, 1964)

Garfield var dock till skillnad från Otlet och Bush främst en praktisk man; en ingenjör, och hans texter kan snabbt gå från att diskutera en ‘världshjärna’ till att förklara hur en ny typ av kontorspaper kommer att förbättra informationshanteringen vid hans institut. Ett institut som snart kom att växa och utökas med flera databaser och tjänster. Allt för att underlätta sökningen efter information. Möjligheten att snabbt och enkelt hitta relevant litteratur framhölls starkt i marknadsföringen av ISI: ett exempel är denna film där Garfield själv presenterar Science Citation Index. Tidigt varnade dock bedömare för att indexet kunde användas för att utvärdera vetenskapen och forskare, och det är en debatt som pågår än idag. Tydligast blev kanske citeringens betydelse som kvalitetsmått genom Garfields introduktion av Journal Impact Factor (JIF) som ett mått på en tidskrifts genomslag. Denna indikator kom snabbt att få stor betydelse, och från att ha varit ett mått som rankade tidskrifter så kom den snart att användas även för att värdera enskilda artiklar eller forskare. JIF är än idag den mest inflytelserika och samtidigt det mest ifrågasatta bibliometriska indikatorn som dess användning vid utvärdering kritiserats i bland annat Doradeklarationen och Leidenmanifestet.

Garfields roll för bibliometrins utveckling kan inte nog framhållas, och stora delar av den forskning som bedrivs inom området skulle inte vara möjlig utan den databas som han skapade. Det är bara under senare år som seriösa konkurrenter till ISI (sedermera Web of Science, WoS) har lanserats genom Elseviers Scopus och i viss mån Google Scholar. Fortfarande görs dock en betydande del av all forskning inom bibliometrin med hjälp WoS, och den utgör också den standard mot vilken andra datakällor jämförs. Trots att WoS fortfarande är den dominerande datakällan så finns det ändå anledning att fundera över hur framtiden ser ut för citeringsdatabaserna mer generellt. Det finns flera tecken på att deras dominans alltmer utmanas av alternativa sätt att studera och utvärdera forskningen. Till exempel så har mått baserade på omnämnanden i sociala medier, så kallad altmetri, lanserats som en konkurrerande metod för att studera den vetenskapliga kommunikationen. Deras monopolställning utmanas kanske främst genom en utveckling mot en mer öppen vetenskap där referenser (och citeringar) blir direkt sökbara, och där möjligheter att söka i fulltext expanderar snabbt. Kanske var det sena 1900-talet höjdpunkten för citeringsdatabasen i den form som Garfield gav den, och Thomson Reuters beslut att under förra året sälja WoS kan måhända ses som ett tecken på att en gyllene era är över. Givetvis kommer Web of Science leva kvar som en mycket viktig källa för bibliometriska undersökningar där inte minst kvalitén på databasen och dess historiska täckning skiljer den från konkurrenterna, men den dominerande ställning som den en gång hade är nu förlorad. Detta till trots så var Science Citation Index en verkligt revolutionerande uppfinning på sin tid, och Garfields roll för den vetenskapliga kommunikationens utveckling kan inte ifrågasättas. Vidare framstår Garfields obändiga tro och optimism kring vetenskapens och informationens möjligheter minst lika relevant idag som för 60 år sedan, och jag är övertygad om Garfield i framtiden kommer räknas som en av informationsvetenskapens stora namn.

Bild: Chemical Heritage Foundation [CC BY-SA 3.0 (http://creativecommons.org/licenses/by-sa/3.0)%5D, via Wikimedia Commons

Långsamhetens lockelse i den jäktade akademin

(från Respons 6/2016)

Teknikutveckling, publiceringshets och excellenssträvanden har bidragit till ett ökat tempo i den akademiska världen, som hos många skapar en känsla av att aldrig räcka till. Nu tycks en reaktion vara på väg, men en del av åtgärdsförslagen är förbehållna en elit och det är inte troligt att beslutsfattare och omvärlden i stort accepterar en temposänkning.

We do need time to think. We do need time to digest. We do need time to misunderstand each other, especially when fostering lost dialogue between humanities and natural sciences. We cannot continuously tell you what our science means; what it will be good for; because we simply don’t know yet. Science needs time.

– The slow science manifesto (2010).

Reaktionerna på ett alltför uppskruvat tempo i både arbetsliv och vardag tar sig många uttryck. Populärvetenskapliga böcker som Owe Wikströms Långsamhetens lov (2009) och Daniel Kahnemans Tänka, snabbt och långsamt (2012) betonar eftertankens betydelse för kunskapsbildning. Välbefinnande och ett ökat intresse för surdegsbakning, långkok och ölbryggning låter ana en längtan efter det omsorgsfulla och långsamma. Denna allmänna fascination inför långsamheten ackompanjeras av ett växande sociologiskt intresse för det senmoderna samhällets temporalitet, där sociologen Hartmut Rosas tes om ”social acceleration” intar en central position. Ofta förstås ett ökat tempo i samhället som ett resultat av teknikutveckling med ökad produktionstakt och allt snabbare kommunikationer som följd. Paradoxalt nog så har den teknik som är tänkt att frigöra tid i stället fått oss att känna oss än mer stressade. Enligt Rosa kan teknologiska framsteg bara förklara en del av accelerationen där breda sociala omställningar och förändringar i vardagslivets rytm utgör andra centrala aspekter (för mer om Rosa och acceleration se Respons, 3/2014).

Långsamhetens betydelse har nu också kommit att betonas i akademiska sammanhang och begrepp som ”slow science” och det långsamma universitetet har lanserats. Dessa initiativ kan ses som en reaktion på att allt fler upplever att tempot i det akademiska arbetet har stegrats, samtidigt som kraven på att redovisa och förbättra produktiviteten har blivit tydligare. Flera faktorer bidrar till ytterligare tidspress. En tilltagande andel forskare och lärare har tillfälliga anställningar, forskningen bedrivs ofta inom tidsbegränsade, externt finansierade projekt och undervisningen – inte minst inom humaniora och samhällsvetenskap – bedrivs med färre lärarledda timmar. Excellensretoriken förstärker också känslan av att inte räcka till (se Respons 4/2016). I stort sett alla lärosäten anser sig sträva efter excellens inom ett eller flera områden och varje anställd bör bidra till att uppnå detta mål. Att ständigt avkrävas världsledande insatser skapar ytterligare stress och ger dem som inte når upp till orimligt höga förväntningar dåligt samvete. Minst lika viktiga som de yttre kraven är emellertid den press som kommer inifrån. Status inom akademin och i samhället i stort kommer dem som arbetar intensivt och mycket till del. Den klass som sociologen Thorstein Veblen i slutet av 1800-talet benämnde som The leisure class utmärker sig i dag inte genom sina möjligheter till fritid utan genom att arbeta länge och dedikerat.

Men liksom i andra sfärer i samhället syns nu även inom akademin initiativ för ett sänkt tempo. The slow science manifesto (2010), som citeras ovan, är ett försök att framhålla eftertankens och långsamhetens betydelse för kunskapsbildningen och en liknande argumentation, fastän mer utvecklad, återfinns i The Slow Professor – Challenging the Culture of Speed in the Academy (2016) av Maggie Berg och Barbara K. Seeber. Dessa båda litteraturvetare tar avstamp i slow-rörelsens appeller för långsamhet och omsorgsfullhet för att sedan diskutera hur de kan appliceras inom akademin. Bergs och Seebers ambition är att erbjuda strategier som den enskilda forskaren kan använda för att skapa utrymme för eftertanke och återhämtning. De har författat en sorts självhjälpsbok som tar avstamp i en litteratur som är tänkt att hjälpa akademiker effektivisera sin tidsplanering. Flera klyschor om akademisk effektivitet refereras och kritiseras, till exempel råd som att gå upp klockan fyra på natten för att skriva innan barnen vaknar, att ”skriva papers i huvudet” samtidigt som man städar eller diskar eller att läsa uppsatser i baksätet på vägen till svärföräldrarnas lantställe. Handböcker, som till exempel Donald Halls The Academic Self – An Owners Manual (2002), framhåller att tidspress bäst hanteras genom att varje timme planeras, bokförs och prickas av för att arbetet ska bli så effektivt som möjlig, men Berg och Seeber påpekar att denna strategi starkt begränsar möjligheten till så kallad ”tidlös-tid”. Forskning visar att just den tidlösa tiden är en grundläggande förutsättning för problemlösning, kreativitet och eftertanke. Till skillnad från den schemalagda, in-i-minuten planerade och rapporterade tiden ger den oplanerade tiden möjlighet att under en längre period fokusera och helt hänge sig åt en specifik aktivitet. Berg och Seeber betraktar således utrymmet för det som mer populärt kallas ”flow” som helt avgörande för intellektuell verksamhet.

Medan Berg och Seeber tar avstamp i en mer populärvetenskaplig diskussion kring tidspress, stress och långsamhet så är Filip Vostals Accelerating Academia – The Changing Structure of Academic Time (2016) förankrad i en sociologisk teoribildning. Vostal utgår också från en bredare kontext, där forskningens och utbildningens globalisering, den tekniska utvecklingen och en allmän föreställning om vetenskapen som avgörande för innovation och tillväxt ses som bidragande orsaker till acceleration inom akademin. I sina mer empiriska studier visar sedan Vostal hur kraven på internationell konkurrenskraft tillsammans med en förväntan på att akademisk forskning och undervisning bör vara direkt tillämpar, nyttig och vinstgenerande, leder till ytterligare tidspress. Forskarna som intervjuas skildrar en situation där publicering hastas fram, där allt mindre tid ges till läsning av allt det som skrivs och där administrativa krav och utvärderingar upptar en allt större del av arbetet. I värsta fall resulterar denna hets i en situation som kan liknas vid Rosas tes om ett ”rusande stillastående” – alltmer produceras utan att egentliga intellektuella landvinningar görs. Samtidigt bör det betonas att åtskilliga forskare framhåller att acceleration också är njutbart, och att perioder av högt tempo kan upplevas som både akademiskt givande och stimulerande. Uppenbarligen måste ett stegrat tempo i arbetet inte nödvändigtvis uppfattas som negativt, och speciellt gäller detta fall där accelerationen är initierad av forskaren själv. Kontroll över den egna arbetstiden samt möjligheten att själv bestämma tempo blir därmed avgörande för kreativitet och välbefinnande i den accelererande akademin.

Ett berömt exempel på accelerationskritik, återgivet av Walter Benjamin i Passagearbetet, är hur flanörer i 1830-talets Paris tog med sig sköldpaddor på sina promenader i protest mot den moderna stadens jäkt. Hur lockande ett sådant avståndstagande från modernitetens accelererade samhällsliv än må vara, är flanörens tillbakalutade protest knappast en gångbar lösning i dagens akademi. På samma sätt kan inte uppmaningar att sluta blogga eller twittra lösa de problem som accelerationen medför, eftersom ett aktivt propagerande för långsamhet, både inom akademin och i Benjamins Paris, är förbehållet en krympande elit som kan kosta på sig att lätt nedlåtande betrakta dem som är tvungna att stressa. För en stor del av de akademiskt verksamma är långsamhet helt enkelt inget alternativ. Tanken på ”deacceleration” och med den en återgång till ett mer trögrörligt och förutsägbart samhälle attraherar också antimodernistiska och teknikfientliga strömningar vilkas ideologiska grund svårligen går att kombinera med de ideal som vi fortfarande associerar med universiteten och den högre utbildningen.

Dessutom är det är uppenbart att en stor del av accelerationen genom teknikutveckling och ökad informationstillgång har haft en positiv inverkan på kunskapsproduktionen i samhället. Problemen med en stressad akademi uppstår snarare när korta tidshorisonter begränsar kreativiteten, när möjligheten till att skifta tempo inte ges och när forskningspolitiska nyckelord som excellens, innovation och genomströmning signalerar förväntningar som ofta rimmar illa med hur kunskapsproduktion och inlärning faktiskt går till. Om det inte finns tid för eftertanke, omsorgsfullhet och reflektion är risken för stressad och undermålig forskning och undervisning stor.

Avslutningsvis kan det konstateras att en generell appell för långsamhet kanske inte är den mest effektiva metoden för att bemöta de utmaningar som den högre utbildningen och forskningen ställs inför. Uppmaningar till en generell temposänkning lär heller inte slå an hos beslutsfattare och en bredare allmänhet. I stället bör vi, enligt Vostal, verka för akademiska miljöer där hög grad av ”temporal autonomi” råder för att på så sätt främja ”ohastad” forskning och undervisning. För att få konkret orientering i hur sådana miljöer kan skapas är det värt att återvända till Bergs och Seebers självhjälpstips. De framhåller kollegialiteten, och då inte minst seminariet, som en plats där eftertanke och ”ohastade” idéer ges utrymme. Det ligger mycket i denna argumentation, för till skillnad från forskningspublikationer, välputsade konferenspresentationer eller massföreläsningar så är det i seminariet som tankar föds, utmanas och utvecklas. Seminariet ligger inte till grund för någon medelstilldelning, ger inte några poäng i rankningar och sällan betonas dess roll för innovation och nyttiggörande, och just därför är det – än så länge – en relativt skyddad plats. ”Långsamhetsoaser”, som Rosa skulle kalla dessa fredade rum, kan i sig inte hindra fortsatt acceleration, men förhoppningsvis erbjuda utrymme för återhämtning, reflektion och kreativitet i en jäktad akademi som bär på en ständig rädsla för att hamna på efterkälken.

För ytterligare reflektioner kring acceleration se tidigare bloggpost om det långsamma universitetet och den postdoktorala tillvaron

Akademin och det kvantifierade jaget

Fig 2

Research gate score

Trenden att mäta och analysera sin egen prestation, eller för den delen sin kropp, med hjälp av digitala hjälpmedel har under senare år fått stor uppmärksamhet. Benämningen ‘the quantified self‘ lanserades redan 2007 av Gary Wolf och Kevin Kelly, och under begreppet samlas nu en hel rörelse. Kvantifieringen begränsar sig dock inte till motions- och rekreationsaktiviteter utan mätningen av jaget har nu också kommit att omfatta andra delar av tillvaron. I artikel Quantified academic selves tittar Sarah de Rijcke, Alex Rushforth och jag närmare på hur ett allt större fokus på mätning av den egna prestationen nu också återfinns inom akademin. Genom att studera två webbplattformar, ResearchGate (RG) och Impactstory, så reflekterar vi kring hur en ökad kvantifiering av det akademiska jaget påverkar forskarnas självbild.

ResearchGate är kanske den mest välkända av dessa två, och enligt den egna webbplatsen har plattformen idag mer än nio millioner användare. Sajten erbjuder användare att skapa en profil där den egna forskningen presenteras, och forskaren kan också följa kollegor för att på så sätt uppdateras kring deras verksamhet. Informationen på RG är koncentrerad till publikationer, och det är främst genom dessa som användare kan höja sin så kallade ‘research gate score’. Introducerandet av ‘RG-score’ och ‘impact points’ för att sammanfatta forskarens produktion och inflytande är det som skiljer RG från liknande webbaserade nätverk som Academia.edu. Dessa mått bygger på en komplicerad, och till stora delar ogenomskinlig sammanräkning av publikationer, deras Impact factor, och allmän aktivitet på sajten. RG-score jämförs sedan automatiskt med andra forskares prestationer och användaren upplyses om sin relativa position (”bättre än 50% av alla registrerade forskare”). Förutom att kalkylera detta mått så skickar ResearchGate ständiga meddelanden till sina användare, där ‘framgångar’ proklameras: ”du har tjugo nya läsare” eller ”dina publikationer har nu citerats 100 gånger”.

I vår analys hävdar vi att RG och liknande tjänster framställer forskning som ett spel där målet är att samla så många poäng som möjligt. Vad dessa plattformar gör är att de ägnar sig åt ‘spelifiering’ (gamification), vilket kort kan sammanfattas som användandet av spelfunktioner i icke-spels kontexter. Spelifiering sägs kunna öka motivationen vid till exempel inlärning, men det har också använts för att höja produktiviteten i tillverkningsindustrin. I fallet RG och Impactstory så uppmanas användaren ständigt att uppdatera sin profil med nya prestationer för att på så sätt avancera till högre nivåer. Exempelvis så kan en användare av Impactstory uppnå nivåerna brons, silver eller guld beroende på hur stor global spridning som forskarens publikationer har fått. Vad vi ser här forskningens motsvarighet till strategispel där varje territorium ses som ett delmål på vägen mot världsherravälde. Likadant kan RGs ständiga uppmaning att ‘uppdatera profilen’ och ‘ladda upp publikationer’ liknas vis det ständiga uppgraderandet av karaktärer i dataspel.

Impact story map

Världskarta illustrerande genomslag i olika länder. Mörkare färg – högre impact. (Impactstory)

Vi menar att kvantifieringen och spelifieringen av forskarens identitet går att koppla till en nyliberaldiskurs där forskaren framställs som en vara på ‘ideernas marknad’. Kopplingen till en marknadsdiskurs är tydlig då både publikationer och forskare beskrivs som en vara med ett exakt värde (min dagsnotering är 14.76) som kan jämföras med andra varor. Med stöd hos Philip Mirowski och hans analys av Facebook så menar vi att RG och liknande sajter förmedlar en entreprenöriell jag-förståelse (se också Alex Rushforths bloggpost på samma tema). Vi påstår inte att idén om forskare som entreprenörer är ny, och tävlan har länge varit en integrerad del av vetenskapen, men dessa plattformar tydliggör och förstärker dessa tendenser. Dock vore det förenklat att helt skylla denna utveckling på alla de fenomen som, ibland lite slappt, sorteras in under det vida begreppet ‘nyliberalism’. Snarare är det så att viljan till ständig (mätbar) förbättring, eller vad Peter Sloterdijk benämner som ‘doktrinen om uppåtsträvande’, har ett djupare ursprung och denna strävan bär också på befriande aspekter.

Vår slutsats är att kvantifieringen och spelifieringen av vetenskapen är förenade med uppenbara faror. De reducerar en mycket komplex verksamhet till några få indikatorer, de bidrar till en förståelse av det akademiska jaget som en produkt som i konkurrens med andra verkar på en marknad och de riskerar att ersätta kollegiala omdömen och inomdisciplinära konversationer med algoritmer. Vidare så finns det konsekvenser av spelifiering – till exempel målförskjutning och fusk – som knappast gynnar forskningen. Med detta sagt bör det dock framhållas att tjänster som GS också har sociala- och kommunicerande funktioner, och de alternativa mått som tillhandahålls av dessa plattformar kan också användas för att ifrågasätta rådande indikatorer och normer. Kvantifiering av det egna jaget kan således vara ett sätt att ta kontroll över hur man själv värderas.

Oavsett hur vi betraktar akademisk självkvantifiering så finns det anledning att noggrant följa hur dessa plattformar, som hittills setts om ganska oskyldiga ‘Facebook för akademiker’, utvecklas. Forskningen kring bibliometrins effekter har främst inriktat sig på att studera konsekvenserna av institutionaliserad utvärdering, men kanske ligger deras största påverkan i det självpåtagna och lekfulla mätandet av det egna jaget.