Karl Marxs h-index och den ryska revolutionen: En övning i kontrafaktisk bibliometri

Armed_soldiers_carry_a_banner_reading_'Communism',_Nikolskaya_street,_Moscow,_October_1917

I filmen Sliding doors från 1998 skildras två olika livsscenarier beroende på om huvudpersonen hinner med ett tåg eller ej.[1] I den första versionen upptäcker hon sin pojkväns otrohet och bryter upp från relationen, i den andra stannar hon kvar hos sin partner. Säkerligen har de flesta av oss spekulerat på liknande sätt kring händelser i vårt eget liv: Vad hade hänt om inte just detta skett? Hur hade livet då gestaltats? Funderingar av liknande slag är också vanliga inom skönlitteraturen, Robert Harris roman Faderland (1992) skildrar ett Europa där Tyskland gått segrande ur andra världskriget, och ett liknande scenario, men då mot en svensk fond, spelas upp i Tony Samuelssons Kafkapaviljongen (2009). Kittlande kontrafaktiska tankeexperiment är också en genre inom historieämnet där spekulationer kring alternativa utvecklingslinjer använts för att belysa avgörande händelser. Till delar kan kanske detta sätt att närma sig historien betraktas mer som en tankeövning, snarare än som seriös historieforskning. Men som historikern Kristian Gerner skriver i Vad hade hänt om… åtta kontrafaktiska historier (2015) så innebär framhållandet av alternativa händelseförlopp en möjlighet till resonemang kring, och förståelse för, de avgörande orsakerna till en specifik händelse. Kontrafaktiska resonemang, som ofta fokuserar på avgörande ögonblick eller beslut, tenderar också att aktualisera frågor om individens betydelse i historiens gång. I vilken mån styrs vår historia av enskilda beslut, händelser eller överväganden, och hur förhåller sig dessa till större strukturella förändringar?

Om vi omformulerar denna fråga till att gälla det bibliometriska studiet av vetenskapens genomslag så kan den ställas på följande sätt: Hur påverkas citerandet av ett vetenskapligt verk av den historiska utvecklingen? I en ny bibliometrisk studie, The mainstreaming of Marx: Measuring the effect of the Russian revolution on Karl Marx’s influence,[2] så prövas frågan hur en omvälvande händelse, den ryska revolutionen 1917, påverkat citerandet av Karl Marxs texter. Oavsett hur vi förhåller oss till Marxs texter på ett politiskt plan så är det otvetydigt så att han är en av de mest inflytelserika tänkarna under 1900-talet, och hans texter fortsätter att citeras i betydande omfattning. Om vi utgår från vad som registreras på Google Scholar och den profil som skapats åt honom där, så citeras Marx lite drygt 50 gånger per dag. Dessutom påpekar författarna till studien, Philip Magness och Michael Makovi, att Marxs texter, och då främst det Kommunistiska manifestet, är vanligt förekommande i kurslitteraturen vid universitetet och högskolor. Men är Marx inflytande resultatet av hans verks inneboende kvalité, eller är det snarare så att politiska händelser, och då främst den ryska revolutionen, som bidragit till hans popularitet? Med hjälp av kontrafaktiskt bibliometri säger sig författarna ge oss ett svar på denna fråga.

Screenshot 2020-06-02 at 09.31.00

Karl Marx, Google Scholar profil, 2020-06-09

Genom att konstruera och jämföra två Marx: den historiska och den kontrafaktiska (i studien kallade den syntetiska) så menar författarna att de kan mäta hur ryska revolutionen påverkat Marxs inflytande. Den kontrafaktiska Marx konstrueras genom ett jämförelsematerial av 98 andra inflytelseserika tänkare, däribland framstående samtida socialister som Proudhon, Bakunin och Kropotkin, politiska tänkare som Adam Smith, David Ricardo, John Stuart Mill och Friedrich List samt klassiska filosofer och skönlitterära författare. Genom statistiska analyser kan dessa sedan jämföras och en ‘syntetisk’ Marx kan konstrueras baserat på vad som skulle vara en ‘normal’ fördelning av citeringar i relation till tidigare data och i jämförelse med andra författares citeringsgrad över tid. Resultatet blir onekligen en slående kurva, där populäriteten för den historiska Karl Marx stiger betydligt efter 1917 samtidigt som den kontrafaktiska Marx bibehåller en konstant nivå.

SSRN-id3578840

Karl Marx vs kontrafaktiska Karl Marx, från Magness och Markovi 2020, s. 59.

Mönstret kvarstår även när jämförelsen görs enbart med andra socialistiska tänkare. Resultaten är talande, och det skulle vara svårt att argumentera emot att den ryska revolutionen har påverkar Marxs eftermäle, dock bör några förbehåll göras. Min främsta invändning rör inte den metodologiska ansatsen, utan den data som används. Studien bygger på Googles N-gram Viewer där man snabbt kan få en överblick över förekomsten av en term bland fulltexter i Google Books, en databas med över 40 miljoner poster. Sökningen har sedan skett på frasen “Karl Marx” i de indexerade verken. Således är det inte regelrätta citeringar, utan omnämnanden, som redovisas och studien kan därför inte sägas vara en regelrätt studie av referenser till Marx. Dessutom begränsar sig inte Google Books till att indexera vetenskaplig litteratur, utan här ingår ett flertal genrer, inklusive skönlitteratur, tidskrifter och dagstidningar. Således rör det sig mer om en allmän undersökning av den uppmärksamhet som Karl Marxs fått, snarare än direkta vetenskapliga citeringar. Samtidigt är det givetvis så att den ryska revolutionen, och Sovjetunionens grundande, starkt bidragit till Marxs inflytande. Att sådan påverkan skett, och att det avspeglas i antalet citeringar blir tydligt om vi konsulterar Eugene Garfields översikt över mest citerade personer i inom humaniora från 1978, Most cited authors in the Arts and Humanities. Att Marx är den mest citerade här är kanske inte förvånande, men att Lenin placerar sig på fjärde plats, före Platon, kan knappast förklaras av hans genuina bidrag till den humanistiska forskningen, utan utifrån hans historiska roll. Jag misstänker också att de ryska tidskrifter som vid tidpunkten fans indexerade Arts and Humanities Citation Index, bidrog väsentligt till Marxs och, särskilt Lenins, höga citeringstal.

En mer generell invändning mot studien är att den bygger på en idé om att vetenskapliga verk har en inneboende kvalité, som går att särskilja från dess relevans för omvärlden. En politiskt neutral vetenskapsvärld där forskares bidrag bedöms enbart utifrån sin inre koherens och logik existerar inte, och är nog vare sig önskvärd eller möjlig. Även sofistikerade teoretiska modeller behöver finna resonans i en social och politisk kontext för att bli uppmärksammade och inflytelserika. Dessa invändningar till trots så kan experiment av detta slag, och särskilt försök att använda bibliometri på historiska material, tjäna som tankeväckande uppslag för att undersöka interaktionen mellan dagspolitiska händelser, politiska ideologier och vetenskapliga teoribildningar. Den kontrafaktiska metoden kanske främst bör uppfattas som en lek, ett roligt tankeexperiment som roar och underhåller. Samtidigt finns det både pedagogiska och analytiska argument som motiverar kontrafaktiskt tänkande (och kontrafaktiskt bibliometri), och här vill jag särskilt framhålla förmågan ställa frågor på sin spets, och därmed rucka på invanda synsätt och föreställningar.

 

[1] Den amerikanske filmatiseringen bygger i sin tur på filmen ”Ödets nyck” från 1987 av Krzysztof Kieślowski.

[2]. Tack till Joakim Boström Elias som gjorde mig uppmärksam på denna studie.

Foto: ”Armed soldiers carry a banner reading ‘Communism’, Nikolskaya street, Moscow, October 1917”, Wikimedia, Upphovsman okänd.

Att överbrygga utvärderingsgapet: humanistisk forskning och bibliometriska mått

Bournemouth_(9453245033)

(Detta är en utökad version av en text som först publicerats på humtanks blogg]

Utvärderingsgapet, en term lanserad av vetenskapssociologen Paul Wouters, illustrerar en ofta förekommande diskrepans mellan det vi värderar högt och det som man kan mäta värdet på. Ett tydligt exempel är försöken att konstruera indikatorer som på basis av publikationer och citeringar skall mäta forskningens kvalité. Även om det idag råder konsensus om att citeringar i bästa fall kan betraktas som en indikation på synlighet och genomslag i forskningssamhället så spelar fortfarande bibliometriska mått en avgörande roll i fördelningen av resurser och vid tillsättningar av akademiska tjänster. Istället för att bedöma utifrån de kriterier som vi anser bäst reflektera kvalité och relevans får tillgänglig data samt enkelheten i genomförande i hög grad styra hur forskning utvärderas.

Diskrepansen mellan bibliometriska mått, exempelvis citeringar, och det de är avsedda att mäta har uppmärksammats inom forskningspolitiken i stort, och vikten av att använda indikatorer på ett ansvarsfullt sätt har alltmer betonats. Ett exempel är det uppmärksammade Leiden Manifesto on Research Metrics, samt DORA, ett världsomspännande upprop mot användandet av ‘Journal Impact Factor’ som mått på kvalité. Kritiken mot bibliometrisk utvärdering har, med rätta, varit särskilt hård från ett samhällsvetenskapligt och humanistiskt håll. Mått som antalet citeringar eller ‘impact factors’ för tidskrifter fungerar generellt dåligt inom humaniora, där publicerings- och citeringsmönster gör att mycket liten del av alla publikationer räknas i sådana system. Modeller likt den norska listan, där även monografier och bokkapitel ger poäng utifrån fastställda kvalitetsnivåer (1 eller 2) har därför blivit populära. Just den norska modellen används också vid flera lärosäten runt om i landet. Vi vet dock mindre om hur enskilda forskare inom humaniora förhåller sig till den uppsjö av bibliometriska indikatorer som finns att tillgå. Till mer etablerade mått som citeringar och tidskriftsrankningar sållar sig nu en grupp av alternativa mått (så kallade altmetrics) samt digitala plattformar som ResearchGate och Academia.edu vilka alla säger sig kunna ge indikationer på forskningens genomslag och synlighet. En första överblick gällande hur forskare inom humaniora i Sverige använder sig av dessa mått och tjänster ges i en nyligen publicerad undersökning, Conflicting measures and values: How humanities scholars in Australia and Sweden use and react to bibliometric indicators, där Gaby Haddow och jag analyserar svaren från 420 humanistiska forskare (varav 263 från Sverige). Generellt fann vi att australiensiska humanister (62 %) i mycket högre grad än svenska (14 %) använde sig av bibliometriska mått och indikatorer. Förklaringen till den stora skillnaden står förmodligen att finna i skillnader gällande språk (engelskspråkiga publikationer är ofta enklare att utvärdera med bibliometri), skillnader i hur forskning och högre utbildning är organiserade i de två länderna, samt i att Australien till skillnad från Sverige har en lång historia av bibliometrisk utvärdering bakom sig. Jämförelsevis fann vi ganska små skillnader mellan olika forskningsområden, men inte helt oväntat visade det sig att discipliner där forskarna i större utsträckning publicerar sig i tidskrifter, exempelvis filosofi, var mer benägna att använda bibliometriska mått.

Noterbart var den uppsjö av metriker och rankingar som forskarna begagnade sig av. Mer etablerade indikatorer såsom citeringar, journal impact factor och h-index (ett individbaserat och starkt kritiserat mått) nämndes givetvis av våra respondenter, men mer alternativa sätt att mäta genomslag, såsom nedladdningar och visningar, förekom också (fig 1).

Fig-2

 

Figur 1. Humanisters användning av indikatorer, datakällor och tidskriftsrankningar

Överlag kan det konstateras att forskarna omges av ett evalueringslandskap där en rik flora av mått finns att tillgå, och det är inte helt ovanligt att dessa jämförs med varandra. Exempelvis kan, såsom i detta australiensiska fall, en mer gynnsam och passande mätmetod spelas ut mot institutionella krav:

Only reason [för att använda citeringar] is to ward off any criticism that journal articles are not in A* or A ranked journals. High citations of articles in decent B-level journals should count for something, even though department policy is to discourage and/or ignore them (Australiensisk forskare, historia och arkeologi).

Flera av våra respondenter riktade skarp kritik mot användningen av bibliometriska mått – i ett av de mer hårda omdömena beskrivs bibliometri som ett: “unholy marriage of market capitalism and Stakhanovist micro-management”. Informanten fortsätter med att likna forskare i detta system vid hönor i bur, som tvingas att producera ett visst antal artiklar varje år. Mindre drastiskt kritik förekom också, och ett flertal forskare, inte minst inom fält som historia och litteraturvetenskap, kopplar bibliometriska indikatorer till mer generella förskjutningar i publiceringspraktiker där den engelskspråkiga tidskriftsartikeln får ökad betydelse. Huruvida dessa förändringar direkt går att härleda till bibliometrisk utvärdering framstår dock som oklart av rådande forskningsläge att döma. Snarare bör vi nog se det som att dessa mått accentuerar en redan pågående utveckling i denna riktning. I sammanhanget får vi heller inte glömma att en del forskare snarare välkomnar de förändringar som bibliometrin sägs påskynda:

Shift to publishing in English and emphasis on publishing in peer review journals (thank god). Hopefully this decreases the degree of laziness among researchers in my field” (svensk postdok, historia och arkeologi).

De bibliometriska måtten blir därmed en del av en diskursiv kamp inom enskilda forskningsfält där traditionella sätt att publicera sig (på svenska, i bokkapitel eller monografier) ställs mot nya praktiker där publicering i en engelskspråkiga tidskrifter framhålls. I delar kan denna fråga ses som en konflikt mellan generationer, och inte minst äldre forskare hänfaller ofta åt nostalgiska betraktelser av en förfluten tid utan bibliometri och publiceringsstrategier:

Fortunately, I am old and consequently I do not have to bother. Had I been young, I would have left academia rather than adjust to the moronic ‘publishing strategies’ forced upon us (svensk, lektor, arkeologi- och historia).

Delvis finns det poänger i detta resonemang; unga forskare är i en mer utsatt position då de ofta har osäkra anställningsförhållanden och de är därför tvungna att tänka mer ‘strategiskt’. Vidare finns det en risk att mer långsiktiga och riskabla projekt överges till förmån för forskning som snabbt kan ge utdelning i form av publikationer och citeringar. Samtidigt döljer utsagor likt dessa att det även förr fanns ‘publiceringstrategier’ där det exempelvis kunde vara av stor betydelse för den yngre forskaren att hålla sig väl med etablerade professorer som i rollen av redaktörer för antologier och bokserier kunde (och fortfarande kan) gynna en begynnande karriär. Vidare är det viktigt att framhålla att dessa två strategier knappast står i direkt konflikt med varandra. Snarare utmärks framgångsrika humanistiska forskare ofta av en förmåga att rikta sig till relevanta publiker både nationellt och internationellt, och inte sällan publicerar de sig i en rad forum och på olika språk.

Även om en del av kritiken mot bibliometrin bör ses som förklädda argument i inomdisciplinära strider så är utvärderandet av humaniora med hjälp av kvantitativa mått problematiskt på flera plan. En given invändning, ofta anförd i litteraturen, är det faktum att humanistisk forskning till stor del inte finns representerad i de bibliometriska databaserna, och detsamma gäller även flera av de alternativa mått som på senare år lanserats. På ett djupare plan är det även så att bibliometriska indikatorer rimmar illa med etablerade kvalitetsbegrepp och värderingspraktiker inom humaniora. En av våra australiensiska respondenter uttrycker det som ett problem i att översätta värden mellan olika sfärer: “… translating our sense of value to people who want quantitative data”. En grundläggande konflikt mellan radikalt olika sätt att tänka kring vetenskapligt värde skönjs här där då de snäva idéer om produktivitet, effektivitet och konkurrens som bibliometrin bygger på svårligen kan appliceras i en humanistisk kontext. Gapet mellan vad bibliometrin mäter och värderar, och vad som vanligen värderas som kvalité inom humanistisk forskning är således stor. Bland svenska humanister har ännu inte heller bibliometriska mått slagit igenom på allvar. Vår studie visar dock att situationen ser annorlunda ut i Australien, där forskarna trots protester och berättigad kritik, använder dessa mått i stor utsträckning.

Hur utvärderingsgapet ska överbryggas i framtiden framstår som oklart: Ska svenska humanister anpassa sig till de metoder som finns tillgängliga (en utveckling som kan skönjas internationellt), eller kan vi behålla och utveckla utvärderingspraktiker som i högre grad inkorporerar en bredare förståelse av kvalité? Min slutsats är att humanisterna inte bör nöja sig med att ihärdigt kritisera rådande kvalitetsmått, utan istället aktivt delta i utformandet av utvärderingssystem som överbryggar det gap som skisserats ovan. En sådan utveckling skulle inte bara gynna humaniora utan även vetenskapssamhället i stort.

Bild: Rafaela Ely (Bournemouth) [CC BY 2.0 (https://creativecommons.org/licenses/by/2.0)%5D, via Wikimedia Commons

Om engelskan som vetenskapsspråk(et)

brueghel-tower-of-babel

I 1700-talets Sverige kom svenskan alltmer att ersätta latinet som det ledande språket för vetenskaplig publicering. En förändring som kan relateras till ett allt större fokus på vetenskapen som en nationell angelägenhet. Under 1900-talet har vi sett en motsatt rörelse där nationella språk ersätts av engelskan när vetenskapens internationella, för att inte säga globala, karaktär betonats. Den ökande dominansen av engelska som vetenskapens ”lingua franca” är ämnet för en doktorsavhandling, Languages and linguistic exchanges in Swedish academia, som försvaras vid Stockholms Universitet idag. I fyra delstudier behandlar Linus Salö flera aspekter av engelskans inflytande. Den första studien handlar om hur debatten i Sverige alltmer kom att handla om hur svenskan förlorade mark gentemot engelskan inom politik, vetenskap och näringsliv. Därpå följer en undersökning av språk och makt inom två discipliner: psykologi och historia. I den tredje delstudien studeras språkanvändning i fysik och datavetenskap, men här är inte formella publikationer i fokus utan kommunikation mer generellt. I ett avslutande kapitel så tittar sedan Salö på hur nya språkpraktiker utvecklas när forskare ”tvingas” överföra kunskapsstoff från engelska till svenska. Avhandlingen erbjuder flera givande ingångar till frågeställningen om engelskans betydelse, och särskilt imponerande är hur Salö kombinerar metodologisk eklekticism med teoretiskt stringens.

Speciellt intressant från en bibliometrisk och forskningspolitisk horisont finner jag de resultat som pekar på hur försvaret för svenskan också blir ett sätt att upprätthålla sin egen position. De som länge ”investerat” i svenskspråkiga publikationer vill givetvis inte se att värdet på dessa devalveras. I den bourdieuska tradition som avhandlingen bygger på blir alltså frågan om språk också en illustration av strider inom en domän där etablerade praktiker utmanas, och i exemplet psykologi kom en svenskspråkig tradition att nästintill helt ersättas av publicering på engelska. I historia – där debatten kring svensk- kontra engelskspråkig publicering är högst aktuell – kan motsättningarna delvis förstås som en generationskonflikt där yngre forskare utmanar etablerade maktstrukturer. Samtidigt hävdar Salö, med stöd bland annat av Sarah de Rijckes och min studie av publiceringspraktiker inom humaniora, att ett ökat fokus på bibliometriska mått accentuerar engelskans betydelse. Sammantaget visar delstudien att språkfrågan måste förstås i en större kontext där framförallt makten över kunskapsproduktionen och publiceringskanalerna utgör viktiga aspekter.

Salö konstaterar att språkanvändning inom vetenskapen inte kan reduceras till enbart publikationer. Istället måste vi förstå språkets roll i en bredare kontext. Han visar bland annat att svenskan fortfarande spelar en betydande roll som arbetsspråk även i discipliner, som systemvetenskap och fysik, där nästintill alla vetenskapliga publikationer författas på engelska, och tvärtemot gängse föreställningar så kan forskare inom dessa discipliner beskriva även avancerad forskning på sitt modersmål. På liknande sätt kan vi ifrågasätta uppfattningen att humanister som främst publicerar på svenska för den sakens skull inte influeras av engelskans dominans. Till exempel så visar bibliometriska undersökningar att  svenskspråkiga publikationer och forskningsansökningar inom litteraturvetenskap i hög grad refererar till engelskspråkiga publikationer. Att svenska litteraturvetare i allt större utsträckning förlitar sig på engelska källor men skriver på svenska kan dock i förlängningen utgöra ett problem. För vad innebär det egentligen för ett forskningsfält att de kollegor man refererar till med största sannolikhet aldrig kommer läsa det man skrivit? Lite provokativt skull det kunna uttryckas på följande vis: det finns en risk att forskare som enbart publicerar sig på svenska blir uttolkare, introduktörer och översättare av verk och teoribildningar som lanserats i den engelskspråkiga forskningen, men själva bidrar man i liten grad till det internationella inomvetenskapliga samtalet. Samtidigt kommer det dock vara fortsatt mycket viktigt för discipliner som litteraturvetenskap och historia att kommunicera på svenska till en bred publik bestående av kollegor, studenter och allmänhet. Incitamentsstrukturer på individnivå och bibliometriska fördelningsmodeller bör alltså explicit gynna forskare som både riktar sig till internationella kollegor och till en inhemsk publik.

Svenska samhällsvetare och humanister behöver ständigt fundera på vilket språk som är lämpligt beroende på det syfte och den målgrupp som forskningen har. Språkfrågan kommer alltså även i fortsättningen debatteras, men förtjänsten med Salös avhandlingen är att den hjälper oss förstå hur komplext och mångfacetterat problemet är. Att andra aspekter än omsorgen om svenskan spelar in i denna diskussion är uppenbart, och etablerade föreställningar kring språkanvändningen i specifika discipliner behöver onekligen problematiseras. Salö hävdar avslutningsvis att engelskans värde på den akademiska marknaden bara tenderar att öka, samtidigt som svenskan ser ut att tappa ytterligare marknadsandelar. Förmodligen ligger det mycket i denna iakttagelse men det finns kanske ändå ett hopp för vetenskapssvenskan. Den digitala utvecklingen och framväxten av svenskspråkiga onlinetidskrifter kan kanske rentav dämpa engelskans dominans, och ett större forskningspolitiskt fokus på samhällelig relevans ( ”social impact”) pekar möjligtvis också i denna riktning.

Bild : Pieter Brueghel den äldre (1525/1530 – 1569). ”Babelstorn” https://commons.wikimedia.org/w/index.php?curid=22179117

Hur reagerar forskare på bibliometrisk utvärdering?

Under senare år har bibliometrisk utvärdering, ofta med utgångspunkt i antalet citeringar eller antalet publikationer, blivit en etablerad metod för att fördela resurser mellan forskare, institutioner och lärosäten. Hur detta påverkar den enskilde forskaren är en central fråga i min forskning. I en nyligen sammanställd studie – Accountability in context – utgår Sarah de Rijcke (Leidens Universitet) och jag från publiceringsmönster och forskningspraktiker vid den historisk-filosofiska fakulteten vid Uppsala Universitet. Undersökningen, som bygger på publikationer från 2006-2013, visar att tidskriftsartiklar på engelska har ökat substantiellt (se nedan) och detsamma gäller för andelen publikationer som registreras som “referegranskade”. Dessa förändringar kan inte direkt härledas till nyligen implementerade utvärderingssystem, men det kan konstateras att den utveckling som vi iakttagit ligger helt i linje med de incitatment som finns i dessa fördelningsmodeller.

Yearly changes

Studien kompletteras av en enkät där forskare vid fakulteten besvarat frågor kring publiceringspraktiker och eventuella förändringar av dessa. Flera respondenter påtalar ett större fokus på engelskspråkiga tidskriftspublikationer. Reaktionerna på denna utveckling är delade; vissa forskare ser förändrade publiceringspraktiker som ett hot mot humanioras särart samtidigt som andra välkomnar ett större fokus på en internationell publik. Svaren indikerar att bibliometrisk evaluering, men också krav på open access, ofta hamnar i konflikt med disciplinära normer. Samtidigt rankas ‘icke-epistemisk’ påverkan lågt när forskare värderar de faktorer som påverkar valet av publikationskanal (se nedan). Vidare visar tidigare studier av utvärdering och utvärderingssystem att påverkan på praktiker och attityder inom organisationer ofta är liten; speciellt i fält där institutionella normer är starka. Således bör vi vara försiktiga med att dra för långtgående slutsatser om de effekter som utvärderingssystem har.

factors

Den aktuella studien är begränsad och ambitionen är att bredda undersökningen till att omfatta fler forskningsfält samt att titta på hur intervjuer och etnografiska metoder kan bidra till att belysa frågan. Det finns alltså all anledningen att återkomma till ämnet framöver.

Studien finns nu publicerad i Research Evaluation.