Att överbrygga utvärderingsgapet: humanistisk forskning och bibliometriska mått

Bournemouth_(9453245033)

(Detta är en utökad version av en text som först publicerats på humtanks blogg]

Utvärderingsgapet, en term lanserad av vetenskapssociologen Paul Wouters, illustrerar en ofta förekommande diskrepans mellan det vi värderar högt och det som man kan mäta värdet på. Ett tydligt exempel är försöken att konstruera indikatorer som på basis av publikationer och citeringar skall mäta forskningens kvalité. Även om det idag råder konsensus om att citeringar i bästa fall kan betraktas som en indikation på synlighet och genomslag i forskningssamhället så spelar fortfarande bibliometriska mått en avgörande roll i fördelningen av resurser och vid tillsättningar av akademiska tjänster. Istället för att bedöma utifrån de kriterier som vi anser bäst reflektera kvalité och relevans får tillgänglig data samt enkelheten i genomförande i hög grad styra hur forskning utvärderas.

Diskrepansen mellan bibliometriska mått, exempelvis citeringar, och det de är avsedda att mäta har uppmärksammats inom forskningspolitiken i stort, och vikten av att använda indikatorer på ett ansvarsfullt sätt har alltmer betonats. Ett exempel är det uppmärksammade Leiden Manifesto on Research Metrics, samt DORA, ett världsomspännande upprop mot användandet av ‘Journal Impact Factor’ som mått på kvalité. Kritiken mot bibliometrisk utvärdering har, med rätta, varit särskilt hård från ett samhällsvetenskapligt och humanistiskt håll. Mått som antalet citeringar eller ‘impact factors’ för tidskrifter fungerar generellt dåligt inom humaniora, där publicerings- och citeringsmönster gör att mycket liten del av alla publikationer räknas i sådana system. Modeller likt den norska listan, där även monografier och bokkapitel ger poäng utifrån fastställda kvalitetsnivåer (1 eller 2) har därför blivit populära. Just den norska modellen används också vid flera lärosäten runt om i landet. Vi vet dock mindre om hur enskilda forskare inom humaniora förhåller sig till den uppsjö av bibliometriska indikatorer som finns att tillgå. Till mer etablerade mått som citeringar och tidskriftsrankningar sållar sig nu en grupp av alternativa mått (så kallade altmetrics) samt digitala plattformar som ResearchGate och Academia.edu vilka alla säger sig kunna ge indikationer på forskningens genomslag och synlighet. En första överblick gällande hur forskare inom humaniora i Sverige använder sig av dessa mått och tjänster ges i en nyligen publicerad undersökning, Conflicting measures and values: How humanities scholars in Australia and Sweden use and react to bibliometric indicators, där Gaby Haddow och jag analyserar svaren från 420 humanistiska forskare (varav 263 från Sverige). Generellt fann vi att australiensiska humanister (62 %) i mycket högre grad än svenska (14 %) använde sig av bibliometriska mått och indikatorer. Förklaringen till den stora skillnaden står förmodligen att finna i skillnader gällande språk (engelskspråkiga publikationer är ofta enklare att utvärdera med bibliometri), skillnader i hur forskning och högre utbildning är organiserade i de två länderna, samt i att Australien till skillnad från Sverige har en lång historia av bibliometrisk utvärdering bakom sig. Jämförelsevis fann vi ganska små skillnader mellan olika forskningsområden, men inte helt oväntat visade det sig att discipliner där forskarna i större utsträckning publicerar sig i tidskrifter, exempelvis filosofi, var mer benägna att använda bibliometriska mått.

Noterbart var den uppsjö av metriker och rankingar som forskarna begagnade sig av. Mer etablerade indikatorer såsom citeringar, journal impact factor och h-index (ett individbaserat och starkt kritiserat mått) nämndes givetvis av våra respondenter, men mer alternativa sätt att mäta genomslag, såsom nedladdningar och visningar, förekom också (fig 1).

Fig-2

 

Figur 1. Humanisters användning av indikatorer, datakällor och tidskriftsrankningar

Överlag kan det konstateras att forskarna omges av ett evalueringslandskap där en rik flora av mått finns att tillgå, och det är inte helt ovanligt att dessa jämförs med varandra. Exempelvis kan, såsom i detta australiensiska fall, en mer gynnsam och passande mätmetod spelas ut mot institutionella krav:

Only reason [för att använda citeringar] is to ward off any criticism that journal articles are not in A* or A ranked journals. High citations of articles in decent B-level journals should count for something, even though department policy is to discourage and/or ignore them (Australiensisk forskare, historia och arkeologi).

Flera av våra respondenter riktade skarp kritik mot användningen av bibliometriska mått – i ett av de mer hårda omdömena beskrivs bibliometri som ett: “unholy marriage of market capitalism and Stakhanovist micro-management”. Informanten fortsätter med att likna forskare i detta system vid hönor i bur, som tvingas att producera ett visst antal artiklar varje år. Mindre drastiskt kritik förekom också, och ett flertal forskare, inte minst inom fält som historia och litteraturvetenskap, kopplar bibliometriska indikatorer till mer generella förskjutningar i publiceringspraktiker där den engelskspråkiga tidskriftsartikeln får ökad betydelse. Huruvida dessa förändringar direkt går att härleda till bibliometrisk utvärdering framstår dock som oklart av rådande forskningsläge att döma. Snarare bör vi nog se det som att dessa mått accentuerar en redan pågående utveckling i denna riktning. I sammanhanget får vi heller inte glömma att en del forskare snarare välkomnar de förändringar som bibliometrin sägs påskynda:

Shift to publishing in English and emphasis on publishing in peer review journals (thank god). Hopefully this decreases the degree of laziness among researchers in my field” (svensk postdok, historia och arkeologi).

De bibliometriska måtten blir därmed en del av en diskursiv kamp inom enskilda forskningsfält där traditionella sätt att publicera sig (på svenska, i bokkapitel eller monografier) ställs mot nya praktiker där publicering i en engelskspråkiga tidskrifter framhålls. I delar kan denna fråga ses som en konflikt mellan generationer, och inte minst äldre forskare hänfaller ofta åt nostalgiska betraktelser av en förfluten tid utan bibliometri och publiceringsstrategier:

Fortunately, I am old and consequently I do not have to bother. Had I been young, I would have left academia rather than adjust to the moronic ‘publishing strategies’ forced upon us (svensk, lektor, arkeologi- och historia).

Delvis finns det poänger i detta resonemang; unga forskare är i en mer utsatt position då de ofta har osäkra anställningsförhållanden och de är därför tvungna att tänka mer ‘strategiskt’. Vidare finns det en risk att mer långsiktiga och riskabla projekt överges till förmån för forskning som snabbt kan ge utdelning i form av publikationer och citeringar. Samtidigt döljer utsagor likt dessa att det även förr fanns ‘publiceringstrategier’ där det exempelvis kunde vara av stor betydelse för den yngre forskaren att hålla sig väl med etablerade professorer som i rollen av redaktörer för antologier och bokserier kunde (och fortfarande kan) gynna en begynnande karriär. Vidare är det viktigt att framhålla att dessa två strategier knappast står i direkt konflikt med varandra. Snarare utmärks framgångsrika humanistiska forskare ofta av en förmåga att rikta sig till relevanta publiker både nationellt och internationellt, och inte sällan publicerar de sig i en rad forum och på olika språk.

Även om en del av kritiken mot bibliometrin bör ses som förklädda argument i inomdisciplinära strider så är utvärderandet av humaniora med hjälp av kvantitativa mått problematiskt på flera plan. En given invändning, ofta anförd i litteraturen, är det faktum att humanistisk forskning till stor del inte finns representerad i de bibliometriska databaserna, och detsamma gäller även flera av de alternativa mått som på senare år lanserats. På ett djupare plan är det även så att bibliometriska indikatorer rimmar illa med etablerade kvalitetsbegrepp och värderingspraktiker inom humaniora. En av våra australiensiska respondenter uttrycker det som ett problem i att översätta värden mellan olika sfärer: “… translating our sense of value to people who want quantitative data”. En grundläggande konflikt mellan radikalt olika sätt att tänka kring vetenskapligt värde skönjs här där då de snäva idéer om produktivitet, effektivitet och konkurrens som bibliometrin bygger på svårligen kan appliceras i en humanistisk kontext. Gapet mellan vad bibliometrin mäter och värderar, och vad som vanligen värderas som kvalité inom humanistisk forskning är således stor. Bland svenska humanister har ännu inte heller bibliometriska mått slagit igenom på allvar. Vår studie visar dock att situationen ser annorlunda ut i Australien, där forskarna trots protester och berättigad kritik, använder dessa mått i stor utsträckning.

Hur utvärderingsgapet ska överbryggas i framtiden framstår som oklart: Ska svenska humanister anpassa sig till de metoder som finns tillgängliga (en utveckling som kan skönjas internationellt), eller kan vi behålla och utveckla utvärderingspraktiker som i högre grad inkorporerar en bredare förståelse av kvalité? Min slutsats är att humanisterna inte bör nöja sig med att ihärdigt kritisera rådande kvalitetsmått, utan istället aktivt delta i utformandet av utvärderingssystem som överbryggar det gap som skisserats ovan. En sådan utveckling skulle inte bara gynna humaniora utan även vetenskapssamhället i stort.

Bild: Rafaela Ely (Bournemouth) [CC BY 2.0 (https://creativecommons.org/licenses/by/2.0)%5D, via Wikimedia Commons

Annonser

Om engelskan som vetenskapsspråk(et)

brueghel-tower-of-babel

I 1700-talets Sverige kom svenskan alltmer att ersätta latinet som det ledande språket för vetenskaplig publicering. En förändring som kan relateras till ett allt större fokus på vetenskapen som en nationell angelägenhet. Under 1900-talet har vi sett en motsatt rörelse där nationella språk ersätts av engelskan när vetenskapens internationella, för att inte säga globala, karaktär betonats. Den ökande dominansen av engelska som vetenskapens ”lingua franca” är ämnet för en doktorsavhandling, Languages and linguistic exchanges in Swedish academia, som försvaras vid Stockholms Universitet idag. I fyra delstudier behandlar Linus Salö flera aspekter av engelskans inflytande. Den första studien handlar om hur debatten i Sverige alltmer kom att handla om hur svenskan förlorade mark gentemot engelskan inom politik, vetenskap och näringsliv. Därpå följer en undersökning av språk och makt inom två discipliner: psykologi och historia. I den tredje delstudien studeras språkanvändning i fysik och datavetenskap, men här är inte formella publikationer i fokus utan kommunikation mer generellt. I ett avslutande kapitel så tittar sedan Salö på hur nya språkpraktiker utvecklas när forskare ”tvingas” överföra kunskapsstoff från engelska till svenska. Avhandlingen erbjuder flera givande ingångar till frågeställningen om engelskans betydelse, och särskilt imponerande är hur Salö kombinerar metodologisk eklekticism med teoretiskt stringens.

Speciellt intressant från en bibliometrisk och forskningspolitisk horisont finner jag de resultat som pekar på hur försvaret för svenskan också blir ett sätt att upprätthålla sin egen position. De som länge ”investerat” i svenskspråkiga publikationer vill givetvis inte se att värdet på dessa devalveras. I den bourdieuska tradition som avhandlingen bygger på blir alltså frågan om språk också en illustration av strider inom en domän där etablerade praktiker utmanas, och i exemplet psykologi kom en svenskspråkig tradition att nästintill helt ersättas av publicering på engelska. I historia – där debatten kring svensk- kontra engelskspråkig publicering är högst aktuell – kan motsättningarna delvis förstås som en generationskonflikt där yngre forskare utmanar etablerade maktstrukturer. Samtidigt hävdar Salö, med stöd bland annat av Sarah de Rijckes och min studie av publiceringspraktiker inom humaniora, att ett ökat fokus på bibliometriska mått accentuerar engelskans betydelse. Sammantaget visar delstudien att språkfrågan måste förstås i en större kontext där framförallt makten över kunskapsproduktionen och publiceringskanalerna utgör viktiga aspekter.

Salö konstaterar att språkanvändning inom vetenskapen inte kan reduceras till enbart publikationer. Istället måste vi förstå språkets roll i en bredare kontext. Han visar bland annat att svenskan fortfarande spelar en betydande roll som arbetsspråk även i discipliner, som systemvetenskap och fysik, där nästintill alla vetenskapliga publikationer författas på engelska, och tvärtemot gängse föreställningar så kan forskare inom dessa discipliner beskriva även avancerad forskning på sitt modersmål. På liknande sätt kan vi ifrågasätta uppfattningen att humanister som främst publicerar på svenska för den sakens skull inte influeras av engelskans dominans. Till exempel så visar bibliometriska undersökningar att  svenskspråkiga publikationer och forskningsansökningar inom litteraturvetenskap i hög grad refererar till engelskspråkiga publikationer. Att svenska litteraturvetare i allt större utsträckning förlitar sig på engelska källor men skriver på svenska kan dock i förlängningen utgöra ett problem. För vad innebär det egentligen för ett forskningsfält att de kollegor man refererar till med största sannolikhet aldrig kommer läsa det man skrivit? Lite provokativt skull det kunna uttryckas på följande vis: det finns en risk att forskare som enbart publicerar sig på svenska blir uttolkare, introduktörer och översättare av verk och teoribildningar som lanserats i den engelskspråkiga forskningen, men själva bidrar man i liten grad till det internationella inomvetenskapliga samtalet. Samtidigt kommer det dock vara fortsatt mycket viktigt för discipliner som litteraturvetenskap och historia att kommunicera på svenska till en bred publik bestående av kollegor, studenter och allmänhet. Incitamentsstrukturer på individnivå och bibliometriska fördelningsmodeller bör alltså explicit gynna forskare som både riktar sig till internationella kollegor och till en inhemsk publik.

Svenska samhällsvetare och humanister behöver ständigt fundera på vilket språk som är lämpligt beroende på det syfte och den målgrupp som forskningen har. Språkfrågan kommer alltså även i fortsättningen debatteras, men förtjänsten med Salös avhandlingen är att den hjälper oss förstå hur komplext och mångfacetterat problemet är. Att andra aspekter än omsorgen om svenskan spelar in i denna diskussion är uppenbart, och etablerade föreställningar kring språkanvändningen i specifika discipliner behöver onekligen problematiseras. Salö hävdar avslutningsvis att engelskans värde på den akademiska marknaden bara tenderar att öka, samtidigt som svenskan ser ut att tappa ytterligare marknadsandelar. Förmodligen ligger det mycket i denna iakttagelse men det finns kanske ändå ett hopp för vetenskapssvenskan. Den digitala utvecklingen och framväxten av svenskspråkiga onlinetidskrifter kan kanske rentav dämpa engelskans dominans, och ett större forskningspolitiskt fokus på samhällelig relevans ( ”social impact”) pekar möjligtvis också i denna riktning.

Bild : Pieter Brueghel den äldre (1525/1530 – 1569). ”Babelstorn” https://commons.wikimedia.org/w/index.php?curid=22179117

Hur reagerar forskare på bibliometrisk utvärdering?

Under senare år har bibliometrisk utvärdering, ofta med utgångspunkt i antalet citeringar eller antalet publikationer, blivit en etablerad metod för att fördela resurser mellan forskare, institutioner och lärosäten. Hur detta påverkar den enskilde forskaren är en central fråga i min forskning. I en nyligen sammanställd studie – Accountability in context – utgår Sarah de Rijcke (Leidens Universitet) och jag från publiceringsmönster och forskningspraktiker vid den historisk-filosofiska fakulteten vid Uppsala Universitet. Undersökningen, som bygger på publikationer från 2006-2013, visar att tidskriftsartiklar på engelska har ökat substantiellt (se nedan) och detsamma gäller för andelen publikationer som registreras som “referegranskade”. Dessa förändringar kan inte direkt härledas till nyligen implementerade utvärderingssystem, men det kan konstateras att den utveckling som vi iakttagit ligger helt i linje med de incitatment som finns i dessa fördelningsmodeller.

Yearly changes

Studien kompletteras av en enkät där forskare vid fakulteten besvarat frågor kring publiceringspraktiker och eventuella förändringar av dessa. Flera respondenter påtalar ett större fokus på engelskspråkiga tidskriftspublikationer. Reaktionerna på denna utveckling är delade; vissa forskare ser förändrade publiceringspraktiker som ett hot mot humanioras särart samtidigt som andra välkomnar ett större fokus på en internationell publik. Svaren indikerar att bibliometrisk evaluering, men också krav på open access, ofta hamnar i konflikt med disciplinära normer. Samtidigt rankas ‘icke-epistemisk’ påverkan lågt när forskare värderar de faktorer som påverkar valet av publikationskanal (se nedan). Vidare visar tidigare studier av utvärdering och utvärderingssystem att påverkan på praktiker och attityder inom organisationer ofta är liten; speciellt i fält där institutionella normer är starka. Således bör vi vara försiktiga med att dra för långtgående slutsatser om de effekter som utvärderingssystem har.

factors

Den aktuella studien är begränsad och ambitionen är att bredda undersökningen till att omfatta fler forskningsfält samt att titta på hur intervjuer och etnografiska metoder kan bidra till att belysa frågan. Det finns alltså all anledningen att återkomma till ämnet framöver.

Studien finns nu publicerad i Research Evaluation.