Kategoriarkiv: Uncategorized

Att skilja mellan en elefant och en kanin: Användningen av bibliometri i sakkunnigutlåtanden

Publicerad den av
3

Syrischer_Maler_von_1354_001

Impact measures of this kind are inexact and should not, in our view, be relied on for a detailed ranking of research achievements (it could be described as ‘a scale that can distinguish an elephant from a rabbit but not a horse from a cow’). (från sakkunnigutlåtande i nationalekonomi)

Under senare år har ett allt större intresse riktats mot hur utvärderingssystem och resursfördelningsmodeller påverkar forskningen. En central fråga är hur ett ökat fokus på prestationer som är kvantifierbara påverkar forskarnas praktiker och prioriteringar. En rad dokumenterade och möjliga effekter har identifierats på en generell nivå, men empiriska studier av hur bibliometri används vid utvärdering av enskilda individer är få. Dock vill jag påstå att just denna typ av användning, där anställningar och forskningsanslag står på spel, är särskilt viktiga då de har stor påverkan på den enskilde forskarens karriär. Ett problem har dock varit att utvärdering på individnivå är svårt att studera empiriskt, och diskussionen har tidigare främst baserats på enskilda exempel och anekdoter. Inom svensk akademi finns dock ett relativt unikt och omfattande material kring utvärderingspraktiker i form av sakkunnigutlåtanden vid tjänstetillsättningar, och dessa ger unika insikter i hur indikatorer används.

I artikeln, Indicators as judgment devices, studerar Alex Rushforth och jag just hur sakkunniga använder indikatorer och tidskriftsrankningar för att värdera och rangordna sökande till lektorat och professurer inom biomedicin och nationalekonomi. Dessa dokument ger oss unik inblick i hur bibliometriska mått används för att värdera enskilda forskare, och de ger också insikt i hur specifika indikatorer integreras i disciplinspecifika värderingspraktiker. Denna aspekt är särskilt intressant då prestige och position inom akademin till stor del styrs av status inom disciplinen, snarare än av status inom den organisation där forskaren är anställd.

I redovisningen av våra resultat bör det framhållas att långt ifrån alla sakkunniga använder sig av indikatorer, och knappt hälften av de utlåtanden som vi studerat (82 av 188) använde sig av bibliometriska mått eller tidskriftsrankningar. Ett återkommande argument bland de sakkunnig som använde sig av bibliometri var måttens ‘objektivitet’:

A bibliometric analysis was carried out to assess the scientific production and even more importantly, the real scientific impact of each applicant.” (utlåtande i biomedicin)

Generellt introducerades dock citeringsdata, eller ‘impact factorer’, utan någon vidare motivering. Vår tolkning är att de sakkunniga använder indikatorer som en typ av ‘utvärderingsverktyg’, och här bygger vi på Lucien Karpik (2010) och hans teori om ‘judgment devices’. Dessa används i situationer när konsumenten (i detta fall granskaren) behöver välja mellan en rad produkter (här kandidater) som inte helt enkelt kan jämföras. Ett exempel som Karpik tar upp är valet av husläkare eller värderingen av ett litterärt verk, och vi menar att forskare kan ses som ett ytterligare exempel på en ‘vara’ vars värde inte helt enkelt kan fastställas. I situationer där det finns en uppsjö av goda kandidater, vilket är fallet i många av de tillsättningsärenden vi studerat, så blir  ‘judgment devices’ också ett sätt att lösa en situation där ett överflöd av möjliga alternativ finns.

Journal Impact factor

Den mest kända, inflytelserika och samtidigt häftigt kritiserade bibliometriska indikatorn är utan tvivel Journal Impact Factor (JIF), som introducerades av Eugene Garfield redan 1963. JIF används flitigt också i vårt material, främst inom biomedicin men också inom nationalekonomi, och ofta introduceras den för att bedöma ‘kvaliteten’ på publicerade alster: 

…but it is a bit bothersome that many of the recent publications that XXXX has been principal investigator on are found in more narrow journals, as for example Scandinavian J Immunol. (Impact approx. 2.3). (utlåtande i biomedicin)

Many of original papers appeared in excellent quality journals and nearly two third [sic] of them were in journals with impact factor greater than 3. (utlåtande i biomedicin)

I många fall, likt exemplen ovan, så används JIF som ett riktmärke för vad som ska betraktas som bra tidskrifter och en undre gräns för kvalité på runt 3 verkar gälla inom biomedicin. I nationalekonomi är det betydligt svårare att finna en exakt gräns, även om sakkunniga föreslår 0.5 samt 0.9 som möjliga riktvärden.  Sammantaget är  det otvetydigt att JIF:en är viktig vid bedömningen av forskning inom biomedicin, och många av de utlåtanden som inte explicit använder sig av måttet hänvisar till ‘high impact journals’.

Ett annat beryktat, och vid utvärderingen av individuella forskare särskilt intressant mått, är det så kallade ‘h-index’. Till skillnad från JIF, som mäter tidskrifters genomsnittliga citeringsgrad, så är h-index ett försöka att sammanfatta en forskares produktivitet och inflytande över tid. En forskare med h-index x har författat x publikationer som citerats minst x gånger, dvs. en forskare som har författat 12 publikationer som vardera citerats 12 gånger eller fler har ett h-index på 12. I vår studie används h-index vanligtvis som ett slags bakgrundsinformation, likt affiliering, ålder, kön, och ofta anges det utan vidare kommentarer som här:

XXXX publishes in good to very good journals including Plos Genetics, FASEB J, and Mol Biol Cell. H–factor=18. (utlåtande i biomedicin).

H-index blir vad vi kallar en ‘totaliserande indikator’ där en hel karriär kan sammanfattas i en siffra, och vi finner också att måttet i flera fall sammanfaller med den sammanvägda bedömningen av kandidater.

Om citeringar och JIF är populära utvärderingsverktyg inom biomedicinen så tenderar nationalekonomer att bedöma artiklars ‘värde’ utifrån klassifikationer av, och listor över, tidskrifter. En bedömare uttrycker det mycket klart:

“A university that aims to compete at the first or second tiers in Europe should expect its full professors to show the ability to publish at least a few articles in the best journals in the field. Publishing a paper in a top finance journal requires a degree of effort, awareness of the latest thinking in the field, and excellence, which any number of articles in journals below second tier could not match. (utlåtande nationalekonomi)

Det flitiga användandet av tidskriftsrankningar – vi fann hela fem olika listor i vårt material – kan relateras till att det nationalekonomiska fältet tenderar att organisera sig hierarkiskt. En annan förklaring är att citeringar och JIF generellt fungerar sämre inom nationalekonomin jämfört med biomedicin där omsättningen av artiklar och citeringar är högre.

I vårt material finns också tydliga exempel på hur indikatorer kan kombineras och jämföras, och det är inte ovanligt att sakkunniga uppvisar goda kunskaper i bibliometri. I exemplet nedan så jämförs h-index med det totala antalet citeringar för att ge en mer nyanserad bild av kandidaten:

Of 44 published papers she is 1st author on 12 and senior author on 20. She has a surprisingly low citation rate, albeit with a high h–index (Max citation <60 in 2010, h–index 17, Web of Science). (utlåtande i biomedicin)

Vad den sakkunnig menar med låg citeringsgrad är att denna kandidat har publicerat många publikationer som refererats av andra (högt h-index), men hon saknar publikationer med mycket hög citeringsgrad (max citation <60). Att författarordningen är en viktig aspekt inom biomedicin framgår också i detta citat; det är första och  sista positionen som räknas.

Ett ännu tydligare exempel på hur kandidater, men också olika typer av indikatorer, jämförs är tabellen nedan där en rad kvantifierbara data kring författarskap, publikationer och citeringar sammanställts.

Fig 1 anonymized                                                                                                            (från utlåtande i biomedicin)

Här rör det sig om en ambitiös sakkunnig som har goda kunskaper i bibliometri; tabellen ackompanjeras av inte mindre än åtta fotnoter som förklarar de enskilda måttens betydelse och svagheter. En intressant detalj är att den sakkunnige använder sig av medianvärdet gällande citeringar snarare än medelvärdet, och det är en praktik som är statistiskt välgrundad då distributionen av citeringar ofta är mycket skev.

Sammanfattningsvis menar vi att bibliometriska indikatorer i dessa sammanhang bör förstås som ‘utvärderingsverktyg’ som är välintegrerade i disciplinära utvärderingspraktiker, och beroende på hur fältet är organiserat kommer olika typer av indikatorer, till exempel citeringar inom biomedicin eller tidskriftsrankningar inom nationalekonomi, att bli dominerande. Tidigare bibliometrisk forskning har i nedlåtande ordalag referat till denna typ av bibliometrisk praktik som ‘amatörmässig’ och varnat för dess utbredning. Vi vill dock påstå att de sakkunniga i dessa dokument ofta framstår som relativt kunniga gällande indikatorernas styrkor och svagheter. Vidare så besitter de en unik kompetens jämfört med professionella bibliometriker då de har kunskap om vilket värde dessa mått tillskrivs inom den egna disciplinen. Vår ståndpunkt är dock inte att användningen av bibliometri i dessa sammanhang är oproblematisk, och liksom Leidenmanifestet så menar vi att indikatorer av detta slag bör användas med stor försiktighet på individnivå. Att helt avfärda dessa mått som direkt olämpliga i alla sammanhang vore dock förhastat, och vi bör komma ihåg att bibliometrisk utvärdering också kan framhålla grupper, till exempel kvinnor, som ofta missgynnats i traditionell peer review.

Bild: Kalîla und Dimma von Bidpai: Der Hase und der Elefantenkönig vor dem Spiegelbild des Mondes in der Quelle, By Syrischer Maler von 1354 [Public domain], via Wikimedia Commons

Annons

Eugene Garfield (1925-2017): Utopist och ingenjör

Publicerad den av
1

eugene_garfield_hd2007_portrait

”I believe there is now only one kind of scientist – the information scientist.” (Garfield, 1962).

I söndags, den 26 februari 2017, gick en av informationsvetenskapens stora pionjärer ur tiden. Vid sidan om Derek J. de Solla Price (1922-1983) så framstår Eugene Garfield (1925-2017) som den moderna bibliometrins fader. Hans inflytande sträcker sig dock långt utanför en snäv krets av bibliometriker, och han bör enligt mig betraktas som en av informationsvetenskapens stora innovatörer. Garfields främsta bidrag är skapandet av den vetenskapliga citeringsdatabasen, Science Citation Index (1964), och grundandet av Institute for Scientific Information (ISI). I praktiken kan det rentav hävdas att Garfield med denna innovation introducerade den vetenskapliga ‘citeringen’ som vi känner den idag. (Notera att citering, eng. ‘citation‚ här inte är liktydigt med referens eller direkt citat utan avser just en framåtriktad länk mellan publikationer som citeringsdatabasen möjliggör. För en vidare diskussion kring konstruktionen av ‘citeringen’ se Paul Wouters, Citation Culture samt Gustaf Nelhans Citeringens praktiker).

Garfield startade sin bana som kemist men kom tidigt att intressera sig för hur forskning kommuniceras, och hans första stora bidrag inom detta område var Current Contents där korta sammanfattningar av vad som avhandlats i andra vetenskapliga tidskrifter publicerades. Det stora problemet för vetenskapen, enligt Garfield, var en snabbt ökande tillgång till information – han talade själv om en ‘information flood’. Konkret ställde han sig frågan hur forskare skulle mäkta med att följa vetenskapens utveckling ens inom ett begränsat fält. Med inspiration från Shepards Citation’s, som sedan länge samlat referenser inom juridiken, så lanserade Garfield 1955 idén om ett vetenskapligt citeringsindex där forskare inte bara kunde få information om de källor som en artikel refererade till utan också hur det aktuella verket citerats av efterkommande forskare. På så sätt menade Garfield att sökningen efter litteratur kunde förbättras avsevärt, och det medgav också stora möjligheter att studera den vetenskapliga kommunikationen i detalj. Det kom dock att ta närmare tio år innan citeringsindexet lanserades, och Garfield fick arbeta hårt med att finna stöd och finansiering för sin idé.

Tidigt identifierade sig Garfield som en informationsvetare – han hade redan i barndomen varit fascinerad av bibliotek och den kunskap som rymdes där – och en stor samling av hans texter bär just namnet ‘Essays of an Information Scientist’. I praktiken menade han att alla forskare – på grund av den snabba tillväxten av information – nu behövde bli informationsexperter. Citeringsindexet spelade givetvis en stor roll för dessa blivande experter, och Garfield såg framför sig en tid där biblioteket, i den utvecklade formen av ett ‘Informatorium’, skulle utgör en central hub i den vetenskapliga kommunikationen. I en text från 1962 beskriver han det på följande sätt:

As I see it, the ideal library must be able to supply information instantaneously. As an ideal library facility, The Informatorium will have to satisfy a wide variety of information requirements for a population that will be highly intellectual and scientifically trained. In my paper, I predicted rather optimistically and hopefully, that by the turn of the millennium there would be “a new Renaissance during which the population of the entire world will be thirsting for knowledge.” I think that age is already beginning in spite of, if not because of, threats of atomic destruction.

I en artikel från samma tid så inleder Garfield resonemanget med en referens till H.G. Wells och hans idéer om en världsomspännande hjärna (‘world brain’). Han menar att det är varje forskares dröm att ha tillgång till all upptänklig information, även om han tillstår att bibliotekarien ser alla de problem som återstår att lösa innan en sådan kan realiseras. Citeringsindexet kan dock, enligt Garfield, ses som ett första steg mot att en ‘världshjärna’. Förväntningarna på vad indexet kunde uppnå var knappast blygsamma, och Garfield, i likhet med andra stora informationsvisionärer som Paul Otlet (1868-1944) eller Vannevar Bush (1890-1974), såg hur hans innovation skulle förändra vetenskapen, och kanske också samhället, i grunden:

If we ever achieve “total communication, ” a state of research nirvana, then an enormous time-shared, random access computer memory will augment man’s finite memory and replace printed indexes and catalogs. In this condition of nirvana a World Brain will itself have become an auxiliary to man’s own brain. (Garfield, 1964)

Garfield var dock till skillnad från Otlet och Bush främst en praktisk man; en ingenjör, och hans texter kan snabbt gå från att diskutera en ‘världshjärna’ till att förklara hur en ny typ av kontorspaper kommer att förbättra informationshanteringen vid hans institut. Ett institut som snart kom att växa och utökas med flera databaser och tjänster. Allt för att underlätta sökningen efter information. Möjligheten att snabbt och enkelt hitta relevant litteratur framhölls starkt i marknadsföringen av ISI: ett exempel är denna film där Garfield själv presenterar Science Citation Index. Tidigt varnade dock bedömare för att indexet kunde användas för att utvärdera vetenskapen och forskare, och det är en debatt som pågår än idag. Tydligast blev kanske citeringens betydelse som kvalitetsmått genom Garfields introduktion av Journal Impact Factor (JIF) som ett mått på en tidskrifts genomslag. Denna indikator kom snabbt att få stor betydelse, och från att ha varit ett mått som rankade tidskrifter så kom den snart att användas även för att värdera enskilda artiklar eller forskare. JIF är än idag den mest inflytelserika och samtidigt det mest ifrågasatta bibliometriska indikatorn som dess användning vid utvärdering kritiserats i bland annat Doradeklarationen och Leidenmanifestet.

Garfields roll för bibliometrins utveckling kan inte nog framhållas, och stora delar av den forskning som bedrivs inom området skulle inte vara möjlig utan den databas som han skapade. Det är bara under senare år som seriösa konkurrenter till ISI (sedermera Web of Science, WoS) har lanserats genom Elseviers Scopus och i viss mån Google Scholar. Fortfarande görs dock en betydande del av all forskning inom bibliometrin med hjälp WoS, och den utgör också den standard mot vilken andra datakällor jämförs. Trots att WoS fortfarande är den dominerande datakällan så finns det ändå anledning att fundera över hur framtiden ser ut för citeringsdatabaserna mer generellt. Det finns flera tecken på att deras dominans alltmer utmanas av alternativa sätt att studera och utvärdera forskningen. Till exempel så har mått baserade på omnämnanden i sociala medier, så kallad altmetri, lanserats som en konkurrerande metod för att studera den vetenskapliga kommunikationen. Deras monopolställning utmanas kanske främst genom en utveckling mot en mer öppen vetenskap där referenser (och citeringar) blir direkt sökbara, och där möjligheter att söka i fulltext expanderar snabbt. Kanske var det sena 1900-talet höjdpunkten för citeringsdatabasen i den form som Garfield gav den, och Thomson Reuters beslut att under förra året sälja WoS kan måhända ses som ett tecken på att en gyllene era är över. Givetvis kommer Web of Science leva kvar som en mycket viktig källa för bibliometriska undersökningar där inte minst kvalitén på databasen och dess historiska täckning skiljer den från konkurrenterna, men den dominerande ställning som den en gång hade är nu förlorad. Detta till trots så var Science Citation Index en verkligt revolutionerande uppfinning på sin tid, och Garfields roll för den vetenskapliga kommunikationens utveckling kan inte ifrågasättas. Vidare framstår Garfields obändiga tro och optimism kring vetenskapens och informationens möjligheter minst lika relevant idag som för 60 år sedan, och jag är övertygad om Garfield i framtiden kommer räknas som en av informationsvetenskapens stora namn.

Bild: Chemical Heritage Foundation [CC BY-SA 3.0 (http://creativecommons.org/licenses/by-sa/3.0)%5D, via Wikimedia Commons

Långsamhetens lockelse i den jäktade akademin

Publicerad den av
Svara

(från Respons 6/2016)

Teknikutveckling, publiceringshets och excellenssträvanden har bidragit till ett ökat tempo i den akademiska världen, som hos många skapar en känsla av att aldrig räcka till. Nu tycks en reaktion vara på väg, men en del av åtgärdsförslagen är förbehållna en elit och det är inte troligt att beslutsfattare och omvärlden i stort accepterar en temposänkning.

We do need time to think. We do need time to digest. We do need time to misunderstand each other, especially when fostering lost dialogue between humanities and natural sciences. We cannot continuously tell you what our science means; what it will be good for; because we simply don’t know yet. Science needs time.

– The slow science manifesto (2010).

Reaktionerna på ett alltför uppskruvat tempo i både arbetsliv och vardag tar sig många uttryck. Populärvetenskapliga böcker som Owe Wikströms Långsamhetens lov (2009) och Daniel Kahnemans Tänka, snabbt och långsamt (2012) betonar eftertankens betydelse för kunskapsbildning. Välbefinnande och ett ökat intresse för surdegsbakning, långkok och ölbryggning låter ana en längtan efter det omsorgsfulla och långsamma. Denna allmänna fascination inför långsamheten ackompanjeras av ett växande sociologiskt intresse för det senmoderna samhällets temporalitet, där sociologen Hartmut Rosas tes om ”social acceleration” intar en central position. Ofta förstås ett ökat tempo i samhället som ett resultat av teknikutveckling med ökad produktionstakt och allt snabbare kommunikationer som följd. Paradoxalt nog så har den teknik som är tänkt att frigöra tid i stället fått oss att känna oss än mer stressade. Enligt Rosa kan teknologiska framsteg bara förklara en del av accelerationen där breda sociala omställningar och förändringar i vardagslivets rytm utgör andra centrala aspekter (för mer om Rosa och acceleration se Respons, 3/2014).

Långsamhetens betydelse har nu också kommit att betonas i akademiska sammanhang och begrepp som ”slow science” och det långsamma universitetet har lanserats. Dessa initiativ kan ses som en reaktion på att allt fler upplever att tempot i det akademiska arbetet har stegrats, samtidigt som kraven på att redovisa och förbättra produktiviteten har blivit tydligare. Flera faktorer bidrar till ytterligare tidspress. En tilltagande andel forskare och lärare har tillfälliga anställningar, forskningen bedrivs ofta inom tidsbegränsade, externt finansierade projekt och undervisningen – inte minst inom humaniora och samhällsvetenskap – bedrivs med färre lärarledda timmar. Excellensretoriken förstärker också känslan av att inte räcka till (se Respons 4/2016). I stort sett alla lärosäten anser sig sträva efter excellens inom ett eller flera områden och varje anställd bör bidra till att uppnå detta mål. Att ständigt avkrävas världsledande insatser skapar ytterligare stress och ger dem som inte når upp till orimligt höga förväntningar dåligt samvete. Minst lika viktiga som de yttre kraven är emellertid den press som kommer inifrån. Status inom akademin och i samhället i stort kommer dem som arbetar intensivt och mycket till del. Den klass som sociologen Thorstein Veblen i slutet av 1800-talet benämnde som The leisure class utmärker sig i dag inte genom sina möjligheter till fritid utan genom att arbeta länge och dedikerat.

Men liksom i andra sfärer i samhället syns nu även inom akademin initiativ för ett sänkt tempo. The slow science manifesto (2010), som citeras ovan, är ett försök att framhålla eftertankens och långsamhetens betydelse för kunskapsbildningen och en liknande argumentation, fastän mer utvecklad, återfinns i The Slow Professor – Challenging the Culture of Speed in the Academy (2016) av Maggie Berg och Barbara K. Seeber. Dessa båda litteraturvetare tar avstamp i slow-rörelsens appeller för långsamhet och omsorgsfullhet för att sedan diskutera hur de kan appliceras inom akademin. Bergs och Seebers ambition är att erbjuda strategier som den enskilda forskaren kan använda för att skapa utrymme för eftertanke och återhämtning. De har författat en sorts självhjälpsbok som tar avstamp i en litteratur som är tänkt att hjälpa akademiker effektivisera sin tidsplanering. Flera klyschor om akademisk effektivitet refereras och kritiseras, till exempel råd som att gå upp klockan fyra på natten för att skriva innan barnen vaknar, att ”skriva papers i huvudet” samtidigt som man städar eller diskar eller att läsa uppsatser i baksätet på vägen till svärföräldrarnas lantställe. Handböcker, som till exempel Donald Halls The Academic Self – An Owners Manual (2002), framhåller att tidspress bäst hanteras genom att varje timme planeras, bokförs och prickas av för att arbetet ska bli så effektivt som möjlig, men Berg och Seeber påpekar att denna strategi starkt begränsar möjligheten till så kallad ”tidlös-tid”. Forskning visar att just den tidlösa tiden är en grundläggande förutsättning för problemlösning, kreativitet och eftertanke. Till skillnad från den schemalagda, in-i-minuten planerade och rapporterade tiden ger den oplanerade tiden möjlighet att under en längre period fokusera och helt hänge sig åt en specifik aktivitet. Berg och Seeber betraktar således utrymmet för det som mer populärt kallas ”flow” som helt avgörande för intellektuell verksamhet.

Medan Berg och Seeber tar avstamp i en mer populärvetenskaplig diskussion kring tidspress, stress och långsamhet så är Filip Vostals Accelerating Academia – The Changing Structure of Academic Time (2016) förankrad i en sociologisk teoribildning. Vostal utgår också från en bredare kontext, där forskningens och utbildningens globalisering, den tekniska utvecklingen och en allmän föreställning om vetenskapen som avgörande för innovation och tillväxt ses som bidragande orsaker till acceleration inom akademin. I sina mer empiriska studier visar sedan Vostal hur kraven på internationell konkurrenskraft tillsammans med en förväntan på att akademisk forskning och undervisning bör vara direkt tillämpar, nyttig och vinstgenerande, leder till ytterligare tidspress. Forskarna som intervjuas skildrar en situation där publicering hastas fram, där allt mindre tid ges till läsning av allt det som skrivs och där administrativa krav och utvärderingar upptar en allt större del av arbetet. I värsta fall resulterar denna hets i en situation som kan liknas vid Rosas tes om ett ”rusande stillastående” – alltmer produceras utan att egentliga intellektuella landvinningar görs. Samtidigt bör det betonas att åtskilliga forskare framhåller att acceleration också är njutbart, och att perioder av högt tempo kan upplevas som både akademiskt givande och stimulerande. Uppenbarligen måste ett stegrat tempo i arbetet inte nödvändigtvis uppfattas som negativt, och speciellt gäller detta fall där accelerationen är initierad av forskaren själv. Kontroll över den egna arbetstiden samt möjligheten att själv bestämma tempo blir därmed avgörande för kreativitet och välbefinnande i den accelererande akademin.

Ett berömt exempel på accelerationskritik, återgivet av Walter Benjamin i Passagearbetet, är hur flanörer i 1830-talets Paris tog med sig sköldpaddor på sina promenader i protest mot den moderna stadens jäkt. Hur lockande ett sådant avståndstagande från modernitetens accelererade samhällsliv än må vara, är flanörens tillbakalutade protest knappast en gångbar lösning i dagens akademi. På samma sätt kan inte uppmaningar att sluta blogga eller twittra lösa de problem som accelerationen medför, eftersom ett aktivt propagerande för långsamhet, både inom akademin och i Benjamins Paris, är förbehållet en krympande elit som kan kosta på sig att lätt nedlåtande betrakta dem som är tvungna att stressa. För en stor del av de akademiskt verksamma är långsamhet helt enkelt inget alternativ. Tanken på ”deacceleration” och med den en återgång till ett mer trögrörligt och förutsägbart samhälle attraherar också antimodernistiska och teknikfientliga strömningar vilkas ideologiska grund svårligen går att kombinera med de ideal som vi fortfarande associerar med universiteten och den högre utbildningen.

Dessutom är det är uppenbart att en stor del av accelerationen genom teknikutveckling och ökad informationstillgång har haft en positiv inverkan på kunskapsproduktionen i samhället. Problemen med en stressad akademi uppstår snarare när korta tidshorisonter begränsar kreativiteten, när möjligheten till att skifta tempo inte ges och när forskningspolitiska nyckelord som excellens, innovation och genomströmning signalerar förväntningar som ofta rimmar illa med hur kunskapsproduktion och inlärning faktiskt går till. Om det inte finns tid för eftertanke, omsorgsfullhet och reflektion är risken för stressad och undermålig forskning och undervisning stor.

Avslutningsvis kan det konstateras att en generell appell för långsamhet kanske inte är den mest effektiva metoden för att bemöta de utmaningar som den högre utbildningen och forskningen ställs inför. Uppmaningar till en generell temposänkning lär heller inte slå an hos beslutsfattare och en bredare allmänhet. I stället bör vi, enligt Vostal, verka för akademiska miljöer där hög grad av ”temporal autonomi” råder för att på så sätt främja ”ohastad” forskning och undervisning. För att få konkret orientering i hur sådana miljöer kan skapas är det värt att återvända till Bergs och Seebers självhjälpstips. De framhåller kollegialiteten, och då inte minst seminariet, som en plats där eftertanke och ”ohastade” idéer ges utrymme. Det ligger mycket i denna argumentation, för till skillnad från forskningspublikationer, välputsade konferenspresentationer eller massföreläsningar så är det i seminariet som tankar föds, utmanas och utvecklas. Seminariet ligger inte till grund för någon medelstilldelning, ger inte några poäng i rankningar och sällan betonas dess roll för innovation och nyttiggörande, och just därför är det – än så länge – en relativt skyddad plats. ”Långsamhetsoaser”, som Rosa skulle kalla dessa fredade rum, kan i sig inte hindra fortsatt acceleration, men förhoppningsvis erbjuda utrymme för återhämtning, reflektion och kreativitet i en jäktad akademi som bär på en ständig rädsla för att hamna på efterkälken.

För ytterligare reflektioner kring acceleration se tidigare bloggpost om det långsamma universitetet och den postdoktorala tillvaron

Akademin och det kvantifierade jaget

Publicerad den av
Svara
Fig 2

Research gate score

Trenden att mäta och analysera sin egen prestation, eller för den delen sin kropp, med hjälp av digitala hjälpmedel har under senare år fått stor uppmärksamhet. Benämningen ‘the quantified self‘ lanserades redan 2007 av Gary Wolf och Kevin Kelly, och under begreppet samlas nu en hel rörelse. Kvantifieringen begränsar sig dock inte till motions- och rekreationsaktiviteter utan mätningen av jaget har nu också kommit att omfatta andra delar av tillvaron. I artikel Quantified academic selves tittar Sarah de Rijcke, Alex Rushforth och jag närmare på hur ett allt större fokus på mätning av den egna prestationen nu också återfinns inom akademin. Genom att studera två webbplattformar, ResearchGate (RG) och Impactstory, så reflekterar vi kring hur en ökad kvantifiering av det akademiska jaget påverkar forskarnas självbild.

ResearchGate är kanske den mest välkända av dessa två, och enligt den egna webbplatsen har plattformen idag mer än nio millioner användare. Sajten erbjuder användare att skapa en profil där den egna forskningen presenteras, och forskaren kan också följa kollegor för att på så sätt uppdateras kring deras verksamhet. Informationen på RG är koncentrerad till publikationer, och det är främst genom dessa som användare kan höja sin så kallade ‘research gate score’. Introducerandet av ‘RG-score’ och ‘impact points’ för att sammanfatta forskarens produktion och inflytande är det som skiljer RG från liknande webbaserade nätverk som Academia.edu. Dessa mått bygger på en komplicerad, och till stora delar ogenomskinlig sammanräkning av publikationer, deras Impact factor, och allmän aktivitet på sajten. RG-score jämförs sedan automatiskt med andra forskares prestationer och användaren upplyses om sin relativa position (”bättre än 50% av alla registrerade forskare”). Förutom att kalkylera detta mått så skickar ResearchGate ständiga meddelanden till sina användare, där ‘framgångar’ proklameras: ”du har tjugo nya läsare” eller ”dina publikationer har nu citerats 100 gånger”.

I vår analys hävdar vi att RG och liknande tjänster framställer forskning som ett spel där målet är att samla så många poäng som möjligt. Vad dessa plattformar gör är att de ägnar sig åt ‘spelifiering’ (gamification), vilket kort kan sammanfattas som användandet av spelfunktioner i icke-spels kontexter. Spelifiering sägs kunna öka motivationen vid till exempel inlärning, men det har också använts för att höja produktiviteten i tillverkningsindustrin. I fallet RG och Impactstory så uppmanas användaren ständigt att uppdatera sin profil med nya prestationer för att på så sätt avancera till högre nivåer. Exempelvis så kan en användare av Impactstory uppnå nivåerna brons, silver eller guld beroende på hur stor global spridning som forskarens publikationer har fått. Vad vi ser här forskningens motsvarighet till strategispel där varje territorium ses som ett delmål på vägen mot världsherravälde. Likadant kan RGs ständiga uppmaning att ‘uppdatera profilen’ och ‘ladda upp publikationer’ liknas vis det ständiga uppgraderandet av karaktärer i dataspel.

Impact story map

Världskarta illustrerande genomslag i olika länder. Mörkare färg – högre impact. (Impactstory)

Vi menar att kvantifieringen och spelifieringen av forskarens identitet går att koppla till en nyliberaldiskurs där forskaren framställs som en vara på ‘ideernas marknad’. Kopplingen till en marknadsdiskurs är tydlig då både publikationer och forskare beskrivs som en vara med ett exakt värde (min dagsnotering är 14.76) som kan jämföras med andra varor. Med stöd hos Philip Mirowski och hans analys av Facebook så menar vi att RG och liknande sajter förmedlar en entreprenöriell jag-förståelse (se också Alex Rushforths bloggpost på samma tema). Vi påstår inte att idén om forskare som entreprenörer är ny, och tävlan har länge varit en integrerad del av vetenskapen, men dessa plattformar tydliggör och förstärker dessa tendenser. Dock vore det förenklat att helt skylla denna utveckling på alla de fenomen som, ibland lite slappt, sorteras in under det vida begreppet ‘nyliberalism’. Snarare är det så att viljan till ständig (mätbar) förbättring, eller vad Peter Sloterdijk benämner som ‘doktrinen om uppåtsträvande’, har ett djupare ursprung och denna strävan bär också på befriande aspekter.

Vår slutsats är att kvantifieringen och spelifieringen av vetenskapen är förenade med uppenbara faror. De reducerar en mycket komplex verksamhet till några få indikatorer, de bidrar till en förståelse av det akademiska jaget som en produkt som i konkurrens med andra verkar på en marknad och de riskerar att ersätta kollegiala omdömen och inomdisciplinära konversationer med algoritmer. Vidare så finns det konsekvenser av spelifiering – till exempel målförskjutning och fusk – som knappast gynnar forskningen. Med detta sagt bör det dock framhållas att tjänster som GS också har sociala- och kommunicerande funktioner, och de alternativa mått som tillhandahålls av dessa plattformar kan också användas för att ifrågasätta rådande indikatorer och normer. Kvantifiering av det egna jaget kan således vara ett sätt att ta kontroll över hur man själv värderas.

Oavsett hur vi betraktar akademisk självkvantifiering så finns det anledning att noggrant följa hur dessa plattformar, som hittills setts om ganska oskyldiga ‘Facebook för akademiker’, utvecklas. Forskningen kring bibliometrins effekter har främst inriktat sig på att studera konsekvenserna av institutionaliserad utvärdering, men kanske ligger deras största påverkan i det självpåtagna och lekfulla mätandet av det egna jaget.

Om engelskan som vetenskapsspråk(et)

Publicerad den av
2

brueghel-tower-of-babel

I 1700-talets Sverige kom svenskan alltmer att ersätta latinet som det ledande språket för vetenskaplig publicering. En förändring som kan relateras till ett allt större fokus på vetenskapen som en nationell angelägenhet. Under 1900-talet har vi sett en motsatt rörelse där nationella språk ersätts av engelskan när vetenskapens internationella, för att inte säga globala, karaktär betonats. Den ökande dominansen av engelska som vetenskapens ”lingua franca” är ämnet för en doktorsavhandling, Languages and linguistic exchanges in Swedish academia, som försvaras vid Stockholms Universitet idag. I fyra delstudier behandlar Linus Salö flera aspekter av engelskans inflytande. Den första studien handlar om hur debatten i Sverige alltmer kom att handla om hur svenskan förlorade mark gentemot engelskan inom politik, vetenskap och näringsliv. Därpå följer en undersökning av språk och makt inom två discipliner: psykologi och historia. I den tredje delstudien studeras språkanvändning i fysik och datavetenskap, men här är inte formella publikationer i fokus utan kommunikation mer generellt. I ett avslutande kapitel så tittar sedan Salö på hur nya språkpraktiker utvecklas när forskare ”tvingas” överföra kunskapsstoff från engelska till svenska. Avhandlingen erbjuder flera givande ingångar till frågeställningen om engelskans betydelse, och särskilt imponerande är hur Salö kombinerar metodologisk eklekticism med teoretiskt stringens.

Speciellt intressant från en bibliometrisk och forskningspolitisk horisont finner jag de resultat som pekar på hur försvaret för svenskan också blir ett sätt att upprätthålla sin egen position. De som länge ”investerat” i svenskspråkiga publikationer vill givetvis inte se att värdet på dessa devalveras. I den bourdieuska tradition som avhandlingen bygger på blir alltså frågan om språk också en illustration av strider inom en domän där etablerade praktiker utmanas, och i exemplet psykologi kom en svenskspråkig tradition att nästintill helt ersättas av publicering på engelska. I historia – där debatten kring svensk- kontra engelskspråkig publicering är högst aktuell – kan motsättningarna delvis förstås som en generationskonflikt där yngre forskare utmanar etablerade maktstrukturer. Samtidigt hävdar Salö, med stöd bland annat av Sarah de Rijckes och min studie av publiceringspraktiker inom humaniora, att ett ökat fokus på bibliometriska mått accentuerar engelskans betydelse. Sammantaget visar delstudien att språkfrågan måste förstås i en större kontext där framförallt makten över kunskapsproduktionen och publiceringskanalerna utgör viktiga aspekter.

Salö konstaterar att språkanvändning inom vetenskapen inte kan reduceras till enbart publikationer. Istället måste vi förstå språkets roll i en bredare kontext. Han visar bland annat att svenskan fortfarande spelar en betydande roll som arbetsspråk även i discipliner, som systemvetenskap och fysik, där nästintill alla vetenskapliga publikationer författas på engelska, och tvärtemot gängse föreställningar så kan forskare inom dessa discipliner beskriva även avancerad forskning på sitt modersmål. På liknande sätt kan vi ifrågasätta uppfattningen att humanister som främst publicerar på svenska för den sakens skull inte influeras av engelskans dominans. Till exempel så visar bibliometriska undersökningar att  svenskspråkiga publikationer och forskningsansökningar inom litteraturvetenskap i hög grad refererar till engelskspråkiga publikationer. Att svenska litteraturvetare i allt större utsträckning förlitar sig på engelska källor men skriver på svenska kan dock i förlängningen utgöra ett problem. För vad innebär det egentligen för ett forskningsfält att de kollegor man refererar till med största sannolikhet aldrig kommer läsa det man skrivit? Lite provokativt skull det kunna uttryckas på följande vis: det finns en risk att forskare som enbart publicerar sig på svenska blir uttolkare, introduktörer och översättare av verk och teoribildningar som lanserats i den engelskspråkiga forskningen, men själva bidrar man i liten grad till det internationella inomvetenskapliga samtalet. Samtidigt kommer det dock vara fortsatt mycket viktigt för discipliner som litteraturvetenskap och historia att kommunicera på svenska till en bred publik bestående av kollegor, studenter och allmänhet. Incitamentsstrukturer på individnivå och bibliometriska fördelningsmodeller bör alltså explicit gynna forskare som både riktar sig till internationella kollegor och till en inhemsk publik.

Svenska samhällsvetare och humanister behöver ständigt fundera på vilket språk som är lämpligt beroende på det syfte och den målgrupp som forskningen har. Språkfrågan kommer alltså även i fortsättningen debatteras, men förtjänsten med Salös avhandlingen är att den hjälper oss förstå hur komplext och mångfacetterat problemet är. Att andra aspekter än omsorgen om svenskan spelar in i denna diskussion är uppenbart, och etablerade föreställningar kring språkanvändningen i specifika discipliner behöver onekligen problematiseras. Salö hävdar avslutningsvis att engelskans värde på den akademiska marknaden bara tenderar att öka, samtidigt som svenskan ser ut att tappa ytterligare marknadsandelar. Förmodligen ligger det mycket i denna iakttagelse men det finns kanske ändå ett hopp för vetenskapssvenskan. Den digitala utvecklingen och framväxten av svenskspråkiga onlinetidskrifter kan kanske rentav dämpa engelskans dominans, och ett större forskningspolitiskt fokus på samhällelig relevans ( ”social impact”) pekar möjligtvis också i denna riktning.

Bild : Pieter Brueghel den äldre (1525/1530 – 1569). ”Babelstorn” https://commons.wikimedia.org/w/index.php?curid=22179117

Rankningsspelet: Bli din egen akademiska manager

Publicerad den av
Svara

CM

Kopplingen mellan universitetsrankningar och idrottens värld har gjorts av flera bedömare. Bland annat har Stefan Collini liknat den handel som pågår med akademiker inför olika utvärderingar vid den kommers som sker på marknaden för professionella fotbollsspelare, och rankningshysterin liknas ofta vid ett spel. Tanken på att enskilda forskare kan prissättas och sedan köpas av ett universitet för att stiga i rankningen har en lång historia som sträcker sig tillbaka till 1900-talets början. De mest omtalade nutida exemplen är fall där universitet i Mellanöstern påståtts köpa väletablerade professorer för att stiga i internationella rankningar, men troligtvis finns det liknande exempel på närmare håll. ‘Rankningsspelet‘ kan också bedrivas på andra sätt där resultatet av ett specifikt sätt att ranka framhålls framför ett annat.

Historiskt har det akademiska rankningsspelet bara kunnat spelas av en liten elit av rektorer och andra akademiska ledare, men för alla de som gillar spel av denna typ så finns nu det första managerspelet för akademiker: IDEAS fantasy league. Här kan man genom att värva ekonomer som finns listade i RePEcs: Research Papers in Economics skapa sitt eget drömlag av ekonomer. Spelarna tävlar sedan med sina imaginära ekonomiinstitut och genom att sälja och köpa ekonomer av andra spelare kan man avancera i tabellen (avlidna ekonomer är utom tävlan och man får heller inte värva sig själv). I likhet med fotbollsspel så gäller det här att plocka de ekonomer som man bedömer ha störst chans att utmärka sig, men valuta är inte mål och assist, utan författarskap och citeringar.

Förmodligen bör detta betraktas som ett skojfriskt tilltag, men tyvärr ligger det kanske lite väl nära sanningen för att det ska avfärdas som ett aprilskämt. Att toppforskare ses som ytterst värdefulla spelpjäser i rankningsspelet har vi redan sett exempel på, och IDEAS fantasy league följer logiskt i spåren på den excellenshets som präglar högre utbildning av idag.

Bilden är från Championship Manager (2001)

Från eminenta män till excellenta universitet

Publicerad den av
Svara

ranking

Den första universitetsrankningen, Science (32), 1910, s. 683

Denna text är en lätt omarbetad och utökad version av en essä publicerad i SvD under titeln: ”När utbildning blev en tävlingsgren”, 17 mars, 2016.

När Shanghai Jiao Tong-universitet i juni 2003 publicerade den första världsomspännande rankningen av universitet markerade det starten för en boom för universitetsrankningar av alla de slag. Rankningarnas popularitet kan förklaras på flera sätt – ett större fokus på kunskap som en förutsättning för ekonomisk tillväxt, en tilltagande globalisering av högre utbildning samt synen på studenten som en kund på en marknad utgör några viktiga faktorer. Men vi kan idag också iaktta en generell samhällelig trend där mätningar, jämförelser och rankningar tillmäts allt större betydelse inom både privat och offentlig verksamhet. Det tydligaste exemplet under senare år är PISA-mätningarna och det stora inflytande dessa har haft i debatten kring skolan. På liknande vis kan konstateras att de globala universitetsrankningarna inte bara blir fler till sitt antal utan även tas på allt större allvar: Allt från strategier på lokal nivå till nationell forskningspolitik styrs i tilltagande grad av dessa försök att mäta universitetens kvalitet, något som bland annat beskrivits av Ellen Hazelkorn i boken Rankings and the Reshaping of Higher Education (2011) .

Mätandet av vetenskaplig kvalitet har dock en historia som sträcker sig längre än till 2000-talets början, och den första rankningen av universitet publicerades av den amerikanska psykologen James McKeen Cattell redan 1910. Den lista över vetenskaplig styrka (‘Scientific strength’) som Cattell presenterade omfattande bara amerikanska universitet och då liksom idag rankades Harvard högst. Cattell använde sig av en egenhändigt sammanställd förteckning över vetenskapsmän betitlad American Men of Science för att kunna studera den amerikanska vetenskapens ‘ekologi’. Baserat på denna förteckning bad Cattell framstående representanter för enskilda discipliner att ranka sina kollegor utifrån deras vetenskapliga meriter. Poäng fördelades sedan mellan lärosäten baserat på hur meriterade enskilda forskare vid respektive lärosäte ansågs vara. En lista över eminenta män kunde på så sätt omvandlas till en ranking av universitet.

Ursprunget till den första universitetsrankningen kan spåras tillbaka till det sena 1800-talets intresse för framstående män, ett intresse som göddes av rädslan för civilisationens förfall i samband med massans och massmänniskans framfart. I Storbritannien, där frågan diskuterades intensivt, menade många att nationen var beroende av sina stora män: Det ansågs avgörande för det brittiska imperiets överlevnad att studera dessa män och om möjligt frambringa fler av deras slag. För vem, förutom den eminenta, fritänkande mannen, kunde stå emot den förflackning som hotade genom industrialiseringen och demokratiseringen? Inom denna rörelse var Francis Galton en viktig förgrundsfigur. Redan 1869 hade han publicerat Hereditary Genius och i uppföljaren English Men of Science (1874) studerades egenskaper hos betydande brittiska vetenskapsmän minutiöst. Allt från föräldrarnas sysselsättning till huvudstorlek och religiös övertygelse ansågs vara av betydelse och nedtecknades, och särskilt det biologiska arvet från föräldrarna samt uppväxten betraktade Galton som nyckelfaktorer för odlandet av framstående vetenskapsmän. Formell utbildning värdesattes inte lika högt – snarare menade Galton att passivt lärande och lång universitetsutbildning kunde komma att dämpa aptiten på verkligt banbrytande upptäckter. Efterföljande verk såsom Where We Get Our Best Men (1900) av Alick Maclean och A Study of British Genius (1904) av Ellis Havelock följde i den riktning som Galton pekat ut.

Cattell, som under sin tid i Europa kom i kontakt med Galton och eugeniken, byggde vidare på idéerna kring framstående män och deras betydelse för samhället och vetenskapen. Inledningsvis omfamnade han den rashygieniska föreställningen om det biologiska arvets betydelse, och i en studie hävdar Cattell att ordinära forskare säkerligen kan skapas men de riktigt stora vetenskapsmännen var genier från födelsen. ”The little scientist can doubtless be made, but probably the great man of science must be born”. Hans skrifter präglas också av rasistiska föreställningar där afroamerikaner, men också skandinaver, omnämns som outvecklade folkslag med liten förmåga att bidra till vetenskapens framåtskridande. Senare kom Cattell dock att vackla i frågan om det var arvet eller miljön som frambringade de stora männen. Han fann det helt enkelt osannolikt att en så pass liten del av USA – den nordöstra kring Boston och Chicago – genererat en så pass stor andel av alla vetenskapsmän. Mot denna bakgrund tedde sig miljön som viktigare än vad tidigare studier visat, och Cattell kom därmed att fokusera på de institutioner där vetenskapsmännen i allt större grad verkade; nämligen universiteten.

Cattell , som var en inflytelserik figur inom den amerikanska akademin – bland annat var han ägare av och redaktör för tidskriften Science från 1900 till 1944 –, insåg tidigt att en ranking av universitet kan användas i politiska syften. En av hans hjärtefrågor var universitetsprofessorernas relativa status och inkomst: Att höja dessa var nödvändigt för vetenskapens framtid, eftersom unga talanger annars kunde komma att vända akademin ryggen. Vidare led professorerna av att de i allt högre utsträckning styrdes av byråkrater och Cattell påtalade med eftertryck att de universitet som medgav större kollegialt styre också rankades högre. Rankingarna etablerade också en marknad för vetenskapsmän och Cattell skattade det pris ett universitet behövde betala för att kunna locka till sig en ledande professor till 7,500 dollar. Den globala marknad för framstående forskare som diskuteras idag, där universitet kan betala betydande summor för att locka till sig internationella toppforskare, var således ett reellt scenario redan för hundra år sedan. Men det var inte enbart vetenskapsmännen som kunde dra nytta av rankingen enligt Cattell, även studenterna kunde använda sig av informationen när de valde universitet.

Liksom dagens universitetsrankningar blev Cattells undersökning uppmärksammad i dagspressen. I en artikel med titeln “America’s Great Scientists Rapidly Decreasing” prisade New York Times (20 november 1910) hans studie. Rapporteringen fokuserade på en generell minskning av antalet framstående vetenskapsmän som ett hot mot nationen. Detta var också en fråga som Cattell framhöll och han menade att USA i förhållande till folkmängd inte bidrog tillräckligt till vetenskapens landvinningar. Men till skillnad från dagens debatt kring ‘excellenta’ forskare och om hur vi ska locka dem att stanna inom landets gränser för att främja nationell konkurrenskraft var det enligt Cattell i den globala vetenskapens intresse som forskningens förutsättningar behövde förbättras. Cattells drömmar om ett världsuniversitet där de mest framstående vetenskapsmännen från hela världen skulle samlas vittnar om denna övertygelse.

Av det som sagts hittills torde det ha blivit tydligt att kvinnorna inte spelade någon framträdande roll i den geni- och maskulinitetskult som präglade intresset kring framstående individer, och det var först 1971 som den av Cattell initierade förteckningen bytte namn till American Men and Women of Science. Galton såg kvinnor främst som mödrar till framstående män, även om några få kvinnor, såsom Charlotte Brontë och Madame de Staël, inkluderades i hans lista över genier. Cattell påstod till en början att biologiska skillnader mellan könen var avgörande för att bara arton av hans tusen framstående forskare var kvinnor, och han hävdade att det inte berodde på formella hinder eller diskriminering att så få kvinnor utmärkt sig inom vetenskapen. Så småningom kom Cattell dock att vackla gällande den biologistiska förklaringen, och kom i stället att hävda att det var möjligt att kvinnor ännu inte uppmuntrats att ta sig själva på allvar som forskare.

”But before pronouncing that this would show a weakness of the sex, he concedes that it is possible women are not yet encouraged to take themselves seriously as scientists, and that, while this feeling would not debar a determined woman, it might deter the wavering from attempting a scientific career”. (Cattell i New York Times, 20 Nov, 1910.

Cattell närde ett stort intresse för forskningspolitiska frågor och i University Control (1913), en längre betraktelser över universitetens roll, slog han fast att det vore olyckligt om de alltmer kom att efterlikna varandra. Kanske anade han en i vår tid ofta påtalad fara med universitetsrankningar – att de förutsätter att det som ska jämföras också kan likställas. Således kommer alla universitet att bedömas efter samma snäva mall, en mall som bestäms av de högst rankade institutionerna. Utrymmet för universiteten att sätta sina egna långsiktiga mål riskerar då att reduceras och ersättas av kortsiktiga strategier för att klättra i rankingen.

Den första universitetsrankningen och diskussionen som omgav den uppvisar slående likheter med dagens situation. Flera av de argument som framfördes då återfinns också i dagens debatt kring rankingar och universitetens roll, och de metoder som Cattell utvecklade för att mäta vetenskapen återfinns i modifierad form i dagens rankningar. Samtidigt framstår den epistemologiska kontext i vilken rankningen formades som djupt främmande för en nutida betraktare. Den tid som frambringade den första universitetsrankingen präglades av en oförblommad sexism – halva befolkningen sågs som oförmögen att bidra till vetenskapens utveckling – och en djupt liggande rasism. Till detta adderas en kult av det manliga geniet som drivs framåt av just män som i hög utsträckning själva betraktar sig själva som genier.

Olikheterna till trots så finns det ändå slående likheter mellan det tidiga 1900-talets vurm för eminenta vetenskapsmän och nutidens fokus på excellent forskning. Det är också tankeväckande att intresset för rankning i båda fallen uppstod i en situation av osäkerhet. Runt 1900 var det vetenskapsmannens roll som diskuterades då forskare gick från att ha varit fria och oavlönade till att alltmer bli anställda lönearbetare. Det som tidigare varit en kallelse blev nu ett yrke, och kritiker menade att denna utveckling hotade hela vetenskapens etos. På liknande sätt kan vi idag se en osäkerhet kring universitetens roll, där deras traditionella uppgift som bildningsinstitution kompletterats med krav på att bidra till social inkludering, nationell innovationskraft och regional utveckling. Dessa många och ibland motsägelsefulla krav har fått debattörer att lansera begreppet ‘multiversity’ för att illustrera de många olika roller som nutida universitet väntas fylla. I den osäkerhet som råder kring lärosätenas uppgift har rankningar kommit att bli allt viktigare, då dessa inte bara tjänar syftet att mäta och jämföra utan än mer att stabilisera och definiera det som ska jämföras. En klar linje kan således urskiljas från det sena 1800-talets intresse för eminenta män till dagens fokus på excellenta universitet.

Benoit Godin har skrivit mycket utförligt om bakgrunden till Cattells mätningar och hans betydelse för bibliometrins framväxt. Den studie som bloggposten och artikeln bygger på har gjorts av Sarah de Rijcke, Paul Wouters och mig själv, och den finns nu publicerad under titeln: From eminent men to excellent universities: University rankings as calculative devices.

Det svenska bibliometriska landskapet

Publicerad den av
Svara

map

Röda rektanglar (högskolor), cirklar (universitet) och romber (specialiserade universitet och högskolor) indikerar lärosäten där bibliometri används, gröna de som ännu inte använder bibliometri för medelsfördelning.

Nästintill alla svenska lärosäten använder bibliometri, en rad olika indikatorer och mått är i bruk, och få verkar ha reflekterat kring vad det övergripande målet med dessa system är. Så kan resultaten från en studie som Pieta Eklund, Gustaf Nelhans, Fredrik Åström och jag nyss publicerat sammanfattas. Vi fann att bibliometri används vid 24 av 26 undersökta lärosäten, och fördelningen av medel sker på en rad olika nivåer: fakultet, institution och individ. Bara två lärosäten – Chalmers och Handelshögskolan i Stockholm – avstår från att använda bibliometri. Utan att ha exakta uppgifter kring bruket i andra länder så kan man med fog påstå att detta gör det svenska forskningssystemet till ett av de mest ”bibliometrifierade”. Det finns säkerligen flera anledningar till varför det ser ut på detta sätt, men vår studie pekar specifikt på det nationella system för medelsfördelning som infördes 2009 som en huvudorsak. Flera lärosäten anger också att medelstilldelningen inom lärosätet syftar till förbättra utdelningen i den bibliometriska omfördelning som sker nationellt.

Generellt används tre olika indikatorer vid svenska lärosäten: de som baseras på publikationer, de som använder sig av citeringar och de som bygger på en kombination av de båda. Vanligen väljer mindre högskolor publikationsbaserade indikatorer, inte sällan varianter av det norska systemet där olika publikationstyper ges poäng beroende på typ (tidskriftsartikel, monografi, bokkapitel) och nivå (1 eller 2). Vid de större universiteten är flera olika system parallellt i bruk, och endast Karolinska institutet och KTH fördelar medel enbart baserat på citeringar. Vid några lärosäten, till exempel Umeå, så används bibliometri för att fördela på flera nivåer: mellan fakulteterna, mellan institutioner och mellan individer. Medräknat den nationella nivån så kan alltså en enskild publikation räknas inte mindre än tre gånger, och till detta kan andra typer av mätningar och rankingar adderas.

Umeå

Illustration av system för medelstilldelning vid Umeå universitet (från Hammarfelt, Nelhans, Eklund och Åström, s. 9)

Förutom att kartlägga det utbredda användandet av bibliometriska indikatorer i Sverige så tittade vi också lite närmare på hur de introduceras, dokumenteras och appliceras. Då fann vi bland annat att:

  • bibliometriska fördelningsmodeller ofta införs med argumentet att de används av andra, eller så motiveras de utifrån utvärderingssystem på nationell nivå. Mer sällan ses fördelningsmodellerna som ett verktyg för att uppnå lärosätets egna målsättningar och visioner.
  • resursfördelningssystemen i allmänhet är illa dokumenterade och få, även på ledande administrativa positioner, verkar förstå hur de fungerar.
  • traditionella bibliometriska mått används, inget lärosäte begagnar sig av alternativa mätmetoder (t.ex. altmetri), och tillgänglighet (open access) räknas inte som meriterande i någon modell.
  • modeller som explicit utvecklats för att fördela resurser på aggregerade nivåer används för att utvärdera mindre grupper och i flera fall individer. Detta trots att bibliometrisk expertis relativt entydigt (se till exempel Leidenmanifestet) avråder från sådan användning.
  • vid ett par lärosäten belönas individuella forskare för publikationer där en artikel i ‘rätt’ tidskrift kan ge så mycket som 70.000 kr i tillskjutna forskningsmedel. En praktik som ger tydliga incitament, enligt mitt tycke, för tydliga.
  • vi förvånas över att dessa utvärderingssystem i mycket liten grad själva utvärderas. De införs, ofta utan något större förarbete, och sedan sker ingen uppföljning.

Avslutningsvis kan det konstateras att vi nu kanske nåt en bibliometrins höjdpunkt i Sverige, fler universitet och högskolor än någonsin tidigare använder sig av dessa mätmetoder, och flera har precis lanserat eller utreder möjligheten att införa prestationsbaserad resurstilldelning på bibliometrisk grund. Samtidigt är ett nytt nationellt utvärderingssystem under utredning, FOKUS, och skulle detta införas så lär säkerligen förändringar ske runtom på svenska lärosäten. För är det något denna studie visar så är det att trendkänsligheten är stor inom den svenska forskningsadministrationen.

Det danska undret och den svenska forskningspolitiken

Publicerad den av
1

Danskar

Under de senaste åren har trenden varit tydlig: Sverige presterar betydligt sämre än Danmark sett till forskningens internationella genomslagskraft (läs citeringar i Web of Science). Danmark presterar nu i klass med andra ledande europeiska nationer som Nederländerna och Schweiz, samtidigt som svensk forskning tappat mark från början av 1990-talet och framåt. Utvecklingen, som påvisats i flera undersökningar, illustreras bland annat i Vetenskapsrådets rapport Forskningens framtid!  där följande diagram som visar andelen högt citerade publikationer i jämförelse med världsgenomsnittet återfinns (s.12)

VR1534_Svensk-vetenskaplig-produktion_web

Dessa resultat har i en svensk kontext renderat i två centrala forskningspolitiska frågor: Hur kommer det sig att danskarna presterar så bra, och hur kan svensk forskning komma ikapp, eller till och med förbi? Den senare frågan har diskuterats flitigt under senare år. Den mest omfattande studien Fostering Breakthrough Research är författad av Gunnar Öquist och Mats Benner och de listar en rad olika förklaringar. Här återfinns också direkta förslag på hur svensk forskning kan förbättras. Några punkter som dessa författare trycker på är:

  1. Att andelen basanslag är högre i framgångsrika forskningsnationer som Danmark, Nederländerna och Schweiz.
  2. Universiteten i de mer framgångsrika länderna tar större ansvar för att själva bedöma och belöna kvalité’. Det akademiska ledarskapet är också starkare utvecklat och mer framåtblickande.
  3. Det svenska systemet saknar tydliga karriärvägar (tenure track) vilket däremot finns i Nederländerna och Schweiz.

Därtill pekar de på en rad andra faktorer som hämmande för utvecklingen av svensk forskning. Till exempel bristande rörlighet mellan lärosätena (mobilitet) och behovet av en ökad internationalisering av svensk forskning. Den starkaste slutsatsen från rapporten är dock att resurserna för forskning bör omdirigeras från externa projektanslag till basanslag.

Frågan kring svenska forskning och dess ställning internationellt har också varit ämnet för en serie radioreportage från Vetenskapsradion, där en rad framgångsrika länder – Nederländerna, Danmark och Schweiz – varit i fokus. Skillnader i forskarnas mobilitet, men också anställningsförhållanden är några av de faktorer som togs upp i programmen. Noterbart är att det i Danmark är lättare att få fast anställning, men att det också är lättare att som akademiker få sparken. En fördel med ett sådant system är att staplandet av tidsbegränsade projektbaserade anställningar i högre grad kan undvikas. Frågan är dock om ett sådant system är möjligt, eller ens önskvärt, i en svensk kontext där anställningstrygghet värderas högt.

De ambitiösa rapporter och utredningar som jämfört förhållandena i Sverige med förutsättningarna i mer framgångsrika nationer innehåller alla viktiga och relevanta synpunkter på hur svenska forskningspolitik bör bedrivas. Men trots att studierna i många fall är välförankrade i aktuell forskning så skulle jag vilja påstå att de till viss del ändå famlar i mörker. Det finns främst två anledningar till detta; för det första så är forskningsresultaten på området ofta motsägelsefulla och den reform som fungerar i en specifik kontext behöver inte göra det i en annan. Ty även om vetenskapen alltmer är internationell så är organisationen och finansieringen av densamma företrädesvis nationell. En annan begränsning är att en majoritet av alla analyser av relationen mellan forskningspolitiska reformer och vetenskapligt genomslag fokuserar på en eller kanske två faktorer, men förmodligen är det så att kombinationen av hur forskningen leds, organiseras, finansieras och utvärderas är av avgörande betydelse. Det forskningspolitiska systemet är mycket komplext, och vilket inflytande enskilda faktorer har är mycket svårt att fastställa.

I ett av de mer ambitiösa försöken att förstå den danska framgångssagan framhålls just den rätta kombinationen av flera faktorer som en möjlig förklaring, även om författarna avhåller sig från att ge några definitiva svar. Genom en omfattande studie av det danska forskningslandskapet visar Aagaard och Schneider (2015) hur dansk forskning kom till en vändpunkt under den senare delen av 1980-talet, och sen dess har kurvan pekat uppåt. Utan att peka på en specifik orsak så finner de flera potentiellt bidragande förändringar som ägde rum under 1980-talet och början av 1990-talet. Bland annat så stabiliserades balansen mellan basanslag och externa anslag, det institutionella ledarskapet stärktes, universiteten gynnades på bekostnad av statliga forskningsinstitut, det danska forskningsrådet etablerades och dokorandutbildningen formaliserades och stärktes. Dessa förändringar ledde sedermera till en ökad internationalisering av forskningen och konkurrensen om akademiska tjänster tilltog. Författarna är dock noga med att påpeka att Danmark också presterade väl runt 1980, och de poängterar att det knappast finns en specifik ‘winning formula’. Snarare är det så att receptet för ett gott forskningsklimat skiljer sig både över tid och rum, vilket gör det när omöjligt att direkt överföra den danska erfarenheten till en svenska kontext.

Med detta sagt så är det ändå klart att vi bör ta lärdom av framgångsrika exempel från andra länder, och baserade på dessa koka ihop ett recept som förhoppningsvis vänder Sveriges negativa trend. Kruxet verkar vara att hitta den rätta mixen i forskningssystemet där balansen mellan olika faktorer är avgörande. En reform som dock framstår som nödvändig utifrån kunskapssläget är att höja basanslagen, och detta är också ett förslag som lyfts i flera av de kommentarer (se bland andra RJs, Uppsala Universitets och SUHFs inspel) som duggar tätt inför den kommande forskningspropositionen. Av de tunga aktörerna så är det egentligen bara Vetenskapsrådet som inte lyfter fram frågan om ökade basanslag, utan de föreslår istället mer pengar till forskarinitierade projekt. Deras förslag, bäst karaktäriserat som ”mer av samma”, är märkligt givet att flertalet internationella jämförelser pekar just på den ökade ’projektifiering’ av svensk forskning som ett problem.

Exakt hur den framtida forskningspolitiken utformas återstår att se, men radikala förändringar är knappast att vänta. Att skynda långsamt, hur tråkigt det än må låta, är kanske ändå en förnuftig strategi. För om vi lärt oss något av det danska exemplet så är det att stabilitet över tid, tillsammans med tillräckliga ekonomiska resurser, är två grundläggande förutsättningarna för  ett gott forskningsklimat.

Bilder: Aftonbladet.se samt Vetenskapsrådets rapport Forskningens framtid!

Och vinnaren är… Att förutsäga Nobelpristagare med hjälp av citeringar

Publicerad den av
Svara

Varje höst riktas vetenskapssamhällets blickar mot Sverige inför utdelandet av Nobelprisen i kemi, fysik, medicin eller fysiologi, ekonomi och litteratur. Otvetydigt är det så att Nobelpriset är den mest prestigefyllda utmärkelse som en forskare kan få, och som den främsta symbolen för vetenskaplig framgång har priset också kommit att spela en betydande roll inom bibliometrin. Pristagare har sedan länge använts som exempel för att studera relationen mellan citeringar och erkännande i forskningssamhället. Till exempel fann Cole och Cole i en nu klassisk studie att priser (inklusive Nobelpriset) korrelerar med antalet citeringar. Senare har forskare bland annat tittat på hur ett Nobelpris får citeringarna att skjuta i höjden för pristagarna. Här skall jag dock inte ägna mig åt den digra forskning som med bibliometriska metoder studerar Nobelpriset, utan istället väljer jag att fokusera på en mindre vetenskapligt förankrad verksamhet; den att förutse vinnaren.

Grundaren av Science Citation Index (SCI), Eugene Garfield, insåg tidigt att citeringsfrekvens kunde vara till hjälp i att förutse potentiella Nobelprisvinnare, och redan 1968 presenterade han ett paper med titeln: “Can Nobel prize winners be predicted?” Här konstaterade Garfield att Nobelpristagare, med mycket få undantag, citeras mer än 50 gånger oftare än den genomsnittlige forskaren. Thomson Reuters, som nu äger SCI  (numera Web of Science), har fortsatt i denna tradition då de årligen publicerar en Nobel Prize forecast, och träffsäkerheten får sägas vara relativt god då de prickat in 37 Nobelpristagare sedan 2002.

Att det finns ett samband mellan citeringar och vetenskapligt erkännande kan vi nog vara ense om, även om sambandets styrka och allmänna giltighet mycket väl kan diskuteras. Att citeringar kan användas för att i någon mån förutse Nobelpristagare inom vetenskapen är därför inte förvånande, men kan citeringar också ge oss en indikation på vem som tilldelas årets litteraturpris? Med stöd i min egen forskning vill jag påstå att citeringar, åtminstone delvis, kan användas för att studera en litterär författares kanonisering, men då enbart i en mycket begränsad kontext av anglosaxisk litteraturforskning. Med rätta kan man därmed invända att citeringar i främst engelskspråkiga akademiska tidskrifter knappast borde kunna säga något om det beslut som Svenska akademin kungör imorgon. Må så vara, men då jag varken kan spå i kaffesump, eller tolka tarotkort, så får citeringsanalysen duga i brist på bättre metoder.

För enkelhetens skull så valde jag att titta närmare på de tolv kandidater som fått lägst odds enligt bettingsajten Bettson. Genom att använda ‘cited reference’ funktionen i Web of Science kunde sedan citeringar till dessa återfinnas. Resultaten redovisas nedan:

Författare (odds) Citeringar Antal citerade verk Trend (citeringsgrad per år)
Adonis 55 35 Stigande
Svetlana Aleksijevitj 7 3 Stigande
Jon Fosse 8 8 –
Peter Handke 35 33 Stigande
Ismael Kadare 7 4 –
Javier Marias 49 24 Stigande
Haruki Murakami (7.50) 84 25 Fallande
Joyce Carol Oates 102 29 Stigande
Amos Oz 44 24 Stigande
Philip Roth 278 39 Stigande
Ngugi wa Thiongo 153 31 Fallande
Ko Un 4 4 –

Sett till antalet citeringar så förfaller valet vara mycket enkelt. Philip Roth är här överlägsen men det stora antalet verk som dessa fördelas på kan möjligvis vara en nackdel för hans vidkommande. På andra plats återfinns Ngugi wa Thiongo men för honom, liksom för fjärdeplacerade Haruki Murakami, kan en en nedåtgående trend i antalet citeringar urskiljas.  På tredje plats finner vi den ständigt tippade Joyce Carol Oates. Citeringsgraden för övriga är så låg att mycket lite går att utläsa från resultatet, och det är heller inte att vänta med tanke på databasens främst visar trender inom engelskspråkig forskning. Sammantaget är ändå resultatet otvetydigt: Om vi tror på denna lilla citeringsräkning så blir det den amerikanska romanförfattaren Philip Roth som tilldelas årets litteraturpris (jag skulle dock råda er att inte satsa hela sparkapitalet på basis av denna förutsägelse).