Förra veckan besökte jag Leiden och den nittonde Science and Technology Indicators konferensen (STI). Ett framträdande tema i diskussionerna under de tre späckade dagarna var behovet av riktlinjer (guidelines) eller standards för bibliometrisk utvärdering. En välbesökt paneldiskussion ägnades åt denna fråga och Diana Hicks förslog ett antal  allmänt hållna principer snarare än fastslagna standards. Bland dessa återfinns följande punkter (fritt tolkat och översatt):

1. Bibliometri ska och kan inte ersätta andra typer av bedömning
2. Låt analysen ta den tid och de resurser som krävs
3. Var transparant då det kommer till utförandet
4. Normalisera data när så behövs
5. Variera och anpassa mätmetoderna beroende på det vetenskapliga fält som studeras
6. Koppla bibliometriska indikatorer till strategiska mål
7. Ge de som utvärderas tillgång till den data som används

Dessa principer – som ännu bara ligger på ett idéstadium – är bara ett exempel på ett ökat intresse för att etablera ett övergripande ramverk för genomförandet bibliometrisk utvärdering. Vid ISSI (International Society for Scientometrics and Informetrics) konferensen 2013 diskuterades bland annat “The do’s and don’ts of individual bibliometrics” och denna diskussion följdes sedan upp vid STI konferensen i Berlin (Se Paul Wouters inlägg på samma tema här). Försöken att etablera standards och riktlinjer är tydlig också i den nyligen publicerade boken Beyond bibliometrics: Harnessing multidimensional indicators of scholarly impact. I denna volym diskuterar Jonathan Furner etiska riktlinjer för hur bibliometri bör användas och Yves Gingras formulerar standards för bibliometriska utvärderingar. Ytterligare ett exempel på ett mer reflexivt förhållningsätt kring dessa frågor var årets keynote som hölls av Peter Dahler-Larsen från Köpenhamns universitet. Hans forskning kring framväxten av ett utvärderingssamhälle gjorde ett stort avtryck på konferensen och för alla de som är intresserade av dessa frågor kan jag varmt rekommendera hans bok på samma tema: The evaluation society.

Varför kommer då dessa inititativ nu? Enligt min mening går det att identifiera åtminstone två anledningar. Först och främst så ser jag dessa inititativ som ett tecken på att bibliometrikerna allt mer blir medvetena om det inflytande som bibliometrin har kommit att få för strategiska beslut och forskningspolitiska överväganden. Detta är också det argument som oftast framhålls när behovet av riktlinjer uttrycks. Dock tror jag även att det finns ett intresse från professionen, och kanske då inte minst från de kommersiella företag som saluför bibliometrisk utvärdering, av att etablera standards som skiljer professionellt utförd bibliometri från det som lite nedlåtande kallas ‘amatörbibliometri’. Enligt min mening vore det dock förfelat att använda sig av standards för att skilja god bibliometri från dålig, och det som lite nedlåtande kallas amatörbibliometri kan ofta vara väl så bra. Speciellt gäller detta begränsade studier där kunskap och insikt i en specifik kontext ofta är av större vikt än teknisk och metodologisk fulländning.

Snarare än standards och riktlinjer på ett mer tekniskt plan så förordar jag utvecklandet av en bibliometrisk etik. En huvudregel för en sådan borde vara att avstå från att använda bibliometri då det inte är tillämpligt; när mätmetoden inte är anpassad till det som ska mätas eller när materialet helt enkelt är för litet för att kunna behandlas statistiskt. Speciellt viktigt blir ett sådant etiskt förhållningsätt i de många situationer där oberoende forskning och kommersiell utvärderingsverksamhet möts. Om jag i egenskap av forskare underkänner en mätmetod som icke lämplig så bör jag som kontrakterad bibliometrisk analytiker förhålla mig på samma kritiska sätt när liknande metoder används i evaluveringssyfte.

Kanske är det också så att behovet av riktlinjer blir extra tydligt i ett fält där kommersiella intressen spelar en stor roll. Nästan all den data som bibliometriker använder sig av kommer från företag som Thomson Reuters (Web of Science), Elsevier (Scopus) eller Google (Google Scholar) och några av forskningsfältets tyngsta aktörer som Centre for Science and Technology Studies (CWTS)* och Science-Metrix drar in en stor del av sina intäkter genom konsultverksamhet.

Även om motivet kring utvecklandet av riktlinjer och standards inte bara kan ses som del av ett kritiskt förhållningssätt till den egna verksamheten så bör vi välkomna det ökade mått av reflexivitet som en sådan diskussion innebär. Huruvida ett auktoritativt policydokument är möjligt att enas kring, och om ett sådan ens är önskvärt, återstår att se. Att ett samtal kring dessa frågor har inletts kan dock bara ses som positivt för bibliometrins utveckling.

*CWTS firade sin 25-årsdag under konferensen och förutom en pampig signaturmelodi som inledde varje session så publicerades också en konferenstidning som kom ut två gånger per dag. Ett mycket lyckat och framförallt underhållande initiativ. Ett exempel är första numret som finns som PDF här. Resterande nummer finns att se på: http://www.dewaan.nl/