‘Citaties zeggen ook niet alles'

We beoordelen wetenschappers te eenzijdig op citatiescores, vindt hoogleraar organisatiekunde Peter van den Besselaar. Hij vindt het dan ook geen probleem dat winnaars van onderzoekbeurzen gemiddeld minder worden geciteerd dan degenen die net geen beurs krijgen.

november 2009

In het wetenschapsbedrijf is in toenemende mate de cultuur ontstaan dat iedereen de beste is of moet worden. Bij onderzoeksbeoordelingen is een vier (zeer goed) wel het minimum, en een drie (goed) is gewoon onvoldoende. Hetzelfde geldt voor de onderzoeksfinanciers, zoals NWO. Die formuleren dat ze de beste onderzoekers en onderzoeksvoorstellen uitkiezen. Niet de goede, hele goede, of bovengemiddelde, maar de beste.

MaGW, de maatschappij- en gedragswetenschappelijke divisie van NWO wilde graag weten of ze dat ook realiseren en vroegen ons dat te onderzoeken. De eerste vraag was natuurlijk hoe de besten te definiëren. Geheel volgens de tijdgeest ging dat in termen van publicaties en citaties in tijdschriften die voorkomen in het Web of Science. De vraag was dus: gaat het geld naar de meest publicerende en meest geciteerde aanvragers?

Wat blijkt? Gemiddeld publiceren winnaars meer dan verliezers, en worden ze meer geciteerd. Als we echter de winnaars met de best scorende (even grote) groep verliezers vergelijken, dan is het precies andersom: de verliezers blijken beter te scoren. Dit wordt natuurlijk snel gezien als falen van MaGW: ze geven het geld aan de verkeerden. Daarom hebben we het ook bij de moleculaire biologie onderzocht, met hetzelfde resultaat.

Geen enkel verband

Sommigen concluderen nu ten onrechte dat je de tweede geldstroom (geld dat wetenschappers van aan de overheid gelieerde financiers als NWO krijgen, red.) maar beter kunt afschaffen. Dat lijkt me onzin. We vonden namelijk nog meer. Als we de winnaars met de beste verliezers gezamenlijk analyseren, dan blijkt er geen enkel verband tussen de beoordeling van collega’s, de geleverde prestaties, en de beslissing over de aanvraag. Blijkbaar meten de criteria verschillende kwaliteitsdimensies, en spelen in de uiteindelijke keuze uit de set goede aanvragen nog andere dingen een rol, zoals het thema van het onderzoek, de verdeling van middelen over onderzoeksgebieden, het innovatieve karakter en de mate van disciplinariteit. Dat is ook goed. Of deze keuzeprocessen goed functioneren is natuurlijk een volgende vraag. Maar dat het geld niet allemaal naar de meest geciteerde en meest publicerende aanvragers gaat, dat is geen probleem. Dat zou een veel te beperkte opvatting van kwaliteit zijn.

Het is goed dat iedereen ernaar streeft toponderzoek te doen, en de beste te worden - wat dat ook precies inhoudt. Concurrentie helpt als prikkel. Er zou alleen wat minder snorkend over kunnen worden gepraat, zeker als de discussie gaat in termen van citatiescores, impacts en rankings. Waar dat onder meer toe leidt is te zien in de laatste onderzoeksevaluatie waarbij ik betrokken was. Die stond vol met tabellen met publicatie- en citatiescores, en met een grote hoeveelheid andere indicatoren. Maar geen woord over wat het onderzoek de afgelopen zes jaar heeft bijgedragen aan wetenschap en samenleving.

Peter van den Besselaar is hoogleraar organisatiewetenschap aan de VU. Daarnaast werkt hij voor het Rathenau Instituut.

Commentaar (0)

Toon/Verberg commentaar formulier