Maximaal publiceren in hoog aangeschreven tijdschriften; wetenschapswaardering berust momenteel hoofdzakelijk op impact. Hoe houdbaar is dat?
Publicaties en impact turven stimuleert eerder calculerend gedrag dan wetenschappelijke kwaliteit, en is niet de juiste manier om de wetenschappers te selecteren voor financiering of vacatures, schrijven veertien levenswetenschappers onder leiding van de Noorse ecoloog Nils Christian Stenseth (Proceedings of the Royal Society B, 11 december).
Hun analyse sluit aan bij de aanbevelingen uit de Declaration on Research Assessment (DORA), die de KNAW, VSNU, NWO en ZonMw begin dit jaar hebben ondertekend. Deze organisaties hebben recent in het manifest Ruimte voor ieders talent uiteengezet dat onderwijs, samenwerking en leiderschap zwaarder moeten meewegen. NWO en ZonMw verklaren zelfs dat er niet meer naar publicatie-indicatoren – H-index en impactfactor – wordt gevraagd. Narratieven worden belangrijker: verhalen waarin onderzoekers hun loopbaan, ideeën, bijdragen en samenwerking beschrijven.
Colin Chapman, humaan paleobioloog, George Washington University, en eerste auteur van het artikel in Proceedings B:
‘Mijn persoonlijke stijl en schrijfvaardigheid maken dat ik makkelijker kan scoren, maar ik realiseer me volledig dat dit niet de enige manier is om goede wetenschap te bedrijven, vooral door wat ik zelf heb gezien bij mijn promovendi en postdocs. Sommige van mijn postdocs hebben stevig doorgewerkt aan een probleem, een kwalitatief belangrijke bijdrage geleverd, maar weinig gepubliceerd. Ze slaagden daardoor niet om een nieuwe positie te bemachtigen.
‘Promovendi en postdocs worden ook te vaak gezien als werkpaarden, omdat ze gegevens verzamelen voor nieuwe publicaties. Hoogleraren en universiteiten profiteren daarvan, en dat zal niet snel wijzigen, tenzij er op veel vlakken radicale veranderingen worden doorgevoerd. Internationale initiatieven zoals DORA zijn niet genoeg, omdat waardering op veel universiteiten nog steeds op publicatiestatistieken is gebaseerd.
‘Het is eenvoudig: we moeten bestaande meet- en beoordelingssysteem compleet verlaten. We moeten werken aan nieuwe, zorgvuldige manieren om kwaliteit te evalueren, via peerreview. Maar dan moeten we ook zorgen dat reviewers daar de tijd voor krijgen.’
Laurens Witter, postdoc, integratieve neurofysiologie, Vrije Universiteit Amsterdam:
‘De wetenschap zit soms vast in oude denkpatronen, maar het beleid dat nu geschetst wordt gaat erg ver met het idee dat impactfactoren onzin zijn en samenwerking de enige weg.
‘Samenwerking is leuk en zinnig, maar moet geen doel op zich worden. Soms kun je individueel effectiever zijn. Het is goed te bedenken dat de Europese Unie onlangs heeft besloten het financieringsmodel van de flagships niet verder in te zetten. Deze grote samenwerkingsverbanden bleken extreem inefficiënt en misten hun doel. Bovendien is de pot met financiering voor individuele onderzoekers nu al extreem klein.
‘Als mensen zelf hun narratief kunnen opstellen dat hun prestaties beschrijft, dan kan dat nieuw calculerend gedrag opleveren: overal aan meedoen, zo min mogelijk investeren en in een narratief vertellen dat je supersuccesvol bent. Juist de mensen die het echte werk doen krijgen zo niet meer de waardering die hen toekomt.
‘Indicatoren die werken, moeten we dus gedeeltelijk behouden. Impactfactoren kunnen wel degelijk iets zeggen over de kwaliteit van peerreview. Met name voor beurstoekenningen vertrouwen commissies deels op reputatie van journals , omdat het niet mogelijk is om elk artikel te beoordelen. Een verhalend cv kan helpen om de macht van impactfactoren in te perken, maar alle standing van vakbladen afschaffen is het kind met het badwater weggooien.’
Lucille Mattijssen, voorzitter Promovendi Netwerk Nederland, promovendus op loopbaantrajecten aan de Vrije Universiteit:
‘Promovendi moeten bij de afronding van hun proefschrift voldoen aan allerlei standaarden om te kunnen promoveren. Sommige faculteiten eisen minstens drie publicaties, soms met aanvullende criteria over een bepaalde H-index. Ook later is dat belangrijk. Al blink je als universitair docent uit in onderwijs, en heb je daarnaast een redelijke publicatielijst, dan krijg je toch die vaste positie niet. Die keuze wordt vooral bepaald door publicaties en hoeveel externe financiering je hebt binnengehaald.
‘Een academicus doet veel meer, het is dus goed dat daar straks anders naar wordt gekeken. Veel mensen hebben het nu over een narratief. Dan moeten commissies en collega’s straks afgaan op verhalen, en we weten dat in de beoordeling daarvan altijd culturele bias kruipt. Als een vrouw mondig of assertief is, is ze bijvoorbeeld eerder een kreng dan een man. Bovendien kunnen mensen met externe adviseurs hun narratief aanscherpen, dan hoeven ze dat niet meer zelf te doen.
‘Honderd procent objectiviteit zal kortom lastig blijven. Mensen kiezen bijvoorbeeld eerder iemand die op henzelf lijkt. De komende tijd wordt de discussie over erkennen en waarderen op de Nederlandse universiteiten gevoerd. Wij gaan erop inzetten dat in elke commissie een promovendus komt te zitten. En als we breder gaan beoordelen, dan is het ook een idee om bij promovendi naar meer zaken te kijken, zoals onderwijs en bestuurswerk.’
Sjef Smeekens, hoogleraar plantenfysiologie en vicedecaan bètafaculteit, Universiteit Utrecht:
‘Er zijn onderzoekers die het spel vooral spelen om zo hoog mogelijk in de metrische rankings te komen. In Nature en Science wil iedereen publiceren, want dan is je loopbaan gemaakt. Van dat idee moeten we af, want wetenschappelijke kwaliteit is breder dan dat.
‘Tegelijkertijd is het goed te realiseren dat in Nederland de beoordeling al nooit ééndimensionaal geweest is, dus ik verwacht geen revolutie. We hebben kandidaten in het verleden ook niet uitgekozen door ranking op H-index. Het gaat altijd om meer. Wat voor werk heeft iemand geleverd? Is de onderzoekslijn toekomstbestendig? Het hele pakket bepaalt of iemand een positie krijgt, want uiteindelijk zal een persoon blijk moeten geven van kwalitatief goed onderzoek, belangstelling voor onderwijs, en leiderschap zal een steeds belangrijkere rol gaan spelen.
‘DORA heeft de problemen waar wetenschap tegenaan loopt netjes beschreven, maar geeft verder geen batterij richtlijnen. Er staat alleen: we moeten minder meten en meer naar de persoon kijken. Het is niet zo dat de universiteit selectie- en benoemingsommissies met een vaste opdracht op pad sturen. De discussie hierover draagt wel bij aan bewustwording dat diversiteit in benoemingscommissies belangrijk is voor een bredere, inclusievere universiteit, die daardoor beter presteert. Maar wat er ook verandert: er komen niet meer posities en beurzen bij. De onderlinge competitie blijft bestaan.’