Zelfs als ecologen over dezelfde data van een pimpelmeespopulatie beschikken, komen ze niet altijd uit op hetzelfde totaalplaatje. Ilustratie: Shutterstock / Annemarie Roos
Ecologen kunnen ‘zorgwekkend’ tegengestelde conclusies trekken uit één en dezelfde reeks veldmetingen, zo blijkt uit een nieuwe studie. Dreigt ook een replicatiecrisis in de ecologie?
Op een presenteerblaadje: zo kregen 246 biologen een onderzoeksvraag voorgelegd van vakgenoten Elliot Gould en Hannah Fraser van de universiteit van Melbourne. Het veldwerk was al grotendeels gedaan, de Excel-sheets waren ingevuld; er moest alleen nog een statistische analyse op worden gedaan. De ene helft van de biologen kreeg data over pimpelmeesnestjes, de andere helft over eucalyptusbomen op grasvlaktes. Zouden zij, was de vraag, naar eer en geweten een conclusie uit de data willen trekken?
De antwoorden die Gould en Fraser terugkregen, deed ze de wenkbrauwen hoog optrekken. De resultaatschattingen liepen ‘dramatisch’ uiteen. Zo ver zelfs, dat veel teams tegenovergestelde conclusies bleken te trekken over een en dezelfde onderzoeksvraag. Volgens de ene groep helpt grasgroei eucalyptusbomen te ontkiemen, volgens de andere juist niet. ‘Zorgwekkend’, noemen Gould en Fraser het op de preprint-site EcoEvo-Rxiv (4 oktober). Het betekent namelijk dat biologen vaak een onderzoeksvraag stellen waarop een enorme wolk aan mogelijke antwoorden mogelijk is, maar waarvan ze er doorgaans maar een of twee geven, omdat ze geen andere analyses hebben overwogen. Antwoorden en conclusies die de wetenschappelijke tijdschriften halen, zijn daarmee soms onvolledig of moeilijk reproduceerbaar. Kortom: minder betrouwbaar.
REPLICATIECRISIS
Voor sommigen zal dat niet als een verrassing komen: de zogeheten replicatiecrisis die bij de psychologie begon, speelt inmiddels in vrijwel elk wetenschapsgebied. Dat is ook goed nieuws, want om onbetrouwbare conclusies te voorkomen, werken psychologen bijvoorbeeld al geregeld mee aan initiatieven om studies reproduceerbaar te maken en ze te herhalen, door ze bijvoorbeeld vooraf op meerdere manieren te analyseren. Biologen zouden daar een voorbeeld aan kunnen nemen, schrijven Gould en Fraser.
De nieuwe reproduceerbaarheidsstudie naar pimpelmezen en eucalyptusbomen is daar een mooie casus van, vindt bioloog Antica Čulina. Ze werkt aan het Ruđer Bošković-instituut in Zagreb en is nauw betrokken bij de open science-beweging in de biologie. ‘Je ziet wat er gebeurt als iedereen met de beste intenties werkt, en toch verschillende keuzes maakt. De data waren er, geen enkel resultaat bleef liggen, en bijna iedereen koos een prima analysemethode die elke reviewer zou accepteren. En dan nog lopen de conclusies ver uiteen.’
Čulina vindt de studie reden genoeg geven om losse vondsten in de biologie met extra scepsis te benaderen, al wil ze uit collegialiteit geen specifieke vondsten of theorieën benoemen. Ze ziet ook lichtpuntjes: ‘Deze studie laat ook zien wat we als veld beter kunnen doen.’
‘Vaak denken wetenschappers alleen maar: dit is interessant, laten we het onderzoeken’
Toch is het qua betrouwbaarheid niet allemaal kommer en kwel, nuanceert Geert de Snoo, milieubioloog en directeur van het ecologie-instituut NIOO-KNAW in Wageningen.
Ecologische principes waar veel van afhangt, en die dus veel onderzoeksaandacht krijgen, zijn inmiddels vaak herhaald met degelijke methoden. Hij noemt de ‘eilandtheorie’: het idee dat hoe groter een eiland is, hoe meer ruimte het biedt voor verschillende plant- en diersoorten. Daar is nu veel bewijs voor: versnippering van leefgebieden bedreigt de biodiversiteit. Ook onderzoek naar bijvoorbeeld de gevolgen van klimaatverandering voor vogels ‘repliceert goed’, zegt De Snoo. Zo wijzen meerdere analyses van tienduizenden vogels erop dat de dieren door de toenemende temperaturen steeds kleiner worden. Die regel geldt ongeacht de soort, benadrukt De Snoo.
SCHOKKEND
Maar er bestaat ook veel biologieonderzoek dat minder scherp is uitgevoerd, concludeerde Čulina vorig jaar in een analyse in Nature Ecology & Evolution: de grote meerderheid (82 tot 89 procent) van de studies in de ecologie is slecht gepland, slecht onderzocht en slecht geanalyseerd. Ze noemt het ‘schokkend’ dat zo’n 45 procent van alle onderzoeksbevindingen in de la blijft liggen en niet wordt gepubliceerd. En in 40 procent van de wel gepubliceerde onderzoeken worden niet alle resultaten gemeld. Het is in feite, zegt zij, wetenschappelijk afval — en een enorme verspilling van tijd, geld en energie. ‘Vaak denken wetenschappers alleen maar: dit is interessant, laten we het onderzoeken,’ aldus Čulina. ‘Maar ze staan amper stil bij alle mogelijke keuzes die ze vervolgens moeten maken.’
Context doet ertoe, zegt Stefan Vriend daarover, eveneens ecoloog aan het NIOO-KNAW. ‘Je kunt zeggen, ik doe dit onderzoek in dit specifieke bos op deze groep pimpelmezen, maar bijvoorbeeld niet in het andere bos met koolmezen. Hoe je omgaat met die context kan de uitkomsten enorm beïnvloeden. Dat is het verraderlijke aan ecologie.’ Eenduidige antwoorden hoeven we van de biologie dan ook niet te verwachten, zeggen deze onderzoekers.
MEEVALLER
Anders gezegd: ecologen zijn heus wel gewend om conclusies uit losse studies met een korrel zout te nemen. Veldmetingen en ook evolutionaire studies zijn uiteindelijk slechts momentopnamen. De ene week regent het, de andere is het juist droog, of er ontstaat opeens een rupsenplaag in het onderzoeksgebied. De kunst is om grotere patronen te ontwaren. Een meevaller was dat zo’n patroon opdook in de nieuwe herhaalstudie van Gould en Fraser, ondanks de tegenstrijdige conclusies. Bij de gegevens over de pimpelmees wezen de gevraagde analyses gemiddeld genomen toch wel dezelfde kant uit: hoe meer kuikens in een nest, des te langzamer ze groeiden. Het echte effect zal dan ook wel in die hoek liggen, denken de auteurs.
De ene week regent het, de andere is het juist droog, of er ontstaat opeens een rupsenplaag in het onderzoeksgebied
Maar het reproduceerbaarheidsteam waarschuwt nogmaals: aan een analyse van het geheel was dat niet af te lezen geweest. Een goede 28 procent van de deelnemende onderzoeksgroepen rekende namelijk uit dat de verschillen zo klein waren, dat het effect waarschijnlijk niet bestaat. Samen met de teams die een tegengesteld effect vonden, trok uiteindelijk precies de helft van de deelnemers een andere conclusie dan die waar het totaalplaatje op wijst.
Dat heeft ook met de onderzoeksvraag te maken die de ecologen aan de deelnemende teams stelden, zegt Vriend. ‘De vraag was nu best wel breed op te vatten. Dat hebben ze bewust zo gedaan en dat is goed, want dit zijn precies het soort vragen dat ecologen zelf stellen in hun studies.’ Maar, legt Vriend uit, daarmee konden de teams kiezen uit een buffet aan meetgegevens en die naar eigen smaak analyseren – wat tot enorme verschillen leidt.
KRAAKHELDER
Als de vraag ‘kraakhelder’ was geweest, zegt Vriend, door bijvoorbeeld de pimpelmeesgroei uit te drukken in gewicht of juist lengte, dan zouden meer biologen dezelfde analyse hebben aangeleverd en was er een eenduidiger antwoord gekomen. Die kant moet het dan ook op, schrijven Gould, Fraser en hun medeauteurs. Of, specifieker: laten ecologen en biologen nou eens heldere vragen afbakenen en daarbij vooraf hun analyseplannen vastleggen, waar achteraf niet de mooiste resultaten uit worden geplukt.
Maar daarmee zijn we er nog niet, benadrukt Čulina. Het is niet alleen een kwestie van mentaliteit en goede voornemens: veel wetenschappelijke toptijdschriften publiceren nog steeds liever spannende vondsten dan onderzoek waarvan op voorhand niet zeker is of het iets bijzonders is.
Dit stuk verscheen eerder in het decembernummer van Skepter, kwartaaltijdschrift van de Stichting Scepsis, die zich ten doel stelt buitengewone beweringen aan kritisch onderzoek te onderwerpen.
Replicatie: belangrijk, maar bijna niemand doet het
Ecologen erkennen dat replicaties belangrijk zijn, maar voegen niet de daad bij het woord. Dat blijkt uit een vragenlijst die Australische en Amerikaanse ecologen in 2017 lieten circuleren op twee grote congressen en die 439 ecologen invulden (Ecology and Evolution, 2020). Een zeer ruime meerderheid (97 procent) vindt replicatiestudies belangrijk en (91 procent) signaleert ook dat ze niet gangbaar genoeg zijn. Volgens ruim 60 procent van de ecologen zijn replicaties de moeite waard om te financieren en in principe geschikt om te publiceren. Zelf schatten ze al in dat slechts 10 procent van de experimenten worden gerepliceerd, maar dat is waarschijnlijk een ruime overschatting. Op basis van literatuuronderzoek ligt het percentage replicaties in ecologische en evolutionaire studies op slechts 0,023 procent (PeerJ, 2019).
Een pimpelmees (Cyanistes caeruleus) in Engeland. Foto: Francis Franklin
Vraag en dataset: pimpelmezen
De vraag die de evolutionair ecologen kregen voorgelegd was: in welke mate wordt de groei in nesten van pimpelmezen beïnvloed door concurrentie met broers en zussen? Hiervoor kregen ze de beschikking over een dataset van waarnemingen en manipulaties die onderzoekers tussen 2001 en 2003 hebben uitgevoerd bij 330 tot 450 pimpelmeesparen in nestkasten in Wytham Wood bij Oxfordshire (Engeland). Van elk nest is de datum geregistreerd waarop het eerste ei verscheen, het legselgrootte en de uitkomstdatum. Alle levende kuikens en broedvogels zijn geringd, gewogen, de lengte van het voetwortelbeentje (tarsus) gemeten en van de volwassen vogels ook de vleugellengte. Tijdens het broedseizoen manipuleerden onderzoekers de legselgroottes door kuikens te verplaatsen en zo legsels te vergroten of te verkleinen, terwijl ze ongeveer een derde van alle broedparen ongemoeid lieten. De data zijn openbaar beschikbaar: osf.io/hdv8m en osf.io/qjzby.
Een eucalyptuszaailing in Australië. Foto: Poyt448
Vraag en dataset: eucalyptus
De vraag die is voorgelegd aan ecologen op het gebied van natuurbehoud was: welke invloed heeft de bedekking met gras op rekrutering van eucalyptus-zaailingen? De betrokken dataset kwam van een experiment in het stroomgebied van Goulburn Broken in Noord-Victoria (Australië) waarbij eigenaren vee uit percelen verwijderden om herstel van eucalyptusbomen mogelijk te maken. Onderzoekers voerden tussen 2006 en 2007 drie onderzoeksrondes uit op achttien locaties, waarin in sets van willekeurig verdeelde kwadranten van 15 bij 15 meter het aantal eucalyptuszaailingen is geteld, alsmede informatie over de gps-locatie, dekking door en afstand tot bladerdak en positie in het landschap is vastgelegd. De samenstelling van plantensoorten is geregistreerd in drie kwadraten van 0,5 bij 0,5 meter binnen elk kwadraat. Dit is aangevuld met informatie over de neerslag en zonnestraling op elke gps-locatie.
Ook deze dataset is openbaar beschikbaar: osf.io/r5gbn.