Meer dan een rotte appel

Een berucht voorbeeld is de studie uit 1998 van Andrew Wakefield, waarin hij beweerde dat het BMR-vaccin autisme zou veroorzaken bij kinderen. De publicatie leidde wereldwijd tot onrust en voedde het wantrouwen tegenover vaccinaties. Later bleek de studie frauduleus: medische gegevens waren onjuist of misleidend weergegeven en sommige ontwikkelingsproblemen waren al vóór de vaccinatie vastgesteld. 

Zo’n incident dat de kranten haalt, is opvallend maar vormt niet de kern van het probleem, legt Van Pelt uit. Wetenschappelijke fraude is niet als een paar rotte appels in een verder gezonde mand. Fraudegevallen zijn geen oorzaak maar eerder een symptoom van een structureel probleem. Daarbij gaat het niet altijd om regelrechte fraude. Vaker gaat het om zogenoemde Questionable Research Practices (QRP’s), zoals het selectief rapporteren of aanpassen van resultaten van een onderzoek. 

Perverse prikkels 

Volgens Van Pelt ligt een belangrijke oorzaak in de perverse prikkels van het systeem. Wetenschappers staan onder hoge druk: ze moeten publiceren, financiering binnenhalen en hun status als onderzoeker behouden. “Hoe meer geld je binnenhaalt, hoe meer kans je hebt op een carrière in de wetenschap”, aldus Van Pelt. Die constante prestatiedruk, vergelijkbaar met topsport, vergroot de verleiding om resultaten net iets gunstiger te presenteren. Statistische trucs toepassen of afwijkende resultaten achteraf verwijderen: het is sloppy science met het oog op resultaat. 

En wanneer fouten of fraude vervolgens tóch aan het licht komen, leidt dat niet altijd tot een intrekking van publicaties. Uitgevers reageren vaak terughoudend, uit angst voor reputatieschade, juridische problemen of simpelweg omdat procedures ontbreken. 

Tegelijkertijd plaatst Van Pelt hierbij een kanttekening. Uit onderzoek blijkt dat een grote meerderheid van de Nederlandse wetenschappers aangeeft zorgvuldig te werken. Ook hebben Nederlanders volgens onderzoek van het Rathenau Instituut gemiddeld genomen nog altijd een groot vertrouwen in de wetenschap. 

Van systeemdruk naar systeemverandering

En er zijn ook oplossingen. Van Pelt pleit bijvoorbeeld voor steekproefsgewijze controles, vergelijkbaar met dopingtests in de topsport; onderzoek niet enkel achteraf controleren bij klachten, maar structureel preventief toetsen en bestraffen. 

Daarnaast kan meer structurele financiering voor wetenschappers de prestatiedruk verlagen. Zo ontstaat een systeem waarin zij zich weer primair op de inhoud kunnen richten.

Wetenschapsfilosoof Stefan Gaillard voegt daar als medeoprichter van Journal of Trial & Error een andere oplossing aan toe; een wetenschappelijk tijdschrift waarin ook mislukte onderzoeken gepubliceerd kunnen worden. Op die manier wordt falen bespreekbaar en verdwijnt waardevolle kennis niet in de la. 

Opmars van nepbladen en AI

Tegelijkertijd verandert het speelveld van de wetenschap ingrijpend en ontstaan er nieuwe uitdagingen. Zo verschijnen er steeds meer zogeheten rooftijdschriften; publicatieplatforms waar wetenschappers tegen betaling een artikel kunnen plaatsen zonder grondige kwaliteitscontrole. Daardoor kunnen foutieve of zelfs verzonnen studies moeiteloos als ‘wetenschappelijk’ de wereld in gaan.

“Ik heb het uitgeprobeerd door zelf een nepstudie te laten schrijven door ChatGPT, en dat opgestuurd naar een neptijdschrift,” vertelt Van Pelt. “Dat was geen enkel probleem.” Hij liet een nepwetenschappelijk artikel over telepathie tussen mensen publiceren, waarbij zelfs de invloed van aliens werd betrokken. 

Hier komt meteen een nieuw dilemma in beeld: de rol van AI. Nieuwe technologie kan het probleem van sloppy science verergeren door foutieve of verzonnen studies makkelijker te genereren en publiceren. Maar AI kan ook helpen: denk aan automatische controles op data of het screenen van publicaties voordat ze worden opgenomen in wetenschappelijke tijdschriften. De vraag blijft daarom niet alleen hoe we sloppy science tegengaan, maar ook hoe we nieuwe technologie kunnen inzetten om wetenschap betrouwbaarder te maken.

Benieuwd geworden naar deze dilemma’s en hoe sloppy science kan worden aangepakt? Bekijk hier het hele gesprek met Stan van Pelt en Stefan Gaillard.