Dit blog is samengesteld uit lezingen van verschillende wetenschappers die vertellen hoe wetenschappelijk onderzoek in zijn werk gaat. Wat is wetenschap, maar ook wat is dat niet? Hier heb ik geprobeerd dit zo begrijpelijk mogelijk neer te zetten.
Wat is Wetenschap?
Wetenschap is een discipline, dit onderscheidt het van wetenschapisme (scientism) dat de wetenschap tot religie maakt. Anders dan wetenschapisme is de wetenschap gebonden aan een set regels en instructies. Hier worden wetenschappers verzocht zich aan te houden wanneer zij hun data verzamelen. Dit verzamelen gebeurt volgens het experimentele protocol. Dit wordt de wetenschappelijke methode genoemd, hierover moeten ze dan weer rapporteren, wederom volgens een set regels en disciplines. Er bestaat dus een reeks aan regels en disciplines die beperken wat de wetenschap wel en niet kan doen.
Hypothese
Een wetenschapper begint met het stellen van een hypothese, een theorie, en doet vervolgens een poging om die theorie empirisch (met getallen) te falsificeren. Het is dus de bedoeling dat je als wetenschapper gaat kijken of je jouw hypothese onderuit kunt halen. Dit is echte wetenschap, wetenschap in zijn puurste vorm. Helaas zijn er veel onderzoeken in omloop die het tegenovergestelde doen en dus proberen hun hypothese te bewijzen, soms zelfs door data te fabriceren. Kortom fraude.
Double-blind, randomized, controlled trial
Wanneer er in de wetenschap gekeken wordt naar het effect van één of andere stimulus, hetzij een medicijn of een dieetinterventie, dan vereist de wetenschappelijke methode een zogenaamd ‘double-blind, randomized, controlled trial´. Dit betekent dat (wil je als wetenschapper geclassificeerd worden) je een groep mensen moet nemen die groot genoeg is om de zogenaamde statistische kracht te krijgen. Deze mensen zijn willekeurig gekozen vanuit een bepaalde populatie of subpopulatie.
Controle over de Studie
Deze groep moet je splitsen in twee gelijkwaardige subcohorten van mensen. Je bent verplicht om alle confounders te controleren, dat wil zeggen dat er geen variabelen mogen zijn die enige invloed kunnen hebben op de uitkomstvariabel. Er moet namelijk tijdens de studie één ding zijn dat wordt gecontroleerd of gemanipuleerd en dat ene ding is het onderwerp van de experimentele opzet. Wanneer dit zeker gesteld is kan er overgegaan worden op de verdeling van de behandeling en de placebo. De ene helft van de mensen krijgt de behandeling of interventie en de andere helft krijgt een placebo. Aan het einde van de periode komt de cross over. Dan wordt er overgegaan op de mensen die eerst een placebo kregen. Deze krijgen nu de behandeling, en de groep die de behandeling kreeg krijgt nu een placebo.
Voedingswetenschap
Alles wat zich hier niet aan houdt, is een compromis. Wat betekent dit? Het is bijvoorbeeld niet mogelijk om een random crossover study te doen, waarbij wordt gekeken naar het effect van hoog versus laag plasmacholesterol gedurende de hele levensduur. De reden is simpel, wanneer een persoon eenmaal een leven heeft gehad, kan hij niet als crossover nog een levensduur hebben om te zien of de tweede levensduur langer is. Het is ook onmogelijk om elke andere variabele te controleren die mogelijk een rol kan spelen, gedurende de levensduur van die persoon. Het is niet haalbaar, en zelfs als het haalbaar is, is het niet ethisch om het leven van mensen als experiment te gebruiken. Ethische commissies zullen het niet toelaten. Daarom is er nog zoveel onenigheid over wat de juiste voeding voor mensen is. Je kunt dus eigenlijk geen voedingswetenschap bedrijven, omdat je deze vragen niet definitief kunt beantwoorden met behulp van de meest ideale wetenschappelijke methode.
Onderzoeks-tweeling-methodologie
Wat enig gewicht toevoegt aan een argument is een gepubliceerd artikel dat een willekeurig cross-over onderzoek is of wanneer dit niet mogelijk is, bijvoorbeeld wanneer je een levensduuronderzoek wilt doen, dan kun je een onderzoeks-tweeling-methodologie gebruiken. Hierbij match je twee cohorten tegen elkaar om zo homo-genetisch mogelijk te zijn (deze mensen delen de meeste mogelijke kenmerken met elkaar) en komen hierbij zo dicht mogelijk bij echte genetische tweelingen. Wat eigenlijk ook onzin is, en een compromis dat de juistheid van de paper volkomen ondermijnt. Het is echter in bepaalde omstandigheden een redelijke gevolgtrekking waar we aan de hand van kunnen zeggen: hier is een gevolgtrekking dat mogelijk enig gewicht kan hebben in een specifiek argument.
Achter voeding zit geen zuivere wetenschap, het enige waar we over kunnen praten zijn gevolgtrekkingen die in de literatuur voorkomen en wijzen op de gebreken in de gevolgtrekkingen van anderen die een andere mening hebben dan wij.
Conclusies Trekken
Dus wanneer er in (kranten)artikelen, blogs etc. mensen verwijzingen naar gepubliceerde artikelen, en spuien met betrekking tot voeding alsof dat keihard bewijs is van wat dan ook, toont dit een gebrek aan begrip wat wetenschap wel en niet kan doen. De wetenschap kan conclusies trekken, hetzij sterk, hetzij zwak, hetzij juist of onjuist, en een interpretatie met betrekking tot de waarschijnlijke effecten van verschillende levensstijlen op de levensduur op de gezondheid gedurende het hele leven. Kortom, wanneer je een gevolgtrekking naar voren wilt brengen voor bijvoorbeeld het carnivoordieet die bruikbaar is, moet er in de literatuur gezocht worden of er bewijs is dat dit dieet negatieve effecten heeft. Dit zul je niet vinden, omdat het er niet is. Als je in de literatuur wilt zoeken naar aanwijzingen voor problemen met mensen die een andere levensstijl (bijvoorbeeld veganisme) aanhangen, dan zul je die informatie wel vinden. Niet dat er gedegen onderzoek is gedaan, aangezien dit niet kan zoals hier boven is uitgelegd. Wel zie je veel mensen die kampen met tekorten, en klachten hebben die direct gelinkt kunnen worden aan voeding.
Er is met betrekking tot het Carnivoor dieet in de wetenschappelijke literatuur geen enkel bewijs te vinden dat dit een negatief effect heeft op de gezondheid. Wanneer je dit echter doet met Veganisme, dan vind je deze informatie wel degelijk.
Wetenschappelijke Publicatie
Hoe gaat de publicatie in zijn werk?
Je schrijft een paper waarin je een argument uiteenzet en stuurt je paper naar een tijdschrift. De redacteur kopieert dan je paper, meestal in tweevoud. Hij stuurt het naar deskundige peer reviewers, die althans door de redacteur als deskundige peer reviewers worden beschouwd. Dit zijn meestal twee mensen die de redacteur kent. Of nog erger: twee mensen die vrienden zijn van degene die de paper indient.
Reproductie van Data
Een echt peer review zou eigenlijk het reproduceren van die data moeten zijn, dat gaat echter niet. Wanneer je een paper indient zijn daar vele maanden van onderzoek aan vooraf gegaan, dus je kunt dit niet zomaar gaan reproduceren. Dit kost teveel tijd en geld. Het zou wel normaal moeten zijn dat de hoofdexperimenten wel ergens gereproduceerd zouden worden. Want wanneer je een complete paper niet kunt reproduceren ben je eigenlijk met niets concreets, bruikbaars, en tastbaars bezig.
Peer Review
Wat er wel gebeurt is dat de twee peer reviewers kijken naar de paper en vragen om herzieningen en correcties, zodat de paper in de buurt komt van de standaard waaraan het volgens zou moeten voldoen om gepubliceerd te worden. Of ze sturen het meteen terug als ze het onzin vinden, dan wordt het niet gepubliceerd. Hierna krijgt de auteur de kans om het artikel te wijzigen in overeenstemming met wat de recensenten hebben gevraagd. Dan gaat terug naar de redacteur en hij neemt de uiteindelijke beslissing om het wel of niet te publiceren. Aan publicaties kun je niet afleiden of de paper juist is of waarheidsgetrouw is en het geeft geen gewicht aan enig argument.
`Het feit dat een artikel in een wetenschappelijk tijdschrift is gepubliceerd, maakt de beweringen van dat artikel niet geldig of correct.`
Bart Kay
Reproduceerbaarheid van Wetenschappelijke Publicatie
Extreem veel wetenschappelijke publicaties zijn niet reproduceerbaar. Ze hebben veel te snel gepubliceerd en niet gecontroleerd. Ook zitten er mensen bij die hun eigen data fabriceren. We weten dat er een reproductiecrisis is in de wetenschap, dit is er schijnbaar al enkele jaren. Dat betekent dat ongeveer 70% (!) van de gepubliceerde wetenschappelijke artikelen niet door anderen gereproduceerd worden. Het is zelfs zo dat 50% van de artikelen die worden gepubliceerd, door het eigen laboratorium niet kunnen worden gereproduceerd. Er is niet echt een prikkel om te kijken of deze papieren te reproduceren zijn, want dit is te duur en er valt geen faam mee te behalen. Je naam in de wetenschap hangt namelijk samen met publicaties in tijdschriften en ook de hoeveelheid publicaties speelt hierbij een rol. Dit geeft een extreme druk en dit komt niet ten goede van de juistheid van wat een wetenschapper publiceert.
Conclusie
Er kan dus op verschillende fronten gefraudeerd worden in een onderzoek, en ook publicatie zegt niets over de waarheidsgetrouwheid van een paper. Wanneer de discipline wetenschap losgelaten wordt, maar nog wel de titel wetenschap gevoerd wordt, dan komen we op het terrein van wetenschapisme terecht. Alleen maar vertrouwen op een witte jas en holle termen als “uit onderzoek blijkt” maakt van de wetenschap een religie en verheft wetenschappers tot priesters.
Ook het woord consensus, ook al zet je het woord ‘wetenschappelijke’ ervoor is geen empirisch bewijs. Bewijs is de data die tijdens een correct uitgevoerd onderzoek is verzameld. Hiertoe hoort niet de mening van een wetenschapper. Deze mening hoeft namelijk niet op data van onderzoeken gebaseerd te zijn. Alleen het lezen van een uittreksel (abstract) van een onderzoek brengt je ook niet het antwoord, aangezien er een andere conclusie getrokken kan zijn door een wetenschapper dan de data uitwijst. Alleen keiharde data kan je antwoorden geven. Als leek is dit eigenlijk niet te lezen, daar moet je je in verdiepen en in onderwezen worden.
Reacties
Een reactie posten