Wat betekent ‘statistisch significant’?
Als het over onderzoeksresultaten gaat, wordt de term ‘statistisch significant’ vaak gebruikt. Maar wat betekent dat eigenlijk?
De term ‘statistisch significant’ geeft aan dat een onderzoeksresultaat niet simpelweg toe te schrijven is aan toeval.
Als onderzoekers bijvoorbeeld een geneesmiddel willen testen, doen ze dat meestal op een groep mensen die ze vergelijken met een controlegroep die een nepmedicijn krijgt, een placebo.
Vooraf is een zogeheten p-waarde bepaald, die aangeeft hoe waarschijnlijk het is dat het verschil tussen de twee groepen niet toe te schrijven is aan toeval.
Na de proef stellen de onderzoekers zich de vraag: wat is de kans dat het waargenomen verschil – of een groter verschil – tussen de groepen zou optreden als beide groepen een placebo hadden gekregen? Als deze kans kleiner is dan de p-waarde, is het verschil ‘statistisch significant’.
Dit hoeft niet te betekenen dat het geneesmiddel daadwerkelijk een groot effect heeft, maar alleen dat het zo lijkt te zijn volgens het onderzoek.
Kaaseters stikken in hun beddengoed
Onderzoekers kunnen de zekerheidsmarge van de resultaten vergroten door de groepen proefpersonen groter te maken. Maar dan is het moeilijker te voorkomen dat externe factoren een rol gaan spelen.
In zeer grote hoeveelheden gegevens kun je statistische verbanden vinden tussen dingen die logischerwijs niets met elkaar te maken hebben. In de VS is er bijvoorbeeld een correlatie tussen de ontwikkeling in de kaasconsumptie van de bevolking en het aantal mensen dat sterft doordat ze verstrikt raken in hun beddengoed.
5 procent is de meest voorkomende p-waarde in onderzoeken. Dit betekent dat er niet meer dan 5 procent kans mag zijn dat de resultaten aan toeval te wijten zijn.
