Deze lezing gaat niet alleen over statistiek, maar vooral ook over de rol die significantietoetsing speelt in de relatie tussen de gegevens die onderzoekers verzamelen en de inhoudelijke ideeën die zij op basis van die gegevens formuleren en/of toetsen. Er zijn indicaties (e.g. Haller & Kraus, 2002) dat onderzoekers de p-waarde veel meer eigenschappen toedichten dan wetenschappelijk gezien verdedigbaar is. Met het oog op recente ontwikkelingen en discussies (in met name de sociale wetenschappen; zie ook het recente themanummer van het Tijdschrift voor Taalbeheersing) ter verbetering van het wetenschappelijk gehalte van het onderzoek, maakt dit de centrale rol die p-waardes spelen in kwantitatief onderzoek tot een significant probleem.
Onderzoekers zien meer in p-waardes dan wat deze waardes daadwerkelijk te bieden hebben. In werkelijkheid biedt de p-waarde in het beste geval zeer oppervlakkige evidentie voor het bestaan van een effect (Kline, 2013). Maar veel onderzoekers geloven in wat Kline (2013) de “Big Five” van misverstanden noemt. Deze vijf misverstanden zijn: 1) De p-waarde is de kans dat de resultaten op toeval berusten; 2) De p-waarde is de kans dat de nul-hypothese ten onrechte verworpen wordt; 3) De p-waarde is de kans dat de nul-hypothese waar is, of; 4) Het complement van de p-waarde (1 minus p) is de kans dat de alternatieve hypothese waar is; 5) Het complement van de p-waarde (1 minus p) is de kans dat in een replicatiestudie een significant resultaat wordt geboekt.
Ik zal aan de hand van taalbeheersingsonderzoek (bijvoorbeeld uit eerdere VIOT-bundels) laten zien dat deze misverstanden ook in taalbeheersingsonderzoek een rol spelen. Daarnaast wil ik in mijn lezing ingaan op wat de p-waarde nu eigenlijk zegt en wil ik nader bespreken waarom deze vijf misverstanden over de p-waarde duidelijk misverstanden zijn.
Literatuur
Haller, H., & Krause, S. (2002). Misinterpretations of Significance. A problem Students Share with Their Teachers? Methods of Psychological Research Online, 7 (1), http://www.mpr-online.de. Kline, R. B. (2013). Beyond Significance Testing. Statistics Reform in the Behavioral Sciences. Washington, DC: American Psychological Association.
