‘M = Man (kan ook zijn: Moeder); V = Vrouw (kan ook zijn: Vader)’ – Tussen ponskaart en voorpaginanieuws

M = Man (kan ook zijn: Moeder); V = Vrouw (kan ook zijn: Vader)’ biedt een doorkijkje in de keuken van grootschalige dataverzameling en bijbehorende statistiek. In hoeverre liggen miscommunicatie, meet-, kodeer-, pons- en tikfouten, de handling van missings en ongelukkige datatransformaties unintended en unconscious ten grondslag aan op het eerste oog baanbrekende inzichten? Worden de eigenaardigheden van de moderne onderzoekstechnologie onverhoeds tot verklarende factor met bewezen significantie? En worden vervolgens uit correlaties ondoordacht conclusies getrokken van het type oorzaak-gevolg, liefst ook nog met een bij de naïeve verwachtingen van de auteur passende verklaringsrichting?
Wat te doen als collega X nachtenlang heeft zitten ploeteren op de moeilijk te interpreteren analyseresultaten van een bij nader inzien verkeerd genummerde serie variabelen en de uitkomsten moeizaam, maar fantasierijk van interpretaties heeft voorzien terwijl het budget voor het project intussen al ruim is overschreden? Shit happens.
Onthullingen en bekentenissen dus dit keer tussen ponskaart en voorpaginanieuws. Een voorwaar gedurfd ondernemen! Hou u vast.
Standaard weten ouders uit de wake middle class, vaak geïnformeerd door een soort reclamefolders van hun school, dat die school betere resultaten haalt dan een school verderop. Ze wordt ‘daarom’ ook bezocht door ‘beter’ publiek. Dat na statistische correctie voor dat publiek de resultaten van hun voorkeursschool juist tegenvallen en die van de school verderop misschien wel boven verwachting zijn, dat ontgaat niet alleen alle betrokkenen maar ook de wetenschappelijk ingezette computer, tenzij die voldoende slim wordt geïnstrueerd.
De schooldirecteur die in een eerdere schriftelijke vragenlijst aangaf dat hij in zijn formatie ruimte maakt voor ‘een fulltime remedial teacher’, blijkt bij navraag te doelen op ‘een collegaatje’ met zwangerschapsverlof die na haar daarop volgende ouderschapsverlof een cursus wil gaan volgen richting dat specialisme. Een schoolleider verderop vulde juist in ‘nul uren voor remedial teaching’ te reserveren. Bij navraag blijkt zijn gepensioneerde voorganger nog dagelijks op school alle leerlingen apart te nemen die om extra aandacht verlegen zitten. Zo raakt de effectiviteit van remedial teaching onderschat, zo niet compleet zoek.
De leerkracht die er naar eigen invulling ‘systematisch een extra schepje bovenop legt’ blijkt daarmee te doelen op enkele vermeend hoogbegaafden in haar klas; dat ze juist bij veel van de overige leerlingen ‘gas terug neemt’ blijkt pas als daar ook naar wordt gevraagd. Mocht die leerkracht haar talentvermoedens afleiden uit de opleiding van de ouders dan zal het statistiekprogramma tot rare conclusies komen. De door haar gepraktiseerde ‘interne differentiatie’  voegt via de school extra sociale ongelijkheid (‘variantie’) toe. Statistisch wordt die extra ongelijkheid vervolgens toegeschreven aan de ouders, tenzij die leerkracht  zelf ook in het analysemodel figureert en de verwachtingen ook nog per leerling zijn uitgesplitst.
Dat bovenstaande school waarschijnlijk opmerkelijk effectief is voor de toch al kansrijken en opmerkelijk ineffectief voor de kansarmen, dat dreigt in eeuwigheid geheim te blijven: die twee effecten heffen elkaar bij een analyse op schoolniveau min of meer op. Sterker nog: zijn er veel zulke scholen in de steekproef, dan dreigt de statistiek uit te wijzen dat er nauwelijks opmerkelijke schoolverschillen bestaan. Verwachtingen (b)lijken er dan niet of nauwelijks toe te doen.
Probeer voor uzelf te bedenken waarom het statistiekprogramma concludeert dat het bezit van een open haard significant bevorderlijk is voor het schoolsucces van uw kroost. En denk kritisch mee over de these dat aanvullend ingekochte ondersteuning (‘schaduwonderwijs’) bij de belangrijkste doelgroep (de toch al kansrijken) misschien wel weinig effect heeft (dat is al rijk gevuld). En waarom het ook weinig effect heeft bij de kansarmen zolang die het zich niet kunnen permitteren.  Zou het kunnen dat onder bepaalde voorwaarden schaduwonderwijs juist wel kan helpen om gelijkere kansen te creëren? Teken eerst een verklaringsmodel voor u het werkelijke effect nader gaat onderzoeken.
Nu hij met pensioen is, dacht de auteur een boekje open te gaan doen. Oud-collega’s houden hun hart vast: “Laat dat nou maar even zitten, man“.
(herzien jan2022)

Terug naar het publicatie overzicht