Evidence-informed & de complexiteit van ‘wat werkt’

Hoe zorg je voor goed onderwijs? Daar over zijn de meningen verdeeld. Gelukkig maar, want het houdt het gesprek erover scherp. Wel is er over het algemeen één consensus: dat we dingen doen waarvan we ‘weten dat ze werken’, waarbij onderzoek vaak een van de belangrijkste bronnen is. ‘Wat werkt’ er dan? Dat is vaak complexer dan we denken.

Evidence-informed

Mogen we experimenteren met leerlingen en studenten? Een algemene consensus is dat dat niet zou moeten mogen. Dat klinkt niet onlogisch: onderwijs kan erg bepalend zijn voor je levensloop en dus vraagt het, net als het opereren van iemand, om het maken van weloverwogen keuzes. Zo wordt opereren gedaan volgens strikte protocollen en handelingen, voortkomend uit ervaringen en vooral onderzoeken. Kijkend naar onderwijs klinkt het niet onlogisch om het met dezelfde intentie te benaderen: we willen immers het beste voor onze leerlingen en studenten.

Anders dan bij opereren heb je in het onderwijs echter wel met een grotere complexiteit te maken. Dit maakt het moeilijker ‘evidence-based’ onderwijs vorm te geven, maar toch zeker wel ‘evidence-informed’. Dus onderwijs wat is gestoeld op bewijs. Met bewijs wordt daarbij over het algemeen gedoeld op onderzoeken over leren oftewel de cognitieve psychologie. Doen ‘wat werkt’ dus. Het lijkt evident en daarom ook niet voor niets dat ‘evidence-informed lesgeven’ een veelvoorkomend credo is geworden.

Zo straight-forward als het lijkt is het echter niet. Sterker nog, het leidt soms tot een zwart-wit discussie die het onderwijs eerder kwaad dan goed doet. Hieronder, met dank aan inspiratie van Pedro de Bruyckere, vier voorbeelden van de complexiteit van onderzoek over leren.

1. Van mug tot olifant

‘Uit onderzoek bijkt dat methode X zorgt voor betere leerprestaties’. Is iets uit onderzoeken noemenswaardig, dan gaat het vaak over iets dat significant is. Significant wil zeggen: er is een verschil van 5% of meer en het is geen toeval. Meer dan eens gaat het bij onderzoeken nét om die 5%. Om het concreet te maken: leerlingen scoren gemiddeld een 6.8 in plaats van een 6.3, in dat onderzoek, vaak met alle omstandigheden (doelgroep, docentengedrag, etc) van dien. Als uit onderzoek blijk dat iets beter werkt, weet dan dat het verschil vaak relatief klein is én gebonden is aan een context. Maak van een mug dus geen olifant: het ei van columbus voor leren is niet zomaar gevonden.

2. Publicatiebias

Welke onderzoeken worden gepubliceerd? Onderzoeken die significante verschillen aantonen. Welke onderzoeken dus niet? Onderzoeken die geen verschil aantonen. Oftewel: een nieuwe methode met hetzelfde resultaat als een al bestaande methode, is vaak geen publicatie waard. Dit maakt dat veel nuttige informatie niet het publicatiedaglicht ziet. Het feit dat iets niet uit onderzoek naar voren komt, maakt dus niet dat het niet zo is: het kan simpelweg zo zijn dat het niet uitzonderlijk genoeg is, maar nog steeds erg goed.

3. Replicatiecrisis

Veel onderzoek rondom leren komt voort uit de jaren ’60 en ’70 van de vorige eeuw. Denk bijvoorbeeld aan veel onderzoeken naar het geheugen (de basis voor leerstrategieën als retrieval practice of spaced practice), maar ook onderzoeken naar motivatie. Het is dan ook meer dan eens dat veel onderzoeken die worden aangehaald ter onderbouwing van evidence-informed lesgeven, voortkomen uit die tijd. Wat blijkt echter sinds ±2011? Dat veel onderzoeken (overigens ook buiten het onderwijsveld) niet repliceren (nagedaan kunnen worden met dezelfde resultaten). Dit komt veelal door twee redenen. Reden één is dat de methode regelmatig niet duidelijk is omschreven, waardoor niet precies bekend is hoe het onderzoek is gedaan en het dus niet kan worden nagebootst.

Reden twee is dat het wel kan worden nagebootst, maar simpelweg niet dezelfde uitslag geeft (zie Figuur 1: de rondjes waren de oorspronkelijke onderzoeken en effecten, de driehoekjes de meer recente onderzoeken en effecten). Waarom geeft het niet dezelfde uitslag? Daar zijn verschillende redenen voor te noemen en bedenken (fraude, fouten, etc). Een interessant boek om hierover te lezen is Science Fictions (Ritchie, 2020).

Een voorbeeld is de bekende marshmallow-test. Het oorspronkelijke onderzoek uit 1970 (Mischel & Ebbesen) toonde aan dat kinderen die in staat waren om de verleiding van het meteen opeten van de marshmallow te weerstaan (met in het vooruitzicht een extra marshmallow) in de toekomst meer studiesucces hadden. Niet allean dat: ze waren welvarender, hadden een betere BMI en zo nog wat dingen. Oftewel: executieve functies zijn erg bepalend voor levenssucces. Waarom laten we dan niet alle leerlingen zo’n test ondergaan? Omdat bij replicatie-onderzoek bleek dat bij het oorspronkelijke onderzoek vooral kinderen uit betere milieus deelnamen, en dat precies die achtergrond voorspelend was en niet zozeer het uitstellen van de beloning. Een ander soort correlatie dus.

4. Complexiteit

Uit recent onderzoek komt naar voren dat het bewust werken aan een growth mindset van leerlingen mogelijk een negatief effect heeft op de leerprestaties (Ganimian, 2020). Het was niet lang daarvoor dat er al uit onderzoek naar voren kwam dat er geen positief effect meetbaar is (Sisk et al., 2018). Kortom: tijd om te stoppen investeren in een growth mindset bij leerlingen, toch? Mwa, het is complexer dan het lijkt.

Wat blijkt uit de genoemde onderzoeken? Het werken aan een growth mindset heeft over het algemeen geen effect: het blijkt een positief effect te hebben op jongere leerlingen met lage een sociaal-economische achtergrond en een negatief effect te hebben oudere leerlingen met een hogere sociaal-economische achtergrond. Dit laatste is nog niet verklaard, maar een vermoeden is dat het ‘beledigend’ voor dergelijke leerlingen kan overkomen om actief te werken aan een growth mindset (‘denk je dat ik dom ben?’). Uit meta-analyses komen juist veelal positieve resultaten naar voren. Kortom: de uitslag van een onderzoek is vaak complexer dan het in de eerste instantie lijkt.

Van onderzoek naar meta-analyse

Wat helpt om onderzoek te staven met ‘wat werkt’? Een goed begin is het kijken naar meta-analyses: vergelijkend onderzoek waarbij data uit verschillende vergelijkbare onderzoeken met elkaar wordt vergeleken om tot meer gefundeerde uitspraken te komen. Op deze manier wordt bijvoorbeeld de kans op toevalligheden verkleind en kan er meer context-overstijgend worden gekeken. Dit maakt meta-analyses vaak erg nuttig. Het is op basis van meta-analyses dat we bijvoorbeeld overtuigend kunnen zeggen dat het test-effect (retrieval practice) een erg krachtige manier van leren is.

Meta-analyses zijn overigens niet altijd zaligmakend; zo is een bekend voorbeeld de visible learning meta-analyse van John Hattie, waarbij een ranking is gemaakt op basis van data die niet altijd 1:1 met elkaar te vergelijken is. Dit is echter wel een uitzonderlijk grote en brede meta-analyse.

Het belang van nuance

Wat werkt nu het beste? Genuanceerd zijn. Onderzoek is ontzettend complex en ‘evidence-informed’ is dus zeker niet zo straight-forward als het soms lijkt. Natuurlijk weten we door veel replicaties en meta-analyses dat bepaalde interventies zoals leerstof stap voor stap uitleggen een erg krachtige manier van leren is en dus kunnen we met zekerheid zetten dat het nuttige is hier als docent op in te zetten.

Het gebeurt echter ook dat vanuit diezelfde overtuiging wordt gezegd dat het inzetten op de growth mindset nutteloos (terwijl dit dus anders ligt) is of dat het werken aan executieve functies niet mogelijk is omdat er geen bewijs voor is (Jacob & Parkinson, 2015), wat niet zegt dat het niet kan. Het zijn dergelijke soort zwart-wit uitspraken die iedere vorm van nuance verloren laten gaan, terwijl dit juist zo belangrijk is: de ene context is immers de ander niet. En misschien nog wel belangrijker: in hoeverre kun en wil je alles meten? En als het niet gemeten is, ben je dan aan het experimenteren?

Team grijs

Evidence-informed lesgeven is complex. Laten we bij het lesgeven veel waarde blijven hechten aan onderzoek(!), maar het er niet toe reduceren: daarmee doe je jezelf en je leerlingen/studenten te kort. Laten we vooral genuanceerd blijven onderzoeken ‘wat werkt’, wat vraagt om een dialoog ipv van monoloog. Geen (soms bijna radicaal) zwart of wit, maar team grijs.