‘Is dit goed?’ Met andere woorden: voldoe ik aan de eisen? Het is een vraag die leerlingen en studenten regelmatig stellen. Om die vraag te beantwoorden heb je besef van kwaliteit nodig, oftewel kwaliteitsbesef (evaluative judgement). Het is een begrip wat vaak voorbij komt als het gaat over bijvoorbeeld formatief handelen. Waarom is kwaliteitsbesef belangrijk? Wat is kwaliteitsbesef precies? Hoe kun je met kwaliteitsbesef aan slag in en rondom je lessen? Dat lees je in dit artikel.
Hoe weet je of iets ‘goed’ is?
Wanneer is het goed? Die vraag beantwoorden is niet zo makkelijk als het lijkt. Soms gaat het namelijk om een mening, zoals smaak. Dit maakt een eenduidig antwoord lastig. Gaat het over ‘feiten’, zoals succescriteria, dan is het lastige dat deze vaak moeilijk te interpreteren zijn door leerlingen en studenten (Rust et al., 2003). Ook zijn deze vaak incompleet, bijvoorbeeld omdat het erg lastig is om er impliciete kennis mee aan te geven (Henderson et al., 2018). Criteria geven daarom vaak niet het hele beeld van ‘wat goed is’.
Dit zien we bijvoorbeeld ook terug bij het beoordelen van werk van leerlingen of studenten door docenten: ondanks ‘heldere criteria’ kunnen er snel verschillende cijfers ontstaan (Bloxham et al. 2016). Als leerling of student krijg je wellicht dus een beoordelingsformulier aangereikt of in ieder geval te horen waar deze staat, maar dat betekent nog niet dat het daarmee duidelijk is ‘wat goed is’.
Bij het ontbreken van de succescriteria laten onderzoeken zien dat meningen trouwens nog verder uit elkaar kunnen liggen. Dit zie je bijvoorbeeld terug bij meta-analyses van docentenvaluaties, zoals studenttevredenheidsonderzoeken (zie bv Falchikov & Goldfinch, 2000; Falchikov & Boud, 1989). Iets is dus beter dan niets!
Waartoe leiden we op?
Specifiek voor het middelbaar beroeps- en hoger onderwijs komt daar ook nog bij dat de samenleving zich snel ontwikkelt. Zo hechten we steeds meer waarde aan evidence-informed werken oftewel op basis van de nieuwste inzichten werken (Beck & Young, 2005) (al is dat lang niet altijd zo evident als het lijkt), het benutten van ’tweedehands kennis’ oftewel het voortbouwen op anderen (Bromme et al., 2010) en het meer interdisciplinair werken (Edwards, 2010).
Het zicht hebben op kwaliteit is dus relevant voor je toekomstige beroep én als het gaat om ‘een leven lang leren’. Het zijn echter ook ontwikkelingen die vragen om meer ‘cognitieve flexibiliteit’ (epistemic fluency & resourcefulness, Markauskaite & Goodyear, 2017). Het maakt het lastiger om ‘kennis voor het leven’ oftewel heldere succescriteria mee te geven tijdens een opleiding.
Dit laatste brengt ook spanning met zich mee als het gaat over het ontwerpen van een curriculum: moet er worden gefocust op een stevige kennisbasis of meer op adaptiviteit of flexibiliteit?
Wat is kwaliteitsbesef precies?
Samengevat, of het nu gaat over het goed uitschrijven van een wiskunde berekening, het begrijpen van bepaalde beroepstaken of het beoordelen van een product of handeling: een duidelijk, gedeeld beeld hebben over wat goed is, is even lastig als waardevol. Succescriteria – in wat voor een vorm dan ook – kunnen helpen dat beeld te krijgen oftewel meer duidelijkheid en eenheid te krijgen over kwaliteit. Hoe zorg je er dan voor dat ze écht meerwaarde krijgen? Hoe zorg je er voor dat leerlingen en studenten weten ‘wat goed is?’. Het vraagt om het werken aan kwaliteitsbesef.
Onder kwaliteitsbesef (evaluative judgement) wordt verstaan: de “capaciteit om de kwaliteit van het eigen werk en dat van anderen te evalueren” (Tai et al. 2017, p5).
Daarbij gaat het over drie soorten evaluatie:
* Harde evaluatie: is iets waar of niet waar?
* Zachte evaluatie: is iets belangrijke of minder belangrijk?
* Dynamische evaluatie: welke stappen neem ik?
Met name dit laatste, het inschatten van de juiste keuze, is moeilijk. Hoe los je een som het beste op? Welke bron is het meest relevant? Of welke stap in de procedure kan ik nu het beste nemen?
Intuïtie vs analyse
Om tot een goede keuze te komen maken we gebruik van intuïtieve keuzes (op de automatische piloot, meer holistisch) of analytische keuzes (meer doordacht, gecontroleerd, trager) (Stanovich & West, 2000). Binnen ons onderwijs zou je er naar willen streven dat leerlingen en studenten vrijwel automatisch de goede keuze maken. Echter, dat wat geautomatiseerd is, is niet altijd het beste.
Zo kun je te maken hebben met ‘de illusie van competentie’ (‘dit gaat mij goed af!’) of het Dunnig-Kruger effect (het onder- dan wel overschatten van jezelf). Een andere belangrijke valkuil hierbij is de ‘vloek van kennis’; ‘dat weten de leerlingen of studenten toch wel?’. Het is over het algemeen lastig je te verplaatsen in een beginner, omdat je niet altijd weet wat je weet (of wat je niet weet). Het is dan ook belangrijk om regelmatig stil te staan bij de meer analytische kant: wat zijn de eisen? welke stappen zijn er ook alweer? etc.
Meer dan beoordelingscriteria
Meer specifiek voor het middelbaar beroeps- en hoger onderwijs komt daarbij dat kwaliteitsbesef niet enkel gaat over criteria bij bijvoorbeeld een verslag, formule of het schrijven van een brief. Ook andere elementen kunnen een rol kunnen spelen bij ‘wat goed is’ (Panadero & Broadbent, 2018):
• De context: met welke doelgroep of omgeving heb ik te maken?
• De standaarden: volgens welke richtlijnen wordt hier gewerkt?
• De kwaliteitseisen: met welke kwaliteitseisen heb ik hier te maken?
Het werken aan kwaliteitsbesef is complex en kost bovenal tijd: door steeds weer met inhoud aan de slag te gaan in verschillende contexten en met verschillende standaarden en eisen krijg je als leerling of student een steeds beter beeld van die kwaliteit. Het maakt dat wederom duidelijk dat leren een proces is, en geen momentopname.
Dit laatst heeft ook implicaties voor de inrichting van toetsprogramma en didactiek, of breder dan dat de inrichting van je hele curriculum. Welke gevolgen heeft het precies? Oftewel hoe kun je bij het ontwerpen van je curriculum en het geven van je lessen rekening houden met kwaliteitsbesef?
Werken aan kwaliteitsbesef
Het werken aan kwaliteitsbesef vraagt om activiteiten die leerlingen en studenten helpen om meer expliciete én impliciete kennis te krijgen (Henderson et al., 2018). Zo is het belangrijk om meerdere en diverse kansen te bieden om besef van kwaliteit te krijgen, bijvoorbeeld door een element uit de geschiedenis in verschillende tijdvakken te bespreken, een berekening meerdere keren te laten toepassen of een dialoog verschillende keren te oefenen.
Met name om aan de impliciete kennis te werken, is het vervolgens belangrijk dat er hierbij sterk wordt ingezet op de dialoog: sta met leerlingen of studenten bewust stil bij wat wordt geleerd of laat hen dat gesprek met elkaar voeren (Carless et al., 2016). Zo wordt er stap voor stap gewerkt aan diep leren (Kember, 1997):
Het werken aan kwaliteitsbesef vraagt dat we als docenten geen poortwachter zijn van de eisen (‘ik laat de rubric niet zien, dan gaan ze het nadoen’), maar er voor zorgen dat leerlingen en studenten deze eigen maken. Dus geen focus op determineren, maar op leren.
Kwaliteitsbesef in het curriculum
Het werken aan kwaliteitsbesef vraagt om voldoende leerruimte in het curriculum (Boud & Soler, 2016). Het grootste struikelblok daarbij is vaak de hardnekkige ’to-do lijst’ van docenten: de grote hoeveelheid kennis en vaardigheden die we leerlingen en studenten eigen willen laten maken en/of de grote hoeveelheid summatieve toetsen. Vaak zitten curricula ontzettend vol met doelen en toetsing, wat er voor zorgt dat er relatief weinig ruimte is voor waardevolle activiteiten.
Daarnaast zijn curricula ook vaak gefragmenteerd in tegenstelling tot een meer holistisch, samenhangend programma: een curriculum bestaat al snel uit losse activiteiten of vakken (eilanden) die weinig onderlinge afstemming kennen. Zeker in het hoger onderwijs, waar integratie des te meer logisch en wenselijk is, zie je vaak losse eilanden. Dit zorgt al snel voor tunnelvisie, gaten en dubbelingen (Ellis, 2018). Daarnaast speelt bij dit laatste onderwijs dat studenten door het jaar heen veel verschillende docenten kortstondig zien, waardoor er geen doorlopende binding is en begeleiding is. Dit maakt het zicht hebben op kwaliteitsbesef lastiger.
‘whole-of-degree’ curriculum
Kwaliteitsbesef vraagt om een ‘whole-of-degree’ curriculum: een curriculum dat goed (vakoverstijgend/interdisciplinair) op elkaar is afgestemd – dat één geheel vormt. Vervolgens vraagt het daarbinnen om een heldere afstemming van de doelen, toetsing en leeractiviteiten (constructieve afstemming (Biggs & Tang, 2011)).
Een manier om dit te bereiken is door het curriculum als een spiraal: dezelfde kennis, vaardigheden en attitude komen steeds op een hoger niveau aan bod. Zo’n spiraalcurriculum biedt de nodige herhaling en wisselingen van contexten om steeds meer kwaliteitsbesef te krijgen (Harden & Stamper, 1999). Het is binnen zo’n curriculum dat je kunt spreken van een ‘Rigorous curriculum’ – een curriculum dat niet enkele platte kennis of vaardigheden aanleert, maar je thuis maakt in denken en handelen als een vakman(vrouw). Concreet: het leert je niet alleen de geschiedkundige feiten, maar helpt om standplaatsgebondenheid te ontwikkelen. Of: het leert je niet alleen de theorie van een goed gesprek, maar helpt om te denken als een psycholoog.
Kwaliteitsbesef in het toetsprogramma
Als het gaat om toetsing, is het belangrijk om de focus te leggen op kwaliteitsbesef in plaats van cijfers (Price et al., 2008): beheerst een leerling het doel of de student de leeruitkomsten? Zie toetsing dus als middel om dat vast te stellen en niet als doel, waarbij het afvinken van cijfers vooraan komt te staan. Een manier van toetsing die daarbij waardevol kan zijn om nader te onderzoeken is programmatisch toetsen, waarbij meer holistisch wordt vastgesteld of de lerende de leerresultaten eigen hebben gemaakt.
Het zou moeten zijn dat leerlingen en studenten leren. Daarbij is het waardevol om succescriteria te delen; dit heeft een positief op het leren (Panadero & Jonsson, 2013). Uitspraken als ‘dit vind je in de digitale omgeving (of het boek)’ of erger nog: ‘die delen we niet want dan gaan ze het nadoen’ (een bekende misvatting met name in het hoger onderwijs) zijn dus niet voldoende of werken zelfs averechts.
Voor leerlingen en studenten is het essentieel om te weten waar zij naartoe werken en dat zij geholpen worden daar te komen. Dit zorgt voor dieper leren. Dit vraagt enerzijds om het waardevol inzetten van instrumenten (zoals een rubric waardevol inzetten) om dit duidelijk te maken. Anderzijds – en vooral – vraagt het om dialoog: het interpreteren van succescriteria, en daar actie op zetten, is lastiger dan docenten vaak denken (Rust et al., 2003; Winstone et al., 2013).
Kwaliteitsbesef in de les (didactiek)
Het is cruciaal om doorlopend bezig te zijn met ‘samen lezen en doen’: help leerlingen en studenten criteria te bekijken en eigen te maken, een belangrijk onderdeel van formatief handelen. Door samen doorlopend bezig te zijn met activiteiten als peerfeedback, zelfevaluatie en het bespreken van uitgewerkte voorbeelden, leren leerlingen en studenten steeds beter van oppervlakkige structuren (basale kennis), naar diepe structuren (‘goede formule’), naar impliciete kernwaarden (‘goede wiskundige’) te gaan (Schulman, 2015).
Daarbij is het belangrijk om actief in te zetten op scaffolding (Clark et al., 2005): over het algemeen zijn beginnende leerlingen en studenten meer gebaat bij meer analytische rubrics, daar waar meer gevorderde gebaat zijn bij meer holistische rubrics, zoals de rubric van één. Maak dit concreet door bijvoorbeeld eerst meer met de eerste rubric te werken en daarna met de tweede en/of bied hierin keuze (dat werkt ook nog eens motiverend). Zo kunnen leerlingen en studenten stap voor stap meer zelfregulerend aan de slag (zie figuur 3).
Verschillende werkvormen
Meer concreet werkt het om aan de slag te zijn met peerfeedback, zelfevaluatie, het maken en bespreken van rubrics, het bespreken van uitgewerkte voorbeelden en uiteraard het geven van krachtige feedback. Meer voorbeelden en nadere uitwerkingen kun je vinden in dit artikel met 5 manieren om te werken aan kwaliteitsbesef.
Veel plezier en succes met het werken aan kwaliteitsbesef!
Biggs, J., & Tang, C. (2011). Teaching for Quality Learning at University. Maidenhead, UK: Open University Press.
Beck, J., and M. F. D. Young, 2005. “The assault on the professions and the restructuring of academic and professional identities: a Bernsteinian analysis.” British Journal of Sociology of Education 26 (2): 183–197
Bloxham, S., B. den-Outer, J. Hudson, and M. Price. 2016. “Let’s stop the pretence of consistent marking: exploring the multiple limitations of assessment criteria.” Assessment &; Evaluation in Higher Education 41 (3): 466–481. doi:10.1080/02602938.2015.1024607
Broadbent, J., E. Panadero, and D. Boud. 2018. “Implementing summative assessment with a formative flavour: a case study in a large class.” Assessment & Evaluation in Higher Education 43 (2): 307–322. doi:10.1080/02602938.2017.1343455
Bromme, R., D. Kienhues, and T. Porsch. 2010. “Who knows what and who can we believe? Epistemological beliefs are beliefs about knowledge (mostly) to be attained from others.” In Personal Epistemology in the Classroom, edited by L. D. Bendixen and F. C. Haerle, 163–193. Cambridge, UK: Cambridge University Press
Carless, D., and K. K. H. Chan. 2016. “Managing dialogic use of exemplars.” Assessment & Evaluation in Higher Education 42 (6): 930–941. doi:10.1080/02602938.2016.1211246.
Edwards, A. 2010. Being an Expert Professional Practitioner: The Relational Turn in Expertise. Dordrecht, The Netherlands: Springer.
Falchikov, N., & Boud, D. (1989). Student self-assessment in higher education: A meta-analysis. Review of Educational Research, 59(4), 395–430. https://doi.org/10.2307/1170205
Falchikov, N., & Goldfinch, J. (2000). Student peer assessment in higher education: A meta-analysis comparing peer and teacher marks. Review of Educational Research, 70(3), 287–322. https://doi.org/10.2307/1170785
Harden, R. M., & Stamper, N. (1999). What is a spiral curriculum? Medical Teacher, 21, 141-143. doi:10.1080/01421599979752
Higgins, E. T., Friedman, R., Harlow, R. E., Idson, L. C., Ayduk, O. N., & Taylor, A. (2001). Achievement Orientations from Subjective Histories of Success: Promotion Pride versus Prevention Pride. European Journal of Social Psychology, 31(1), 3-23.
Nicol, D., A. Thomson, and C. Breslin. 2014. “Rethinking feedback practices in higher education: a peer review perspective.” Assessment & Evaluation in Higher Education 39 (1): 102–122. doi:10.1080/02602938.2013.795518.
Markauskaite, L., and P. Goodyear. 2014. “Professional work and knowledge.” In International Handbook of Research in Professional and Practice-based Learning, edited by S. Billett, C. Harteis, and H. Gruber, 79–106. Dordrecht, The Netherlands: Springer
Rust, C., M. Price, and B. O’Donovan. 2003. “Improving students’ learning by developing their understanding of assessment criteria and processes.” Assessment & Evaluation in Higher Education 28 (2): 147–164.
Stanovich, K. E., and K. R. F. West. 2000. “Individual differences in reasoning: implications for the rationality debate?” Behavioral and Brain Sciences 23: 645–726
Tai, J., R. Ajjawi, D. Boud, P. Dawson, and E. Panadero. 2017. “Developing evaluative judgement: enabling students to make decisions about the quality of work.” Higher Education. doi:10.1007/s10734–017–0220–3
Mede-oprichter van Vernieuwenderwijs. Daarvoor onderwijskundige in het hoger onderwijs en leraar geschiedenis en maatschappijleer in het voortgezet onderwijs. Praat graag over en is graag bezig met: didactiek, curriculumontwerp, toetsing, leren leren en veranderkunde. Actieve ontwikkelaar, onderzoeker en spreker.
de verwijzing naar Rust et al 2013 en henderson et al 2018, welk literatuur is dat? ik zie deze niet terug in de bronnenlijst?