Van analytisch naar holistisch: 7 vraagtukken en overwegingen

Beoordelen jullie het product of de student? In hoeverre bieden de leeruitkomsten voldoende leerruimte? En wil je eigenlijk wel werken met succescriteria? Binnen het hoger onderwijs leiden we op tot beroepsbekwame professionals. Een belangrijk vraagstuk daarbij is in hoeverre je analytisch of juist holistisch beoordeeld. Op verschillende onderdelen in het curriculum kun je ontwerpkeuzes maken die veel invloed hebben op de ruimte die docenten en studenten hebben in het leer- en beoordelingsproces. Waarom zijn die keuzes bepalend? Welke keuzes zijn dat dan? Daarover meer in dit artikel aan de hand van 7 vraagstukken en overwegingen.

Analytisch vs holistisch

Wat is het verschil tussen analytisch en holistisch? De termen refereren ten eerste naar de mate waarin er afzonderlijk naar aspecten wordt gekeken. Bij vooral analytisch beoordelen worden losse onderdelen afzonderlijk beoordeeld. Dit kan bijvoorbeeld gaan over een beoordeling per leeruitkomst, per succescriterium of per deelaspect daarvan, zoals de mechanica, grammatica of stijl. Je kunt dus op verschillende lagen meer of minder analytisch beoordelen. Bij meer holistisch beoordelen wordt een algehele beoordeling gemaakt, waarbij alle leeruitkomsten, criteria of onderdelen tegelijkertijd worden overwogen. Zo kun je dus ook op verschillende lagen in meer of mindere mate holistisch beoordelen.

Ten tweede refereren de termen naar wélke aspecten er wordt gekeken. Bij een voornamelijk analytische beoordeling staan concrete, vooropgestelde criteria centraal. Dit kan bijvoorbeeld gaan over succescriteria, eventueel verder geconcretiseerd in een rubric met 4 niveaus. Bij een meer holistische beoordeling wordt gekeken naar de gehele ontwikkeling van de student. Dit gaat doorgaans over de leeruitkomsten in het geheel, waarbij de manier van formuleren ook ruimte laat om daar (in)directe, maar wel betekenisvolle aspecten bij te betrekken.

Je kunt dus niet concreet spreken over analytisch of holistisch beoordelen. Het gaat dus niet om de keuze om te kiezen voor formatief handelen of programmatisch toetsen. Het gaat om een spectrum. Waar je je als opleiding of team op het spectrum begeeft, hangt af van de keuzes die je maakt op verschillende onderdelen in het curriculum. Waarom je die keuzes maakt, hangt samen met de keuzeruimte die je hebt vanuit het landelijk opleidingsprofiel (LOP), de context waartoe je opleidt en de visie die je hebt. In dit artikel daarom eerst een aantal vraagstukken waar je bij stil kunt staan. Vervolgens delen we een aantal overwegingen voor het curriculumontwerp.

Vraagstukken over leren en valideren

Het één is niet beter dan het ander. Soms vraagt een competentie, leeruitkomst of onderdeel, om een meer analytische blik. Bijvoorbeeld een specifieke medische handeling die je gewoon 100% foutloos moet kunnen uitvoeren. Soms vraagt een competentie, leeruitkomst of onderdeel juist om een meer holistische blik. Bijvoorbeeld omdat er verschillende onderdelen sterk geïntegreerd aan bod komen. Of omdat er simpelweg veel verschillende keuzes zijn op inhoud of de manier waarop die kan worden aangetoond.

Wel ervaren we dat er over het algemeen een ‘meer holistische blik’ wenselijk is om te komen tot een meer betekenisvol leerproces en valide beoordelingen en beslissingen. Hieronder daarom 3 vraagstukken om bij stil te staan.

1. Validiteit van de beslissing

Hoe kun je zorgen voor een valide beslissing over of studenten in voldoende mate beroepsbekwaam zijn, of in de jaren daarvoor de leeruitkomsten (competenties) beheersen? Op het moment dat je tijdens de opleiding een zwaarwegende beslissing neemt, zoals het toekennen van studiepunten, dan wil je dit zo weloverwogen mogelijk doen. Dit vraagt in het hoger beroepsonderwijs doorlopend om een intergratie van verschillende kennis, vaardigheden en attitude (Jönsson et al, 2021). Daarbij zijn deze aspecten in ons brein ook context gebonden, wat maakt dat je ze bij voorkeur in verschillende situaties naar voren haalt.

Al hoewel je in het leerproces onderdelen los wilt aanleren, wil je bij de uiteindelijke beslissing juist wel kijken naar integratie van de onderdelen. En het liefst in verschillende contexten. Het is met andere woorden niet wenselijk een zwaarwegende beslissing te nemen over, of op basis van, losse onderdelen. Dit ook omdat je zo wellicht appels met peren gaat vergelijken als het om de uiteindelijke praktijk gaat.

2. Validiteit van de beoordeling

Hoe kun je zorgen voor een valide beoordeling over of studenten in voldoende mate competenties oftewel leeruitkomsten, of onderdelen daarvan beheersen? Als je wilt meten wat je wilt weten, dan wil je dit zo doordacht mogelijk doen. Enerzijds wil je daarom tijdens de opleiding in toenemende maten divergente, oftewel open taken bieden, waarbij verschillende aspecten met elkaar worden geïntegreerd. Dit zorgt voor meer waarheidsgetrouwe situaties én meer ruimte om een student passende feedback te geven over zijn of haar leerproces. Het legt meer bloot wat hij of zij wel of niet kan. Bepalend daarbij is de basis waarop de feedback wordt gegeven: is het kader de leeruitkomst of slechts delen ervan, zoals de succescriteria?

Twee problemen met vooraf vastgestelde succescriteria zijn dat deze vaak 1) zijn verzonnen (zeker in het geval van een rubric met 4 niveaus) en 2) slechts de focus leggen op enkele aspecten, wat zowel de student als beoordelaar kan beperken (zie figuur 2). Dit laatste zou je zelf een contradictie kunnen noemen bij de gewenste divergente taken. Dit omdat je vervolgens alsnog maar beperkt betekenisvolle feedback kunt geven. Of zoals Sadler (2009) het mooi duidt:

“𝘈 𝘬𝘦𝘺 𝘭𝘪𝘮𝘪𝘵𝘢𝘵𝘪𝘰𝘯 𝘰𝘧 𝘱𝘳𝘦𝘴𝘦𝘵 𝘤𝘳𝘪𝘵𝘦𝘳𝘪𝘢 𝘪𝘴 𝘵𝘩𝘢𝘵 𝘴𝘶𝘤𝘩 𝘤𝘳𝘪𝘵𝘦𝘳𝘪𝘢 (𝘢𝘭𝘰𝘯𝘨𝘴𝘪𝘥𝘦 𝘵𝘩𝘦 𝘸𝘦𝘪𝘨𝘩𝘵𝘪𝘯𝘨𝘴 𝘤𝘰𝘮𝘮𝘰𝘯𝘭𝘺 𝘢𝘱𝘱𝘭𝘪𝘦𝘥 𝘵𝘰 𝘵𝘩𝘦𝘮) 𝘤𝘢𝘯𝘯𝘰𝘵 𝘢𝘱𝘱𝘭𝘺 𝘪𝘯 𝘵𝘩𝘦 𝘴𝘢𝘮𝘦 𝘸𝘢𝘺 𝘵𝘰 𝘦𝘢𝘤𝘩 𝘪𝘯𝘥𝘪𝘷𝘪𝘥𝘶𝘢𝘭 𝘸𝘰𝘳𝘬, 𝘱𝘳𝘦𝘤𝘪𝘴𝘦𝘭𝘺 𝘣𝘦𝘤𝘢𝘶𝘴𝘦 𝘵𝘩𝘦 𝘸𝘰𝘳𝘬𝘴 𝘢𝘳𝘦 𝘵𝘩𝘦𝘮𝘴𝘦𝘭𝘷𝘦𝘴 𝘥𝘪𝘷𝘦𝘳𝘨𝘦𝘯𝘵 𝘧𝘳𝘰𝘮 𝘰𝘯𝘦 𝘢𝘯𝘰𝘵𝘩𝘦𝘳. (…), 𝘵𝘩𝘦 𝘦𝘹𝘢𝘤𝘵 𝘮𝘪𝘹 𝘰𝘧 𝘤𝘳𝘪𝘵𝘦𝘳𝘪𝘢 𝘳𝘦𝘭𝘦𝘷𝘢𝘯𝘵 𝘵𝘰 𝘦𝘢𝘤𝘩 𝘢𝘴𝘴𝘦𝘴𝘴𝘮𝘦𝘯𝘵 𝘰𝘧 𝘴𝘵𝘶𝘥𝘦𝘯𝘵𝘴’ 𝘳𝘦𝘴𝘱𝘰𝘯𝘴𝘦𝘴 𝘸𝘪𝘭𝘭 𝘥𝘪𝘧𝘧𝘦𝘳, 𝘢𝘯𝘥 𝘳𝘦𝘭𝘦𝘷𝘢𝘯𝘵 𝘦𝘹𝘱𝘳𝘦𝘴𝘴𝘪𝘰𝘯𝘴 𝘰𝘧 𝘤𝘳𝘪𝘵𝘦𝘳𝘪𝘢 𝘮𝘢𝘺 𝘵𝘩𝘦𝘳𝘦𝘧𝘰𝘳𝘦 𝘦𝘮𝘦𝘳𝘨𝘦 𝘥𝘶𝘳𝘪𝘯𝘨 𝘵𝘩𝘦 𝘢𝘴𝘴𝘦𝘴𝘴𝘮𝘦𝘯𝘵 𝘦𝘷𝘦𝘯𝘵 𝘪𝘯 𝘸𝘢𝘺𝘴 𝘵𝘩𝘢𝘵 𝘢𝘳𝘦 𝘯𝘰𝘵 𝘧𝘶𝘭𝘭𝘺 𝘱𝘳𝘦𝘥𝘪𝘤𝘵𝘢𝘣𝘭𝘦 𝘣𝘺 𝘵𝘩𝘦 𝘢𝘴𝘴𝘦𝘴𝘴𝘰𝘳. 𝘛𝘩𝘪𝘴 𝘪𝘴𝘴𝘶𝘦 𝘭𝘪𝘬𝘦𝘸𝘪𝘴𝘦 𝘮𝘢𝘯𝘪𝘧𝘦𝘴𝘵𝘴 𝘪𝘯 𝘵𝘩𝘦 𝘴𝘦𝘭𝘦𝘤𝘵𝘪𝘰𝘯 𝘰𝘧 𝘱𝘳𝘦𝘴𝘦𝘵 𝘤𝘳𝘪𝘵𝘦𝘳𝘪𝘢 𝘧𝘰𝘳 𝘢𝘳𝘵𝘦𝘧𝘢𝘤𝘵𝘴 𝘴𝘶𝘤𝘩 𝘢𝘴 𝘳𝘶𝘣𝘳𝘪𝘤𝘴, 𝘴𝘪𝘯𝘤𝘦 𝘵𝘩𝘦 𝘧𝘰𝘳𝘮𝘶𝘭𝘢𝘵𝘪𝘰𝘯 𝘰𝘧 𝘵𝘩𝘦𝘴𝘦 𝘤𝘳𝘪𝘵𝘦𝘳𝘪𝘢 𝘪𝘯𝘷𝘰𝘭𝘷𝘦 𝘴𝘦𝘭𝘦𝘤𝘵𝘪𝘯𝘨 𝘴𝘰𝘮𝘦 𝘮𝘢𝘵𝘦𝘳𝘪𝘢𝘭 𝘧𝘳𝘰𝘮 𝘢 𝘨𝘳𝘦𝘢𝘵𝘦𝘳 𝘱𝘰𝘰𝘭 𝘰𝘧 𝘱𝘰𝘴𝘴𝘪𝘣𝘪𝘭𝘪𝘵𝘪𝘦𝘴.”

Een interessante reflectievraag is dus: wil je wel met succescriteria als daadwerkelijk beoordelingscriteria werken? Dit zal mede afhankelijk zijn van de manier waarop de leeruitkomsten zijn geformuleerd en de mate van vrijheid die je wilt en kunt bieden. Maar het is waardevol om kritisch te kijken naar de leer- en beoordelingsruimte.

3. Ruimte voor kwaliteitsbesef

Hoe kun je zorgen voor een leerproces waarbinnen studenten voldoende kwaliteitsbesef ontwikkelen? Onder kwaliteitsbesef wordt verstaan: “de capaciteit om de kwaliteit van het eigen werk en dat van anderen te evalueren” (Tai et al. 2017, p5). Door diverse maatschappelijke ontwikkelingen, zoals de drang om waar mogelijk evidence-based te werken, de toegenomen interdisciplinariteit en natuurlijk de komst van kunstmatige intelligentie, is er een spanningsveld ontstaan tussen het bieden van een stevige kennisbasis vs het opleiden tot adaptieve en flexibele studenten.

Al hoewel we dat eerste zéker niet mogen onderschatten (wat helaas wel snel kan gebeuren in het hoger onderwijs), is het belangrijk om binnen de opleiding voldoende leerruimte te bieden én te gebruiken waarin je doorlopend met studenten actief aan de slag gaat over hoe de kwaliteit van de handeling of het product eruit ziet. Dit allereerst zodat zij in staat blijven hier actief mee aan de slag te gaan als er nieuwe ontwikkelingen zijn.

Daarnaast weten we uit diverse onderzoeken dat ook bij het vooraf opstellen van succescriteria, het tijd vergt voor studenten om daadwerkelijk te begrijpen wat er mee wordt bedoeld (wat bijvoorbeeld kan middels deze 5 werkvormen voor kwaliteitsbesef). Iets wat vaak wordt onderschat. Aansluitend op het voorgaande punt over beoordelen: ook al stel je succescriteria vooraf op, dat betekent niet automatisch dat studenten helder hebben wat er van hen wordt verwacht.

Meer concreet wil je tijdens de opleiding de basis die je gebruikt om te beoordelen en feedback te geven samen met studenten concretiseren. Zo krijgen studenten niet alleen expliciete maar ook impliciete kennis over hun beroepenveld.

Overwegingen over leren en valideren

Wil je in je curriculum de ruimte bieden om meer holistisch te beoordelen? Dan zijn er een aantal ‘lagen’ waarop je bepalende overwegingen kunt maken. We beschrijven er 4 hieronder.

1. Formulering leeruitkomsten

Bij het formuleren van leeruitkomsten, iets waar opleidingen rondom de komst van de Wet leeruitkomsten hoger onderwijs steeds vaker mee bezig zijn, maak je allereerst de overweging op basis waarvan je deze formuleert. Doe je dit op basis van zelf vastgestelde eisen of zelfs het bestaande onderwijs, of neem je een ruimer kader, zoals het landelijk opleidingsprofiel en eventueel verwante documenten of beroepseisen? Deze laatste dicteren wat studenten minimaal moeten kennen en kunnen (al kun je daarbij wel zelf accent-keuzes maken) en is daarmee doorgaans het meest ruime kader.

Vervolgens kun je bij het formuleren zelf nog diverse keuzes maken. Zie figuur 3. Allereerst in de hoeveelheid leeruitkomsten en de lengte ervan: hoe meer en langer: hoe concreter, maar ook: hoe minder ruimte. Ten tweede kun je een keuze maken in hoeverre je kwantificerend of kwalificerend wilt formuleren: soms is het aantal belangrijk, maar vaak is de doordachte keuze voor de bron beter dan drie bronnen. Ten derde: de ruimte die je biedt in onderdelen zoals het werkwoord en de standaard. Bijvoorbeeld; mogen studenten een keuze maken in de manier waarop ze iets aantonen? Moeten zij allemaal dezelfde standaard of methodiek aanhouden? Of mogen zij hierin zelf een weloverwogen keuze maken?

2. Totstandkoming beslissing

Bij het ontwerpen van het toetsprogramma moeten zwaarwegende beslismomenten worden vastgesteld: momenten waarop studiepunten worden toegekend. Daarbij maak je overwegingen over de mate waarin er analytisch of meer geïntegreerd wordt beslist. Wil je bijvoorbeeld losse onderdelen afzonderlijk beoordelen, oftewel analytisch? Of wil je dat doen, maar dan wel de uiteindelijk beslissing laten vallen over het gemiddelde van beoordelingen, oftewel geïntegreerd? Daarnaast kun je dan ook nadeken over; moet dan alles voldoende zijn of kan het één competenteren voor het ander? Of wil je één oordeel vellen over het totaal aan bewijs, waarbij er ook meer wordt gekeken naar de algehele ontwikkeling, oftewel holistisch? Zie figuur 4.

De keuze voor de uiteindelijk beslissing, of dat nu één van deze vormen is of een variant daarop, is van veel factoren afhankelijk. Het is bijvoorbeeld waardevol om als team te kijken in hoeverre een beslissing over afzonderlijke onderdelen van meerwaarde is of waar onderdelen juist wellicht onlosmakelijk met elkaar verbonden zijn. Zo kan het bijvoorbeeld voorkomen dat een student zijn of haar stage erg goed doorloopt, maar onvoldoende sterk lijkt in het doen van onderzoek. Wat zouden jullie in zo’n geval willen beslissen? Dit soort scenario’s uitdenken kan helpen om tot een passende beslisprocedure te komen.

3. Totstandkoming beoordeling

De boordelingen die ten grondslag liggen aan de beslissing, kunnen op verschillende manieren tot stand komen. Wil je bijvoorbeeld gebruik maken van vooraf vastgestelde succescriteria? Hoe open of gesloten formuleer je die dan (zie punt 1. Formulering leeruitkomsten), worden deze dan allemaal afzonderlijk of deels gezamenlijk beoordeeld? Wil je daarbij aangeven of iets onder, op of boven niveau is of wil je werken in 4 niveaus? En komt het oordeel dan analytisch of meer holistisch tot stand (zie figuur 5)? Bij het ontwerpen van de beoordeling kun je heel veel verschillende keuzes maken.

Een extra belangrijk aandachtspunt hierbij is wát je wilt beoordelen. Wil je een goed product of een handelingsbekwame student? Zie figuur 6. Deels is dit ingegeven door de leeruitkomst, maar middels succescriteria leg je daarbij wel accenten. Een goed product is prettig, maar een student moet uiteindelijk in staat zijn deze vaker te maken. Vanuit het oogpunt om te focussen op de student én ontwikkelingen als kunstmatige intelligentie (AI), is het waardevol om kritisch te kijken wanneer het product centraal moet staan en wanneer niet.

4. Voldoende leerruimte

Plaatsen we analytisch en holistisch op een spectrum, dan vraagt een meer analytische beoordeling doorgaans om minder afstemming binnen het team én minder dialoog met studenten. Een meer holistische beoordeling vraagt dus allereerst om meer kalibratie: als team afstemmen over niet alleen de beoordeling van een tentamen, maar juist ook in de integratie van criteria, de taal die daarbij wordt gehanteerd of onderliggend daaraan de visie op onderwijs of het beroep.

Ten tweede vraagt het dus om het meer samen met studenten werken aan kwaliteitsbesef door de tijd te nemen om samen, actief stil te staan bij hoe kwaliteit eruit ziet. Deze beide aspecten zijn sterk voorwaardelijk voor het neerzetten van een meer holistisch curriculum. Wil je dus wat meer ruimte bieden in het curriculum, zorg er dan voor dat je hierover voldoende met elkaar én studenten in dialoog blijft. Dit kost tijd, maar zorgt ook voor een versteviging van het gehele curriculum.

Tot slot

Zoals eerder benoemd is holistisch niet beter dan analytisch. Het uitgangspunt moet dus nooit zijn om een ‘meer holistisch curriculum’ te ontwerpen. Wél is het waardevol om als team goed te overwegen waar meer ruimte mogelijk en wenselijk is, omdat het een hoop kan opleveren. Een belangrijke afweging daarbij is de balans tussen de validiteit en betrouwbaarheid: door op papier meer ruimte te creëren voor meer persoonlijk onderwijs, moet je in de praktijk sterker met elkaar en studenten in dialoog zijn. Dit brengt behalve meer betrouwbaarheid nog veel andere voordelen met zich mee, maar daarvoor moet je wel de tijd en ruimte nemen.