Is de single-point rubric een betrouwbaar instrument?

Wie ooit complexe vaardigheden zoals schrijfvaardigheid heeft getoetst, is vast bekend met het gebruik van rubrics. De meest voorkomende is de analytische rubric, waarbij verschillende onderdelen op verschillende niveaus worden beoordeeld, wat vaak leidt tot een algemeen eindoordeel. De single-point rubric (SPR) kent een iets andere opzet en wordt soms gezien als subjectief en minder betrouwbaar. Maar klopt dat eigenlijk wel? Of zouden we de SPR meer moeten gaan gebruiken?

Wat is een single-point rubric?

Een rubric is een tabel met beoordelingscriteria waarmee werk van leerlingen of studenten beoordeeld kan worden. De bekendste variant is de analytische rubric. Hierbij zijn alle vakjes vooraf ingevuld en maakt de docent keuzes in het beoordelingsproces. Vaak staan in de linkerkolom beoordelingscriteria en geeft de bovenste rij gradaties in de beoordeling aan, zoals ‘onvoldoende, voldoende, goed, etc.’, of een aantal punten. Ook analytische rubrics zijn er in verschillende soorten en maten en kunnen op meerdere manieren worden gebruikt.

Een minder vaak gebruikte rubric is de single-point rubric. Deze verschilt sterk van een analytische rubric omdat er slechts één kolom met beoordelingscriteria wordt weergegeven. Hieronder een voorbeeld van een rubric die je kunt inzetten bij een presentatie bij de moderne vreemde talen:

Bovenstaande voorbeeld is slechts één voorbeeld en zo zijn er meerdere manieren op vanuit het single-point gedachtegoed te beoordelen. Ook wordt dit type rubric vaak gebruikt om feedback te geven bij datapunten bij programmatisch toetsen. Hierbij gaat het vaak naast geschreven feedback ook over een duiding van in hoeverre een student een leeruitkomst heeft aangetoond.

Enkele andere mooie voorbeelden zijn te vinden in het artikel van Fluckiger (2010), waarin ze studenten actief met de rubric laat werken. In één van de voorbeelden staat een kolom ‘bewijs’. Daar moet de student bewijsmateriaal benoemen dat aantoont dat dit doel of criteria is behaald. Er is dus niet één vaste vorm. Zolang er maar gewerkt wordt met één (single) norm en niet met meerdere gradaties.

Voor- en nadelen van de single-point rubric

De SPR heeft zowel voor- als nadelen ten opzichte van een analytische rubric. Door de eenvoud is snel te zien aan welke succescriteria het werk van leerlingen moet voldoen. De norm is direct helder. Wat de rubric niet duidelijk maakt, is hoe een ‘beter’ werk eruitziet. Oftewel: hoe ziet het werk eruit wanneer het de succescriteria overstijgt? Wie veel met analytische rubrics werkt, is gewend dit te willen specificeren, maar wanneer we ons focussen op het leerproces in kaart brengen en hierop kunnen sturen, dan is het maar de vraag of dit wel nuttig is. Een single-point rubric biedt dan meer mogelijkheden tot feedback (en feedforward) dan een analytische rubric. Dit omdat de feedback specifiek op het werk van die leerling of student gericht is, en niet op een generieke beschrijving. 

Die generieke beschrijving kan bij een analytische rubric ook tot problemen leiden. Soms zit het werk van een student tussen een ‘goed’ en ‘excellent’ in, omdat het wel beter is dan goed, maar net niet alle criteria van excellent dekt. In zo’n geval ben je als docent eerder beperkt dan geholpen bij een analytische rubric. De taal van de feedback is immers vooraf ingevuld, terwijl je hier bij een SPR zelf nog woorden aan kunt geven. De feedback met betrekking tot wat onvoldoende is en wat de voldoende-norm overstijgt, is bij een SPR veel specifieker dan bij een analytische rubric. 

Een paar voor- en nadelen op een rijtje:

Inzet van rubrics

Vanwege bovenstaande redenen wordt een single-point rubric eerder formatief ingezet, als feedbackinstrument, dan summatief, als beoordelingsinstrument. Dit onderscheid hoeft echter niet zo zwart-wit te zijn als we soms denken. ‘Formatief’ en ‘summatief’ betreft immers geen eigenschap van een toets, of van een beoordeling, maar gaat om een handeling die je doet ná de beoordeling. Je kunt bij eenzelfde product bij de ene student summatief handelen en bij een andere student formatief, of je kunt bij sommige onderdelen besluiten dat deze voldoende zijn (summatief handelen) en bij andere onderdelen feedback geven ter verbetering (formatief handelen). Meer over formatief en summatief handelen in deze video

In de praktijk zien we echter dat bij beoordelingsprocessen eerder een analytische rubric dan een SPR wordt gebruikt. Dit heeft vaak te maken met de factor betrouwbaarheid. Zouden twee beoordelaars wel op eenzelfde oordeel uitkomen? En zou je hetzelfde werk hetzelfde beoordelen wanneer je er een maand later opnieuw naar kijkt? Een SPR wordt in vergelijking met een analytische rubric door sommigen als minder betrouwbaar gezien, omdat in een analytische rubric de criteria vooraf zijn vastgesteld, terwijl deze bij een SPR per beoordeling verschillen. Een analytische rubric wordt ook als een objectiever beoordelingsinstrument gezien dan de single-point rubric. Maar is dat ook zo?

De rubric onderzocht

Onderzoekers Rezaei en Lovorn (2010) lieten in hun onderzoek naar het gebruik van analytische rubrics zien, dat de subjectiviteit van de beoordelaars doorslaggevender is dan de objectiviteit van een rubric. Ze lieten deelnemers (N=326) een essay twee keer beoordelen, waarbij ze de eerste keer geen rubric gebruikten en de tweede keer wel. In de beoordeling kon in totaal 100 punten worden gegeven, en werd gekeken naar structuur (25p), argumentatie (25p), inhoud (25p), gebruik van bronnen (15p)  en correct taalgebruik (10p). Bij ‘inhoud’ werd gekeken naar diepgang en inzicht met betrekking tot globalisering. 

De deelnemers werden opgesplitst en elke groep kreeg een andere essay, maar gebruikten dezelfde wijze van beoordeling (incl. dezelfde rubric). De ene groep kreeg een essay (A) met academisch en volledig correct taalgebruik, maar met zwakke argumentatie en weinig inhoudelijke diepgang. Het essay (B) van de andere groep had juist veel inhoudelijke diepgang, maar bevatte 20 structuur- en taalfouten. Als je even terugkijkt naar de verdeling van het aantal punten, dan zou essay B hoger moeten scoren dan essay A. Maar het tegenovergestelde gebeurde, óók bij het gebruik van de rubric.

Het professionele oordeel

De conclusie van de auteurs is dat wat eigenlijk in één onderdeel van de beoordeling thuishoort, toch wordt meegewogen in andere onderdelen. Ook wanneer een rubric deze onderdelen duidelijk afbakent, laten beoordelaars zich (onbewust?) meer leiden door hun eigen algemene oordeel dan door wat een rubric voorschrijft. 

Zo zijn er meerdere onderzoeken die de validiteit en betrouwbaarheid van de single-point rubric in algemene zin bevestigen. Een noemenswaardig promotieonderzoek uitgevoerd door David Popken (2020), richt zich onder andere op de interbeoordelaarsbetrouwbaarheid: komen verschillende docenten aan de hand van een single-point rubric tot eenzelfde beoordeling? Om een lang verhaal kort te maken: de SPR bleek net zo valide als een analytische rubric en beoordelingen tussen meerdere beoordelaars kwamen voor 88% overeen. 

In de praktijk

Popken geeft ook een helder advies voor de praktijk: gebruik de SPR niet alleen bij de eindbeoordeling, maar ook tijdens het leerproces. Daarnaast is de kwaliteit van de rubric zelf natuurlijk essentieel, waarbij de doelen en succescriteria helder en specifiek moeten worden omschreven in taal die studenten begrijpen. 

Het inzetten van een SPR als didactisch instrument in plaats van enkel als beoordelingsinstrument, kent een groot voordeel ten opzichte van de analytische rubric. Doordat je bij de laatstgenoemde generieke beschrijvingen aanvinkt die alleen het gemaakte werk beoordelen, is er ruimte voor feedforward – een essentieel onderdeel in formatief handelen. Een ingevulde analytische rubric laat niet snel zien wat een student met de gegeven feedback moet doen. Bij een single-point rubric is er ruimte om concrete aanwijzingen te geven over wat een student nog moet verbeteren. 

Een analytische rubric kan daarentegen weer beter bijdragen aan het kwaliteitsbesef van de verschillende streefniveaus. Deze niveaus zijn bij een SPR beperkt, wat zowel een voor- als nadeel is. Wil je studenten inzicht geven in de groei op de lange termijn, dan is een analytische rubric misschien beter. Bij processen die zich over meerdere jaren spreiden (bijvoorbeeld bij zelfregulering), liggen analytische rubrics misschien beter voor handen. Maar de single-point rubric laten liggen omdat deze niet of minder betrouwbaar zou zijn, dat hoeft niet. 

Literatuur

Fluckiger, Jarene. (2010). Single Point Rubric: A Tool for Responsible Student Self-Assessment

Popken, David, “THE VALIDITY AND RELIABILITY OF A SINGLE-POINT RUBRIC TO ASSESS STUDENT
WRITING PERFORMANCE” (2020). E ducation Dissertations. 94.
https://repository.wcsu.edu/educationdis/94

Reza Rezaei, A & Lovorn, M., (2010). Reliability and validity of rubrics for assessment through writing. Assessing Writing, Volume 15, Issue 1, Pages 18-39. ISSN 1075-2935,
https://doi.org/10.1016/j.asw.2010.01.003.

image_pdfDownload artikel

2 thoughts on “Is de single-point rubric een betrouwbaar instrument?

  1. Ik zie helemaal het nut van SPR’s, maar is dit niet gewoon terug naar duidelijke leerdoelen? Wat is precies het verschil tussen een goed leerdoel of criterium en een single point rubric?

    Ik heb het idee dat de stap terug naar SPR’s meer het besef belichaamt dat doelen niet op een zinnige manier altijd chronologisch ingedeeld kunnen worden. Ik zie wel eens rubrics waarvan leerlingen dan de ‘expert’ cel wel beheersen, zonder de ‘beginner’ cel te beheersen. Of rubrics waar er maar gewoon een aantal (leerlingen kent 2 voorbeelden van X; leerling kent 3 voorbeelden van X) wordt genoemd om dit te voorkomen.

  2. Ik snap je helemaal, Tom! Alleen zou ik niet zeggen ’terug’, maar ‘blijven bij’ duidelijke leerdoelen. In mijn ervaring helpt de SPR om doelgericht te blijven en niet te verzanden in het kwantificeren van iets dat je eigenlijk kwalitatief van aard is. Neem bijv. schrijfvaardigheid: “noemt 3 argumenten” zegt nog niets over de kwaliteit van elk argument. Dus ja, werken met een single-point rubric helpt om bij de doelen te blijven en je niet te laten afleiden door de toetsvorm.

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *

Vernieuwenderwijs

Als Vernieuwenderwijs helpen we scholen en opleidingen te komen tot krachtig onderwijs. Dit doen we door samenhangende hoogwaardige diensten en producten te bieden op het gebied van curriculumontwerp, toetsing en didactiek.

Nieuwsbrief

Elke week onze artikelen & interessante linkjes ontvangen?

Please wait...

Bedankt, je staat op onze mailinglijst!

Contact

Vernieuwenderwijs B.V.
Kerkenbos 1344
6546 BG Nijmegen

📞 Wessel: 06 194 02 982

📞 Michiel: 06 193 37 715

✉️ info@vernieuwenderwijs.nl

© 2024 · Vernieuwenderwijs