Wat is kwaliteit voor jou als docent? Studenttevredenheid (deel II)

Kwaliteit van onderwijs is iets wat iedereen belangrijk vindt en waar alle docenten mee bezig zijn, zowel bewust als onbewust. Maar wat is nu kwaliteit? Wat is ‘goede onderwijskwaliteit’? Studenttevredenheid wordt in het onderwijs veelal als belangrijk criterium gezien voor het monitoren van de kwaliteit. Tegelijkertijd ontstaat er steeds meer publiek debat over de zin en onzin van studenttevredenheid. In deze blog wordt ingegaan op de vraag ‘waarom meten we studenttevredenheid in het onderwijs?’ Welke uitdagingen er zijn volgens onderzoek en vooral welke kansen liggen er.

Dit is deel 2 in de serie ‘Wat is kwaliteit voor jou als docent?’ In de vorige blog werden de vijf perspectieven op kwaliteit van onderwijs van Harvey en Green (1993) beschreven. In deze blog wordt ingegaan op één van de perspectieven namelijk het derde perspectief: kwaliteit als geschiktheid voor het doel, en daarbij wordt ingezoomd studenttevredenheid. 

Hoe komt de tevredenheidsmeting in het onderwijs?

Veel kwaliteitszorgmethodieken in het onderwijs zijn afkomstig uit de productieorganisaties. Het zijn methodieken die uitgaan van doelgericht en systematisch werken (PDCA), controleerbare variabelen die invloed hebben op de kwaliteit (ontwerp en controle van processen) en die waarneembaar zijn (kwaliteitsmetingen). Deze aanpakken werden mede populairder door de “new public management” beweging in de publieke sector die graag alles meetbaar wil maken en bij voorkeur stuurt op “harde cijfers” (Winstone et al., 2021). 

Een aantal van bovengenoemde elementen zoals doelgericht en systematisch werken dragen aantoonbaar bij aan kwaliteitsverbetering in het onderwijs (Westerheijden et al., 2007; Bendermacher et al., 2020). Tevredenheidsmetingen zijn we eveneens over gaan nemen uit de industrie als kwaliteitsmeting in het onderwijsproces. Onder het mom van meten = weten vragen we studenten naar hun tevredenheid in het algemeen of op specifieke aspecten. Meer dan eens heb ik op de vraag “op welke wijze monitoren, borgen en verbeteren jullie je onderwijs?” het antwoord gehad “we evalueren ons onderwijs dus dat is geregeld”. Studenttevredenheid lijkt daarbij gezien te worden als het enige middel om de kwaliteit van onderwijs te bewaken en te verbeteren. 

Doelen van een tevredenheidsmeting

Als doel van het meten van leerling of studenttevredenheid wordt vaak aangegeven dat de resultaten input geven om het onderwijs te verbeteren, het gebruikt wordt voor de beoordeling van docenten, het gebruikt wordt als verantwoordingsinstrument om de kwaliteit voor externen te verantwoorden en dient als mogelijke  bron voor de keuze voor een vak/module of een school/opleiding (Huxham et al., 2008; Spooren et al., 2013). Deze doelen hebben zowel betrekking op de verbetering van onderwijs, de beoordeling van docenten, de verantwoording van het onderwijs en een marketingfunctie. Dat zijn veel vliegen in één klap. Maar is dit in de praktijk ook echt zo?

Wat is tevredenheid?

Volgens Wikipedia (2021) is tevredenheid een gemoedstoestand waarbij het individu niet meer verlangt dan wat er reeds aanwezig is. Dat werkt goed als het gaat om een bestelling die ik doe bij een online winkel. De leverancier kan mij dan vragen of het voldoet aan mijn verwachtingen en of ik misschien nog meer of iets anders had verlangt zodat hij dat kan meenemen voor het verbeteren van zijn product en dienstverlening voor volgende klanten. In dit geval is de leverancier niet afhankelijk van mijn inspanningen, maar wel van mijn verwachtingen. Daar kan op ingespeeld worden door voor aankoop duidelijk te maken wat ik als klant kan verwachten. Deze afstemming vergroot dan de tevredenheid.  

In het onderwijs ligt dit anders vanwege twee redenen. Ten eerste, een leerproces kan niet plaatsvinden zonder een inspanning van de lerende. Naast het afstemmen van verwachtingen zoals bij mijn online bestelling, is een inspanning van de lerende essentieel. In een recente studie tonen Winstone et al. (2021) aan dat in een zestal nationale tevredenheidsonderzoeken (o.a. de NSE), dat de onderzoeken geen rekening houden met deze actieve inspanning. Er wordt gebruik gemaakt van werkwoorden die eenrichtingsverkeer suggereren van de docent naar de student (voldoende feedback ontvangen, voldoende informatie beschikbaar etc.). Werkwoorden die de actieve inspanning van de student betreffen waren schaars. Ten tweede, terug naar de definitie van tevredenheid “een gemoedstoestand waarbij het individu niet meer verlangt dan wat er reeds aanwezig is”. Deze definitie impliceert dat je als lerende kunt verlangen en overzien wat er nodig is.

Vanuit mijn promotietraject ervaar ik zelf aan den lijve dat je dit als lerende niet altijd kunt. Mijn lange termijn doel is promoveren en daar ben ik aardig gemotiveerd voor. Van de zomer had ik een artikel afgerond dacht ik en met een zeer tevreden gevoel ging ik op vakantie. Als je toen mijn tevredenheid over het traject, de begeleiding etc. had gevraagd, dan was die hoog. Na de zomer kwam er, voor mij onverwacht, feedback van mijn begeleiders op een heel fundamenteel punt in het artikel. Om dat moment, waarop dus de lat hoger werd gelegd en ik mij bewust werd dat ik iets ‘nog niet geleerd heb/niet beheers’ daalde mijn tevredenheid aanzienlijk. Op de korte termijn verhoogt deze actie niet mijn tevredenheid, op de lange termijn uiteraard wel. Alleen ben je als lerende je hier meestal niet bewust van. Dat roept de vraag op wat zegt mijn tevredenheid, voor of na de zomer, over de kwaliteit van mijn genoten onderwijs?

Uitdagingen van tevredenheidsmetingen rondom de het leerproces

Activeren tot leren zorgt voor lagere tevredenheid
Onderzoek (Spooren et al., 2013) laat zien dat leerlingen/studenten meer tevreden zijn als docenten het leren zo makkelijk mogelijk maken, bijvoorbeeld door zo concreet mogelijk aan te geven welke leerstof belangrijk is voor de toets. De vraag is echter of dit bijdraagt aan de beroepsbeoefenaars/burgers die wij op willen leiden?

Een van de respondenten in mijn eigen onderzoek vertelde een mooi voorbeeld waarin dit wordt geïllustreerd: “Als opleidingscoördinator was ik in gesprek met studenten die aangaven heel ontevreden te zijn. Door het online onderwijs was de studielast toegenomen. Zodoende vroeg ik door waar die tijd dan in ging zitten waarop de student antwoordde “als ik een college kijk, dan zet ik hem steeds op pauze om aantekeningen te maken en soms een stukje terug. In fysiek onderwijs hoefde dat niet en duurde de les maar 1,5 uur”. Met deze uitleg was de zorg om de ontevredenheid bij deze coördinator weggenomen. Vervolgens heeft hij studenten bevraagd op het leerrendement, de uitkomst spreekt voor zich. 

In de onderwijsvisie van de school of opleiding hebben we vaak thema’s als kritisch denken, zelfstandigheid, onderzoekend vermogen etc. staan. Dit zijn bij uitstek vaardigheden die niet in hapklare brokken middels directe instructie aangeleerd kunnen worden. Dat vraagt om activerende didactiek. 

Om te voorkomen dat je kwaliteitszorg bijt met je onderwijsvisie, is het aan te raden om een visie op kwaliteit op te stellen die het mogelijk maakt om de onderwijsvisie te realiseren doordat geschikte instrumenten worden ingezet om de voortgang te monitoren en te verbeteren. Bij die visie op kwaliteit kun je bijvoorbeeld gebruik maken van een combinatie van de vijf perspectieven op kwaliteit zoals beschreven in de vorige blog.

Innovatie 
Studenttevredenheid gaat er niet op vooruit door innovaties in het onderwijs (Ghislandi et al., 2020). Op het moment dat onderwijs grondig wordt herzien, kan dit onzekerheid met zich meebrengen doordat men nog zoekende is. Ghislandi et al. (2020) laten zien dat hierdoor op de korte termijn de studenttevredenheid daalt. Dit terwijl die grondige vernieuwing op de langere termijn mogelijk bij kan dragen aan beter onderwijs en zelfs misschien een hogere studenttevredenheid. Omgekeerd is ook aangetoond, in opleidingen waar heel veel waarde wordt gehecht aan studenttevredenheid, leggen docenten de focus op de korte termijn om een zo hoog mogelijke tevredenheid te realiseren en hierdoor is innoveren niet aantrekkelijk (Bendermacher et al., 2020). Je zou in het geval van nieuwe cursussen of grondig herziene cursussen mogelijk kunnen denken aan een groepsgesprek om het onderwijs te evalueren. Dit biedt de mogelijkheid om goed door te vragen naar ervaringen. 

Perverse prikkels
Als de focus in een opleiding heel sterk of zelfs alleen maar ligt op studenttevredenheid als indicator voor kwaliteit, dan kan dat perverse prikkels met zich meebrengen. Deze sterke focus op tevredenheid stimuleert dat de focus komt te liggen op het verbeteren van studenttevredenheid (enkel een korte termijn perspectief) in plaats van het verbeteren van de kwaliteit van onderwijs (een korte en lange termijn perspectief) (Winstone et al., 2021). De voorbeelden zoals hierboven beschreven over studenten activeren en innovatie, dragen niet bij aan een hoge studenttevredenheid terwijl ze wel bij kunnen dragen aan de verbetering van de kwaliteit van het onderwijs. 

Uitdagingen van tevredenheidsmetingen rondom de data

In de literatuur komen een aantal uitdagingen rondom tevredenheidsmetingen naar voren. Voor mij als docent en beleidsadviseur zijn deze uitdagingen heel herkenbaar in de praktijk.  

Lage respons
Een lage respons op vragenlijsten motiveert als docent niet om iets met de uitkomsten te doen. Het geeft niet altijd een goed beeld van de hele klas. Daarnaast bestaat de kans dat alleen de zeer tevreden mensen of de zeer ontevreden mensen de vragenlijst in hebben gevuld. Vanuit het perspectief van studenten, als zij niet het gevoel hebben dat er daadwerkelijk iets wordt gedaan met hun input dan stoppen ze met het invullen van de vragenlijsten of gaan algemeen antwoorden geven  (Huxham et al., 2008; Spooren et al., 2013). Om de enquêtedruk te verlichten suggereert Spooren et al. (2013) gebruik te maken van steekproeven. 

Waar vragen we naar?
Menig docent vraagt zich af waarom deze vragen worden gesteld en wat dat zegt (Westerheijden et al., 2007;  Een voorwaarde om de resultaten te gebruiken om je onderwijs te verbeteren is dat je eigenaarschap voelt voor de resultaten. Dat eigenaarschap ontstaat niet door het ontvangen van een email met de resultaten. Om eigenaarschap te realiseren is het belangrijk dat (een delegatie van) docenten samen met een kwaliteitsadviseur en leidinggevende, komen tot vragen die informatie opleveren voor alle drie de eerder geschetste doelen (Spooren et al., 2013). 

De context
Alleen kijken naar tevredenheidscijfers (geldt ook voor andere cijfers zoals rendement) zonder context specifieke informatie kan leiden tot misinterpretaties. Zo had ik eens een collega die coördinator was van een deeltijdopleiding met vier studenten. Zij won de hogeschool brede prijs voor grootste stijger op het nationale tevredenheidsonderzoek. Dit voorbeeld was best grappig, maar conclusies trekken sec op basis van tevredenheidscijfers kan ook negatieve consequenties hebben. Als je een analyse van de data maakt, kun je ook vragen stellen over wat jou opvalt als kwaliteitsadviseur in plaats van conclusies trekken. Mijn ervaring is dat dit een mooie ingang biedt voor een gesprek met docenten over het verhaal achter de cijfers en docenten meer bereidt zijn om in alle openheid de cijfers te duiden en te kijken waar we goed in zijn en waar verbeterpunten liggen.

Studenttevredenheid

Deze blog is geen warm pleidooi voor het gebruik van studenttevredenheid. Daarmee wordt niet geïmpliceerd dat de mening van studenten/leerlingen er niet toe doet. Integendeel, die mening en vooral de inspanning van de student/leerling is voorwaardelijk voor kwalitatief goed onderwijs. Daarom eerder een pleidooi te werken aan een gezamenlijke verantwoordelijkheid voor de kwaliteit van onderwijs vanuit leerlingen/studenten, docenten en de school/opleiding. 

Kwaliteit van onderwijs vraagt zoals hierboven geschetst op twee vlakken om een actieve bijdrage van de student/leerling. Allereerst om inspanning om te leren van de student/leerling. Winstone et al. (2021) pleiten daarom voor evaluatievragen die uitgaan van deze actieve inspanning. Bijvoorbeeld: 
‘ik vond de feedback helpend om mijn prestaties te verbeteren’
‘ik had voldoende mogelijkheden om feedback te krijgen om inzicht te krijgen in mijn leerproces’. 

Daarnaast is er een tweede aspect waarop een actieve bijdrage van studenten verwacht dient te worden, namelijk het evalueren van het onderwijs. Deze actieve bijdrage kan gerealiseerd te worden door vanaf de eerste dag studenten/leerlingen mee te nemen in de gezamenlijke verantwoordelijkheid voor kwalitatief goed onderwijs en wat dat van studenten/leerlingen en docenten vraagt om dat te realiseren. Ook kun je studenten/leerlingen leren constructief feedback te geven in het kader van gezamenlijke verantwoordelijkheid voor kwaliteit maar ook met het oog op hun latere carrière. Dit maakt het aannemelijker dat docenten de input gebruiken om te verbeteren (Bendermacher et al., 2020).

Als je tevredenheid wilt meten via vragenlijsten, maak dan zoveel mogelijk gebruik van open vragen (Huxham et al., 2008; Spooren et al., 2013). Uit de metastudie van Spooren et al. (2013) komt naar voren dat studenten in open vragen vaak positiever zijn. Constructieve feedback stimuleert dat docenten ook daadwerkelijk iets met de feedback gaan doen (Bendermacher et al., 2020). Je kunt ook denken aan een gesprek (met een deel van de groep) om het onderwijs te evalueren. Twee praktische tips hierbij zijn:

1. Start met een paar vragen op papier die studenten voor zichzelf moeten beantwoorden. Dit zorgt ervoor dat een student eerst zijn eigen mening vormt op een aantal thema’s en minder snel met anderen meepraat.
2. Vraag door naar of de ervaring/mening persoonlijk is of wordt gedeeld. Mijn eigen ervaring is dat studenten daar heel eerlijk in zijn, zelfs als blijkt dat hun persoonlijke mening niet door de groep gedeeld worden.
3. Zorg dat in het gesprek de wederzijdse inspanning die nodig is voor een leerproces steeds wordt meegenomen (net als advies bij vragenlijsten). Bijvoorbeeld als het gaat over onduidelijkheid van toetscriteria: zowel kijken naar hoe die zijn aangeboden en inzichtelijk waren als kijken naar welke moeite de student heeft gedaan om deze in te zien.

Conclusie

Terug naar de doelen voor studenttevredenheid zoals aan het begin van deze blog beschreven. De geraadpleegde bronnen in deze blog brengen de vraag naar voren in hoeverre studenttevredenheidsmetingen hét instrument zijn voor het monitoren, verbeteren en verantwoorden van onderwijs, het nemen van beslissingen over de aanstelling van docenten en helpen om de aankomend student/docent te helpen kiezen voor een school/opleiding. 

Immers tevredenheid weinig zegt over het leerproces van de student (Uttl et al., 2017; Winstone et al., 2021). Daarnaast worden de data beïnvloed door allerlei factoren, bedoeld (chocolade uitdelen, onderwijs in hapklare brokken aanbieden) en onbedoeld (uiterlijk van de docent, geslacht van studenten/leerlingen). Met betrekking tot het verbeteren van het onderwijs laat Ghislandi et al. (2020) zien dat kwantitatieve evaluaties amper bijdragen aan het verbeteren van het onderwijs. Daarop aansluitend toont Bendermacher et al. (2020) aan dat een korte termijn focus van leidinggevenden op studenttevredenheid niet bijdraagt aan het verbeteren van de kwaliteit van het onderwijs. 

Kortom, we moeten terug naar de tekentafel zo betoogt ook Biesta (2012). Voordat je de kwaliteit van het onderwijs kunt meten, dien je eerst met elkaar te definiëren wat die kwaliteit is, op welke wijze je die ziet en ervaart. Vanuit een gedeeld beeld over wat is kwaliteit voor ons, kun je vervolgens de vraag beantwoorden hoe gaan we dat zichtbaar maken en welke rol studenttevredenheidsmetingen hierin kunnen spelen.