Binnen de Universiteit Leiden wordt gewerkt aan betere studentevaluaties van het onderwijs. Het format dat nu wordt gebruikt, waarbij studenten na afloop van een vak wordt gevraagd om verschillende aspecten ervan te beoordelen, ligt namelijk om meerdere redenen onder vuur. Zo lijkt er geen verband te zijn tussen een goede beoordeling door studenten en de prestaties van die studenten. Het is eerder andersom: docenten met een lagere beoordeling lijken meer bij te dragen aan het leren van studenten, schrijven Mario de Jonge en Erwin Veenstra van de Universiteit Leiden. 

Studentevaluatie als plek voor belediging 

Eerder onderzoek heeft aangetoond dat studentevaluaties positiever uitpakken voor mannelijke docenten, kunnen worden beïnvloed door racisme, homofobie of seksisme, en soms worden gebruikt voor beledigende opmerkingen jegens vrouwen en docenten uit minderheidsgroepen.  

Docenten vinden het daarnaast vaak lastig om te bepalen welke aanpassingen ze precies moeten maken op basis van de veelal kwantitatieve data uit een studentevaluatie. Ook kan het veelvuldig gebruik van evaluaties een ‘evaluatiemoeheid’ doen optreden onder studenten, schrijven de Leidse auteurs. Dat laatste verlaagt de kwaliteit van de terugkoppeling die studenten geven. 

Dat universiteiten toch doorgaan met studentevaluaties, lijkt “meer traditie dan evidence-informed” te zijn, en kan ook worden verklaard door een gebrek aan een even kostenefficiënt alternatief, denken De Jonge en Veenstra. Zij presenteren echter precies zo’n alternatief: de Formative Evaluation of Teaching (FET). 

Een studentevaluatie, maar net iets makkelijker 

De FET is net zo makkelijk in te vullen als een huidige studentevaluatie, maar vraagt studenten slechts twee tot vier elementen van het onderwijs te beoordelen: één of twee aspecten die ze hoog waarderen, en één of twee aspecten die verbeterd kunnen worden. Die mogen ze zelf kiezen uit een lijst met opties – in tegenstelling tot de huidige vorm van evaluatie, waar ze alle aspecten moeten evalueren – en moeten middels een korte motivatie worden geëvalueerd.  

Gaat het om kwesties die de docent zelf betreffen, dan wordt studenten gevraagd om expliciet de didactische aanpak te evalueren. Dat moet ongewenste opmerkingen jegens docenten voorkomen. 

Samenvatting van data door AI 

Als een evaluatie is ingevuld, kan een docent in de data zien welke aspecten het vaakst zijn genoemd, welke tekstuele terugkoppeling daarbij is gegeven, en hoe ze hun vak eventueel zouden kunnen verbeteren. Bij vakken met veel studenten kost dat echter veel tijd, beseften de Leidse auteurs. Daarom gebruiken ze de GTP-4-toepassing van OpenAI, waarbij de data niet worden gebruikt om de toepassing zelf te trainen, voor het samenvatten en presenteren van de resultaten. De data van de FET worden daarbij geanonimiseerd.  

De AI-toepassing geeft docenten een overzicht van de FET-resultaten. Voor elk aspect wordt een korte samenvatting van de commentaren gegeven. De positieve en negatieve terugkoppeling wordt daarin alleen beschreven; de interpretatie ervan is aan de docent zelf. Daarnaast geeft de AI-toepassing bij elke samenvatting zes ‘representatieve voorbeelden’ van opmerkingen.  

Goede resultaten, nu hopen op steun en geld 

Docenten zijn erg enthousiast over de FET, blijkt uit pilots die de ontwikkelaars de afgelopen maanden hielden. Daarin werd de evaluatie getest bij zowel kleine masteropleidingen met zo’n twintig studenten als grote bacheloropleidingen met meer dan tweehonderd studenten. “Alle docenten gaven aan de FET in de toekomst opnieuw te willen gebruiken, en konden ons meerdere concrete voorbeelden geven van aanpassingen die ze in de cursus willen doorvoeren”, schrijven de auteurs. Na het vergelijken van de AI-gegenereerde samenvatting en de ruwe data, gaven docenten daarnaast aan veel vertrouwen te hebben in die samenvatting. 

Het invullen van de FET kostte de studenten van de grote bacheloropleiding gemiddeld 2 minuten en 40 seconden. Vergeleken met de huidige studentevaluaties is de terugkoppeling in de FET van hogere kwaliteit en meer gericht op het verbeteren van de cursus zelf.  

“De voorlopige resultaten van onze kleine pilot suggereren dat de FET een waardevol instrument kan zijn voor een efficiënte verzameling van kwalitatief goede terugkoppeling van studenten die formatief is en het verbeteren van onderwijspraktijken bevordert”, concluderen De Jonge en Veenstra. Ze hopen nu voldoende steun en financiering te vinden om de FET verder te ontwikkelen en bruikbaar te maken voor het verbeteren van onderwijsontwerpen en de ondersteuning van docentprofessionalisering. 

The post Alternatieve studentevaluatie verhoogt bruikbaarheid first appeared on ScienceGuide.

Het bericht Alternatieve studentevaluatie verhoogt bruikbaarheid verscheen eerst op ScienceGuide.