Tijdens het nakijken en beoordelen van toetsen krijg je al inzicht in welke vragen moeilijk waren voor studenten en op welke beoordelingscriteria ze slecht scoren. Daarmee ben je eigenlijk al bezig met het evalueren van de toets en het onderwijs. Hieronder vind je meer structurele manieren om dit te doen.

Hoe evalueer en verbeter ik mijn toetsen?

•  Analyseer veelgemaakte fouten zodat je weet waar studenten moeite mee hebben, en pas in een volgende cursus je onderwijs, toetsvragen of -beoordelingscriteria daarop aan.  
• Vraag studenten om feedback, bijvoorbeeld via een korte (online) vragenlijst of door onderaan de toets enkele evaluatievragen toe te voegen. Vraag of de vragen duidelijk waren, of de toets een goede afspiegeling was van het onderwijs, en vraag om suggesties voor verbetering.
• Peer assessment kan ook dienen als evaluatiemiddel. Laat studenten elkaar beoordelen met het door jou opgestelde beoordelingsmodel, zodat je kunt testen of het model duidelijk en bruikbaar is. Zo kun je samen met de studenten het model bijstellen, waardoor zij mede-eigenaar worden van de beoordeling.
• Op basis van de toetsresultaten kun je het slagingspercentage bepalen en kijken naar de gemiddelde score van de beste 5% van de studenten. Als deze groep niet bijna alle vragen goed heeft beantwoord, kan de toets te moeilijk zijn geweest. In dat geval kun je overwegen de cesuur aan te passen op basis het resultaat van de beste 5%.

Bij de verschillende toetsvragen (of toetsonderdelen) kun je letten op:

• Het onderscheidende vermogen van een vraag of onderdeel: als studenten met hoge cijfers slecht scoren op een bepaalde vraag of onderdeel in de toets, dan is er misschien iets mis met dat onderdeel.
• Onderdelen die goed worden gemaakt zijn misschien te gemakkelijk. Je kunt dan overwegen die onderdelen volgend jaar minder zwaar te laten wegen, of op een hoger niveau te toetsen. Onderdelen die slecht worden gemaakt zijn misschien te moeilijk of onvoldoende uitgelegd tijdens het onderwijs. Het kan natuurlijk ook dat je die moeilijke onderdelen expres hebt toegevoegd om de beste studenten extra uitdaging te geven.

Indicatoren voor toetskwaliteit

Bij toetsen met open en gesloten vragen voor grotere groepen studenten kun je de kwaliteit van een toets of afzonderlijke vragen ook beoordelen met behulp van cijfermatige indicatoren. Veelgebruikte indicatoren zijn:

De betrouwbaarheid van de toets: (Cronbach’s α)

Cronbach’s α is meet de interne consistentie van de vragen en is daarmee een voorspeller van de betrouwbaarheid. De betrouwbaarheid van een toets geeft o.m. antwoord op de vraag in welke mate studenten bij twee gelijkwaardige tentamens hetzelfde zouden scoren.

Moeilijkheidsgraad van een vraag: P-waarde

De p-waarde is het percentage van de studenten dat een bepaalde vraag goed heeft beantwoord, of aan het criterium voldoet.

Onderscheidend vermogen van een vraag: Rit-waarde

Naast de analyse van de p-waarde kan per item ook het onderscheidend vermogen bepaald worden door de zogenaamde Rit-correlatiecoëfficient. Een vraag heeft een hoog onderscheidend vermogen als studenten met een hoge eindscore deze vraag goed maken en de studenten met een lage eindscore fout.

Digitale toetssystemen als Ans maken vaak automatisch een statistische analyse van het tentamen. LLInC kan je helpen bij de interpretatie van deze informatie.

Zie ook:

• Over cijfermatige c.q. psychometrische toetsanalyse: Bijlage IV van de brochure Tips bij Toetsen en Hoofdstuk 3 van Kwaliteitsborging Toetsing.
• Toetsing en toetsanalyse (De Gruijter, 2008)