Onderzoekers van de Universiteit van Twente gooien een kleine bom op iets wat momenteel massaal gebeurt in hoger onderwijs. Door de coronacrisis moesten we massaal overschakelen naar online examineren. Om dit eerlijk te laten verlopen gebruiken instellingen proctering-software, zoals Procterio. Laura Bergmans, Nacir Bouali, Marloes Luttikhuis en Arend Rensink deden een ingenieus onderzoek [vrije toegang] naar hoe betrouwbaar deze software is. Het antwoord is in feite: niet.

Hoe kwam men dit te weten? De onderzoekers rekruteerden dertig vrijwillige studenten en vroegen zes van hen om effectief te spieken bij een eerstejaarsexamen onder toezicht van Proctorio. Vijf anderen kregen de opdracht om niet vals te spelen maar zich wel verdacht te gedragen. Alle anderen werden gevraagd om de test eerlijk af te leggen. De elf studenten die in een van de twee speciale condities zaten, mochten zelf beslissen hoe ze vals spelen om het systeem voor de gek te houden.

Wat waren de resultaten:

• The automatic analysis of Proctorio detected none of the cheating students; the human reviewers detected 1 (out of 6). Thus, the percentage of false negatives was very large, pointing to a very low sensitivity of online proctoring.
• None of the honest students were flagged as suspicious by Proctorio, whereas one was suspected by the human reviewer. Thus, the percentage of false positives was zero for the automatic detection, and 4% for the human analysis, pointing to a relatively high specificity achievable by online proctoring (which, however, is quite useless in the light of the disastrous sensitivity).

Houston, we hebben een probleem. De onderzoekers noemen het effect van proctering een placebo. Het is vooral een afschrikmiddel, maar het doet in feite niet echt iets. Oh ja, in het artikel staat ook hoe er vals gespeeld werd. Ik herhaal het hier maar niet. Moeten studenten die deze blogpost lezen nog een beetje moeite doen.

Dit stuk verscheen eerder op Pedro’s blog X, Y of Einstein. Hij dankt Wilfred Rubens die het artikel over het onderzoek dat in Vice verscheen tipte. 

(c) beeld: Linda Duits