Studente Vrije Universiteit niet gediscrimineerd met tentamensoftware Proctorio

Studente Robin Pocornie diende vorig jaar een klacht in omdat zij vermoedde dat zij en haar zwarte medestudenten oneerlijk werden behandeld door tentamensoftware Proctorio. De VU gebruikte dit programma om tijdens de coronapandemie online tentamens af te nemen.

Proctorio controleert of studenten niet frauderen tijdens tentamens op afstand. Het programma analyseert onder meer via de webcam of er een gezicht in beeld is.

Problemen tijdens tentamen

De software bleek Pocornies gezicht meerdere keren niet goed te herkennen, waarna ze uit het tentamen werd verwijderd. Ze moest onder meer een felle lamp op haar gezicht laten schijnen om haar tentamen af te maken. Het gebruik van de antispieksoftware leverde haar veel extra stress op.

Omdat ze vermoedde dat haar huidskleur de oorzaak van de problemen was, stapte Pocornie met ondersteuning van het Racism and Technology Center in Amsterdam naar het College voor de Rechten van de Mens.

Hoewel het college in december in een voorlopig oordeel stelde dat het aannemelijk is dat Pocornie door de Proctorio-software gediscrimineerd is, heeft de VU daarna kunnen aantonen dat haar huidskleur niet de oorzaak was van haar problemen.

In plaats daarvan zorgde een slechte internetverbinding of het dragen van een bril ervoor dat zij opnieuw toegang moest krijgen tot de tentamenomgeving.

De universiteit heeft Pocornie daarom niet gediscrimineerd door Proctorio in te zetten, oordeelt het college. Wel vindt het dat de VU discrimineerde door de klacht in eerste instantie niet goed op te pakken.

Risico op discriminatie wel aanwezig

Het College voor de Rechten van de Mens benadrukt dat de uitspraak rond Proctorio alleen geldt voor deze specifieke klacht. De VU hoefde niet aan te tonen dat geen enkele student via de software gediscrimineerd is.

“Hoewel het college in dit individuele geval niet heeft vastgesteld dat er sprake is van verboden onderscheid, kan het evengoed zijn dat het gebruik van Proctorio (…) in een andere situatie wel degelijk tot discriminatie leidt”, schrijft het college in een nieuwsbericht.

Daarin wijst het college ook naar onderzoek dat RTL Nieuws eerder deze maand publiceerde. Daaruit bleek dat de Proctorio-algoritmes zwarte gezichten in het algemeen veel minder goed herkennen dan andere huidskleuren. In deze video zie je hoe het onderzoek is uitgevoerd:

Pocornie is teleurgesteld in de uitspraak. “Ik had een andere uitkomst verwacht”, zegt ze in een reactie. “De feiten blijven namelijk staan zoals ze zijn: ik moest met een lamp in mijn gezicht mijn tentamens maken, terwijl mijn witte medestudenten dat niet hoefden te doen.”

Het oordeel laat volgens Naomi Appelman van het Racism and Technology Center zien hoe moeilijk het voor een individu is om discriminatie door een algoritme te bewijzen, ook al blijkt uit onderzoek dat de gezichtsdetectie in het algemeen minder goed werkt bij mensen met een donkere huidskleur.

Pocornie zegt ondanks haar teleurstelling trots te zijn op wat ze heeft bereikt. “Ik heb de afgelopen maanden namelijk gemerkt dat onderwijsinstellingen door mijn zaak een stuk bewuster zijn gaan nadenken over of de technologie die ze gebruiken wel voor iedereen hetzelfde werkt.”

VU biedt excuses aan

Hoewel het oordeel van het College voor de Rechten van de Mens grotendeels in het voordeel van de VU uitvalt, heeft de uitspraak mogelijk alsnog invloed op de inzet van Proctorio bij de universiteit. “Met de kennis van vandaag zullen wij opnieuw evalueren of, en zo ja hoe, het toetsen op afstand verantwoord kan worden ingezet”, schrijft de VU in een verklaring.

Ook biedt de universiteit aan Pocornie excuses voor het feit dat de studente zich niet gehoord voelde toen zij met haar klacht bij de universiteit aanklopte. 

RTL Nieuws heeft ook Proctorio om een reactie gevraagd, maar het Amerikaanse bedrijf heeft nog niet op de uitspraak gereageerd.