Home / Blog / AI kan niet op basis van gezichtsherkenning seksuele oriëntatie vaststellen

AI kan niet op basis van gezichtsherkenning seksuele oriëntatie vaststellen

LATER LEZEN

Een verontrustend bericht in het nieuws afgelopen week (oa The Guardian, De Morgen): kunstmatige intelligentie kan op basis van je gezichtskenmerken raden of je homo of hetero bent. De Chinese informaticus Yilun Wang en de Amerikaanse psycholoog Michal Kosinski deden hier onderzoek naar [preprint is vrij beschikbaar], of liever gezegd: hebben een Artifical Intelligence (AI) dit geleerd. De eerste vraag die daarbij opkomt is de waarom: waarom zou je een computer dit willen laten leren? De onderzoekers doen daar geen uitspraken over.

De gaydar van deze AI zou significant beter zijn dan die van mensen. Met die uitspraak ontstaat er een loskoppeling tussen de mens die de machine wat laat leren, en de machine die beter in staat zou zijn dan de mens een bepaalde werkelijkheid te vatten. The Guardian schrijft:

“Human judges performed much worse than the algorithm, accurately identifying orientation only 61% of the time for men and 54% for women. When the software reviewed five images per person, it was even more successful – 91% of the time with men and 83% with women. Broadly, that means “faces contain much more information about sexual orientation than can be perceived and interpreted by the human brain”, the authors wrote. The paper suggested that the findings provide “strong support” for the theory that sexual orientation stems from exposure to certain hormones before birth, meaning people are born gay and being queer is not a choice. The machine’s lower success rate for women also could support the notion that female sexual orientation is more fluid.”

Hier staat dat een computermodel aanleiding is om aan te nemen dat seksuele voorkeur vastligt in de biologie en dat er daarbij een biologisch verschil bestaat tussen mannen en vrouwen. Is het echter niet andersom? Heeft de AI niet geleerd om onze eigen, culturele ideeën over homoseksualiteit te reproduceren? Zo denkt de AI in termen van een dichotomie (he OF ho, zonder iets er tussenin) en zijn het de onderzoekers, en niet de computer, die speculeren over wat de resultaten nu precies betekenen.

Het paper
Op Facebook zag ik een reactie op het bericht van Mathijs Tratsaert, een Vlaamse dichter die ik verder niet ken. Hij had de moeite genomen het paper te lezen en hij constateert dat de nieuwsberichten onjuist zijn. De percentages uit bovenstaande quote kloppen niet volgens hem. Laten we dus het paper bekijken. Wat houdt de studie precies in?

De onderzoekers willen weten:

“whether an intimate psycho–demographic trait, sexual orientation, is displayed on human faces beyond what can be perceived by humans. We address this question using a data-driven approach” (p. 8).

Seksuele voorkeur wordt gezien als aangeboren kenmerk van de geest. Het paper begint bij de fysiognomie, de leer die stelt dat je iemands karakter kunt aflezen aan het gelaat. De onderzoekers gaan daarbij snel langs een aantal bezwaren op historische perspectieven hierop (Lombroso bijvoorbeeld), om vervolgens vrolijk te stellen dat zulke verbanden er wel degelijk zijn. Bijvoorbeeld: vrouwen die vroeg in het leven extravert waren, worden later mooier. De onderzoekers citeren allerlei onderzoek waar mensen aan gelaatstrekken kenmerken konden aflezen, zoals politieke voorkeur.

Op basis van prenatal hormone theory (PHT) veronderstellen de onderzoekers een verband tussen gezichtskenmerken en seksuele oriëntatie. Homomannen zouden volgens PHT meer vrouwelijke gelaatskenmerken hebben, terwijl lesbiennes meer mannelijk zouden zijn. Deze biologische kenmerken worden volgens de onderzoekers versterkt door cultuur: homomannen gaan hun haar op een bepaalde manier dragen bijvoorbeeld. Ook hier wordt veel onderzoek geciteerd, en het zijn deze studies die ‘gevoerd’ zijn aan de kunstmatige intelligentie.

Methode
De onderzoekers gebruikten foto’s van datingsites. Ze begonnen met 130.741 foto’s van 36.630 mannen en 170.360 foto’s van 38.593 vrouwen. Let op: de computer baseerde zich dus op meerdere foto’s van dezelfde persoon. De helft was op zoek naar een partner van hetzelfde geslacht en de andere helft zocht een partner van het andere geslacht. Er was dus een gelijke verdeling tussen homo en hetero (als in: wat deze mensen zochten op deze sites). Biseksualiteit wordt genegeerd. Een groot aantal foto’s werd ongeschikt bevonden, omdat er meerdere mensen op stonden of omdat de afstand tussen de ogen te klein was. Daarnaast werden alleen witte volwassenen toegelaten tot de uiteindelijke steekproef. De keuze hiervoor wordt niet beargumenteerd.

Een bestaand deep neural network genaamd VGG Face werd gebruikt. Deze AI ‘vertaalt’ een portretfoto in 4.096 scores, die verwijzen naar gezichtskenmerken (denk aan de vorm van de neus). De steekproef van foto’s werd in twintig delen opgehakt. Negentien ervan werden gebruikt om de AI te trainen, dus aan te leren welke personen op de foto’s homo en welke hetero waren. De laatste set werd gebruikt om te toetsen of de AI het goed had geleerd. De 4.096 gezichtsscores zijn dan de onafhankelijke variabele, en seksuele oriëntatie de afhankelijke variabele.

Resultaten
De accuraatheid van de AI wordt uitgedrukt met een coëfficiënt:

“Across this paper, the accuracy is expressed using the area under receiver operating characteristic curve (AUC) coefficient. AUC represents the likelihood of a classifier being correct when presented with the faces oft wo randomly selected participants—one gay and one heterosexual” (p. 15).

De AI beoordeelde dus een set van twee personen, een homo en een hetero, en moest dan aangeven wie de homo was. Dat is echt iets anders dan raden of een voorgelegde foto hoort bij een homo of hetero – zoals De Morgen stelde:

“Onderzoekers van de universiteit van Stanford ontwikkelden een computeralgoritme dat bij 81 procent van mannenfoto’s correct kon aangeven of ze homo waren of niet”.

Dat klopt niet. De AI kon bij 81 procent van de voorgelegde sets mannenfoto’s correct vaststellen wie de homo was. Dat gold voor 71 procent van de sets vrouwenfoto’s. Het gaat daarbij om een afweging tussen het aantal goed geclassificeerde homo’s en het werkelijk aantal homo’s in de steekproef. De AI was beter in herkennen wanneer er meerdere foto’s van dezelfde persoon werden voorgelegd. De onderzoekers plaatsen daar belangrijke kanttekening bij. In hun steekproef bestond de helft van de mensen uit homo’s en de andere helft uit hetero’s. Dat is niet geval in de Amerikaanse populatie, waar naar schatting 6-7 procent van de bevolking gay is. Toen de AI werd gevraagd een willekeurige steekproef van duizend mensen te beoordelen bleek de computer dat veel slechter te kunnen.

De onderzoekers voerden meerdere studies uit. In een daarvan moesten mensen op basis van de foto’s vaststellen wie van de twee voorgelegde personen homoseksueel was, in de andere ging het alleen om de AI. Welke gezichtskenmerken waren nu het meest veelzeggend voor de AI? Bij homomannen ging het om neus, ogen, wenkbrauwen, jukbeenderen, haarlijn en kin. Bij vrouwen om de neus, mondhoeken, haar en neklijn. Het gaat daarbij om kenmerken die ‘gender a-typical’ zijn: vrouwelijke gezichten voor de homomannen en mannelijke gezichten voor de lesbische vrouwen. Ook hier wordt een culturele bias gereproduceerd, namelijk dat homomannen verwijfd zijn en lesbiennes butch. Je zou de AI eens graag meenemen naar een gay bar. Let op: niet alle gezichtskenmerken zijn biologisch. De AI had geleerd dat lesbische vrouwen minder vaak make-up dragen en dat homomannen beter geschoren gezichten hebben. Bovendien lachen lesbiennes minder vaak op hun datingsiteprofielfoto’s.

Conclusie
De claims die gedaan worden in de nieuwsberichten over dit onderzoek kloppen niet. De journalisten hebben de studie niet goed gelezen of – waarschijnlijker – de fouten van hun collegajournalisten overgeschreven. De ontwikkelde AI kan redelijk goed vaststellen welke van twee personen homo is, als daadwerkelijk een van die twee homo is. De AI doet dat op basis van variabelen die door mensen zijn ingegeven en die culturele ideeën over homoseksualiteit weerspiegelen. Het is dus niet zo dat AI een biologische waarheid heeft ontdekt. De machine reproduceert gebrekkige, menselijke opvattingen en leert de wereld op die manier te zien.

De onderzoekers merken op dat technologie die seksuele voorkeur kan vaststellen levensbedreigend kan zijn. Gek genoeg zien zij dat als reden om precies die technologie te gaan ontwikkelen om, in hun woorden, beleidsmakers te waarschuwen over de accuraatheid van zulke intelligentie. Het is bijzonder bedenkelijk dat zulk onderzoek langs ethische commissies komt en het is gevaarlijk dat nieuwsmedia er niet in slagen correct verslag te doen van deze technologische ontwikkelingen.

Update: op Twitter wees @sebastiandraws mij op dit stuk met nog twee belangrijke bezwaren.