Vorige maand onthulde nieuwssite ProPublica dat Facebook de mogelijkheid bood antisemieten te targeten met advertenties. Via de zelfbedieningsadvertentie tool, kon je selecteren dat je bericht getoond werd aan mensen die geïnteresseerd zijn in de onderwerpen ‘Jew hater’, ‘How to burn jews’ of ‘History of ‘why jews ruin the world’’. ProPublica probeerde het uit en hun advertenties werden binnen een kwartier goedgekeurd.

Deze advertentiemogelijkheden zijn niet aangezet door een mens, maar gegenereerd door een algoritme. Facebook wist niet dat dit kon en verwijderde nadat ProPublica hen had geïnformeerd dat deze mogelijkheden bestonden. Gevalletje oepsie.

Reproductie van vooroordelen
Het Facebook-antisemitisme incident staat echter niet op zichzelf. Kunstmatige intelligentie is hot en algoritmes kunnen al heel veel. Het probleem daarbij is dat ze gevoed worden door menselijke vooroordelen (zie onze post over homoherkenning op basis van gezichtskenmerken). New Republic schreef erover onder de kop ‘Turns Out Algorithms Are Racist’. Computers leren op basis van het materiaal dat mensen hen geven. Vooroordelen die in die gegevens zitten, worden gereproduceerd door het ‘slimme’ systeem. Als op foto’s vrouwen vaker staan afgebeeld met een stofzuiger, associeert de machine die leert van die foto’s vrouwen met stofzuigers. De artifical intelligence (AI) reproduceert zo seksisme.

Bias in algoritmes is een groot probleem dat nog maar sinds kort erkend wordt. Deze zomer werd het AI Now Initiative opgericht, een onderzoeksclub die zich bezighoudt met sociale en economische gevolgen van kunstmatige intelligentie. Die zijn nu al nauwelijks te overzien. AI maakt al allemaal beslissingen voor ons. Zo bedenkt een algoritme bij Instagram wat voor foto’s hij je laat zien – en kan het dus zomaar zijn dat Instagram je bedreigt met verkrachting (lees het verhaal). Vervelend, maar meer toch niet?

Sociale ongelijkheid is enger dan killer robots
Wel. Algoritmen beslissen nu al wie een lening krijgt, wie uitgenodigd wordt voor een sollicitatiegesprek en wie voorwaardelijk vrijgelaten wordt. Onderzoek laat zien dat gemarginaliseerde groepen, zoals mensen van kleur, verder benadeeld worden door deze systemen. Dat is niets minder dan alarmerend, zo schreef MIT Technology Review gisteren:

“Facebook’s news feed algorithm can certainly shape the public perception of social interactions and even major news events. Other algorithms may already be subtly distorting the kinds of medical care a person receives, or how they get treated in the criminal justice system. This is surely a lot more important than killer robots, at least for now.”

Er spelen twee grote, acute problemen bij de vooroordelen in AI. Allereerst wordt er te zeer gedaan alsof zulke systemen autonoom zijn. Het idee is dat mensen subjectief en feilbaar zijn, maar machines niet. Dat leidt ertoe dat de standaarden waar we mensen aan houden, niet worden toegepast op machines, terwijl we hen wel verregaande beslissingen over mensen laten maken. Het menselijke aspect wordt uit dit proces geschreven. Het tweede probleem is dat de bedrijven die deze technologieën ontwikkelen en verkopen niet geïnteresseerd lijken in het monitoren van vooroordelen in de AIs en daar ook niet transparant over zijn. Dat maakt het opsporen van bias en gevolgen daarvan moeilijker.

New Republic eindigt met een redelijk optimistische noot: sociale netwerken hebben onze onderling relaties expliciet zichtbaar gemaakt. AI lijkt de structuren achter structural bias bloot te leggen. Als we die (h)erkennen, weten we wat we moeten veranderen:

“There are complex material and ideological factors and institutions that shape our lives, and in order to counteract the prejudice contained therein, we first need to recognize that we are in fact shaped and influenced by these bigger systems, and then work against their tendency to reproduce existing power structures. What is clear, however, is that the “intelligence” of AI is the output of our own investments and biases, and it behoves us to build it in a way the recognizes that fact. AI will always reflect its input, and its input is us—our culture, our ideologies, our selves. To make the technology that will enable a more just future, those are what we have to change.”

HAL 9000 generator via Jonathan Shariat.