Het archief van Fotopersbureau De Boer, opgericht in 1945, is bijzonder rijk: het bevat zo’n twee miljoen 33mm negatieven waarop 250.000 gebeurtenissen zijn vastgelegd. Dat zijn grote nationale zaken, maar ook kleinere onderwerpen werden gefotografeerd. In de geesteswetenschap wordt er volop onderzoek gedaan met automatische tekstherkenning en computergestuurde modellen, maar voor beeld is dat lastiger. Bestaande computermodellen kunnen aan beelden gemakkelijk labels hangen, zoals of het gaat om illustraties of een foto, welke beelden op elkaar lijken of wat voor objecten erop te zien zijn. Maar zulke labels zijn vaak ahistorisch en weinig relevant (‘parkeermeter’, ‘frisbee’).

Mediawetenschapper Melvin Wevers en historici Nico Vriend en Alexander de Bruin ontwikkelden een manier waarop computers scènes kunnen herkennen [vrije toegang]. Ze trainden een Convolutional Neural Network (CNN) om op basis van groepen pixels zo goed mogelijk de content van een beeld te beschrijven.

De onderzoekers hielden eerst interviews met erfgoeddeskundigen en archiefbezoekers om te achterhalen wat zij belangrijk vonden. Dat bleken scènes te zijn, anders gezegd “environment(s) in the world, bounded by spaces where a human body would fit”. Vervolgens voedden ze de computer met nieuwe lessen bovenop de bestaande categorisaties. Het mooie aan dit archief is namelijk dat alle foto’s vroeger zijn voorzien van metadata over wat erop staat. Ze gebruikten dus een bestaand model om zo hun nieuwe model te ‘jumpstarten’.

Voor deze vorm van machineleren is slechts een klein aantal cases nodig. Op basis van een subset van 2.500 beelden bedachten ze 115 unieke categorieën, zoals ‘voetbal’ en ‘bruiloft’. Het bleek dat scènes gedefinieerd werden aan de hand van een object (‘standbeeld), een locatie (‘park’) of een activiteit (‘fietsen’). Het model bleek goed te werken: in negen van de tien gevallen was het juiste resultaat een van de eerste vijf resultaten.