Deze blogpost is geschreven door dr. Martijn Kleppe en is herblogt van www.martijnkleppe.nl (17 april 2015). Sinds publicatie zijn enkele zaken binnen het onderzoek aangepast. Binnenkort schrijft Martijn hierover een uitgebreidere, Engelstalige blog.

Sinds 1 april ben ik voor een half jaar ‘onderzoeker te gast’ op de onderzoeksafdeling van de Koninklijke Bibliotheek om te werken aan mijn project ‘FoCon – Foto’s in en uit context’. Het is een erg leuke kans omdat ik de ruimte krijg om de digitale kranten– en tijdschriftencollectie alsmede het webarchief van de KB te verkennen waarbij ik me vooral richt op het gepubliceerde beeldmateriaal.

Al een tijdje houd ik me bezig met Digital Humanities projecten waarbij beeldmateriaal een grote rol speelt (zie AXES, PoliMedia en Talk of Europe) en samen met een onderzoeker van het Centrum voor Wiskunde en Informatica (CWI) wil ik nu bekijken of we slimme manieren kunnen ontwikkelen om het hergebruik van foto’s in verschillende media en door de tijd heen te bestuderen. Dit deed ik ook in mijn proefschrift met bijvoorbeeld de foto van Troelstra of het recente voorbeeld van de foto van Marokkaanse jongens in Kamp Westerbork. Troelstra onderzocht ik handmatig door alle kranten en boeken door te nemen. Maar voor de foto van de Marokkaanse jongens maakte ik gebruik van onder andere Google Image Similarity Search (meer daarover hieronder). Voor mijn tijd bij de KB wil ik de mogelijkheden verkennen of iets soortgelijks voor historische beelden ontwikkeld kan worden. Nu ben ik er maar 1,5 dag in de week voor een periode van zes maanden dus ik moet bescheiden blijven en zie deze periode vooral als een verkenning van de mogelijkheden. Mocht je er meer over willen weten, hieronder staat een deel van de projectbeschrijving.

FoCon – Foto’s in en uit Context

De visualisering van het nieuws door middel van foto’s in gedrukte media is in de tweede helft van de 20e eeuw explosief toegenomen door enerzijds verbeterde druktechnieken, anderzijds de behoefte van het publiek om het nieuws samengevat te krijgen in beelden en niet meer alleen in teksten (Kester & Kleppe 2015). Tegelijkertijd zien we dat sommige nieuwsfoto’s vaker worden gebruikt dan andere, ook lang nadat de afgebeelde gebeurtenis heeft plaatsgevonden. Door hergebruik in een andere context kan een afbeelding een nieuwe betekenis krijgen zoals we in eerder onderzoek vaststelden aan de hand van een foto van de socialistische politicus Pieter Jelles Troelstra (Kleppe 2014a). Een foto uit 1912 waarop hij tijdens een demonstratie pleit voor de invoering van algemeen kiesrecht, wordt in een derde van de schoolboeken geschiedenis gebruikt om zijn mislukte revolutiepoging van 1918 te verbeelden. Deze verkeerde datering en de daarmee gepaarde gaande betekenisverandering toont de noodzaak om foto’s als historische bron nauwkeurig(er) te bestuderen (Burke 2001, Kleppe & Beunders 2010).

Onderzoek naar het hergebruik van foto’s is echter arbeidsintensief, onder meer vanwege het groeiend aantal foto’s en media waarin deze gepubliceerd worden. Hierdoor kan dit onderzoek vooralsnog alleen steekproefsgewijs en handmatig gedaan worden. Methoden uit de Digital Humanities bieden echter de mogelijkheid dit onderzoeksproces te optimaliseren door alle gedigitaliseerde uitgaven automatisch te doorzoeken.

Hiervoor zijn twee zoektechnieken beschikbaar: visueel en tekstueel zoeken. Visueel kan gezocht worden door gebruik te maken van beeldherkenning: als de onderzoeker een foto uploadt worden daarna alle media artikelen doorzocht op het gebruik van dezelfde foto, een methode die ook wel ‘similarity search’ of ‘query by example’ wordt genoemd en reeds beschikbaar is bij Google Images (Doug 2014, Kleppe 2011, Kleppe 2012, Kleppe 2013b, Smeulders 2000, Resig 2014). Anderzijds kan tekstueel gezocht worden m.b.v. ‘named entity recognition’ waarbij concepten en namen automatisch geëxtraheerd worden uit de tekst van het artikel bij de foto, waarna andere artikelen gezocht worden waarin dezelfde concepten of personen genoemd worden (Kleppe et al 2014). Beide methodes nemen de onderzoeker veel handwerk uit handen terwijl hij nog wel diens historische methode kan toepassen bij het bepalen van de context waarin dezelfde foto is gebruikt.

Onderzoeksthema

Het centrale onderzoeksthema van FoCon is daarom een verkenning van de mogelijkheden die deze technieken bieden om het onderzoek naar het hergebruik van beeldmateriaal te faciliteren. Voor FoCon wordt één van de twee technieken verkend om het hergebruik van foto’s van politici te onderzoeken in de visuele media-archieven van de KB: het krantenarchief, het tijdschriftenarchief en het webarchief. In ons eerdere project PoliMedia hebben we ervaring opgedaan met mediaberichtgeving over politici waardoor we weten dat er veel en veelsoortig fotomateriaal van politici beschikbaar is (Kleppe et al 2014b). Daarnaast leent mediaberichtgeving over politici zich goed voor de bestudering van verschillende maatschappelijke ontwikkelingen zoals omgangsvormen in de Tweede Kamer of de zelfrepresentatie van politici.

Mogelijke impact

FoCon kan gezien worden als pilot-studie voor een groter onderzoeksproject waarbij een combinatie van beide technieken wordt toegepast om onderzoek naar hergebruik van fotomateriaal op grotere schaal te faciliteren in zowel archiefmateriaal als contemporaine mediaberichten. De tijd hiervoor lijkt rijp te zijn nu er in Nederland verschillende fotoarchieven beschikbaar zijn gekomen die via linked open data formats gekoppeld kunnen worden aan media-archieven, Zie onder andere de open fotocollecties van het Nationaal Archief, hetRegionaal Archief Nijmegen of Erfgoed Leiden. Daarnaast is de focus binnen de Digital Humanities ietwat eenzijdig gericht op tekst (Zundert & Dalen-Oskam 2014). In het licht van de gestage toename van audiovisuele data in de vorm van beeld, audio en video (Ordelman et al 2014, Smith 2013) is die beperking ongewenst en FoCon kan hier tegenwicht aan bieden door de potentie van DH bij de bestudering van beeldmateriaal en bij de verbinding van heterogene collecties nader te verkennen.

Literatuur

Burke, P (2001), Eyewitnessing. The uses of images as historical evidence (London).

Doug, R. (2014): ‘Using Computer Vision to Improve Image Metadata’. Digital Humanities 2014. http://dharchive.org/paper/DH2014/Paper-294.xml (2014)

Kester, B., Kleppe, M. (2015), “Acceptatie, professionaliseing en innovatie. Persfotografie in Nederland 1837-2014” in Wijfjes, H., Bardoel, J., Journalistieke Cultuur in Nederland – tweede geheel vernieuwde druk (Amsterdam).

Kleppe, M. (2014a), “Je vergissen met Troelstra. Beeld (ver)vormende foto’s van de Nederlandse geschiedenis”, Geschiedenis Magazine 1, 52 – 55.

Kleppe, M., Hollink, L., Kemman, M., Juric, D., Beunders, H., Blom, J., Oomen, J. Houben, G.-J. (2014b). “PoliMedia – Analysing Media Coverage of Political Debates By Automatically Generated Links to Radio & Newspaper Items” In D’Aquin, M. et al. (Eds.), Proceedings of the LinkedUp Veni Competition on Linked and Open Data for Education. Geneva, Switzerland: CEUR-WS. http://ceur-ws.org/Vol-1124/

Kleppe, M. (2013a): Canonieke Icoonfoto’s. De rol van (pers)foto’s in de Nederlandse geschiedschrijving (Eburon), Delft. http://repub.eur.nl/pub/38912

Kleppe, M. (2013b), “Vind die ene foto” In Geels, M., Opijnen, T. Van., Nederland in ideeen. 101 Denkers over inzichten en innovaties die ons land verander(d)en (Amsterdam).https://decorrespondent.nl/134/Fotos-terugvinden-zal-net-zo-gemakkelijk-worden-als-fotos-maken/10356150068-be05cbeb

Kleppe, M. (2012), “Wat is het onderwerp op een foto? De kansen en problemen bij het opzetten van een eigen fotodatabase” In: Tijdschrift voor Mediageschiedenis 2 93 – 107.http://repub.eur.nl/pub/34903/

Kleppe, M. (2011) Vind foto’s met behulp van foto’s. Fotografisch Geheugen (72) 15 – 17http://repub.eur.nl/pub/30669/

Kleppe, M., Beunders, H. (2010), ‘Een plaatje bij een praatje of historisch onderzoek? Fotografie verwerft geleidelijk een plek in de historische wetenschap’, Groniek 187 121-139.http://repub.eur.nl/pub/21692

Ordelman, R., Kemman, M., Kleppe, M., Jong, F. de (2014), Sound and (moving images) in foucs – How to integrate audiovisual material in Digital Humanities research. Digital Humanities 2014 http://dharchive.org/paper/DH2014/Workshops-914.xml

Resig, J. (2014). “Using Computer Vision to Increase the Research Potential of Photo Archives.” Journal of Digital Humanities, 3(2). http://journalofdigitalhumanities.org/3-2/using-computer-vision-to-increase-the-research-potential-of-photo-archives-by-john-resig/

Smeulders, A. W., Worring, M., Santini, S., Gupta, A., & Jain, R. (2000). Content-based image retrieval at the end of the early years. Pattern Analysis and Machine Intelligence, Pattern Analysis and Machine Intelligence 22, 1349 – 1380.

Smith, J. R. (2013). Riding the multimedia big data wave. In Proceedings of the 36th international ACM SIGIR conference on research and development in information retrieval – SIGIR ’13. New York, New York, USA: ACM Press. doi:10.1145/2484028.2494492.

Zundert, J. van, & Dalen-Oskam, K. van. (2014, October 28). Digital Humanities in the Netherlands. Retrieved November 7, 2014, from http://www.hsozkult.de/hfn/debate/id/diskussionen-2396