Het Fotomuseum Antwerpen (FOMU) heeft het afgelopen jaar het onderzoeksproject Operationalisering van beeldherkenning in de registratiepraktijk uitgevoerd. Dat had betrekking op geautomatiseerde beeldherkenning als alternatief voor of aanvulling op de handmatige beschrijving van objecten uit de collectie.

Het vertrekpunt was de enorme omvang van de FOMU-collectie; deze bevat meer dan drie miljoen objecten. De registratie van dat cultureel erfgoed is een zeer arbeidsintensief proces. Artificiële intelligentie (AI) biedt mogelijke oplossingen om voorwerpen, personen en zelfs emoties geautomatiseerd te herkennen.

De technologie is intussen ook beschikbaar voor (erfgoed)organisaties via online beeldherkenningsdiensten, oftewel visual recognition services (VRS). Voorbeelden hiervan zijn Google Vision, Clarifai en Microsoft Azure.

Met steun van de Vlaamse overheid werd er gezocht naar een methodologie om beeldmateriaal te laten taggen of categoriseren met behulp van deze online beeldherkenningsdiensten, en de resultaten ervan te integreren in de registratiesystemen (onder andere Adlib en Memorix Maior).

Om een goed beeld te krijgen van de mogelijkheden van deze technologie werden vier uiteenlopende pilootprojecten van de contentpartners uitgewerkt. Deze partners waren het FOMU, het Stadsarchief Brugge en de Erfgoedcel Brugge, Modemuseum Antwerpen (MoMu), en het Netwerk Oorlogsbronnen.

Het FOMU werkte daarvoor tevens samen met digitaal erfgoedexpert meemoo en technische coördinator Datable.

De vier pilootprojecten: 

• personen van de post-Cobrabeweging herkennen op foto’s (FOMU);  
• types documenten en formulieren uit de Tweede Wereldoorlog herkennen (Netwerk Oorlogsbronnen);
• foto’s categoriseren volgens de thema’s van Beeldbank Brugge (Erfgoedcel Brugge en Stadsarchief Brugge); 
• esthetisch ‘mooie’ foto’s identificeren voor communicatiedoeleinden (MoMu). 

Methodologie

In elk pilootproject werd er eerst een set testbeelden verzameld om te onderzoeken welke beeldherkenningsdiensten werkten en welke het effectiefst zijn. Hierbij werd ook onderzocht of het interessant kan zijn om de beeldherkenningsdienst te trainen.

Zodra de resultaten voldoende bleken, werd er een architectuur opgezet met verschillende softwarecomponenten voor het automatiseren van de methodologie. Daarna werd de automatische tagging geëvalueerd en geïmplementeerd in de collectiebeheersystemen.

Resultaten

De meerwaarde van online beeldherkenningsdiensten ten opzichte van manuele registratie zat in de efficiëntie bij grote (en uniforme) volumes zoals bij het Netwerk Oorlogsbronnen.

Aan de hand van minimale training werd hier op korte tijd een perfect resultaat neergezet, en was een beeldherkenningsdienst dus veel goedkoper én sneller dan een manuele registrator.

In andere gevallen vereisten het trainen, het opstellen van workflows per pilootproject en het valideren nog steeds een grote menselijke tussenkomst. Volledige automatisering is daar dus niet aan de orde, maar het samenspel van mens en machine levert wel een meerwaarde op.

Zo was er bijvoorbeeld tijdswinst bij het FOMU doordat de beeldherkenningsdienst foto’s groepeerde waarop dezelfde persoon voorkwam, waarna vrijwilligers vervolgens aangaven over welke persoon het ging. De gebruikte technologie is publiek toegankelijk en betaalbaar, maar de leercurve is vrij steil.

Het uitwerken van een model voor een pilootproject is veelal een trial-and-errorproces en veel musea zullen dus een externe expert moeten inschakelen. Niettemin is de technologie veelbelovend en doen collectiebeherende instellingen er goed aan om te kijken hoe deze technologie ingepast kan worden in hun werking.

Je kunt de methodieken en resultaten per pilootproject ontdekken in het eindrapport op de website van de cultureelerfgoedstandaardentoolbox (CEST).