Van bedreigd erfgoed tot een goudmijn voor machinelearning

De digitalisering van fysiek kwetsbare krantencollecties vraagt van veel erfgoedinstellingen belangrijke inspanningen en investeringen. Onderzoekers in de digital humanities (digitale geesteswetenschappen) experimenteren met artificiële-intelligentietechnologieën om de data van gedigitaliseerde krantencollecties over de landsgrenzen heen beter doorzoekbaar te maken. Een werkelijk geïntegreerde (inter)nationale ontsluiting van het gedigitaliseerde krantenerfgoed voor verschillende gebruikersgroepen is echter nog toekomstmuziek.

Een digitaal eldorado?

Kranten, regelmatig verschijnende publicaties die (meestal dagelijks) berichten over de lopende actualiteit, zijn als historische bron een schatkamer voor onderzoek op vrijwel elk maatschappelijk domein. Nieuwsbladen werden echter niet gemaakt met het oog op de eeuwigheid en vooral het papier van dagbladen uit de jaren 1850 - 1950 is inmiddels erg verzuurd. Archieven en erfgoedbibliotheken spannen zich in om dat enorme fysiek bedreigde reservoir aan historische kennis een duurzame digitale toekomst te geven.

Het door de Vlaamse overheid erkend cultureel archief Liberas digitaliseert bijvoorbeeld sinds 2021 zijn collectie kranten en tijdschriften tot formaat A3 via een volledig interne procedure. Eigen medewerkers zijn verantwoordelijk voor alle stappen van het digitaliseringsproces. Dat gaat van het inscannen van de pagina’s en de creatie van metadata voor elke pagina tot de verwerking van de digitale beelden door optical character recognition (OCR)- software en het opslaan van de volledige tekst- en opmaakinformatie van de automatische tekstherkenning in de XML-standaard ALTO. Tot slot laadt Liberas deze beelden en XML-bestanden op naar het collectiebeheersysteem. Op deze manier kon Liberas op twee jaar tijd 120.000 pagina’s uit zijn collectie kranten en tijdschriften digitaliseren en doorzoekbaar maken.

Voor het samenstellen van een evenwichtig gedigitaliseerd bronnencorpus hebben gebruikers en onderzoekers er baat bij dat online databanken van historische kranten voldoende contextuele informatie aanbieden over de gedigitaliseerde titels (oplage, ideologisch profiel, periode van verschijnen, enzovoort). Chronicling America biedt dergelijke informatie aan via korte title essays. Chronicling America is de door de Library of Congress onderhouden landingspagina van verschillende collecties gedigitaliseerde historische kranten, die volgens dezelfde richtlijnen aangeleverd werden en worden door instellingen uit alle Amerikaanse staten. Chronicling America is ook een voorbeeldmodel voor de contextuele visualisering van de collecties. Het platform publiceert regelmatig geüpdatete en interactieve visualisaties (tijdslijnen, kaarten) die gebruikers een beeld geven van de geografische en chronologische onevenwichtigheden in het gedigitaliseerde krantenaanbod.

Digitalisering volgens professionele standaarden is arbeidsintensief, en een duurzame online toegang tot de data van gedigitaliseerde kranten is essentieel. Ook bij de collecties van kleinere bewaarinstellingen gaat het al snel om honderdduizenden in te scannen pagina’s. Wanneer erfgoedinstellingen de digitalisering van originele krantencollecties uitbesteden, blijken hun vragen rond het opvolgen van de kwaliteitseisen van de Metamorfoze Light-richtlijn niet steeds verzoenbaar met de mogelijkheden en procedures van een digitaliseringsfirma. Ook de interne kwaliteitscontrole van extern gedigitaliseerde krantenpagina’s is voor erfgoedinstellingen erg tijdsintensief, terwijl daarnaast de juiste tools vereist zijn.

Om de doorzoekbaarheid van de gecreëerde data te garanderen, is elke instelling bovendien afhankelijk van de mogelijkheden en beperkingen van haar collectiebeheersysteem en de ervaring van de leverancier van dat collectiebeheersysteem met het opladen van de uitvoerformaten van de tekstherkenning. De OCR-technologie staat ook niet stil, waardoor de OCR-kwaliteit van tien jaar geleden vandaag reeds aanzienlijk verbeterd kan worden met nieuwe tekstherkenningsprogramma’s.

Het hoofd bieden aan versnippering

In Europa zien we een versnipperd landschap van digitale infrastructuur die historische kranten op zowel regionaal, nationaal als internationaal niveau ontsluit. Ook binnen de grenzen van België is er een groei aan ontsluitingsplatformen met verschillende functionaliteiten op het niveau van individuele organisaties of regionale samenwerkingsverbanden. Erfgoedinstellingen opereren in de eerste plaats als zelfstandige entiteiten die ressorteren onder verschillende beleidsniveau met verschillende financierende overheden.

Deze verscheidenheid aan platformen van erfgoedinstellingen is op zich waardevol. Massadigitaliseringsprogramma’s op basis van grote investeringsprogramma’s volgens dezelfde standaardnormen en -procedures – en de daaruit resulterende overkoepelende platformen die toegang verlenen tot gedigitaliseerde collecties van tientallen bewaarinstellingen – vragen immers jarenlange voorbereidingstrajecten.

Erfgoedinstellingen kunnen met hun eigen platformen en digitaliseringsprogramma’s en vanuit hun eigen collectieprofiel sneller en op flexibele wijze inspelen op opportuniteiten, en zo het eigen digitale aanbod stapsgewijs uitbreiden of aanvullen via samenwerkingsverbanden met andere organisaties. Het rijke aanbod van lokale en regionale Vlaamse krantendatabanken kwam bijvoorbeeld tot stand door de vele inspanningen van erfgoedcellen, stadsarchieven en erfgoedbibliotheken.

Toch mogen we niet blind zijn voor de mogelijk nadelige gevolgen van de toenemende versnippering, zeker wanneer het overkoepelende ontsluitingsplatformen in de Belgische context betreft. Zo ontsloten grote digitaliseringsprojecten met wisselende contentpartners de afgelopen tien jaar bijna duizend gedigitaliseerde Belgische krantentitels die tijdens de Eerste Wereldoorlog verschenen, via drie open krantenplatformen.

Voor een totaaloverzicht moet de gebruiker controleren of de nummers van de Belgische oorlogskrant die hij of zij zoekt, opgenomen zijn in Het Nieuws van de Groote oorlog (een platform onderhouden door meemoo, Vlaams instituut voor het archief), The Belgian War Press (een platform onderhouden door CegeSoma, het Studieen Documentatiecentrum Oorlog en Hedendaagse Maatschappij) dan wel Belgicapress (een platform onderhouden door KBR).

Massadigitaliseringsprogramma’s en portaalomgevingen op nationaal niveau die beheerd worden door nationale bibliotheken komen ongetwijfeld het meest tegemoet aan gebruikers die minder ervaring hebben met het doorzoeken van verschillende databanken. Chronicling America, Trove en Delpher zijn mooie voorbeelden. Het door de Library of Congress beheerde Chronicling America wordt gefinancierd vanuit een centraal, federaal programma dat jaarlijks digitaliseringsbeurzen uitreikt aan universiteitsbibliotheken, nonprofitorganisaties en regionale overheidsdiensten om gedigitaliseerde krantencollecties uit de verschillende Amerikaanse staten toe te voegen aan het centrale platform.

Delpher, beheerd door de Nederlandse KB, nationale bibliotheek, functioneert tevens als toegangspoort voor de Nederlandse krantencollecties van heel wat instellingen uit binnen- en buitenland en integreert vandaag reeds de zoekresultaten van acht externe regionale krantendatabanken op het platform. Het door de Nationale Bibliotheek van Australië beheerde Trove-portaal ontsluit gedigitaliseerde historische krantencollecties van de belangrijkste Australische staatsbibliotheken.

De staatsstructuur en taalkundige situatie in België maken dat cultureel erfgoed een gemeenschapsmaterie is. Dat compliceert een uniform en nationaal beheer van het gedigitaliseerde krantenerfgoed en zorgt ervoor dat een nationaal en centraal platform dat als toegangspoort functioneert, zoals Chronicling America, in België minder voor de hand ligt. De vzw’s Vlaamse Erfgoedbibliotheken en meemoo werken met het project Nieuwe Tijdingen aan de ontwikkeling van een landelijk digitaliseringsprogramma voor het Vlaamse krantenerfgoed. Het doel van het in 2021 opgestarte voorbereidingsproject is om historische kranten in Vlaanderen te digitaliseren, duurzaam te archiveren en centraal te ontsluiten via een nieuwe kranteninterface op het centrale platform Het Archief.

Parallel met Nieuwe Tijdingen voerde meemoo samen met de Vlaamse Erfgoedbibliotheken ook het krantendigitaliseringsproject Primeur (2021-2023) uit. Via dat relance-project liet meemoo reeds 630.000 krantenpagina’s uit de collecties van acht erfgoedinstellingen digitaliseren. Binnen Nieuwe Tijdingen werden als testcase ook al 65.000 pagina’s van kleine en lokale krantencollecties gedigitaliseerd. Deze overkoepelende digitaliseringsprojecten staan los van de verdere uitbouw van het bestaande krantenplatform Belgicapress van KBR, maar er is vanzelfsprekend overleg rond selectielijsten tussen beide digitaliseringsprogramma’s.

Vlaamse ‘reddingsprogramma’s’ voor bedreigd krantenerfgoed zoals Primeur en Nieuwe Tijdingen zijn waardevol, maar kampen met de afhankelijkheid van projectsubsidies. Projectmatige expertiseopbouw rond de digitalisering van kranten is geen garantie voor een verankering van deze expertise in de brede Vlaamse cultureel-erfgoedsector. Een duurzame digitale transformatie gebeurt in de praktijk idealiter op organisatieniveau (bottom-up) via reguliere financiering. Verre van elke instelling in de Vlaamse cultureel-erfgoedsector beschikt echter over de nodige middelen en opgeleid personeel om de laatste ontwikkelingen rond de digitalisering van kranten te volgen, los nog van de implementatie van deze ontwikkelingen in de eigen digitale infrastructuur.

Er is met andere woorden in de sector sprake van verschillende snelheden. Daarom zet de dienstverlenende werking van meemoo rond krantenerfgoed niet enkel in op de voorbereiding en uitvoering van massadigitaliseringsprojecten en de expertiseopbouw daarrond. Meemoo ondersteunt ook kleine en grotere contentpartners bij het opzetten en uitvoeren van eigen digitaliseringsprocedures voor hun kranten- en tijdschriftencollecties. Dat gebeurt bijvoorbeeld via kennis- en expertisedeling rond aanbesteding en kwaliteitscontrole. Sinds 2020 organiseert meemoo hiervoor samen met FARO en de Vlaamse Erfgoedbibliotheken de collegagroep Digitalisering van Periodieken. Sinds afgelopen zomer verankert een apart decreet bovendien de digitale dienstverlening van meemoo als een structureel onderdeel van het Vlaamse cultuurbeleid.

Collecties als data

Zowel grote als kleinere erfgoedorganisaties worden geconfronteerd met uiteenlopende verwachtingen ten aanzien van de ontsluiting van kranten via hun digitale infrastructuur. Academische onderzoekers hebben soms andere wensen dan gebruikers met een zoekvraag (genealogen, onderwijzers, studenten, politici, journalisten, het brede publiek van nieuwsgierigen, enzovoort). De meeste gebruikers en heel wat professionele onderzoekers en erfgoedkundigen zoeken en vinden doorgaans informatie op basis van trefwoorden via kwalitatieve technieken van close reading (de menselijke analyse van enkelvoudige teksten als bronnen). Meer en meer academische onderzoekers die samen de onderzoeksgemeenschap en het veld van de digital humanities uitmaken, willen echter ook aan distant reading (de computergestuurde analyse van grote machineleesbare datavolumes) doen.

Er treedt hierdoor de laatste jaren een wijdverspreide frictie op tussen de soms hooggespannen verwachtingen van een groep academische onderzoekers die verschillende computationele technieken willen toepassen op gedigitaliseerde krantencollecties en de (beperkte) mogelijkheden van erfgoedinstellingen. Onderzoekers en datawetenschappers, actief binnen de digital humanities, willen bij het gebruik van online krantendatabanken – los van de gebruikersinterface – zelf op basis van zoekvragen datasets kunnen samenstellen via het gebruik van application programming interfaces (API’s).

Verder zijn onderzoekers in de digital humanities vragende partij voor de mogelijkheid van bulkdownloads van grote gecureerde sets van databestanden. In het geval van gedigitaliseerde kranten komt dat neer op de metadata, de beelden en de OCR-resultaten in machineleesbare formaten. Dat vraagt van de bewaarinstellingen een aanpak die het ‘collecties als data’-principe, de toegang tot gedigitaliseerde collecties op het niveau van de onderliggende databestanden, centraal plaatst.

De gedigitaliseerde en doorzoekbare krantencollecties van Europese nationale bibliotheken zijn, vanuit de doeleinden van de digital humanities, nog te vaak institutionele ‘silo’s’. Zo verleent Belgicapress, dat vandaag reeds 132 kranten vanaf het Hollandse bewind (1815-1830) tot de jaren 1960 ontsluit via OCR, vooralsnog geen toegang tot de krantencollecties als datasets. Er loopt aan KBR momenteel wel het DATA-KBR-BE-project (2020-2024) dat als doel heeft de toegang tot de gedigitaliseerde krantencollecties van KBR op dataniveau in de toekomst mogelijk te maken.

In de buurlanden staan de nationale bibliotheken van Luxemburg en Nederland het verst met het verlenen van toegang tot API’s en het vrijgeven van gecureerde datasets van gedigitaliseerde kranten. De ‘collecties als data’-beweging komt overgewaaid uit de Verenigde Staten. Het is dus niet verwonderlijk dat Chronicling America toelaat om via de API van het platform op basis van zoekvragen datasets in HTML, XML of JSON-formaten te verzamelen, en de mogelijkheid biedt om – los van de API – bulkdatasets te downloaden.

Incoherente datasets en 'OCR-noise’

Ook als krantendatabanken de onderliggende datasets vrijgeven op vraag van onderzoekers, stelt zich nog steeds het structurele probleem van de onderling uiteenlopende kwaliteit van deze databestanden. Bij het verzamelen van de onderliggende databestanden van grote gedigitaliseerde krantencollecties uit verschillende landen botsen onderzoekers dikwijls op variërende en onvolledige gegevens (incoherente invulling van velden en variatie in terminologie bij de metadata, verschillende formaten, gecorrumpeerde ZIP-archieven, enzovoort).

Dat verklaart de gebrekkige mogelijkheden van de kranteninterface op het Europeana-platform. Europeana Newspapers brengt de (duplicaten van) gedigitaliseerde krantencollecties, die geproduceerd werden vanuit van elkaar losstaande digitaliseringsprogramma’s van erfgoedbibliotheken uit tien Europese landen, samen in één virtuele Europeana-omgeving. De focus ligt in deze omgeving noodgedwongen op ontdekken en niet op onderzoeken. De kranteninterface van Europeana biedt als portaalomgeving geen geavanceerde zoekfuncties aan en de filteropties zijn beperkt.

Digital humanities-onderzoekers waarschuwen ook voor de impact van wisselende OCR-kwaliteit (OCR-noise) op de bruikbaarheid van bepaalde gedigitaliseerde collecties of bepaalde periodes in gedigitaliseerde collecties voor distant reading-onderzoek. Tests op basis van collecties van Chronicling America maakten duidelijk dat de precisie van de OCR, waarover gebruikers vaak in het ongewisse blijven, reeds binnen de collectie van één gedigitaliseerde titel aanzienlijk kan variëren. De fysieke staat van het bronmateriaal van een titel kan variëren door de tijd heen en ook het gebruik van verschillende OCR-software bij meerjarige digitaliseringsprojecten kan voor variaties zorgen.

Daarbij mogen we niet vergeten dat Chronicling America wegens budgettaire en beheersmatige redenen standaard uitgaat van digitalisering van microfilms, en dus niet van de originele kranten. Dat werkt OCR-noise in de hand. Ook op de Australische portaalsite Trove werden en worden de meeste gedigitaliseerde kranten gescand op basis van microfilmcollecties. Trove pionierde in 2009 door gebruikers zelf toe te laten OCR-fouten te corrigeren. Dergelijke vorm van crowdsourced tekstcorrectie verbetert in het beste geval een klein percentage van de totale collectie, met vooral ingrepen op basis van genealogische vraagstellingen.

Artificiële intelligentie via machinaal leren

Vanuit het perspectief van de digital humanities zijn onderzoekers ook vragende partij voor gesofisticeerde gebruikersinterfaces die de mogelijkheid van segmentatie op het niveau van artikels aanbieden, de gedigitaliseerde krantenteksten automatisch verrijken met semantische annotaties (topics, namen van personen en evenementen, genre, enzovoort) en zorgen voor geavanceerde zoekmogelijkheden (bijvoorbeeld inhoudsgebonden filters en suggesties van andere trefwoorden).

Binnen de digital humanities wordt actief geëxperimenteerd met machinelearningtechnieken om onderzoekers toe te laten bronnencorpora op te stellen op basis van digitale onderzoeksmethodes. Datawetenschappers ontwikkelen algoritmes om specifieke soorten teksten binnen afgebakende krantencollecties automatisch te herkennen (automatische tekstclassificatie) en informatieblokken (artikels, illustraties, titels) automatisch te segmenteren (document layout analysis). Bij machinelearningtechnologie leert een computersysteem patronen te vinden in grote hoeveelheden tekst en data op basis van trainingssets.

De datawetenschappers van IDLab aan de Universiteit Gent (UGent) ontwikkelden bijvoorbeeld, binnen een collaboratief project met KBR, algoritmen die de voorpagina’s van de socialistische krant Le Peuple uit 1938 segmenteren op artikelniveau, op basis van lay-outkenmerken (bit.ly/Labeltool). De datawetenschappers van IDLab slaagden er ook in een bepaald soort artikels, de feuilletons of vervolgverhalen, uit deze voorpagina’s te extraheren op basis van tekstuele en visuele overeenkomsten.

Internationale onderzoeksinfrastructuur

Verschillende internationale en interdisciplinaire onderzoeksprojecten lanceerden de laatste jaren interfaces die via machinelearningtechnologie gedigitaliseerde collecties kranten van nieuwe lagen van informatie voorzien. Deze platformen willen via geavanceerde zoekfuncties en artikelsegmentatie de studie van afgebakende, meertalige collecties naar een hoger analytisch niveau tillen.

Binnen het Zwitserse Impresso/Media Monitoring of the Past-project (2017-2021) werkten computerlinguïsten en historici samen aan een voor onderzoekers toegankelijke interface die het via semantische indexering mogelijk maakt om 76 Zwitserse en Luxemburgse kranten op precieze manieren te bevragen. De Impresso-applicatie genereert op basis van de ingetypte zoekterm automatisch semantisch en orthografisch vergelijkbare zoektermen om in de zoekresultaten mee te nemen. Via topic modeling kan de gebruiker bepaalde thema’s in de gevonden tekstfragmenten uitlichten of wegfilteren. De interface herkent tevens personen, locaties en organisaties en linkt deze automatisch via Named Entity Recognition aan de Wikidatapagina’s van deze entiteiten.

Het NewsEye-project (2018-2022) is een ander soortgelijk Europees digital humanities-project dat recentelijk afgerond werd. In 2020 lanceerde het team achter dat project een testplatform (platform2.newseye.eu). Op dat platform kunnen gebruikers de door het NewsEye-team ontwikkelde tools van artikelsegmentatie en semantische tekstverrijking (Named Entity Recognition, topic modeling, trefwoordsuggesties) uittesten op een meertalige collectie van zes Franse, vier Oostenrijkse, zeven Finse en drie Zweedse kranten.

Ondanks deze beloftevolle ontwikkelingen stelt zich ook binnen het veld van de digital humanities het probleem van versnippering. Dat uit zich in parallelle investeringen in dezelfde soort geavanceerde onderzoeksinfrastructuur die naargelang het project meer of minder gebruiksvriendelijk en publiek toegankelijk is en steeds andere krantencollecties ontsluit. Door de projectgebonden financiering vanuit verschillende overheden is een duurzame toekomst voor deze digitale platformen en innovatieve tools verre van verzekerd eens de onderzoeksbeurzen aflopen.

Een duurzame online verankering vergt immers een constant onderhoud en continue investering in het verfijnen van de functionaliteiten en het verder uitbreiden van de (in het geval van Impresso en NewsEye) nog in omvang beperkte krantencollecties. Als antwoord op de hoge ontwikkelingskosten maakte de Bibliothèque nationale de France (BnF) de gespecialiseerde functionaliteiten van haar geavanceerde kranteninterface Retronews reeds betalend voor abonnees.

Een blik op de toekomst

Collectiebeherende instellingen zijn overal in Europa logischerwijs vooral gefocust op de kwantitatieve en duurzame uitbreiding van hun aanbod aan gedigitaliseerde kranten voor een zo breed mogelijk publiek via de eigen bestaande ontsluitingsplatformen. In een ideale wereld neemt de digitale ontsluiting van het Belgische en bij uitbreiding Europese krantenerfgoed de vorm en aanpak over van Chronicling America. Dat Amerikaanse initiatief geldt als een modelvoorbeeld van een geïntegreerd overkoepelend platform dat tegemoetkomt aan de wensen van verschillende gebruikersgroepen, van louter nieuwsgierigen in het voorpaginanieuws van een eeuw geleden tot gespecialiseerde digital humanities-onderzoekers.

Dat vergt echter een volledig gecentraliseerde coördinatie van de digitaliseringspolitiek die in een eerste fase de grenzen van deelstaten en later ook die van de natiestaten zou overstijgen via een structurele financiering op nationaal en/of Europees niveau. Dergelijk scenario heeft echter in de nabije toekomst weinig kans op slagen door projectgebonden financieringsmodellen en de daarmee gepaard gaande versnippering van digitale expertiseopbouw op regionaal, nationaal en internationaal niveau in zowel het erfgoedveld als het veld van de digital humanities.

Daarenboven is ook een platform als Chronicling America door de inherente lacunes in het aanbod en de variërende OCR-kwaliteit niet zaligmakend. Manueel onderzoek naar (al dan niet op microfilm gezette) papieren kranten zal ook de komende jaren belangrijk blijven om het potentieel van kranten als historische bronnen ten volle te benutten.

Bibliografie

BEALS, Melodee en BELL Emily, met bijdragen door CORDELL, Ryan; FYFE, Paul; RUSSEL, Isabel Galina; HAUSWEDELL, Tessa; NEUDECKER, Clemens; NYHAN, Julianne; PADÓ, Sebastian; PEÑA PIMENTEL, Miriam; OIVA, Mila; ROSE, Lara; SALMI, Hannu; TERRAS, Melissa; VIOLA, Lorella, The Atlas of Digitised Newspapers and Metadata: Reports from Oceanic Exchanges. Loughborough: 2020. DOI: 10.6084/m9.figshare.11560059.

BUNOUT, Estelle; EHRMANN, Maud; CLAVERT, Frédéric (reds.), Digitised Newspapers – A New Eldorado for Historians?: Reflections on Tools, Methods and Epistemology, Berlijn/Boston, De Gruyter Oldenbourg, 2023, 439p. DOI: https://doi.org/10.1515/9783110729214

DILAWAR, Ali; MILLEVILLE, Kenzo; VESTROCKT, Steven; CHAMBERS, Sally; BIRKHOLZ, Julie M., ‘Computer Vision and Machine Learning Approaches for Metadata Enrichment to Improve Searchability of Historical Newspaper Collections’, in: Journal of Documentation, 2023. DOI: https://doi.org/10.1108/jd-01-2022-0029.

EHRMANN, Maud; DÜRING, Marten; NEUDECKER, Clemens; DOUCET, Antoine, ‘Computational Approaches to Digitised Historical Newspapers’, in: Dagstuhl Reports, 12 (2023) 7, p. 112-179. DOI: 10.4230/DagRep.12.7.112 

EHRMANN, Maud, ‘Explorer la presse numérisée: le projet Impresso’, in: Revue historique vaudoise, 129 (2021), p. 159-173.

ROCHMES, Sophia; DENYS, Montaine; COPPOOLSE, DAVID, ‘Nieuwe OCR voor bestaande digitale krantencollecties: de moeite waard?’, in: Meta. Tijdschrift voor Bibliotheek en Archief, 2023, 5, p. 10-18.

Strategische Adviesraad voor Cultuur, Jeugd, Sport en Media, Advies over het ontwerpbesluit bij het decreet digitale transformatie van de cultuursector, 6 juli 2023, VR 2023 0809 DOC.1161/5. https://beslissingenvlaamseregering.vlaanderen.be/document-view/64F6D7383605E1AC863BE1D3