Datamonitoring bij archieven

Meten is weten … daar zijn we het allemaal over eens. En impact meten is nog meer weten. In dit artikel gaan we in op het belang van metingen, maar ook op de kanttekeningen erbij. FARO, Archiefpunt en de VVBAD organiseerden in het najaar van 2022 een eerste datamonitoring bij professionele archiefdiensten en -instellingen in Vlaanderen. Na het Cijferboek van FARO uit 2014, is het een nieuwe trendbevraging die peilt naar de gehele werking van het archief. Ook de Koninklijke Vereniging Archiefsector Nederland (KVAN) in Nederland nam in 2022 zo’n initiatief en startte met de Benchmark Archieven. De inzichten uit die metingen komen in dit artikel aan bod.

Meten is weten, maar wat weten we dan? Inzicht krijgen in hoe de archiefsector eruitziet en wat hun activiteiten zijn. Als steunpunt en ondersteuner van de (erkende en gesubsidieerde) archieven vindt FARO het belangrijk die vinger aan de pols te kunnen houden. Vaak spreken we over onze kennis van de sector aan de hand van aannames of “uit ervaring weet ik dat …”, maar cijfers kunnen dat concreet maken en al dan niet bevestigen. Hoeveel werknemers zijn er nu effectief tewerkgesteld in de archiefsector? En hoeveel archieven werken met vrijwilligers? Hoe is het gesteld met het publieksbereik van archieven? Maar ook ‘nieuwere’ trends zoals digitalisering en immaterieel-erfgoedwerking kunnen we nu in kaart brengen.

Niet alleen in Vlaanderen ging dit traject van start, ook in Nederland startte de KVAN in 2022 met de Benchmark Archieven. In Nederland was er al enkele jaren de kwaliteitsmonitor, die de klanttevredenheid van archiefbezoekers en -gebruikers mat. De Nederlandse benchmark is ontstaan vanuit de wens om naast de klanttevredenheid ook archiefdiensten onderling te kunnen vergelijken, vooral gericht op het publieksbereik. Zo kun je zien wie het ‘beter’ doet en wat je eigen instelling daarvan kan leren. Een toegevoegde wens van de KVAN was om een beter beeld van het archiefwezen als geheel te krijgen en meer inzicht te verwerven in de kengetallen. Dat zijn relevante gegevens om te gebruiken voor zaken als lobbywerk, beeldvorming en representatie naar buiten toe. Om weg te blijven van de emotie en onderbuikgevoelens heb je daarbij cijfers nodig. Met die cijfers kun je een ondersteund verhaal maken van de bijdrage van de archiefsector aan Nederland.

De bevraging opgezet

De eerste benchmark in Nederland is uitgezet in 2022, met een uitvraag over 2021. Er is door de werkgroep een populatie van 126 archiefinstellingen vastgesteld, die aangeschreven zijn. De vragenlijst heeft uiteindelijk drie maanden (oorspronkelijk twee maanden) opengestaan en is door ruim 70% van de aangeschreven instellingen beantwoord. Die 70% respons kwam voort uit zeven verschillende archieftypen, waarbij het gemeente- of stadsarchief de grootste categorie was.

De datamonitoring in Vlaanderen nam 419 professionele archieven – waarbij een ‘professionele werking’ gedefinieerd werd als het hebben van minstens één betaalde werknemer – in het vizier en nodigde hen uit deel te nemen aan de bevraging. Uiteindelijk beantwoorden 89 archieven de vragenlijst volledig, een responsgraad van 21%. Ook in Vlaanderen vertegenwoordigden gemeente- en stadsarchieven de grootste groep. Voor een eerste bevraging naar zo’n grote groep is dit zeker een mooi resultaat. Maar het kan altijd beter. Hoe dan?

In Nederland werden er onder andere digitale informatieve uurtjes georganiseerd waarop je als archief vragen kon stellen die je had tijdens het invullen van de benchmark, ter verduidelijking van bijvoorbeeld bepaalde termen. Daarnaast is de insteek van de benchmark ook echt bedoeld als een ontwikkeltraject; we kijken gaandeweg wat we kunnen verbeteren en willen op die manier tot een definitieve vragenlijst komen waarin alle archiefinstellingen zich herkennen. Na de afronding van de eerste uitvraag is er een presentatie-dag geweest voor alle archiefinstellingen, waar de bevindingen gedeeld werden, maar ook ruimte was voor het stellen van kritische vragen. Daarnaast zijn alle opmerkingen, zowel van inhoudelijke als technische aard, die tijdens en na het invullen van de benchmark gesteld zijn, verwerkt door de werkgroep die zich bezighoudt met de ontwikkeling van de benchmark. In die werkgroep zitten afgevaardigden van verschillende archieftypen vanuit het hele land.

In Vlaanderen werd de archiefsector intens betrokken tijdens het opstellen van de bevraging. Er werd gewerkt met een werkgroep waarin onderzoekers van FARO zetelden, maar ook het sectoraanspreekpunt van FARO, medewerkers van de VVBAD en Archiefpunt en medewerkers van de archieven zelf. Op die manier kon een vragenlijst samengesteld worden die relevant en efficiënt was.

In een volgende fase werd de vragenlijst nogmaals door (andere) medewerkers van archieven nagelezen. Hierbij ging men na of alle vragen relevant waren, of de termen duidelijk waren, enzovoort. In een laatste ronde werd een testfase in het veld uitgerold, waarbij de onderzoeker samen met de medewerker van het archief de vragenlijst ‘live’ invulde. Hierdoor kon de validiteit van de bevraging nagegaan worden: meten we effectief wat we beogen te meten?

What’s in it for us?

De opbrengst voor FARO, als ondersteuner voor archiefinstellingen (met een cultureel-erfgoedwerking) is duidelijk. Bij het bestuderen van de resultaten van hun primaire doelgroep, de erkende archieven in Vlaanderen – dat zijn de archieven die een kwaliteitslabel behaald hebben waardoor de Vlaamse overheid erkent dat ze aan de minimale kwaliteitsnormen voldoen om een professionele, duurzame en kwaliteitsvolle cultureel-erfgoedwerking te verzekeren –, vallen soms grote verschillen met andere archieven op. Voor FARO toont dat aan dat het halen van een kwaliteitslabel wel degelijk een erkenning is van een professionele en duurzame werking en dat het deze ook mee mogelijk maakt.

Anderzijds geven de cijfers aan waar FARO als ondersteuner nog meer op kan inzetten. Uit de resultaten blijkt dat niet elk erkend archief over een calamiteitenplan beschikt, terwijl dat wel moet volgens het behaalde kwaliteitslabel. Hoe kan FARO hen hierin begeleiden?

Goede vergelijkende cijfers van de verschillende archiefdiensten onderling waren er nog niet in Nederland. Veel instellingen maken wel een eigen jaarverslag, maar daarbij loop je al snel tegen de beperkingen van de menskracht aan: wie gaat al die jaarverslagen lezen en vergelijken, en hebben we het eigenlijk wel over dezelfde zaken? Daarnaast helpen vragen uit de benchmark om je eigen instelling met andere, misschien kritischere ogen, te bekijken: worden de gevraagde zaken wel gemeten binnen mijn organisatie? Als dat wel het geval is, kan ik die data dan misschien zelf ook gebruiken om bijvoorbeeld besluitvorming te ondersteunen of richting te geven? En als dat niet het geval is, kunnen we daar dan mee beginnen en die cijfers op andere momenten dan de benchmark al nuttig inzetten?

What’s in it for me?

Bij een eerste uitvraag speelt dit nog niet, maar het beantwoorden van de benchmark jaar na jaar geeft ook inzicht in ontwikkelingen van de eigen instellingen. Des te meer data je toevoegt aan je eigen benchmark, des te beter je je eigen ontwikkelingen kunt volgen. Wat in de eerste benchmark niet kon, maar in de aankomende benchmark wel, is het kenbaar maken van je organisatie. Als je daarvoor kiest, kun je je eigen organisatie vergelijken met een andere kenbare organisatie, mits zij daar ook voor gekozen hebben. Dat geeft de mogelijkheid om heel bewust een vergelijking met een specifieke instelling te maken. Bijvoorbeeld een instelling waarvan je weet dat die in grootte en publiek vergelijkbaar is met jouw instelling, en dus ook te maken kan hebben met eenzelfde soort vraagstukken. Dat kan een vergelijking waardevoller maken dan enkel te vergelijken met de algemene cijfers voor soortgelijke archieven.

Voor het ontwikkelen van nieuwe en het verbeteren van bestaande diensten helpt het ondersteuning te krijgen van zowel de eigen cijfers als die van andere archiefinstellingen. Wat doen zij bijvoorbeeld met openingstijden van een studiezaal, en hoe verhouden die zich tot het aantal unieke bezoekers? Hoeveel wordt er gedigitaliseerd, op welke manier, en hoe verhoudt zich het aantal scans tot het aantal meters dat een archief beheert? Dat zijn allemaal zinnige vragen die prima te beantwoorden zijn als je de data ter beschikking hebt.

Vanuit het Stadsarchief Amsterdam is dit jaar op de Nederlandse Archievendag een presentatie gehouden over de toekomst van de Amsterdamse studiezaal. De cijfers laten zien dat er een behoorlijke terugloop is in het aantal bezoekers aan de studiezaal, waarbij een relatief groot deel ook nog eens voornamelijk komt voor de ‘historische sensatie’. Die terugloop is, met behulp van een model, voornamelijk te relateren aan digitalisering, in ieder geval tot aan COVID-19. Daarna blijkt een groot deel van de bezoekers, of misschien kun je inmiddels beter spreken van gebruikers, overgestapt te zijn op digitale raadpleging. Met andere woorden: digitalisering is niet meer een-op-een verantwoordelijk voor de terugloop in het studiezaalbezoek. Deze constatering had het Stadsarchief Amsterdam zonder de cijfers rondom digitalisering en studiezaalbezoek niet kunnen maken.

Kenbaar maken van de eigen cijfers of niet?

Terwijl de benchmark in Nederland sinds dit jaar de optie laat om de eigen ingevulde cijfers kenbaar te maken, werkt Vlaanderen nog steeds met anonieme gegevens. De cijfers zijn uiteraard kenbaar voor de onderzoekers, en het archief kan na invullen een pdf downloaden van de eigen antwoorden, maar voor (brede) rapportage van de resultaten wordt er steeds gewerkt met anonieme data. Bijkomende analyses beperken zich tot categorieën van archieven, bijvoorbeeld privaatrechtelijke tegenover publiekrechtelijke of erkende versus niet-erkende.

Deze vraag naar anonimiteit leeft wel bij de respondenten. Zo kregen de onderzoekers in Vlaanderen tijdens de bevraging meermaals de vraag of alles toch zeker geanonimiseerd bleef. Daarentegen blijft, bij het presenteren van de resultaten, de vraag terugkomen naar het kunnen vergelijken van de eigen cijfers met andere archieven met een gelijkaardige werking. En dan gaat het niet enkel om de eigen categorie van archieven, want ook daar zitten al eens verschillen in budgetten en menskracht. In Nederland wordt dat gefaciliteerd via het dashboard. De uitvraag van de benchmark, het verwerken van de invoer en het presenteren van de resultaten wordt uitgevoerd door een extern onderzoeksbureau dat gespecialiseerd is in onder andere het uitvoeren van benchmarks en het presenteren van die resultaten in een dashboard.

Het voordeel van de software die zij bieden, is dat deze volledig gericht is op het visueel weergeven van de resultaten van de benchmark. Ook niet onbelangrijk: deze vergelijkingsmogelijkheden en hun visuele weergave lenen zich goed voor opname in rapporten of presentaties. Alhoewel het inschakelen van het bureau zeker een financiële last met zich meebrengt, kan het wel de ontzorging waard zijn.

Een waardevolle functie van het dashboard is dat je je eigen organisatie kunt vergelijken met ieder type archiefinstelling en de complete sector. Vanaf de huidige uitvraag komt daar de mogelijkheid bij om te vergelijken met een bekende, specifieke instelling.

In Vlaanderen wordt de datamonitoring uitgevoerd door FARO. De onderzoeksopdracht van FARO zit vervat in de subsidiëring, maar een extra budget om een onderzoeksbureau in te schakelen is er niet. Dat verklaart ook het verschil in frequentie tussen Nederland, elk jaar, en Vlaanderen, elke vijf jaar. Deels, want ook het bredere werkingsgebied van FARO, als ondersteuner van onder andere ook musea en erfgoedbibliotheken, speelt hierin een rol. Ook deze sectoren zullen in kaart gebracht worden via een datamonitoring. Veel bijkomend onderzoek dus.

Datamonitoring of benchmark: hebben we de heilige graal gevonden? Hoe blij we ook zijn met deze cijfers, natuurlijk blijven er nog enkele kanttekeningen te plaatsen. En de verschillen tussen de datamonitoring in Vlaanderen en de benchmark in Nederland, elk met zijn sterktes en zwaktes, tonen aan dat er niet één methode of werkwijze is om het verzamelen van cijfers aan te pakken. Maar ook het kwantitatieve karakter van de bevraging heeft zijn beperkingen: een archiefwerking kan niet enkel in cijfers uitgedrukt worden. Cijfers geven niet altijd de intensiteit van bepaalde aspecten van de werking weer. Denk maar aan het organiseren van leestafels met NT2-groepen (lessen waarbij anderstaligen Nederlands leren), zoals het Archief en Museum voor het Vlaams leven te Brussel (AMVB) in Vlaanderen doet. Een brede tentoonstelling levert in verhouding grotere bezoekersaantallen en meer publieksbereik op, maar gaat minder in de diepte dan zo’n leestafel. Welke van de twee heeft dan de meeste impact?

Dit artikel is een weerslag van het panelgesprek ‘Impact meten, datamonitoring bij archieven’ dat plaatsvond op Informatie aan Zee 2023 (georganiseerd door de VVBAD). Bijgevolg willen we alle sprekers hierbij bedanken voor hun bijdrage. Naast de twee auteurs gaat het ook om Jelena Dobbels (FARO), Geerd De Ceulaerde (Stadsarchief Herentals), Willem Vanneste (UAntwerpen) en Florian Daemen (AMVB).