Meten en weten: prestatiemeting in bibliotheken

Ik schreef al een paar keer over informatie-als-ding (Michael Buckland: Information-as-thing). Dat concept oogt nogal abstract en theoretisch, inderdaad. Maar toch kan het helpen om ideeën over informatie en informatieobjecten aan te scherpen. En er zitten wel degelijk ook praktische kanten aan.
Een andere -en nog veel interessantere- illustratie levert het Espidaproject (van het Joint Information Systems Committee (JISC) en de Universiteit van Glasgow) dat 31 januari 2007 werd afgerond.
espida_logoEspida staat voor “Effective Strategic model for the Preservation and Disposal of Institutional Digital Assets”. Het project had tot doel om een bedrijfsmatig model (business case) te ontwerpen voor het preserveren en archiveren van digitale informatie.
In kennisintensieve organisaties, zoals universiteiten en hogescholen, is informatie in al zijn verscheidenheid de grondstof voor het primaire bedrijfsproces. Je zou dan ook veronderstellen dat deze organisaties ervoor zorgen dat cruciale bedrijfsinformatie (assets) op een duurzame manier wordt bewaard en gearchiveerd. Dat blijkt echter nog lang geen gemeengoed te zijn. Er spelen lastige kwesties als de techniek (welke archiveringsmethoden komen in aanmerking?) en de kosten (welke investeringen zijn verantwoord?). Maar een wezenlijke vraag wordt nog te weinig gesteld: “waarom is duurzame archivering eigenlijk nodig?”. Voor bepaalde soorten informatie, bijvoorbeeld financiële en bestuurlijke gegevens, is de noodzaak duidelijk of gelden er wettelijke voorschriften. Maar de betekenis van informatie over bijvoorbeeld bedrijfsimago, aanwezige vakkennis, innovatie of klanttevredenheid is veel moeilijker te beoordelen. Espida projectleiders James Currall en Peter McKinney laten in een artikel “Investing in value” zien hoe verschillend en veranderlijk de waarde kan zijn van bepaalde informatietypen, bijvoorbeeld leermateriaal (in de vorm van gedigitaliseerde teksten), vergaderstukken van commissies en digitale proefschriften.

Begrippen als kennis en informatie hebben geen eenduidige betekenis. Veel informatie is onzichtbaar, zit in de hoofden van mensen (Buckland: information-as-knowledge) of is opgeslagen in bedrijfs- en communicatieprocessen (information-as-process). Het concept van informatie-als-ding richt de blik vooral op informatieobjecten, dwz. min of meer concrete representaties van doorgaans onzichtbare kennis. Digitale informatieobjecten zijn vervolgens het aangrijpingspunt voor een nadere waardebepaling.
espida_bscHet Espida project koppelt die waardebepaling aan een bedrijfseconomische analyse en aan de strategische doelen van de organisatie. Dat gebeurt met behulp van de Balanced Scorecard.
De BSC, begin jaren ’90 ontwikkeld, is een managementinstrument om de missie en de strategie van de organisatie te vertalen in concrete, meetbare doelen en vernieuwingsprojecten. Er zijn vier invalshoeken – de klanten, interne processen, financiën, lerend vermogen en innovatie. Bij elke invalshoek horen vier parameters: doelen, meetwaarden, ijkpunten of normen, initiatieven.

Het voert te ver om in te gaan op de precieze uitwerking van het BSC model in het Espida project. Meer is te lezen in de uitvoerige projectdocumentatie op de Espida website, o.a. een helder geschreven publieksbrochure. Eén opmerkelijk punt is dat de zeggenschap over te gebruiken meetindicatoren in handen is gelegd van BSC projecteigenaren. Zij doen voorstellen over de manier waarop de projectresultaten het beste beoordeeld kunnen worden.
Het BSC model is niet alleen geschikt om daarmee een business case te formuleren voor duurzame digitale preservering. Het kan ook toegepast worden in allerlei andere projecten waar onzekerheid bestaat over de te verwachten kosten, risico’s en opbrengsten.
Samenvattend kun je zeggen dat de Espida aanpak een methodiek levert die het mogelijk maakt om de waarde van bedrijfsinformatie op een effectieve manier te identificeren en te communiceren.

Maar daar houdt het niet op .
Het ligt voor de hand om een model voor de waardebepaling van informatieobjecten te verbreden naar een evaluatiemodel voor een complete informatievoorziening.
In een uitstekend overzichtsartikel schetsen Steve Hiller en James Self de geschiedenis van prestatiemetingen in bibliotheken. Al sinds het begin van de 20e eeuw verzamelen bibliotheken statistische gegevens over hun functioneren: financiën, collecties, personeel, catalogusverwerking, uitlening, inlichtingen, etc.

James T. Gerould, bibliothecaris van Princeton University, begint in 1920 met een jaarlijkse gegevensvergelijking van universiteitsbibliotheken. In 1962 draagt hij zijn gevensverzameling over aan de ARL. De toepasbaarheid ervan is nog beperkt: alleen de cijfers over collectiegroei zijn bruikbaar.
Uit de jaren ’60 stamt ook de befaamde formule van Clapp-Jordan. Deze formule geeft richtlijnen voor de wenselijke omvang van collecties op basis van gegevens als aantal medewerkers, aantal studenten (totaal en op verschillende studieniveaus), aantal faculteiten, aantal uitleningen, materiaaltypen ed. Het streven is om de bekostiging van de bibliotheek te binden aan bepaalde standaarden of minimumnormen.
In 1977 verschijnt ”The Measurement and Evaluation of Library Services”, van F.W. Lancaster. Een eerste systematisch overzicht van evaluatieonderzoek in bibliotheken. Lancaster maakt een belangrijk onderscheid tussen macroevaluatie (beschrijving, kwantitatief) en microevaluatie (interpretatie, diagnostisch).

In 1977 verschijnt ook het rapport“De bibliotheekvoorziening bij het hoger beroepsonderwijs”, de herziene uitgave van een eerdere nota uit 1974 van de Rijkscommissie van Advies inzake het Bibliotheekwezen. Het rapport is een sterk pleidooi voor het hanteren van normen, om de kwaliteit van HBO-bibliotheken te verbeteren. De roep om normen is 30 jaar later nog niet verdwenen, maar het moet intussen wel duidelijk zijn dat het hanteren van inputgegevens, in de betekenis van kwaliteitscriteria, zijn grenzen heeft.

De ontwikkeling van geautomatiseerde systemen vanaf de jaren ’80 maakt het mogelijk om veel méér en ook zeer specifieke gegevens te produceren. Maar hoe fraai de nieuwe managementinformatiesystemen ook lijken, ze sluiten nog niet aan bij de groeiende behoefte aan inzicht in organisatieverandering, strategische planning, gebruik(ers)onderzoek, prestatiemeting en kwaliteitsbeoordeling.

Volgens Hiller en Self zijn rond 2000 eigenlijk alle bouwstenen voor effectief bibliotheekonderzoek aanwezig: bibliotheeksystemen, ICT, internet, statistische technieken, visies op organisatie en planning, visies op klant en kwaliteit. Toch blijft de interpretatie en toepassing van onderzoeksgegevens een probleem. Hiller en Self citeren Martha Kyrillidou (director of ARL Statistics): “…what is easy to measure is not necessarily what is desirable to measure. It is always tempting to set goals based on the data that are gathered, rather than developing a data-gathering system linked to assessing progress towards establishing goals”.
Het door het Espida-projectteam uitgewerkte Balanced Scorecardmodel kan een voorbeeld zijn voor veel bibliotheken. Ook al blijft een kritische blik altijd nodig [zoals in een artikel van Kees Buren en Gerard den Dekker – Aanvulling 30 mei 2011: dit artikel is helaas niet meer op het web te vinden, maar beide auteurs worden genoemd op de site van Financieel management (FM.NL) ]

Espida brochure (PDF)

JISC website

Buckland, Michael(1991): Information as thing
(Journal of the American Society of Information Science 42, 5)

Currall, James, and Peter McKinney (2006): Investing in value: a perspective on digital preservation. (D-Lib Magazine, 12, 4)

Hiller, Steve, and James Self (2004): From measurement tot management: using data wisely for planning and decision-making. (Library trends, 53, 1)

Kyrillidou, M. (1998): An overview of performance measures in higher education and libraries. ARL, bimonthly newsletter of research library issues and actions, 197. [PDF te downloaden na registratie van gratis account bij Academia.edu]