evaluation en bibliotheque
Post on 18-Jun-2022
7 Views
Preview:
TRANSCRIPT
EVALUATION EN BIBLIOTHEQUE
Formation Auxiliaire de bibliothèques ABF-Médiad’Oc 2020-2021 Ann-Sarah Laroche
Plan du cours
Préambule : l’évaluation en questionEvaluer : 1. Pourquoi ?2. Pour qui ?3. Comment ? Avec quels outils ?4. Présenter, communiquer
2
L’évaluationen question
Mener une évaluation, établir un rapport d’activités, faire un bilan des actions et projets… ▪ Pour qui ? Pourquoi ?▪ A quoi va-t-il servir ? ▪ Est-ce uniquement un outil de contrôle ?▪ Une tâche administrative supplémentaire dont on se serait bien
passé ? ▪ Et finalement, qu’est-ce que les bibliothécaires en ont réellement à
faire ?
3
L’évaluationen question
Apparue dans les années 1980, l’évaluation des politiquespubliques a été transposée dans les bibliothèques a ̀ partir desannées 1990.
Aujourd'hui encore, la question de l’évaluation fait débat dans lesecteur culturel :
elle nécessite du temps, de l’énergie, une expertise parfois absente elle est parfois trop proche des logiques d’audit et de contrôle elle est considérée comme inadaptée au champ artistique, où
règnent le sensible, le subjectif… le non quantifiable
4
“ Oui la culture est inquantifiable et sa nécessité dépasse si hautement la légitimité économique qu'elle échappe aux hommes sans espoirs.Olivier Py - Avant-programme du 70e festival d’Avignon, 2017
5
L’évaluationen question
Et pourtant : elle est un levier de changement et d’optimisation des projets elle représente un enjeu de démocratie dans l’optique de « rendre
compte » au citoyen de l’utilisation d’argent public elle peut être un levier pour intéresser davantage les
représentants des pouvoirs organisateurs et les responsablespolitiques à l’action des bibliothèques
6
1.Evaluer : pourquoi ?
7
L’évaluation despolitiques publiques
▪ Une pratique née aux États-UnisLes premiers programmes d’évaluation ont vu le jour aux États-Unis audébut du 20e siècle.
En France, un développement tardifIl faut attendre les années 1970 et 1980 pour voir s’imposerl’évaluation comme un outil de la modernisation de l’État visant àaméliorer l’efficacité de l’action publique dans un contexte decontrainte budgétaire.
8
L’évaluation despolitiques publiques
▪ prise en considération des effets des politiques publiques▪ rapprochement entre les secteurs privé́ et public▪ introduction des notions de management et de productivité́ au sein
de la fonction publique▪ influence du marketing
9
Une pratique nécessaire…
Une pratique nécessaire à la rationalisation de l'action publique compte tenu des contraintes qui s’exercent sur elle dans un contexte de crises :▪ crise des valeurs▪ crise du lien social▪ crise économique : rigueur, pression budgétaire▪ crise de confiance entre le peuple et ses dirigeants
10
… mais difficile à définir
S’agit-il d’une connaissance objective ou d’une construction sociale ?Si l’évaluation doit tendre à l’objectivité, ses résultats ne sont jamais neutres. Chaque étape du processus implique des choix qui pourront orienter (volontairement ou non) le résultat final : Quels actions / services évaluer ? Avec quelle méthode ? Quelles données collecter et traiter ? Quels résultats mettre en valeur ?
11
L’évaluationdes bibliothèques…
L’utilité, pertinence de la bibliothèque en question :▪ Fermetures de bibliothèques dans certains pays▪ Questionnement sur leur coût dans un contexte budgétaire contraint▪ Elévation des attentes des usagers en termes de ressources et services▪ Mise en concurrence de la bibliothèque est avec d’autres dispositifs
d’accès à l’information et aux connaissances, dont Internet, d’autres établissements culturels ou sportifs, de formation ou de recherche
▪ Nécessité de développer le storytelling, le plaidoyer (advocacy )
12
Pourquoi évaluer ?
13
Répondre aux besoins des usagersAméliorer le service
ConnaîtreMesurer Maitriser
l’activité du service
Evaluer le service fourniMesurer la satisfaction
et la performance
Renforcer la place du service
dans la collectivité
Déterminer des objectifs, des
priorités
apprendre
décider
rendre
comptevérifier
optimiser
Justifier les moyens alloués
communiquer
2.Evaluer : pour qui ?
14
Pour qui évaluer ?
15
ETATMinistères de la Culture, de l’Enseignement
supérieur, de la Recherche et de l’Innovation…
Etablir le bilan de la lecture en France Mesurer les déséquilibres territoriaux Planifier des évolutions budgétaires Répondre aux obligations réglementaires
enquête statistique générale auprès des bibliothèques universitaires (eSGBU) enquête sur les données d’activité des bibliothèques municipales et intercommunales (Observatoire de la lecture publique du Service du livre et de la lecture)
Pour qui évaluer ?
16
COLLECTIVITE TERITORIALERégion, Département, Intercommunalités, Communes
Rendre compte de l’activité et de son impact sur la collectivité Justifier des moyens, de l’usage des subventions Argumenter des arbitrages Prévoir des actions Valoriser l’action de la collectivité et ses partenariats interservices Analyser la situation d’un réseau
Pour qui évaluer ?
17
ELUS Rendre des comptes (le budget de la bibliothèque relève des
finances locales) Rendre lisible l’action de la bibliothèque Valoriser son image comme service public Montrer son engagement sur le territoire Présenter des projets pour faire évoluer la bibliothèque Envisager les évolutions nécessaires pour répondre aux
nouveaux usages des publics
Pour qui évaluer ?
18
DIRECTIONde la bibliothèque
Avoir une vision d’ensemble et une approche hiérarchisée de la bibliothèque, de son orientation et de ses priorités
Un outil d’aide à la décision pour la direction et son équipe Positionner la bibliothèque par rapport aux enjeux de
l’environnement / la collectivité Répartir les ressources entre différentes fonctions ou projets Avoir une gestion plus opérationnelle des activités
Pour qui évaluer ?
19
EQUIPE Donner une vision globale de l’activité à chaque membre
l’équipe, quel que soit son rôle dans la bibliothèque Contribuer au sentiment d’appartenance à une structure
commune Valoriser le travail effectué par l’équipe (collectif) Rendre lisible et valoriser le travail de chacun Motiver les équipes (lisibilité des objectifs) Donner du sens, faire le lien avec les politiques publiques
Pour qui évaluer ?
20
PUBLICS Rendre lisible l’activité de la bibliothèque (y compris interne) Rendre publiques des données Donner envie de venir / de rester Valoriser l’importance du public dans le succès de la bibliothèque
3.Evaluer : comment ?
21
Méthodes, outils
Le processusd’évaluation
Collecter
22
Traiter Interpréter PrésenterCibler
OBJECTIFS DONNEES RESULTATS
Essai dedéfinition
L’évaluation est une succession de trois mouvements : 1. la détermination des objectifs d’une action ; 2. la collecte et de l’analyse des résultats de cette action ; 3. l’appréciation des résultats et de l’écart éventuel entre
ce qui était recherché et ce qui est atteint.
▪ D’après Anne Kupiec – Bibliothèques et évaluation. Cercle de la librairie. 1994
23
Essai dedéfinition
« L’évaluation des politiques publiques est une démarche complexe qui, en se fondant sur l'identification des objectifs, des moyens et des résultats d'une politique vise a ̀mesurer son efficacité́, son efficience, sa cohérence et sa pertinence…»▪ Bernard Perret, L’évaluation des politiques publiques, Paris, La Découverte, collection « Repères », 2001 (dernière édition 2014).
24
Evaluation des politiques publiques
25
identifier
• objectifs
• moyens
• résultats
mesurer
• efficacité
• efficience
• cohérence
• pertinence
26
Objectifs
Moyens Résultatsefficience
performance
Evaluation des politiques publiques
Comment sont évaluées les politiques publiques ? https://www.modernisation.gouv.fr/home/evaluer-les-politiques-publiques
27
Les critèresévaluatifs
PertinenceLe projet qu’on évalue fait-il ce qu’on attend de lui (par rapport au contexte, au besoin de changement, aux besoins des groupes cibles) ?
ImpactQuel effet le projet sous évaluation a t-il sur le contexte ? Si ses effets vont au-delà des objectifs, quels sont ces effets ?
EfficacitéLes objectifs du projet (des prestations fournies sur la durée) sont-ils atteints ?
EfficienceS’y prend-on correctement ? Les moyens mis en œuvre se justifient-ils ? Quel rapport coûts / résultats ?.
28
Une évaluation cherche souvent à analyser plusieurs aspects, qui ne s’excluent pas les uns les autres, mais se complètent.
29
Faut-il poursuivre l'action ? L'interrompre ? La réorienter ? L’étendre ?
Les structures ou les pratiques engendrées par l'action sont-elles viables ?
Les résultats sont-ils à la mesure des sommes dépensées ?
Quels effets à moyen ou long terme, dans ce domaine ou dans un autre, faut-il attendre de ces actions ?
Des effets non escomptés ont-ils été produits ?
Les résultats attendus ont-ils été atteints ? Dans quelle mesure ?
Les moyens déployés étaient-ils adaptés aux objectifs poursuivis ?
?
???
??
?
Exercice► associer chaque question au critère d’évaluation correspondant : pertinence, efficacité, efficience, impact
De la mesure de l’activité, de la performance…
▪ Décret du 22 janvier 1990 relatif à l’évaluation des politiques publiques
rechercher si les moyens mis en œuvre permettent de produire les effets attendus et d’atteindre les objectifs assignés
Loi organique relative aux lois de finances (LOLF) du 1er août 2001 qui introduit une culture de la performance
rendre des comptes sur l’efficacité de l’utilisation des crédits attribués, en rapport avec des objectifs précis à atteindre, assortis d’indicateurs de performance
30
… à la mesure d’impact
▪ En 2007, la RGPP (« révision générale des politiques publiques ») vise la réforme de l’état et l’amélioration des politiques publiques
l’objectif est la baisse des dépenses publiques à travers le prisme de l’efficience 2012, l’évaluation des politiques publiques (EPP) dans le
cadre de la modernisation de l’action publique (MAP) une méthode pour analyser les effets des politiques publiques, leur efficacité, leur efficience, leur cohérence et leur utilité, savoir comment l’action publique répond aux besoins de la société
31
De la mesure de l’activité…à la mesure d’impact des bibliothèques
32
< 1990 Les collections au centre, politique de l’offre Evaluer l’activité
>2010 Un monde concurrentiel, justifier son utilité, plaidoyer Evaluer l’impact et la satisfaction des usagers
1990 Internet, évolution pratiques culturelles, le public au centre Evaluer les services rendus
Des termesà définirStatistiqueLe mot statistique désigne à la fois un ensemble de données d'observations et l'activité qui consiste dans leur recueil, leur traitement et leur interprétation. Encyclopédie Universalis
33
IndicateurMatérialisation d’un événement observé, prélevé, mesuré, déterminé par le calcul et permettant d’identifier qualitativement ou quantitativement une évolution du comportement d’un processus. Combinaison de plusieurs données brutes, ou une donnée brute suivie dans le temps.Afnor
Pertinence Validité
Faisabilité
Convivialité
Fiabilité
Comparabilité
Cas pratique
Un indicateur ne se limite pas à la mesure ; sa valeur est fonction de l’objectif défini.
Pour illustrer la nécessité d’adosser les indicateurs à des objectifs, voici un exemple choisi en bibliothèque et relatif à la formation des personnels :
▪ L’objectif stratégique fixé dans le cadre du contrat quinquennal de l’université est de renforcer la formation continue des personnels.
Quels indicateurs de suivi associer à cet objectif ?
34
Des outils : les normes AFNOR
Norme ISO 27891974 Statistiques internationales de bibliothèques5ème édition révisée en 2013actuellement en cours d'examen
Norme ISO 116201998Indicateurs de performance des bibliothèques3ème édition révisée en 2014actuellement en cours d'examen
Norme ISO 164392014 Méthodes et procédures pour évaluer l'impact des bibliothèques. 1ère éditionactuellement en cours d'examen
35
Livre blanc2016 Qu'est-ce qui fait la valeur des bibliothèques ?Février 2016
+
Des outils : les normes AFNOR
Ces 3 normes s’emboitent comme des poupées russes.- la plus quantitative est la norme ISO 2789 qui s’attache à la mesure et à la fourniture de données chiffrées (statistiques)- la plus qualitative est la norme ISO 16439 qui s’intéresse à l’impact des bibliothèques sur l’usager et l’environnement
36
Évaluer une bibliothèque : indicateurs et tableaux de bord Odile Jullien-Cottart / ENSSIB / Fomation à distance
Etablir des statistiques : compter, traiterDéfinir et harmoniser les procédures de comptage pour tous les types de ressources et services / activités des bibliothèques
Statistiques internationales de bibliothèques ISO 2789
Objectifs principaux :– comparer les résultats aux normes en la matière et aux données d'établissements similaires– évaluer les tendances dans le temps ainsi que les résultats des innovations– fonder la programmation, la prise de décision, l'amélioration de la qualité du service– fournir des informations aux institutions nationales ou régionales qui ont un rôle de soutien, de financement, de tutelle– démontrer la valeur des services rendus aux usagers
37
Statistiques internationales de bibliothèques ISO 2789
le socle de base des outils destinés à décrire et évaluer les activités des bibliothèques
interrogent les bibliothèques sur leur activité : personnel ; budgets ; volumes de prêts ; collections ; places assises ; nombre d’inscrits actifs…
s’adressent à tout type de bibliothèque soumettent aux mêmes indicateurs l’ensemble des établissements
: peuvent se comparer et disposer de séries chronologiques
38
Ce qui est compté
▪ Moyens dont dispose la bibliothèque :- Surface- Budgets - Collections- Horaires d’ouverture- Informatique, internet- Équipe
39
▪ Résultats obtenus :- Inscrits (usagers inscrits, nouveaux inscrits, usagers actifs,…)- Prêts (nombre de prêts, emprunteurs actifs…)- Fréquentation- Actions réalisées et services rendus (séances scolaires, nombre de recherches bibliographiques…)
40
Médiathèque d’ArlesChiffres clés 2016
Bibliothèque de Lyon Chiffres clés 2018
https://www.bm-lyon.fr/rapports-d-activite/rapport-d-activite-2018/article/les-chiffres-cles-2018 41
Médiathèque Saint-Quentin en-Yvelines Chiffres clés 2017
https://e-mediatheque.sqy.fr/default/le-saviez-vous.aspx?_lg=fr-FR
42
Médiathèque Départementale de l’OiseChiffres clés
https://mdo.oise.fr/la-mdo/la-mdo-en-chiffres
43
L'enquête annuelle pour les bibliothèques de lecture publique Ministère de la Culture
Synthèse nationale des données d'activité 2016 des bibliothèques municipales et intercommunales (éditée en 2019)
44
Synthèse nationale annuelle des données d'activité des bibliothèques municipales et intercommunales :
− missions réglementaire du Ministère de la Culture depuis 1969.
− menée et publiée par l'Observatoire de la lecture publique du Service du livre et de la lecture.
− une obligation réglementaire pour les collectivités territoriales.
− les Conseils départementaux sont chargés de suivre l’exécution de cette collecte pour les villes < 20 000 habitants
L'enquête annuelle pour les bibliothèques de lecture publiqueMinistère de la Culture
45
− 2 types de questionnaires : complet ou abrégé− 500 champs pour les BM / 700 pour les BDP
lieux du réseaucoordonnées
usages et usagerscollectionsaccès et installations
action culturellepersonnel et formationbudget
8 axes :
Synthèses et chiffres clés de la cultureMinistère de la Culture
Chiffres clés de la culture et de la communication
46
Synthèses et chiffres clés de la culture− Le département des Études de la prospective et des
Statistiques (DEPS) du MCC est à l’origine des collections « Culture chiffres » et « Chiffres clés » qui présentent sous forme de synthèses, tableaux et graphiques les statistiques relatives à la vie culturelle en France.
− L'étude aborde le spectre très large du champ culturel (patrimoine, spectacle, enseignements artistiques...) et évoque notamment les données relatives aux bibliothèques.
− Jusqu’en 2013, les chiffres clés étaient accessibles gratuitement sur le site du Ministère de la Culture. Ils sont désormais depuis 2016 proposés en version payante
L'enquête annuelle pour les bibliothèques universitaires Ministère l’Enseignement supérieur et de la Recherche
Enquête statistique générale des bibliothèques universitaires
47
Enquête statistique générale auprès des bibliothèques universitaires (ESGBU) : − réalisée par le ministère de l’Enseignement supérieur et de la
Recherche (MESR) depuis 1976− bibliothèques universitaires, interuniversitaires, et pour
certaines données, les services documentaires des IUFM et les bibliothèques des grands établissements (Collège de France, ENS...).
− L’ESGBU a connu quelques évolutions successives, sous forme de strates ajoutées, la dernière étant l’enquête sur les ressources électroniques (ERE) en 2012, la saisie se fait en ligne via ce formulaire : Formulaire ESGBU 2019
Définir des indicateurs permettant d’évaluer la performanceÉvaluer la qualité et l’efficacité des services fournis par les bibliothèques, évaluer l’efficience des ressources utilisées
Indicateurs de performance en bibliothèqueISO 11620
Objectifs principaux :- articule les indicateurs en 4 domaines principaux :
ressources, accès et infrastructure ; utilisation ; efficience ; potentiel de développement
- la bibliothèque peut comparer ses performances d'une année à l'autre : autodiagnostic
- ces indicateurs servent aussi à la réalisation de comparaisons entre bibliothèques
48
49
Utilisation
utilisation des ressources et des services : prêts, les téléchargements et l’utilisation
des équipements.
Ressources – Infrastructureadéquation et disponibilité des ressources
et des services : surface de services publics par personne,
heures d’ouverture hebdomadaire, nombre d’agents par personne, etc.
Efficienceefficience des ressources et des
services : coûts par prêt, par accès ou téléchargement
de ressources électroniques, délai nécessaire pour acquérir et traiter des
documents, etc.
Potentialités et développement degré d'investissement de la bibliothèque
dans des domaines de services et de ressources émergents et son aptitude à
obtenir un financement suffisant pour son développement.
Cas pratiquesBnF
50
Indicateurs
Fréquentation des espaces de lecture de la bibliothèque*Nombre de visites*Nombre de lecteurs
Objectifs
Recruter et fidéliser le public «cœur de cible»
Fréquentation de l’offre pédagogique sur place et hors les murs
Evolution du nombre de lecteurs non-académiquesDiversifier les publics sur place et en ligne
Fréquentation Gallica : Nombre de visites
Rapport de performance BnF 2017-2019
De la mesure de la performanceà la mesure d’impact
Les indicateurs de performance sont utilisés pour évaluer si les bibliothèques fournissent des services efficaces et efficients, mais ils ne peuvent pas démontrer si ces services ont un impact positif sur les usagers et l’environnement.
► C’est pourquoi les bibliothèques ont développé des méthodes afin de prouver leur valeur, leur impact.
51
Méthodes et procédures pour mesurer l’impact des bibliothèquesDéfinit la notion d’impact comme la différence ou le changement pour un individu ou un groupe que provoque le contact avec les services de la bibliothèque.
Evaluer l’impact des bibliothèquesISO 16439
Objectifs principaux :- éclairer le rôle et la valeur des bibliothèques sur le plan de la formation et de la recherche, de l’éducation et de la culture, de la société et de la vie économique, et du bien-être individuel.- donner des éléments de réflexion pour éclairer les choix politiques aussi bien en termes d’objectifs stratégiques que de niveau de service
52
Méthodes et procédures pour mesurer l’impact des bibliothèquesIntroduit le notion de valeur4 parties : la définition de l’impact, la mesure de la satisfaction des usagers, l’impact sociétal des bibliothèques et la mesure économique des bibliothèques.
Qu'est-ce qui fait la valeur des bibliothèques ?Livre blanc
Objectifs principaux :- vulgariser les concepts proposés pas la norme ISO 16439- Méthodes et outils destinés aux élus et aux décideurs
financiers, pour la construction et le maintien des moyens des bibliothèques
- adopter une approche systémique de l’influence de la bibliothèque dans un ensemble de relations : évaluer les conséquences de l’action de la bibliothèque sur la société, les individus, les groupes, le quartier, les usagers et les non-usagers.
53
Livre blanc AFNOR 2016
54
► La notion de valeur y est essentiellement étudiée du point de vue économique : méthodologies de mesure du retour sur investissement (RSI, ou ROI en anglais).
► Aujourd’hui, la valeur de la bibliothèque se mesure également en termes d’impact sociétal :le VOI (value of Investment ou valeur sur investissement) prend en compte à la fois les bénéfices financiers et les bénéfices intangibles.
https://www.enssib.fr/bibliotheque-numerique/documents/65997-qu-est-ce-qui-fait-la-valeur-des-bibliotheques-livre-blanc.pdf
Mesurer l’impact
55
société
individu groupe
(non)-usagers
Analyse coûts-bénéfices
quartier
Étude d’impact
usagers
56
croiser les méthodes d’enquête
données induites
données sollicitées
données observées
chiffres collectés automatiquement : entrées, prêts, consultations…
collectées auprès des usagers grâce à des questionnaires, entretiens
Impact sociétal des bibliothèques
observations et méthodologies inspirées de l'ethnologie
https://www.culture.gouv.fr/Sites-thematiques/Livre-et-lecture/Documentation/Publications/Etudes-et-rapports-Lecture-et-bibliotheques/Publication-du-rapport-comment-apprecier-les-effets-de-l-action-des-bibliotheques-publiques
57
58
https://www.culture.gouv.fr/Sites-thematiques/Livre-et-lecture/Documentation/Publications/Etudes-et-rapports-Lecture-et-bibliotheques/Publication-du-rapport-comment-apprecier-les-effets-de-l-action-des-bibliotheques-publiques
59
https://www.culture.gouv.fr/Sites-thematiques/Livre-et-lecture/Documentation/Publications/Etudes-et-rapports-Lecture-et-bibliotheques/Publication-du-rapport-comment-apprecier-les-effets-de-l-action-des-bibliotheques-publiques
Calcul des impactsMesures objectivées via des équivalents monétaires Market pricing : coût d’un service
marchand alternatif comparable Retour sur investissement (ROI) Mesure des externalités
positives : retombées économiques sur le territoire
Ex : Calculatrice de la valeur des bibliothèques (Massachusetts Library Association)
60
Données déclaratives d’enquêtes par entretiens, questionnaires Valeur contingente (valeur que
l’usager est prêt/consent à payer ) Valeur d’existence, valeur de legs Valeur d’option (attribuée à un
usage potentiel futur) Mesure de la satisfaction Qualification des effets
La démarche d’évaluation orientée usagers
Approche UX (User Experience)► se mettre dans la peau des usagers et chercher à mieux cerner ce qui leur convient ou non.
Les techniques ethnographiques & l’observation directe pour comprendre les besoins et comportements des utilisateurs de manière fine :cartes de comportement ; observations, entretiens photographiques, visites témoins guidées par un utilisateur ou visites inversées, cartes d’itinéraires (observer le parcours de l’utilisateurs), entretiens libres / semi-directifs,…
61
La démarche d’évaluation orientée usagers
Vérifier si : − Les gens trouvent ce dont ils ont besoin (Utile)- Les services sont faciles à utiliser (Utilisable)- Les gens reviennent et en veulent encore ( Désirable )
Expériences et information sur l’UX : ici (Blog de Nicolas Beudon) et ici (La Canopée)
62
Libqual+Association of Research Library (ARL)
Le site de Libqual+Enquête Libqual+ à la Bibliothèque de Sciences-Po en 2014Réflexions sur Libqual+ 63
Libqual+− Créée par l’Association of Research Library (ARL), Libqual+
est une enquête permettant de mesurer la satisfaction des usagers d’une bibliothèque.
− Elle se compose de 22 questions obligatoires ciblant les thématiques suivantes : les espaces et les bâtiments, le personnel, les ressources documentaires et de questions optionnelles.
− La mesure se fait au travers d’un sondage en ligne d'une vingtaine de questions diffusé à l’ensemble des utilisateurs de la bibliothèque. Il recense les écarts entre la qualité de service minimale, souhaitée et perçue.
− L’équipe de la société Alterline basée à Manchester a expérimenté une enquête alternative, Library Life Pulse
La valeur des bibliothèques pour la recherche et les chercheurs2009 - 2011
64
Etude menée au Royaume-Uni sous l’égide du RIN (Research Information network) et du RULK (Research Libraries UK) basée sur une étude quantitative (67 institutions) et une autre qualitative (9 études de cas).
https://www.rluk.ac.uk/wp-content/uploads/2014/02/Value-of-Libraries-report.pdf
Il est ressorti de l’étude que les bibliothèques constituent un apport important pour la recherche notamment en termes de de rayonnement et d’accompagnement, mais qu’il est très difficile de le quantifier…
La valeur des bibliothèques académiquesmars 2011
65
Etude menée au Etas-Unis par l’ACRL(Association of College et Research Libraries)
http://www.ala.org/acrl/sites/ala.org.acrl/files/content/issues/value/val_report.pdf
https://www.acrl.ala.org/value/
“Les études montrent que les étudiants qui utilisent les ressources des bibliothèquesont de meilleurs taux de persévérance et de meilleures moyennes générales.”
“Utiliser les ressources de la bibliothèque peutvous aider à réussir.
Mesurer les impacts des bibliothèques publiques / Pays-Bas2013-2015
66
1 usager sur 5 éprouvait un sentiment de connexion avec la société grâce à la bibliothèque.
C. Evans. Autour de la Valeur. Journée d'étude Occitanie Livre et Lecture / ENSSIB, 2019
Recherches pour démontrer l’impact sociétal de la bibliothèque.
La valeur des bibliothèques est mesurée à travers 5 dimensions : culturelle, sociale, éducative, économique et affective.
Enquête FESABID2013-2015
67
http://www.fesabid.org/documentos/economic_social_value_information_service_libraries.pdf
Etude publiée début 2014 par la FESABID (Federacion Española de Sociedades de Archivistica, Biblioteconomia, Documentacion y Museistica) portant sur l’ensemble des bibliothèques espagnoles.
Le but clairement affiché est de démontrer l’utilité économique et sociale – souvent souterraine et peu perçue- des structures documentaires à disposition de l’ensemble de la population espagnole.
17,20 € par an de valeur estimée usagers
32,10 € par an prêts à être payés par les non-usagers
entre 2,8 et 3,8 € de retour sur investissement RSI (ROI) par euro investi
Mesurer les impacts des bibliothèques publiques / Toronto2013
68
Martin Prosperity Institute, So Much More :
The Economic Impact of the Toronto Public
Library on the City of Toronto, 6 décembre
2013
1 milliard $ canadiensimpact économique total de la Bibliothèque publique de Toronto sur la ville de Toronto5,63 $ can. de valeur en retour pour chaque dollar investi dans la bibliothèque500 $ can.« valeur » représentée par la valeur de leur adhésion à la bibliothèque pour les usagers de la bibliothèque
http://martinprosperity.org/content/so-much-more-the-economic-impact-of-the-toronto-public-library-on-the-city-of-toronto/.Cité par Touitou, Cécile. « Retour sur investissement… ». Bulletin des bibliothèques de France (BBF),2016, n° 8, p. 20-29. http://bbf.enssib.fr/consulter/bbf-2016-08-0020-002
La ville de Toronto a évalué l’impact
financier de ses bibliothèques.
Conseil départemental du Val d’OiseEtude 2016
Cette étude s’intéresse aux impacts de la bibliothèque du point de vue de l’activité économique, de l'inclusion sociale, du développement éducatif et culturel.
69
Lire le rapport
Conseil départemental du Val d’Oise Etude 2016
70
Quelles questions pour quelles thématiques ?
Conseil départemental du Val d’Oise Etude 2016
71
Un outil de communication 4 vidéos pour présenter les nombreusesfonctionnalités de la bibliothèque présentéecomme « un produit innovant qui a des implicationsdans le domaine économique, social, éducatif etculturel ».Des données statistiques
3/4 des usagersont déclaré que fréquenter la bibliothèque influait positivement sur leur état d’esprit
1 usager / 5disait y faire des rencontres …
4.Evaluation : présenter, communiquer
72
différents rythmes / formats d’évaluation
rapport d’activité annuel
diagnostics préalables
tableau de bord
73
études d’impact sur 1 action, 1 domaine…
Différents rythmes / formats d’évaluation▪ Un rapport d’activité ou bilan annuel (parfois, nécessité d’un retour
d’information à la tutelle plus régulièrement).Evaluation a postériori / « ex post »
▪ Des diagnostics / état des lieux préalables pour chaque problème important détecté ou projet d’ampleur engagé.
Evaluation en préalable / « ex ante »
▪ Un tableau de bord de gestion mensuel ou trimestriel pour corriger et réorienter l’activité en cours si nécessaire, identifier les problèmes en amont. 5 à 20 indicateurs selon la taille de la bibliothèque.
Evaluation en continu / « ex tempore »
74
Mener une évaluation pas à pas▪ Définir ses missions▪ Connaître son territoire et les publics à desservir▪ Choisir les « bons » indicateurs▪ Exploiter les chiffres disponibles (les données induites)▪ S’inspirer des recommandations des normes en bibliothèque▪ Se comparer dans le temps : la notion de diachronie▪ Se comparer aux autres : de l’usage du benchmark▪ Collecter la satisfaction en connaissant le niveau des attentes ▪ Mesurer l’impact auprès de l’ensemble de la population▪ Croiser les données induites, sollicitées, observées▪ Revenir à « la grande image » : mesurer l’impact en fonction des
effets produits (outcomes)▪ Construire un plaidoyer
75Cécile Touitou (dir.), Évaluer la bibliothèque par les mesures d’impacts. Villeurbanne, Presses de l’ENSSIB, collection « Boîte à outils », 2016.
Mener une évaluation pas à pas
Comparer aux autres bibliothèques (au niveau local, national, international...), aux bibliothèques des communes de même taille,…
Mesurer l’évolution d’un ou de plusieurs indicateurs de la bibliothèque sur plusieurs mois, plusieurs années, etc.
Contextualiser les données relatives à la bibliothèque, en les comparant aux données locales de population par exemple
Décloisonner les données, en les comparant à des données ayant trait à d’autres établissements culturels comme les musées par exemple
Mener des enquêtes qualitatives et / ou quantitatives sur un sujet précis
76
Bâtir un tableau de bord▪ Qu’est ce qu’un tableau de bord ?une démarche structurée, qui met les statistiques au service de l’action en repartant d’une analyse des missions et des priorités d’action de la bibliothèque.► Bâtir le tableau de bord de la bibliothèque, consiste à identifier les questions essentielles que l’on veut traiter pour rendre compte de son action, à trouver les indicateurs les plus pertinents et à en effectuer le calcul et l’analyse périodique. ► L’approche systémique permet d’orienter la réflexion
77« Construire un tableau de bord » par Marc Maisonneuve in Construire des indicateurs et tableaux de bord / dir. Pierre Carbone. - Paris - Tec et Document ; Villeurbanne : Presses de l'ENSSIB, 2002. - (p. 205-218)
« Construire un tableau de bord » par Marc Maisonneuve in Construire des indicateurs et tableaux de bord / dir. Pierre Carbone. - Paris - Tec et Document ; Villeurbanne : Presses de l'ENSSIB, 2002. - (p. 205-218) 78
Exemples d’indicateurs identifiés dans le cadre d’une approche systémique
79
Exemples d’indicateurs identifiés dans le cadre d’une approche systémique
« Construire un tableau de bord » par Marc Maisonneuve in Construire des indicateurs et tableaux de bord / dir. Pierre Carbone. - Paris - Tec et Document ; Villeurbanne : Presses de l'ENSSIB, 2002. - (p. 205-218)
L’évaluation :perspectives
L’évaluation est un moyen pour la gestion de la bibliothèque, elle n’est pas une solution, elle ne permettra pas à la bibliothèque de résoudre tous les problèmes auxquels elle est confrontée.
Mais elle est un outil indispensable pour mieux comprendre la dynamique dans laquelle est engagée la bibliothèque, affiner ses analyses, identifier des choix possibles (parfois des orientations alternatives), dialoguer dans l’équipe et se sentir mieux armé dans la négociation avec les décideurs.
80
L’évaluation :perspectives
Plutôt que d’être évaluée au regard d’objectifs extérieurs (l’économie ou l’emploi) la politique culturelle devrait être évaluée aussi et peut-être davantage selon ses propres objectifs, plus symboliques (liberté, bien-être des publics, créativité)… mais plus difficilement mesurables.
C. Veyrat-Durebex en synthèse du colloque Évaluer les politiques publiques de la culture, Yann Nicolas, Olivier Gergaud, Paris, ministère de la Culture et de la Communication, 2017. Citée par François Deschamps in L'Observatoire 2017/2 (N° 50), pages 71 à 72
81
Bibliographie Bibliothèques et évaluation, sous la direction de Anne KUPIEC. Paris : Cercle de
la Librairie, 1994. CARBONE, Pierre - Construire des indicateurs et tableaux de bord - Paris :
ENSSIB ; Éd. Tec et Doc, cop. 2002 - La Boîte à outils, 15 TOUITOU, Cécile (dir.), Évaluer la bibliothèque par les mesures d’impacts.
Villeurbanne, Presses de l’ENSSIB, collection « Boîte à outils », 2016. TOUITOU, Cécile (dir.), La Valeur sociétale des bibliothèques. Construire un
plaidoyer pour les décideurs. Paris, Éditions du Cercle de la Librairie, collection « Bibliothèques », 2017.
EVANS, Christophe - Mener l’enquête ! Guide des études de publics en bibliothèque – Lyon : Enssib, 2011- (La Boîte à outils)
Culture : et si on parlait d’argent ? Bulletin des bibliothèques de France (BBF), N°8, Avril 2016
83
Bibliographie RIEDINGER, Françoise. « Qu’est-ce qui fait la valeur des bibliothèques ?». Bulletin
des bibliothèques de France (BBF), 2016, n° 8, p. -. Disponible en ligne : http://bbf.enssib.fr/tour-d-horizon/qu-est-ce-qui-fait-la-valeur-des-bibliotheques_66504
La bibliothèque vaut-elle le "coût" ? Journée d'étude en partenariat avec l'Enssib et Médiad'Oc, Occitanie Livre et Lecture, 2019. Disponible en ligne : https://www.occitanielivre.fr/journee-detude-la-bibliotheque-vaut-elle-le-cout
LE QUÉAU, Pierre ; ZERBIB, Olivier - Comment apprécier les effets de l’action des bibliothèques publiques ? : rapport d'étude 2018 - Ministère de la culture et de la communication, Direction générale des médias et des industries culturelles ; Observatoire des politiques culturelles ; Université Grenoble Alpes, mars 2019. [en ligne] http://www.culture.gouv.fr/Thematiques/Livre-et-Lecture/Documentation/Publications/Etudes-et-rapport-Lecture-etbibliotheques/Publication-du-rapport-comment-apprecier-les-effets-de-l-action-des-bibliotheques-publiques 84
Bibliographie
Norme ISO 2789, Information et documentation – Statistiques internationales de bibliothèques, 5e éd., 2014. (Version française)
Norme ISO 11620, Information et documentation – Indicateurs de performance des bibliothèques, 3e éd., 2015 (Version française)
Norme ISO 16349, Information et documentation – Méthodes et procédures pour évaluer l’impact des bibliothèques. 1ère éd 2014.
Livre blanc "Qu'est-ce qui fait la valeur des bibliothèques ?" - AFNOR/CN46-8 Qualité -Statistiques et évaluation des résultats – Février 2016 - [en ligne] http://portailgroupe.afnor.fr/public_espacenormalisation/AFNORCN46-8/Livre%20Blanc%20fev2016.pdf
85
Exemples d’outils
Modèle d’infographie « Bilan d’activité « à compléter par les bibliothèques fourni par la Bibliothèque Départementale du Lot (46) :
https://bibliotheque.lot.fr/Default/infographie-communiquer-aupres-des-elus.aspx Outils pour l’évaluation fournis par la BDP 59 (Amandine Jacquet / cabinet
Fabienne Aumont) :- Exemple d'un bilan d'activité type : https://mediathequedepartementale.lenord.fr/images/PDF/Formation2015/Bilan-activite-type-1-sept-2015.doc- Bilan de l'activité de la bibliothèque sur 5 ans : https://mediathequedepartementale.lenord.fr/images/PDF/Formation2015/Bilan_bib_sur_5_ans.xls Exemple de questionnaire de satisfaction du Pavillon Blanc (Colomiers) :https://www.pavillonblanc-colomiers.fr/images/EnqueteA4-PB-Marianne2019.pdf
86
Cas pratique : indicateurs et objectifsBnF
87
Indicateurs
Nombre de cartes annuelles
Objectifs
Simplifier et fluidifier les processus d’accueil, d’accès et d’information
Fréquentation des expositions*Nombre de visites sur place*Nombre de visites en ligne
Développer des médiations et de nouvelles manières de s’adresser aux publics
Fréquentation du site bnf.fr
Rapport de performance BnF 2017-2019
Cas pratiqueBnF
88
Indicateurs
Volumétrie des documents numériques entrés par DL :Livres numériques Doc.sonores dématérialisés Doc.vidéo dématérialisés Jeux vidéo dématérialisés Périodiques dématérialisés
Objectifs
Développer une approche patrimoniale du numérique en veillant à la cohérence globale de l’offre documentaire physique et numérique
Volumétrie de la numérisation, dont :Vues de livres et revuesdont vues numérisées dont vues océriséesVues de presseVues de collections spécialiséesSupports audiovisuels et diapositives
Rapport de performance BnF 2017-2019
Cas pratiqueBnF
89
Indicateurs
Délai de catalogageDélai médian de catalogage des livres entrant par dépôt légal (en semaines)Délai médian de catalogage des livres entrant par acquisition (en semaines)
Objectifs
Réaffirmer le rôle d’acteur de confiance de la BnF dans le signalement et le référencement
Dépenses de fonctionnement courant (exploitation et maintenance des sites, informatiques, logistique...)
Poursuivre la maîtrise des dépenses de fonc-tionnement
Rapport de performance BnF 2017-2019
Cas pratique : indicateurs et objectifsChoisy-le-Roi
90
Objectif Objectif détaillé Indicateurs Actions
Innover et faire preuve de créativité pour anticiper et préparer la médiathèque de demain
De la veille professionnelle et un suivi de l’actualité et des innovations pour tenir notre rôle d’informateurs
Un plan de formation pour se préparer à ces évolutions
Passer tous nos services au crible d’un regard créatif et ne pas hésiter à oser et tester de nouvelles idées.
habitude et fréquence de la veille professionnelle au sein de l’équipe
degré de créativité et d’innovation dans les services et modes d’organisation
Mise en place d’un circuit de veille professionnelle
Construire un plan de formation
Cas pratiqueChoisy-le-Roi
91
Objectif Objectif détaillé Indicateurs Actions
Fidéliser les publics récemment conquis et toucher de nouveaux publics
Réaliser un diagnostic de la fréquentation et de la population sur le territoire.
Suivre les mutations de l'urbanisme et de la population pour adapter notre offre de services
Cibler les quartiers que nous touchons le moins actuellement
Cibler des publics ayant les besoins culturels et d'information les plus importants et mettre en place des actions pour qu'ils utilisent nos ressources.
Repréciser le rôle de proximité des médiathèques de quartier pour les rendre plus attrayantes
Développer et pérenniser des actions hors les murs de proximité innovantes : bibliothèques éphémères, permanences, dépôts de livres, relais, bibliambules, etc.
Une fréquentation qui ne baisse pas, voire s’accroît.
Des actions partenariales et hors les murs ciblées en direction de publics que nous touchons peu actuellement et qui génèrent de la fréquentation.
Des médiathèques de quartier attractives, fréquentées, satisfaisant leur public
Nombre de personnes utilisant les services hors les murs.
Enquête de fréquentation et de satisfaction
Diagnostic de territoire : suivi des mutations de l’urbanisme et de la population, ciblage des quartiers et publics prioritaires
Mise en place d’actions de terrain hors les murs
Cas pratiqueChoisy-le-Roi
92
Objectif Objectif détaillé Indicateurs Actions
Améliorer l’accueil, notamment en direction des jeunes
Formaliser et mettre en cohérence nos pratiques d’accueil pour proposer au public et notamment jeune la même qualité d'accueil
Définir les modalités d'accueil notamment en direction des jeunes séjourneurs et des adolescents : services à proposer, rôle du médiateur, gestion des incivilités, lien avec les parents, etc.
Favoriser une mixité des publics sereine et conviviale : intergénérationnel, mélange groupes et individuels, etc.
Repenser les espaces pour favoriser la cohabitation et la circulation des publics
Des procédures formalisées et une équipe formée
Une diminution des conflits avec les pré-ados et adolescents
Une cohabitation sereine des publics
Formation de l’équipe, formalisation des procédures, définition du rôle du référent ados
Construire un projet en direction du public jeune : objectifs, projets, mise en oeuvre
Cas pratiqueChoisy-le-Roi
93
Objectif Objectif détaillé Indicateurs Actions
Adopter une communication plus efficace
Rendre les médiathèques plus visibles et + faciles à trouver dans l'espace public via la signalétique urbaine
Faire mieux connaître l'éventail des services aux usagers via des actions de communication
Se doter d'outils de communication plus efficaces et originaux pour lutter contre une vision restreinte et cliché du service (lieu austère d’étude, du livre)
Réhabiliter le RDC de la médiathèque via de la signalétique, de l’aménagement urbain
Une signalétique urbaine bien positionnée et suffisante, des retours d’usagers indiquant que les médiathèques sont faciles à trouver
Indicateur qualitatif : lorsque nous dialoguons avec les usagers, nous avons moins de retours du type « je ne savais pas », « vous proposez ça ? »
Un RDC accueillant, plus de retours de type « pourquoi cet espace n’est pas fini ? »
Groupe de travail communication + travail avec le service comm + avec le cadre de vie : définition des actions à mettre en œuvre
Réaménagement du rez de chaussée
Cas pratiqueChoisy-le-Roi
94
Objectif Objectif détaillé Indicateurs Actions
Développer des outils et circuits de médiation pérennes
Développer des actions de recommandation et notamment de production de contenus (écrits, photos, vidéos) pour que le public s'approprie davantage nos ressources
Faire en sorte que toute action de médiation physique ait son pendant numérique et vice-versa
Mettre en place une charte éditoriale
Quantité. Des actions de recommandation régulièrement produites et disponibles en permanence dans les médiathèques.
Qualité des recommandations et de leur diffusion : qualité rédactionnelle, diversité des ressources représentées, pendant numérique/physique systématique, respect de la charte éditoriale
Taux d’emprunt / consultation des ressources ainsi signalées
Mise en place d’une charte éditoriale et d’un groupe de travail médiation
Mise en place des actions de recommandation dans le travail courant.
Cas pratique : indicateurs et objectifsNantes
95
Axes Objectifs Description Indicateurs
BIBLIOTHEQUE FACILE
Simplifier l'accès à la Bibliothèque
Renforcer l'accessibilité des établissements : signalisation urbaine, accès et abords, documents d'accueil et de communication et site Internet en différentes langues ou adaptés aux différents handicaps.
Fréquentation et utilisation de la Bibliothèque
Faciliter les inscriptions : inscriptions et paiement en ligne, carte dématérialisée, possibilité de modifier son compte lecteur en ligne
Fréquentation et satisfaction du public
Automatiser les transactions par le déploiement de la technologie RFID dans tous les établissements
Avancement de la BNR
Organiser un système de réservation permettant de faire circuler les documents entre tous les établissements.
Mise en place en fonction du déploiement de la RFID
Simplifier les procédures : circuit des litiges, acquisitions, catalogage
Allègement des procédures pour le public et les agents
Repenser les tarifications : inscriptions, actions culturelles, reprographie
Satisfaction du public. Lisibilité et simplification
Cas pratiqueNantes
96
Axes Objectifs Description Indicateurs
BIBLIOTHEQUE FACILE
Poursuivre la démarche Qualité de
l'accueil
Mettre en application la Charte d’accueil et organiser des formations à l'accueil physique, téléphonique et par correspondance
Évaluation de la satisfaction du public. Montée en compétences des agents
Rendre les horaires plus attractifs et plus adaptés aux différents publics : éventuelle ouverture le dimanche, extension des horaires du samedi, réflexion sur les horaires d'été, possibilité de nocturnes
Évaluation de la satisfaction du public.
Restructurer les espaces pour les rendre plus agréables aux usagers : espaces d’accueil plus confidentiels, espaces plus conviviaux, mieux climatisés…
Évaluation de la satisfaction du public.
Cas pratiqueNantes
97
Axes Objectifs Description Indicateurs
BIBLIOTHEQUE FACILE
Proposer des collections et des médiations
adaptées aux différents publics
Mettre en place en partenariat un service de portage à domicile ou dans les lieux collectifs (maisons de retraite, hôpital..)
Faisabilité technique
Renforcer l’accessibilité des collections : publication, déclinaison, évaluation et actualisation de la Charte documentaire/collections en langues étrangères/collections « faciles à lire »/éditorialisation des collections patrimoniales numérisées…
Utilisation des collections et développement des publics
Mettre en place une communication ciblée pour les actions culturelles : réseaux sociaux, lettre de diffusion, médias
Fréquentation des actions culturelles et satisfaction du public
top related