statistiques, indicateurs, performance et qualité : prendre la mesure de la bibliothèque

36
Pierre-Yves Renard 19 novembre 2009 statistiques, indicateurs, performance, qualité… prendre la mesure de la bibliothèque

Upload: pyr

Post on 10-Jun-2015

5.082 views

Category:

Education


4 download

DESCRIPTION

Présentation proposée à Médiaquitaine le 19/11/2009 dans le cadre du stage "Evaluer l'activité de la bibliothèque"

TRANSCRIPT

Page 1: Statistiques, indicateurs, performance et qualité : prendre la mesure de la bibliothèque

Pierre-Yves Renard

19 novembre 2009

statistiques, indicateurs, performance, qualité…prendre la mesure de la bibliothèque

Page 2: Statistiques, indicateurs, performance et qualité : prendre la mesure de la bibliothèque

Page 2

La mesure de la bibliothèquePYR 19_11_2009

La politique, c'est l'art de chercher les problèmes, de les trouver, de les sous-évaluer et ensuite d'appliquer de manière inadéquate les mauvais remèdes.

Groucho Marx

Page 3: Statistiques, indicateurs, performance et qualité : prendre la mesure de la bibliothèque

Page 3

La mesure de la bibliothèquePYR 19_11_2009

Quelque chose comme 4 messages

›Compter, mesurer (ISO 2789)

›Démontrer (ISO 11620)

›Organiser (Qualibib)

›Cuisiner (Afnor, ISO & Co)

Page 4: Statistiques, indicateurs, performance et qualité : prendre la mesure de la bibliothèque

Page 4

La mesure de la bibliothèquePYR 19_11_2009

Une approche top-downà partir des politiques

publiques et de leur évaluation

Une approchebottom-upà partir des outils

Page 5: Statistiques, indicateurs, performance et qualité : prendre la mesure de la bibliothèque

Page 5

La mesure de la bibliothèquePYR 19_11_2009

Une approche « objectiviste » : l’activité d’évaluation vise

l’établissementd’une vérité

administrative

Une approche« subjectiviste » : l’activité d’évaluation s’inscrit dans des jeux de communication et de pouvoir

Page 6: Statistiques, indicateurs, performance et qualité : prendre la mesure de la bibliothèque

Page 6

La mesure de la bibliothèquePYR 19_11_2009

L’administration bureaucratique

Le nouveau management public

La coproduction administrative ? ? ?

Les changements de paradigmes administratifs

Indicateurs de suivi Indicateurs de performance

Baromètres de satisfaction ? ? ?

Page 7: Statistiques, indicateurs, performance et qualité : prendre la mesure de la bibliothèque

Page 7

La mesure de la bibliothèquePYR 19_11_2009

… les grands débats des bibliothèques sont souvent une histoire de chiffres

› Les m², les places assises› Les horaires d’ouvertures› Le prix des ressources électroniques…›… et leur consultation› Les achats de livres des emprunteurs›…

Page 8: Statistiques, indicateurs, performance et qualité : prendre la mesure de la bibliothèque

Page 8

La mesure de la bibliothèquePYR 19_11_2009

Le régime du storytelling…

›Les gens(*) ont peu de temps›Ils aiment les histoires›Ils adorent les chiffres›Les chiffres racontent une histoire

(*) Les décideurs, le public, les interlocuteurs de la bibliothèque…

Nous sommes passés de l’ère de la démonstration à l’ère de la narration

Page 9: Statistiques, indicateurs, performance et qualité : prendre la mesure de la bibliothèque

Page 9

La mesure de la bibliothèquePYR 19_11_2009

… et la nécessité de choisir les bons indicateurs

Documents Prêts

45 230 78 250

› La bibliothèque est ce qu’elle peut raconter d’elle-même

› Quelle histoire allez-vous raconter avec vos chiffres ? Quels chiffres allez-vous rassembler pour raconter votre histoire ?

Page 10: Statistiques, indicateurs, performance et qualité : prendre la mesure de la bibliothèque

Page 10

La mesure de la bibliothèquePYR 19_11_2009

L’utilité d’une culture de l’évaluation pour les bibliothèques

› La bibliothèque est en concurrence avec les autres services en matière « d’exposition », en matière de « faire savoir », et ce, selon les « cadres » utilisés par l’administration

Page 11: Statistiques, indicateurs, performance et qualité : prendre la mesure de la bibliothèque

Page 11

La mesure de la bibliothèquePYR 19_11_2009

Quelle méthode ? Face à la multiplicité des interlocuteurs…

Page 12: Statistiques, indicateurs, performance et qualité : prendre la mesure de la bibliothèque

Page 12

La mesure de la bibliothèquePYR 19_11_2009

Quelle méthode ? Du fait de la diversité des sources et des contextes…

Page 13: Statistiques, indicateurs, performance et qualité : prendre la mesure de la bibliothèque

Page 13

La mesure de la bibliothèquePYR 19_11_2009

Pas de méthode, mais un référent…

›Maître du « système d’information statistique », il/elle concentre les données recueillies ou produites, les organise et les met en forme, puis diffuse les résultats

données livrable

Page 14: Statistiques, indicateurs, performance et qualité : prendre la mesure de la bibliothèque

Page 14

La mesure de la bibliothèquePYR 19_11_2009

Compter, et avant de compter, définir

›C

ompt

er›

Dém

ontr

er›

Org

anis

er›

Cui

sine

r

› ISO 2789 statistiques internationales

de bibliothèques : le sommaire–Définitions

‐Bibliothèques, Collection, Usage et usagers,

Accès et équipement, Dépenses, Personnel

–Utilisation, avantages and limites d’utilisation des statistiques

–Présentation des données statistiques

–Collecte des données statistiques

–Annexe A : mesurer l’utilisation des services électroniques

–Annexe B : catégories complémentaires recommandées

Page 15: Statistiques, indicateurs, performance et qualité : prendre la mesure de la bibliothèque

Page 15

La mesure de la bibliothèquePYR 19_11_2009

Les statistiques à la poursuite de la réalité

›C

ompt

er›

Dém

ontr

er›

Org

anis

er›

Cui

sine

r

›Hier

Lecteurs / livres

› Aujourd’hui

Utilisateurs / services

? ??

Besoin de données

Facilité de la collecte, clarté des concepts

Page 16: Statistiques, indicateurs, performance et qualité : prendre la mesure de la bibliothèque

Page 16

La mesure de la bibliothèquePYR 19_11_2009

ISO 11620 : construire des indicateurs solides

› ni guide d’évaluation, ni catalogue d’indicateurs– 1. domaine d’application

– 2. référence normative

– 3. définitions

– 4. critères [de recevabilité] et cadre de description [des indicateurs]

– 5. emploi des indicateurs

– annexe A : liste des indicateurs

– annexe B : description des indicateurs

– annexe C : bibliographie

›C

ompt

er›

Dém

ontr

er›

Org

anis

er›

Cui

sine

r

Page 17: Statistiques, indicateurs, performance et qualité : prendre la mesure de la bibliothèque

Page 17

La mesure de la bibliothèquePYR 19_11_2009

Indicateurs : définition technique, définition politique…

›Définition technique : quantifié, l’indicateur mesure la réalisation de l’objectif précédemment défini et permet d’apprécier l’atteinte d’une performance le plus objectivement possible.

›Définition « politique » : mesure que des acteurs, parties prenantes d’une organisation aux objectifs explicités ou contractualisés, se sont accordés à utiliser pour rendre compte d’un niveau de réalisation ou d’une évolution, en vue de contribuer au diagnostic ou à l’amélioration des performances.

ISO 11620 aide à construire des indicateurs techniques, pas à définir des indicateurs politiques

›C

ompt

er›

Dém

ontr

er›

Org

anis

er›

Cui

sine

r

Page 18: Statistiques, indicateurs, performance et qualité : prendre la mesure de la bibliothèque

Page 18

La mesure de la bibliothèquePYR 19_11_2009

Indicateurs : des points de vue différents,l’approche de l’administration

›C

ompt

er›

Dém

ontr

er›

Org

anis

er›

Cui

sine

r

Point de vue Catégorie d’objectifs

Exemple d’objectif

Exemple d’indicateur

Citoyen Efficacité socio-économique

Améliorer l’insertion professionnelle des jeunes

Taux d’emploi six mois après

le diplôme

Usager Qualité du service rendu

Accélérer les décisions judiciaires

Durée moyenne de la

procédure

Contribuable Efficience de la gestion

Réduire le coût de gestion de l’impôt

Coût d’un impôt par

contribuable

Page 19: Statistiques, indicateurs, performance et qualité : prendre la mesure de la bibliothèque

Page 19

La mesure de la bibliothèquePYR 19_11_2009

Indicateurs : des points de vue différents,l’approche « classique »

›C

ompt

er›

Dém

ontr

er›

Org

anis

er›

Cui

sine

r

objectifs

moyens résultats

perti

nenc

e efficacité

efficience

Page 20: Statistiques, indicateurs, performance et qualité : prendre la mesure de la bibliothèque

Page 20

La mesure de la bibliothèquePYR 19_11_2009

Le « carré » de la performance

›C

ompt

er›

Dém

ontr

er›

Org

anis

er›

Cui

sine

r besoins

moyens

résultats objectifs

satisfaction pertinence

besoins

efficience cohérence

Société besoins objectifs résultats effetsmoyens

cohérence efficiencepertinence

efficacité

satisfaction

impact

› Le carré de la performance : introduit les « besoins »

› Le carré déplié

Page 21: Statistiques, indicateurs, performance et qualité : prendre la mesure de la bibliothèque

Page 21

La mesure de la bibliothèquePYR 19_11_2009

Les indicateurs entre nouveau management public et théorie des incitations

Page 22: Statistiques, indicateurs, performance et qualité : prendre la mesure de la bibliothèque

Page 22

La mesure de la bibliothèquePYR 19_11_2009

Imprimer une logique « évaluation » à la norme

›C

ompt

er›

Dém

ontr

er›

Org

anis

er›

Cui

sine

r

4 familles d’indicateurs / approche balanced scorecard

• ressources, accès etinfrastructure• utilisation• efficience• potentialités etdéveloppement

Page 23: Statistiques, indicateurs, performance et qualité : prendre la mesure de la bibliothèque

Page 23

La mesure de la bibliothèquePYR 19_11_2009

Effets indésirables, pervers, secondaires… des indicateurs

› « payez suffisamment ou ne payez pas du tout »

›Décourager les meilleurs

› Encourager les moutons

(augmenter le taux de césariennes, favoriser la triche…)

Page 24: Statistiques, indicateurs, performance et qualité : prendre la mesure de la bibliothèque

Page 24

La mesure de la bibliothèquePYR 19_11_2009

Le cadre intangible de description des indicateurs

›C

ompt

er›

Dém

ontr

er›

Org

anis

er›

Cui

sine

r

›objectif›domaine d’application›définition›méthode› interprétation des résultats›sources› indicateurs associés

B

A

‐ où A représente un niveau d’activité ou une quantité d’actes

‐ où B rapporte A à une unité de moyens (€, ETP, temps…)

)100(

Page 25: Statistiques, indicateurs, performance et qualité : prendre la mesure de la bibliothèque

Page 25

La mesure de la bibliothèquePYR 19_11_2009

Qualité et performance 1

›C

ompt

er›

Dém

ontr

er›

Org

anis

er›

Cui

sine

r

›Qualiticiens versus performeurs publics : qui inclut l’autre ?

› Première proposition, la qualité est centrée sur les usagers et les processus, la performance fait référence aux missions et aux activités dictées par les missions

Page 26: Statistiques, indicateurs, performance et qualité : prendre la mesure de la bibliothèque

Page 26

La mesure de la bibliothèquePYR 19_11_2009

›C

ompt

er›

Dém

ontr

er›

Org

anis

er›

Cui

sine

r

Résultat voulu

Résultat attendu

Résultat réalisé

Résultat perçu

Évaluationde la satisfactiondes besoins et de

l’impactdes actions

menées

Évaluationde la pertinence

et de la cohérencede l’engagement

Évaluationde la qualité

de la perception(coïncidence)

Évaluationde la qualité

de la réalisation(efficacité /efficience)

Qualité ?Performance ?

Page 27: Statistiques, indicateurs, performance et qualité : prendre la mesure de la bibliothèque

Page 27

La mesure de la bibliothèquePYR 19_11_2009

›C

ompt

er›

Dém

ontr

er›

Org

anis

er›

Cui

sine

r

Vouluopérationnel

Attendu usagers, clients

Réaliséprestataire

Satisfactionde l’usager

Efficacitéopération.Perçu

usagers, clients

Résultat voulupolitique

Résultat attenduAtt. citoyennes, besoins

Résultat réaliséEffets indirects

Résultat perçuglobal, citoyen

Efficacitépolitique

Satisfactiondu citoyen

citoyen client/usager prestataire politique

Contraintes réglementaires, économiques

Page 28: Statistiques, indicateurs, performance et qualité : prendre la mesure de la bibliothèque

Page 28

La mesure de la bibliothèquePYR 19_11_2009

Qualité et performance 2

›C

ompt

er›

Dém

ontr

er›

Org

anis

er›

Cui

sine

r

›Deuxième proposition : la qualité repose sur des référentiels externes (exemple la charte Marianne), la performance repose sur l’élaboration de référentiels internes (à la réalisation desquels peut contribuer la norme ISO 11620)

Page 29: Statistiques, indicateurs, performance et qualité : prendre la mesure de la bibliothèque

Page 29

La mesure de la bibliothèquePYR 19_11_2009

L’adaptation de concepts issus du privé

›C

ompt

er›

Dém

ontr

er›

Org

anis

er›

Cui

sine

r

› Performance et qualité : des concepts et des outils qui viennent du privé

›Qualité et performance concourent à l’amélioration des résultats financiers

Qualitédes processus

Réductiondes coûts

Qualitéde la relation client

Avantagecompétitif

Intangibilitédes processus

Publiccaptif

RAS

› Pas de problème, pas d’articulation…

Page 30: Statistiques, indicateurs, performance et qualité : prendre la mesure de la bibliothèque

Page 30

La mesure de la bibliothèquePYR 19_11_2009

Réconcilier performance et qualité

›C

ompt

er›

Dém

ontr

er›

Org

anis

er›

Cui

sine

r

› Performance = « qualité au meilleur coût » ?

› L’administration, dans son approche, en particulier des indicateurs, opère un rapprochement

› Assumer une complémentarité pratique, car les deux mettent en œuvre du management

› Savoir ce que l’on fait et pourquoi on le fait

Page 31: Statistiques, indicateurs, performance et qualité : prendre la mesure de la bibliothèque

Page 31

La mesure de la bibliothèquePYR 19_11_2009

Une initiative française

›C

ompt

er›

Dém

ontr

er›

Org

anis

er›

Cui

sine

r

Page 32: Statistiques, indicateurs, performance et qualité : prendre la mesure de la bibliothèque

Page 32

La mesure de la bibliothèquePYR 19_11_2009

La grande famille des normes…

›C

ompt

er›

Dém

ontr

er›

Org

anis

er›

Cui

sine

r

Pas de bon diaporama sans petits animaux

Page 33: Statistiques, indicateurs, performance et qualité : prendre la mesure de la bibliothèque

Page 33

La mesure de la bibliothèquePYR 19_11_2009

Les paradoxes normatifs (rien que ça)

›C

ompt

er›

Dém

ontr

er›

Org

anis

er›

Cui

sine

r

› La normalisation suppose :

– du temps– le consensus– du recul

› Alors que les bibliothèques évoluent :

– vite

– dans des directions différentes

– de façon expérimentale

Page 34: Statistiques, indicateurs, performance et qualité : prendre la mesure de la bibliothèque

Page 34

La mesure de la bibliothèquePYR 19_11_2009

Dis, comment on fait les normes ?

›C

ompt

er›

Dém

ontr

er›

Org

anis

er›

Cui

sine

r

Afnor Commission générale CG46 : information et documentation

Commission nationale CN8 : évaluation des résultats

ISO Technical committee TC46 : information and documentation

Sub Committee SC8 : Quality – statististics and performance evaluation

WG2 (ISO 2789) WG4 (ISO 11620) WG5 (ISO 9707) WG6 (ISO 9230) WG7 (TR 28118) WG8 (TR11219) WG9

Expertise, traduit, vote, propose…

Page 35: Statistiques, indicateurs, performance et qualité : prendre la mesure de la bibliothèque

Page 35

La mesure de la bibliothèquePYR 19_11_2009

Pertinence des normes, aujourd’hui

› Elles existent !› Elles rendent compte de ce qui peut être clairement et

sûrement calculé et mesuré aujourd’hui (« au-delà », rien d’assez solide pour être normalisé). [la normalisation = lieu de consolidation ? ]

› En tant que normes internationales, elles donnent (ou devraient donner) un poids supérieur aux mesures et indicateurs qui en sont tirées, dans le cadre des discussions budgétaires ou politiques).

› En particulier dans une perspective de comparaison, elles offrent un langage commun.

Page 36: Statistiques, indicateurs, performance et qualité : prendre la mesure de la bibliothèque

Page 36

La mesure de la bibliothèquePYR 19_11_2009