État providence et société urbaine -...
TRANSCRIPT
![Page 1: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/1.jpg)
Julien Damon www.eclairs.fr
Cours 11. L’évaluation des politiques : méthodologie ou utopie ?
État providence et société urbaine
![Page 2: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/2.jpg)
SOMMAIRE
Mise en bouche De quoi parle-t-on ?
Entrée Historique
Gibier Blablablablasblas
Plat de résistance Les points importants
Fromage Quelques règles simples
Dessert Défis et querelles de méthode
![Page 3: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/3.jpg)
Mise en bouche De quoi parle-t-on ?
![Page 4: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/4.jpg)
TROIS MOTS
On va aborder les mots à la mode :
Évaluation
Expérimentation
Innovation Furieusement tendance !
![Page 5: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/5.jpg)
L’EVALUATION DES POLITIQUES De la difficulté (1)… Jeu
EN DIRECT EN COURS
![Page 6: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/6.jpg)
L’EVALUATION DES POLITIQUES De la difficulté (2)… Thèmes
EN DIRECT EN COURS
![Page 7: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/7.jpg)
• Des individus
• Des organismes
• Des politiques
• Des programmes
BON ALLEZ… SOYONS SIMPLES. QUATRE SUJETS
![Page 8: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/8.jpg)
• Les produits (les résultats, les impacts)
• Le service (la qualité, les processus)
ET ENCORE PLUS SIMPLISTE… DEUX OBJETS…
![Page 9: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/9.jpg)
• Des bénéficiaires
• Des élus
• Des opérateurs
• Des habitants … et le juge…
… ALLEZ, PLUS COMPLIQUÉ QUATRE DESTINATAIRES…
![Page 10: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/10.jpg)
ET UN THÈME ÉMINEMMENT POLITIQUE : L’EFFICIENCE DE L’ACTION PUBLIQUE
Sous Titre : Evaluer les dépenses publiques pour sauvegarder le modèle français Et un approche simple : Évaluer rigoureusement les dépenses, selon les objectifs poursuivis
![Page 11: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/11.jpg)
ET UNE NOUVELLE APPROCHE « SCIENTIFIQUE ». LES CANONS DE LA RIGUEUR
L’expérimentation L’approche par les plus pauvres L’approche par APD et PVD
![Page 12: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/12.jpg)
Entrée Historique
RCB, LOLF, RGPP & cie
![Page 13: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/13.jpg)
L’EVALUATION DES POLITIQUES Historique (1)
• Une préhistoire ou une activité sui generis ? • Dans les années 1970 : la RCB • Début des années 1980 : l ’évaluation • Rapport Viveret (M. Rocard, NPM) L’évaluation des politiques et des actions publiques (1989) « faire de l ’évaluation un levier essentiel de la transformation
et de la modernisation du service public »
![Page 14: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/14.jpg)
L’EVALUATION DES POLITIQUES Historique (2)
• 1989 : Comité national d ’évaluation de la recherche - Commission nationale d ’évaluation du RMI
• Dispositif interministériel (décret du 22 janvier 1990) : Conseil Supérieur de l’Evaluation
• 1990 - : évaluation des contrats de plan Etats/régions, création de l ’office parlementaire d ’évaluation des politiques publiques
• 1998 : CSE remplacé par Conseil National de l ’Evaluation • 2001 : Loi organique sur les lois de finances
![Page 15: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/15.jpg)
L’EVALUATION DES POLITIQUES Historique (3)
• 2007 : révision générale des politiques publiques (RGPP) • 2007-2009 : expérimentation et « évaluation » RSA • 2007 : un secrétariat d’Etat à l’évaluation des politiques et
à la prospective • 2008 : révision constitutionnelle – l’évaluation au
Parlement • 2009 : l’évaluation à Bercy
![Page 16: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/16.jpg)
LOLF STORY La loi organique n°2001-692 relative aux lois de finances
Le Parlement
! plus grande lisibilité du budget et transparence sur son exécution
! agir sur les moyens donnés aux politiques publiques
Les Français
! l’usager :
répondre mieux aux besoins
! le contribuable : vérifier que l’argent est bien utilisé
Les acteurs de l'administration
! s ’engager sur des résultats
! recevoir des objectifs clairs
! bénéficier d’une plus grande marge de manœuvre
De l’obligation de moyens à l’obligation de résultats
![Page 17: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/17.jpg)
La révision générale des politiques publiques (RGPP) – 2007-2012
• Une instance décisionnelle de très haut niveau • interministérielle : le conseil de la RGPP présidé
par le sec gén de l’Elysée • Une démarche globale (« comprehensive ») • Des équipes composites (corps d’inspection et
consultants ) • Faisant une synthèse transversale des travaux :
inspections, audits ministériels « Copé »…
![Page 18: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/18.jpg)
La démarche de révision générale des politiques publiques
![Page 19: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/19.jpg)
La structuration des équipes d’audit Rgpp
• Justice • Agriculture et pêche • Ecologie, développement et
aménagement durables • Aide publique au développement • Action extérieure de l’Etat • Culture et communication et
Services du Premier ministre • Enseignement supérieur et recherche
14 domaines d’audit de l’action de l’Etat • Enseignement scolaire - y compris
enseignement agricole • Défense – anciens combattants,
mémoire et liens avec la Nation • Santé – solidarités – sports • Sécurité • Immigration et intégration • Intérieur – Outre-mer • Réseaux financiers
6 grandes politiques d’intervention • Emploi et formation professionnelle • Développement des entreprises • Ville et logement
• Famille • Assurance-maladie • Politiques de solidarité et de lutte
contre la pauvreté
![Page 20: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/20.jpg)
La RGPP et l’évaluation
– Des questions qui relèvent de l’évaluation (pertinence, efficacité, efficience, cohérence… des actions)
– Mais une démarche jugée opposée : sans transparence, ni prise en compte des parties prenantes, dans une optique prioritairement budgétaire
– En conséquence : une appropriation difficile des décisions par les responsables de leur mise en œuvre (faute d’apprentissage collectif dans le processus préparatoire à la décision)
![Page 21: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/21.jpg)
L’évaluation dans la Constitution
Article 24 Le Parlement vote la loi. Il contrôle l'action du
Gouvernement. Il évalue les politiques publiques. Article 47-2 La Cour des comptes assiste le Parlement dans le contrôle
de l'action du Gouvernement. Elle assiste le Parlement et le Gouvernement (…) dans l'évaluation des politiques publiques.
![Page 22: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/22.jpg)
Gibier Blablablablasblas
![Page 23: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/23.jpg)
BLABLA (AUDIBLE) Comparer contrôle, audit et évaluation
Contrôle Pilotage (contrôle de gestion)
Audit Évaluation
Objet Vérifier la conformité
Suivre l’exécution des actions
Réduire les risques
Optimiser les effets / expliquer les écarts
Instruments Loi, règlement, (cadre comptable)
Programme fixé ex ante
Standards professionnels
Références à construire en fonction des objectifs
Conséquences Sanctionner un écart : amendes, poursuites judiciaires
Rectifier la trajectoire: dialogue de gestion
Alerter: Recommanda-tions, rappel à l’ordre
Aider à la décision (stratégique ou opérationnelle) selon les besoins de la société
![Page 24: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/24.jpg)
BLABLA (INDIGESTE) L’EVALUATION DES POLITIQUES
Par rapport à d’autres activités d’expertise Etude/Conseil Contrôle Recherche Evaluation
Qui construit ? Client Normes internes Programme/Pairs Commanditaires Stakeholders
Qui conteste ? Client Litiges juridiques Instance ad hoc Milieux professionnels Opinion publique Responsables politiques
Quoi ? Que faire ?
Diagnostic Préconisations pour performances
Diagnostic Préconisations de conformité Sanctions
Compréhension Explication
Jugements ex post et ex ante Efficacité, efficience, performance, compréhension
Comment s’en sert-on ?
Mise en œuvre des préconisations Usage privé
Préconisations et sanctions Imposition au contrôlé
Demande sociale Développement éventuel d’applications
Usage managerial, social, réglementaire
Qui finance? Client Client Autorités publiques
Privé Etat
Autorités publiques
![Page 25: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/25.jpg)
BLABLA POMPEUX L’EVALUATION DES POLITIQUES
Dimensions, fonctions, Nature Dimensions Fonctions
(typologie de l’ex CSE)
Nature politique et technique
Construire, acquérir, partager des
connaissances
COGNITIVE Technique, mais également stratégique
(qui contrôle la connaissance ?)
Fonder du jugement – Préconiser des choix
NORMATIVE Politique
Mettre en œuvre des transformations/amélio
rations
INSTRUMENTALE Technique/Politique
![Page 26: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/26.jpg)
BLABLA L ’EVALUATION DES POLITIQUES Synthèse - AU SECOURS …
Dimensions de l’évaluation
COGNITIVE (meilleure connaissance des problèmes posés et
des réponses proposées)
INSTRUMENTALE (meilleure décision et
meilleur agencement des ressources)
NORMATIVE (meilleure appréciation de la configuration des
interventions)
Dimensions problématiques de l’action et des politiques publiques.
Régulation interprétative *
Des problèmes complexes à résoudre (ambiguïté).
Régulation instrumentale
* Des résultats à atteindre (efficacité/efficience).
Régulation des incertitudes stratégiques
* Des modes d’intervention à organiser (management) .
Problèmes et matériaux de l’évaluation
Concurrence d’explications, de savoirs, de croyances, de justifications, d’interprétations.
Expériences passées, conséquences anticipées, interrogations sur la validité des outils (contrôle de gestion, etc.).
Visibilité des politiques, imputation des responsabilités, appréciation des jeux d’acteurs.
Objectifs d’une pratique évaluative.
Faire émerger des interprétations collectives partagées.
Agencer et déployer des moyens, des outils, des ressources efficaces.
Maîtrise de la faisabilité et de la responsabilité des politiques.
![Page 27: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/27.jpg)
UN PEU MOINS BLABLA… Quatre ensembles de la nébuleuse évaluation-contrôle
Fonctionnement d’une organisation
Action de changement
Système d’information périodique
(I) Système formel de contrôle de gestion
(II) Contrôle de projet,
monitorage de programme
Investigations ponctuelles Études ad hoc
(III) Audit managérial ou organisationnel ou évaluation d’une
structure
(IV) Évaluation de politique ou de
programme
Source : P. Gilbert
![Page 28: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/28.jpg)
Plat de résistance Les points importants
![Page 29: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/29.jpg)
Le capital :
Vive l’accountability et la performance !
Toujours une triple finalité au souci d’introduire la performance et de la mesure dans la sphère étatique : • maîtrise des dépenses et des déficits publics,
• amélioration de la qualité des services publics, avec la nécessité de tenir compte de la sensibilité croissante des citoyens au thème du Value for money,
• volonté de rendre plus transparente l’action administrative avec un souci d’accountabily (les Québécois traduisent parfois par “ redevabilité ”) consistant à renforcer le contrôle démocratique de la gestion publique.
![Page 30: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/30.jpg)
Le capital condensé Les politiques publiques ne sont pas (immédiatement) soumises pas à la
sanction des consommateurs… Les bénéficiaires n'ont pas le choix : ils doivent prendre ce qu'on leur
donne, même si la qualité est faible… Aucune garantie que la politique ait un impact. Pour s'en assurer :
- évaluation de processus : l'argent a-t-il été dépensé comme prévu ? - évaluation d'impact : le programme a-t-il permis les résultats prévus ?
![Page 31: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/31.jpg)
DU LATIN POUR FAIRE BIEN ! • Ex ante (études préalables d’impact). • In itinere (suivi, contrôle de gestion). • Ex post (évaluation finale).
![Page 32: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/32.jpg)
DU LATIN BIEN
Ex ante (simuler)
Ex post (observer)
Processus - Minutieuse - Risques juridiques
- Contrôle de gestion - Expertise ponctuelle
Impact - Hasardeuse - Projections économiques
- Coûteuse - Périlleuse
![Page 33: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/33.jpg)
Trois ingrédients problématiques
• Des données qui dépendent de la capacité des acteurs à les produire et de la rigueur de leur production
• Des valeurs qui sont des jugements sur les fondements de l’action publique
• Des stratégies qui sont celles des différents acteurs impliqués
![Page 34: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/34.jpg)
À ne jamais oublier : les objectifs !
• On ne peut valablement évaluer que lorsque des objectifs ont été fixés !!!
• A défaut l’évaluation relève de la recherche et, d’abord, de l’archéologie des objectifs.
![Page 35: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/35.jpg)
EXPLICITER LES OBJECTIFS
MALGRÉ LE RISQUE DE DÉLUGE…
(i) la finalité générale poursuivie (aim), qui est énoncée de manière simple (“ Donner à chacun la possibilité de se réaliser pleinement à travers les études, la formation et le travail ”, pour le ministère britannique de l’Education), (ii)les divers objectifs (goals) qui sont plus explicites (s’assurer, dans le cas britannique, que tous les jeunes de moins de seize ans puissent travailler), (iii) les cibles opérationnelles (targets) qui constituent les objectifs intermédiaires, quantifiables, à atteindre. C’est principalement à ce niveau que l’on trouve les mesures de résultats.
EXERCICE : transcrire pour la rénovation urbaine !!!!!!
![Page 36: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/36.jpg)
À élaborer et stabiliser : les indicateurs !
• Input (ce que l’on met dans la machine)
• Outputs/outcome ( ce qui en ressort)
![Page 37: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/37.jpg)
La qualité des indicateurs !
Pour offrir une évaluation quantifiée fiable et utile, cinq critères ont été dégagés. Les indicateurs à adopter doivent être : (i) Réalisables, (ii) Attachés uniquement à un objectif, (iii) Pertinents, (iii) Observés dans le temps, (v) Mesurables avec des données quantifiées. En un mot ils doivent répondre aux cinq critères contenus dans l’acronyme RAPOM. En anglais, les objectifs doivent être SMART (Intelligents), c’est à dire Spécific, Measurable, Achievable, Relevant, Timed.
![Page 38: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/38.jpg)
Indicateurs : le dilemme
Dictature de l’indicateur (vrai problème)
ou
Démocratie de l’indicateur (vraie ambition)
![Page 39: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/39.jpg)
Important également… : L ’EVALUATION DES POLITIQUES EST TOUJOURS… POLITIQUE !
Les diverses modalités du jugement politique (P. Rosanvallon)
Formes de jugement
Nature du
tribunal
Périodicité des sessions
Types de sanction
Procès extraordinaire Haute Cour de justice Exceptionnelle Politique et pénale Procès ordinaire Tribunal pénal Occasionnelle Prison, amende,
inéligibilité Evaluation technique Tribunal des experts Régulière Dégradation de la
réputation Appréciation spécifique d’une action
Opinion publique Permanente Dégradation de la réputation
Appréciation générale d’une politique Opposition Permanente Variation du rapport
de force Réélection Corps électoral Episodique Non-renouvellement
![Page 40: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/40.jpg)
Fromage
Quelques règles simples
![Page 41: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/41.jpg)
Les registres de l’évaluation Schéma classique des politiques publiques
Cohérence Efficience Pertinence
Enjeux Objectifs Moyens Effets Efficacité
UNE BALISTIQUE DE L’ACTION PUBLIQUE ???
![Page 42: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/42.jpg)
Les registres de l’évaluation (blabla ?)
Impacts
Réalisations (activités, outputs)
Ressources (inputs)
Objectifs spécifiques
Résultats (outcomes)
Besoins Problèmes
Objectifs globaux
Objectifs opérationnels
Pertinence
Utilité
Efficience
Efficacité
Cohérence
Source : A. Fouquet, Igas, Président de la SFE
![Page 43: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/43.jpg)
Soyons pragmatiques : règle EPICE
• L’Efficacité. Les résultats constatés sont-ils en rapport avec les objectifs fixés ?
• La Pertinence. Les objectifs poursuivis sont-ils appropriés aux besoins repérés ?
• L’Impact. Que se serait-il passé en l’absence de cette politique ?
• La Cohérence. Les dispositifs sont-ils adaptés à l’objectif poursuivi ?
• L’Efficience. Quels rapports entre les résultats constatés et les moyens mobilisés ?
![Page 44: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/44.jpg)
Soyons pragmatiques : règle des 3 E
• Efficacité. Les travaux menés dans le cadre des évaluations de politiques doivent d’abord porter sur la clarté et le niveau d’atteinte des objectifs de la politique évaluée.
• Efficience. Les travaux menés dans le cadre des évaluations de politiques doivent également porter sur l’adéquation des ressources affectées à l’atteinte des résultats attendus.
• Effets. Les travaux menés dans le cadre des évaluations de politiques doivent enfin porter sur l’appréciation des résultats.
Effets sur - destinataires ; - opérateurs ; - population générale.
![Page 45: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/45.jpg)
Évaluer les politiques : les décortiquer en trois E
Évaluer des …… c’est mesurer… … dépenses … de l’efficience … séquences … de l’efficacité … conséquences … des effets
![Page 46: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/46.jpg)
Évaluer les politiques : se confronter à trois I
Instabilité des procédures et programmes Inefficacité ou innocuité révélée Imputabilité (quelle causalité ?)
![Page 47: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/47.jpg)
Mais bien du bon grain à moudre !!!!
La performance publique (PLF, LF, PAP) ! www.performance-publique.budget.gouv.fr La performance de la Sécu (PLFSS, PQE) ! www.securite-sociale.fr Reste une question (au moins) : Les collectivités territoriales…
![Page 48: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/48.jpg)
Dessert
Discours, défis et querelles de méthodes
![Page 49: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/49.jpg)
Un sujet pour le dessert L’imputabilité !!!!
EXERCICES :
Si la pauvreté baisse, c’est grâce à qui / quoi ??? Si la situation dans les banlieues s’améliore ???
Si la famine est vaincue en Éthiopie ? Si le maire est réélu ?
![Page 50: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/50.jpg)
Les expérimentations
Des dispositifs contrefactuels : en l’absence de la mesure que ce serait-il passé ?
Comment identifier un effet causal ? = f(domaine médical) : efficacité d’un traitement Éthique : des populations tests,
des traitements placebos ?
![Page 51: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/51.jpg)
Les expérimentations Deux orientations
Comparer bénéficiaires et non bénéficiaires toutes choses égales par ailleurs
Comparer avant/après (en isolant les caractéristiques individuelles)
" Expérience « contrôlée » (aléatoire). " Expériences « naturelles »
Mais aussi les régressions par discontinuité (effets de seuil) ARS – ZFU – Taille des classes
![Page 52: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/52.jpg)
L’expérimentation « randomisée »
IDÉE : Deux populations similaires
L’une bénéficie de l’innovation, l’autre non Un protocole d’observation
Et une évaluation
Faut-il vendre ou donner des mousquetaires ? Faut-il rémunérer l’assiduité à l’école ?
![Page 53: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/53.jpg)
Quatre problèmes
- Sophistication des méthodes - Éclatement des organismes - Méfiance à l’égard des conséquences - Inertie voire irréversibilité des dispositifs
![Page 54: État providence et société urbaine - eclairs.freclairs.fr/wp-content/uploads/2011/09/Cours11Evaluation.pdf · Et un approche simple : Évaluer rigoureusement les dépenses, selon](https://reader031.vdocuments.fr/reader031/viewer/2022022610/5b95ded109d3f27f5b8d31e3/html5/thumbnails/54.jpg)
CAFÉ : la synthèse des synthèses #
TROIS SUJETS
TROIS MOMENTS
TROIS DESTINATAIRES
Efficacité Avant Élus
Efficience Pendant Opérateurs
Effets À la fin Habitants