1 master economie et gestion mention « Études du développement » expertise économique en...

1

MASTERECONOMIE ET GESTION

Mention« Études du Développement »

Expertise économique en politiques et projets de

développement

29 octobre 2010

Evaluation des politiques environnementales Séance 3 : Déroulement du processus d’évaluation des politiques publiques

Institut d’Étude du Développement Économique et Social

2

Sommaire

Déroulement du processus d’évaluation Rappels Vision globale du processus d’évaluation Décision et commande d’évaluation Réalisation et résultats de l’évaluation Qualité de l’évaluation

3

Déroulement du processus d’évaluation Rappels Vision globale du processus d’évaluation Décision et commande d’évaluation Réalisation et résultats de l’évaluation Qualité de l’évaluation

4

Chaîne de déploiement d’une politique

Impacts

Réalisations

Résultats

Besoins / Problèmes / Enjeux

Ressources humaines, Financières, techniques …

Objectifs stratégiques

Objectifsopérationnels

Objectifsspécifiques

5

Les registres d’évaluation

Impacts

Réalisations

Résultats

Besoins / Problèmes / Enjeux

Ressources

Objectifs

pertinence

cohérenceinterne

utilité

efficience

efficacité

cohérence

externe

6

Evaluation et indicateurs

Taux d’insertion

des apprentis + z%

Nombre apprentis

+ x%

Taux réussite

apprentissage + y%

Les indicateurs mesurent un changement

L’évaluation porte un jugement de valeur sur le lien entre le

programme et le changement

programme contexte

?

7Contenu de la démarche méthodologique

des critères

explicites

des

données

ad hoc

une

argumentation

un

jugement

de valeur

Structurer

Questions

Critères

Indicateurs

Observer

Données

Instruments

Collecte

Analyser

Croisements

Estimation

Interprétation

Juger

/ Critères

/ Normes

Pondération

8Suivi permanent d’indicateurs

Besoins

Objectifs

Ressources

Indicateurs d’évaluation

Impacts

Résult.

Réalis.Indicateurs

suivi / pilotage

Indicateurs de contexte

9

Déroulement du processus d’évaluation Rappels Vision globale du processus d’évaluation Décision et commande d’évaluation Réalisation et résultats de l’évaluation Qualité de l’évaluation

10Vision globale du processus d’évaluation

Décision Commande Evaluation Propositions Décision

mandat

cahier

des

charges

offre marché

rapport

recom-

manda-

tions

délibé-

ration

Elus Instance Evaluateur Instance Elus

faisabilité

11

Déroulement du processus d’évaluation Rappels Vision globale du processus d’évaluation Décision et commande d’évaluation Réalisation et résultats de l’évaluation Qualité de l’évaluation

Utilisation des évaluations de politiques publiques Les différentes formes d’utilisation Utilisation managériale : de l’évaluation à la conception Utilisation démocratique : l’alimentation du débat public Utilisation pluraliste : la résolution collective de problèmes Utilisation opérationnelle ; l’amélioration du système de suivi-évaluation 

12La décision d’évaluer

Décision

Obligation

Questionnement

Alerte

13La place des indicateurs dans le déclenchement d’une évaluation

Évaluation

Indicateurs d’évaluation

Alerte Alimentation Enrichissement

14L’auteur de la décision

Décision

Elu

Direction Partenaires

15La formalisation de la décision : le mandat

Une lettre de mission :

Qui définit le champ de l'évaluation

Qui marque les questions prioritaires

Qui précise le dispositif d'évaluation

Un engagement

Portage politique

Une commande

À une instance d’évaluation

16

L’analyse de la faisabilité d’une évaluation

Les conditions opérationnelles : quelles retombées escomptées ?

Les conditions techniques : quelle information disponible ?

Les conditions politiques :

quelle capacité

d’action ?

Les conditions institutionnelles :

quelles possibilités de

participation des acteurs ?

17Le choix entre évaluation externe ou interne

évaluateurChargé d’

évaluation

spécialiste

méthode

spécialiste

secteur

18L’instance d’évaluation

Définit le cahier des charges de l’évaluation

Sélectionne l’évaluateur

Pilote l’évaluation

Valide l’évaluation

Porte le jugement

Propose les recommandations

19La composition de l’instance d’évaluation

Gestionnaires

Opérateurs

Experts

Personnalités

Elus

Financeurs

Bénéficiaires

Société

20Les caractéristiques d’une instance d’évaluation efficace

En termes de composition : Un bon effectif Une diversité de membres Un président et un opérationnel

En termes de fonctionnement : Des réunions au bon moment Des réunions préparées

En termes de portée : Un jugement mieux argumenté Un jugement mieux partagé Des propositions plus adaptées Une évaluation plus appropriée

21Un cahier des charges ciblé

Cahier des charges

« évaluez la politique

de formation

………………. »

Cahier des charges

« répondez aux

questions d’évaluation

suivantes ………… »

22Les rubriques d’un cahier des charges

Le contexte global

L’objet à évaluer

Les raisons de l’évaluation

Les questions de l’évaluation

Les éléments d’information disponibles

Les éléments de méthode

Le calendrier

Le budget

Le pilotage

Les critères d’attribution

23Le processus de marché public

Commande

cahier

des

charges

offre marché

Instance

Procédure ouverte ou restreinte ?

Passage devant un jury ?

24

Le choix de l’équipe d’évaluateurs

Profil :

Spécialiste méthode ?

Spécialiste secteur ?

Contenu :

rigueur

méthodologique

Coût :

Prix global

Prix de journée

25L’attention portée à la stratégie d’évaluation

Démarche par laquelle : des « éléments de preuve » vont être produits pour porter le jugement de valeur sur la politique

Stratégie

ciblée Faisceau

d’indices

26Les points de contrôle d’une bonne stratégie d’évaluation

Rigueur

€

Robustesse

FaisabilitéCoût

Stratégie

27Appréciation du coût d’une évaluation

Le rapport Coût évaluation / Coût programme Un rapport non linéaire De 0,01% à 40% ?

Le nombre de jours d’intervenants 20 à 200 jours ?

Les différences selon les prestataires Consultants Bureaux d’études Laboratoires Associations

28

Déroulement du processus d’évaluation Rappels Vision globale du processus d’évaluation Décision et commande d’évaluation Réalisation et résultats de l’évaluation Qualité de l’évaluation

29

Le suivi de l’évaluation

structuration observation analyse jugement

Réunion

instance

Réunion

instanceRéunion

instance

Réunion

instance

Réunion

instance

30Les rapports d’évaluation

Le rapport de cadrage de l’évaluation Le référentiel de l’évaluation Le bilan de la politique

Le(s) rapport(s) intermédiaires(s) Les résultats intermédiaires

Le rapport final Note de synthèse Résultats de l’évaluation Réponses aux questions d’évaluation Recommandations

Les annexes

31Constats, conclusions et recommandations

Résultat Définition Exemple

Constat Eléments observésLe taux d’insertion des personnes formées est de x%

ConclusionJugement porté sur les éléments observés

Le taux d’insertion des personnes formées est inférieur aux autres régions

Recommandation

Proposition visant à remédier à un problème mis en avant dans une conclusion

Modifier la formation pour y intégrer un module plus en phase avec les besoins du secteur

32L’interaction pour produire les recommandations

Instanced’évaluation

Instanced’évaluation

Pertinence

Rigueur

Innovation

Cohérence

Faisabilité

33Les différents types de recommandations

Type Portée Outils

Orientations Cadrage global

Scénarios

Recommandations stratégiques

Remise en cause de l’objectif

Théorie d’action

Logique d’impact

Recommandations opérationnelles

Mise en œuvre de l’objectif

Recommandations de contenuRecommandations de processus

34La communication de / sur l’évaluation

- Rapport provisoire- Rapport définitif- Rapport partiel- Rapport non public- Synthèse - Article- Conférence de presse- Réunion- …

- Elus- Gestionnaires- Société civile- Medias- Population- …

Communiquer quoi et comment ?

A qui ?

35

Déroulement du processus d’évaluation Rappels Vision globale du processus d’évaluation Décision et commande d’évaluation Réalisation et résultats de l’évaluation Qualité de l’évaluation

36Les critères de qualité d'une évaluation

La satisfaction des demandes La pertinence du champ

L'adéquation de la méthodologie La fiabilité des données La solidité de l'analyse

La robustesse des résultats L’impartialité des conclusions

L’utilité des recommandations La clarté des comptes-rendus

37Les facteurs de la qualité

Clarté du

cahier des charges

Qualité

Compétences et performance de

l’équipe d’évaluation

Interaction avec l’instance

Organisation du processus

38Les tendances des nouveaux processus d’évaluation

Cahier des charges

Réalisationconclusions

recommandations

Diffusion

Pratique ancienneMandat

Réalisationconclusions

Diffusion

Pratique nouvelle

recommandations

Etude faisabilitéCahier des charges