1 master economie et gestion mention « Études du développement » expertise économique en...
Post on 04-Apr-2015
104 Views
Preview:
TRANSCRIPT
1
MASTERECONOMIE ET GESTION
Mention« Études du Développement »
Expertise économique en politiques et projets de
développement
02 novembre 2010
Evaluation des politiques environnementales Séance 4 : Stratégie et outils d’évaluation d’une politique publique
Institut d’Étude du Développement Économique et Social
2
La stratégie d’évaluation d’une politique publique La démarche méthodologique en évaluation Le choix d’une stratégie d’évaluation Approche quantitative et approche qualitative Le référentiel d’évaluation Les outils d’évaluation L’évaluation participative
3L’essence de la démarche méthodologique
« porter un jugement de valeur argumenté par des données ad hoc et des critères explicites »
des critères
explicites
des
données
ad hoc
une
argumentation
un
jugement
de valeur
structurer observer analyser juger
4Exemple de démarche méthodologique
des critères
explicites
des
données
ad hoc
une
argumentation
un
jugement
de valeur
structurer observer analyser juger
fréquentation
exposition
questionnaire échantillon
élèvesbénéficiaires
extrapolation
et analyse de
données
comparaison
bénéficiaires/
non bénéficiaires
5Contenu de la démarche méthodologique
des critères
explicites
des
données
ad hoc
une
argumentation
un
jugement
de valeur
Structurer
Questions
Critères
Indicateurs
Observer
Données
Instruments
Collecte
Analyser
Croisements
Estimation
Interprétation
Juger
/ Critères
/ Normes
Pondération
6Des outils pour chaque étape de la démarche méthodologique
des critères
explicites
des
données
ad hoc
une
argumentation
un
jugement
de valeur
outils de
structuration
outils d’
observation
outils d’
analyse
outils de
jugement
Boîte à outils des sciences
humaines, sociales, économiques …
7
La stratégie d’évaluation d’une politique publique La démarche méthodologique en évaluation Le choix d’une stratégie d’évaluation Approche quantitative et approche qualitative Le référentiel d’évaluation Les outils d’évaluation L’évaluation participative
8La stratégie d’évaluation
Démarche par laquelle : des « éléments de preuve » vont être produits pour porter le jugement de valeur sur la politique
Stratégie
ciblée Faisceau
d’indices
9Les points de contrôle d’une bonne stratégie d’évaluation
Rigueur
€
Robustesse
FaisabilitéCoût
Stratégie
10
La stratégie d’évaluation d’une politique publique La démarche méthodologique en évaluation Le choix d’une stratégie d’évaluation Approche quantitative et approche qualitative Le référentiel d’évaluation Les outils d’évaluation L’évaluation participative
11Articuler le quantitatif et le qualitatif
Quantifier
Mesurer
Largeur
Valider
Qualifier
Comprendre
Profondeur
Explorer
12
La stratégie d’évaluation d’une politique publique La démarche méthodologique en évaluation Le choix d’une stratégie d’évaluation Approche quantitative et approche qualitative Le référentiel d’évaluation Les outils d’évaluation L’évaluation participative
13Référentiel d’évaluationQuestions Critères Indicateurs
DescripteursIndices
SourcesOutils
Les résultats obtenus suite à
la formation Evaluation
sont-ils satisfaisants ?
-Fréquentation - nombre formations- nombre participants-caractéristiques participants
- fichier participants
- Satisfaction - niveau de réponse aux attentes- niveau de satisfaction des
participants- qualité de perception par le service
Evaluation
- fiches évaluation à chaud
- debriefing service Evaluation
- Partage - création d’un vocabulaire commun- constitution d’un réseau
- enquête participants dispositifs
- Utilisation - traces des concepts dans les documents du Conseil régional
- fréquence de mention des concepts en réunion
- optimisation du dispositif de tableaux de bord
- entretiens évaluation à froid
- analyse documentaire
14
La stratégie d’évaluation d’une politique publique La démarche méthodologique en évaluation Le choix d’une stratégie d’évaluation Approche quantitative et approche qualitative Le référentiel d’évaluation Les outils d’évaluation L’évaluation participative
15Des outils pour chaque étape de la démarche méthodologique
des critères
explicites
des
données
ad hoc
une
argumentation
un
jugement
de valeur
outils de
structuration
outils d’
observation
outils d’
analyse
outils de
jugement
Boîte à outils des sciences
humaines, sociales, économiques …
16
Des outils à choisir
outils de
structuration
outils d’
observation
outils d’
analyse
outils de
jugement
Boîte à outils des sciences
humaines, sociales, économiques …
Complexité : un public / plusieurs publicsCompétences : technicité / savoir faireAcceptabilité : classique / innovantCoût : limité / élevé
17
Outils de structuration
des critères
explicites
Structurer
Questions
Critères
Indicateurs
Analyse de texteSWOTCadre logiqueMatrice d’impactsDiagramme logique d’impactsTypologies ….
18
Réalisation 4
Réalisation 5
Réalisation 2
Réalisation 1
Réalisation 3
Réalisation 6
Impactglobal 1
Impactglobal 2
Résultat immédiat 3
Résultat immédiat 4
Résultat immédiat 2
Résultat immédiat 1
Impactintermédiaire 1
Impactintermédiaire 3
Impactintermédiaire 2
Zoom sur un outil : le diagramme logique des impacts escomptés
19Zoom sur un outil : la typologie
x
x
x x
x
x
xx
x
x
x x
x
x
xx
x
x
x x
x
x
xx
x
x
x x
x
x
xx
x
x
x x
x
x
xx
x
x
x x
x
x
xx
x
x
x x
x
x
xx
famille A
famille B
famille C
famille D
famille E
étude de cas A1
étude de cas E1
étude de cas D2
étude de cas B1
étude de cas B2
étude de cas A2
étude de cas C2étude de cas C1
étude de cas D1étude de cas C3
20
Outils d’observation
des
données
ad hoc
Observer
Données
Instruments
Collecte
Entretiens individuelsFocus groupesQuestionnairesOutils statistiquesOutils de notationEtudes de cas….
21
Zoom sur un outil : le focus groupe
Toucher la diversité des individus Descendre en profondeur Comprendre les interactions collectives Valider par croisement
Sélection
Focus groupe 1
Focus groupe 1
Focus groupe 1
Focus groupe 1
Restitution
22Zoom sur un outil : le questionnaire par internet
Décliner les critères en un ensemble de questions Rendre l’ensemble ergonomique Toucher l’ensemble de la population Relancer Exploiter automatiquement
Préparation Test Administration Exploitation
23
Outils d’analyse
une
argumentation
Analyser
Croisements
Estimation
Interprétation
Analyses statistiquesGroupes de comparaison non expérimentauxEtudes de cas….
24Zoom sur un outil : l’étude de cas
Observer sous divers angles Descendre en profondeur Comprendre la théorie d’action Illustrer un type de comportement
Préparation
Documents
Entretiens
Observations
Réunions
Rédaction
25Zoom sur un outil : les groupes de comparaison non expérimentaux
Groupe de
bénéficiaires
Groupe
non éligibles
Groupe
Éligibles non
demandeurs
Groupe
Eligibles non
acceptés
Groupe
Bénéficiaires
avant
26
Outils de jugement
un
jugement
de valeur
Juger
/ Critères
/ Normes
Pondération
Analyse multi-critèresAnalyse coût-avantagesAnalyse coût-efficacitéGroupes de comparaison
expérimentaux Panel d’expertsBenchmarking….
27Zoom sur un outil : le panel d’experts
Discussion autour de différents points de vue Discussion autour de différents angles de vue Recherche d’un consensus sur les analyses effectuées
Identification Constitution Alimentation Réunion(s)
28Zoom sur un outil : le benchmarking
Recherche de situations comparables, mais pas forcément homogènes
Identification de la meilleure pratique Comparaison
Recherche Mise à plat Comparaison
29
La stratégie d’évaluation d’une politique publique La démarche méthodologique en évaluation Le choix d’une stratégie d’évaluation Approche quantitative et approche qualitative Le référentiel d’évaluation Les outils d’évaluation L’évaluation participative
30De quoi parle-t-on ?
Évaluation participative ?
Évaluation pluraliste ?
Évaluation citoyenne ?
31L’évaluation participative
Participer = prendre part …
Qui prend part ? Agents publics ? Acteurs socio-éco ? Société civile ? Citoyens ?
Un concept qui s’oppose à évaluation experte
32L’évaluation pluraliste
Introduit par P.Viveret en 1989 Commande de M.Rocard
Porté par la Charte de la Société Française d’Evaluation (2006)
Permet la confrontation de points de vue entre les responsables de la politique évaluée les parties prenantes : experts, partenaires, groupes
d’intérêt, bénéficiaires
Permet un jugement d’évaluation co-produit par une pluralité d’acteurs sur la base de critères pré-établis
33L’évaluation citoyenne
Avec participation de citoyens « ordinaires »
Va au-delà de la simple collecte d’informations auprès de citoyens Acte élémentaire d’évaluation
Suppose une implication des citoyens dans le processus d’évaluation : Décision Pilotage Jugement
34
Les participants potentiels à l’évaluation
Contribuables Habitants
Décideurs Opérateurs
Acteurs
Décideurs Opérateurs
Bénéficiaires
Citoyens
35
Participer et contribuer
Contribuables Habitants
Bénéficiaires
Citoyens
L’évaluation suppose
toujours la collecte
d’informations auprès des
bénéficiaires
L’évaluation envisage parfois
l’implication des
bénéficiaires dans le
processus
top related