1 master economie et gestion mention « Études du développement » expertise économique en...

1

MASTERECONOMIE ET GESTION

Mention« Études du Développement »

Expertise économique en politiques et projets de

développement

02 novembre 2010

Evaluation des politiques environnementales Séance 4 : Stratégie et outils d’évaluation d’une politique publique

Institut d’Étude du Développement Économique et Social

2

La stratégie d’évaluation d’une politique publique La démarche méthodologique en évaluation Le choix d’une stratégie d’évaluation Approche quantitative et approche qualitative Le référentiel d’évaluation Les outils d’évaluation L’évaluation participative

3L’essence de la démarche méthodologique

« porter un jugement de valeur argumenté par des données ad hoc et des critères explicites »

des critères

explicites

des

données

ad hoc

une

argumentation

un

jugement

de valeur

structurer observer analyser juger

4Exemple de démarche méthodologique

des critères

explicites

des

données

ad hoc

une

argumentation

un

jugement

de valeur

structurer observer analyser juger

fréquentation

exposition

questionnaire échantillon

élèvesbénéficiaires

extrapolation

et analyse de

données

comparaison

bénéficiaires/

non bénéficiaires

5Contenu de la démarche méthodologique

des critères

explicites

des

données

ad hoc

une

argumentation

un

jugement

de valeur

Structurer

Questions

Critères

Indicateurs

Observer

Données

Instruments

Collecte

Analyser

Croisements

Estimation

Interprétation

Juger

/ Critères

/ Normes

Pondération

6Des outils pour chaque étape de la démarche méthodologique

des critères

explicites

des

données

ad hoc

une

argumentation

un

jugement

de valeur

outils de

structuration

outils d’

observation

outils d’

analyse

outils de

jugement

Boîte à outils des sciences

humaines, sociales, économiques …

7


8La stratégie d’évaluation

Démarche par laquelle : des « éléments de preuve » vont être produits pour porter le jugement de valeur sur la politique

Stratégie

ciblée Faisceau

d’indices

9Les points de contrôle d’une bonne stratégie d’évaluation

Rigueur

€

Robustesse

FaisabilitéCoût

Stratégie

10


11Articuler le quantitatif et le qualitatif

Quantifier

Mesurer

Largeur

Valider

Qualifier

Comprendre

Profondeur

Explorer

12


13Référentiel d’évaluationQuestions Critères Indicateurs

DescripteursIndices

SourcesOutils

Les résultats obtenus suite à

la formation Evaluation

sont-ils satisfaisants ?

-Fréquentation - nombre formations- nombre participants-caractéristiques participants

- fichier participants

- Satisfaction - niveau de réponse aux attentes- niveau de satisfaction des

participants- qualité de perception par le service

Evaluation

- fiches évaluation à chaud

- debriefing service Evaluation

- Partage - création d’un vocabulaire commun- constitution d’un réseau

- enquête participants dispositifs

- Utilisation - traces des concepts dans les documents du Conseil régional

- fréquence de mention des concepts en réunion

- optimisation du dispositif de tableaux de bord

- entretiens évaluation à froid

- analyse documentaire

14


15Des outils pour chaque étape de la démarche méthodologique

des critères

explicites

des

données

ad hoc

une

argumentation

un

jugement

de valeur

outils de

structuration

outils d’

observation

outils d’

analyse

outils de

jugement



16

Des outils à choisir

outils de

structuration

outils d’

observation

outils d’

analyse

outils de

jugement



Complexité : un public / plusieurs publicsCompétences : technicité / savoir faireAcceptabilité : classique / innovantCoût : limité / élevé

17

Outils de structuration

des critères

explicites

Structurer

Questions

Critères

Indicateurs

Analyse de texteSWOTCadre logiqueMatrice d’impactsDiagramme logique d’impactsTypologies ….

18

Réalisation 4

Réalisation 5

Réalisation 2

Réalisation 1

Réalisation 3

Réalisation 6

Impactglobal 1

Impactglobal 2

Résultat immédiat 3




Impactintermédiaire 1



Zoom sur un outil : le diagramme logique des impacts escomptés

19Zoom sur un outil : la typologie

x

x

x x

x

x

xx

x

x

x x

x

x

xx

x

x

x x

x

x

xx

x

x

x x

x

x

xx

x

x

x x

x

x

xx

x

x

x x

x

x

xx

x

x

x x

x

x

xx

famille A

famille B

famille C

famille D

famille E

étude de cas A1

étude de cas E1

étude de cas D2

étude de cas B1

étude de cas B2

étude de cas A2

étude de cas C2étude de cas C1

étude de cas D1étude de cas C3

20

Outils d’observation

des

données

ad hoc

Observer

Données

Instruments

Collecte

Entretiens individuelsFocus groupesQuestionnairesOutils statistiquesOutils de notationEtudes de cas….

21

Zoom sur un outil : le focus groupe

Toucher la diversité des individus Descendre en profondeur Comprendre les interactions collectives Valider par croisement

Sélection

Focus groupe 1

Focus groupe 1

Focus groupe 1

Focus groupe 1

Restitution

22Zoom sur un outil : le questionnaire par internet

Décliner les critères en un ensemble de questions Rendre l’ensemble ergonomique Toucher l’ensemble de la population Relancer Exploiter automatiquement

Préparation Test Administration Exploitation

23

Outils d’analyse

une

argumentation

Analyser

Croisements

Estimation

Interprétation

Analyses statistiquesGroupes de comparaison non expérimentauxEtudes de cas….

24Zoom sur un outil : l’étude de cas

Observer sous divers angles Descendre en profondeur Comprendre la théorie d’action Illustrer un type de comportement

Préparation

Documents

Entretiens

Observations

Réunions

Rédaction

25Zoom sur un outil : les groupes de comparaison non expérimentaux

Groupe de

bénéficiaires

Groupe

non éligibles

Groupe

Éligibles non

demandeurs

Groupe

Eligibles non

acceptés

Groupe

Bénéficiaires

avant

26

Outils de jugement

un

jugement

de valeur

Juger

/ Critères

/ Normes

Pondération

Analyse multi-critèresAnalyse coût-avantagesAnalyse coût-efficacitéGroupes de comparaison

expérimentaux Panel d’expertsBenchmarking….

27Zoom sur un outil : le panel d’experts

Discussion autour de différents points de vue Discussion autour de différents angles de vue Recherche d’un consensus sur les analyses effectuées

Identification Constitution Alimentation Réunion(s)

28Zoom sur un outil : le benchmarking

Recherche de situations comparables, mais pas forcément homogènes

Identification de la meilleure pratique Comparaison

Recherche Mise à plat Comparaison

29


30De quoi parle-t-on ?

Évaluation participative ?

Évaluation pluraliste ?

Évaluation citoyenne ?

31L’évaluation participative

Participer = prendre part …

Qui prend part ? Agents publics ? Acteurs socio-éco ? Société civile ? Citoyens ?

Un concept qui s’oppose à évaluation experte

32L’évaluation pluraliste

Introduit par P.Viveret en 1989 Commande de M.Rocard

Porté par la Charte de la Société Française d’Evaluation (2006)

Permet la confrontation de points de vue entre les responsables de la politique évaluée les parties prenantes : experts, partenaires, groupes

d’intérêt, bénéficiaires

Permet un jugement d’évaluation co-produit par une pluralité d’acteurs sur la base de critères pré-établis

33L’évaluation citoyenne

Avec participation de citoyens « ordinaires »

Va au-delà de la simple collecte d’informations auprès de citoyens Acte élémentaire d’évaluation

Suppose une implication des citoyens dans le processus d’évaluation : Décision Pilotage Jugement

34

Les participants potentiels à l’évaluation

Contribuables Habitants

Décideurs Opérateurs

Acteurs

Décideurs Opérateurs

Bénéficiaires

Citoyens

35

Participer et contribuer

Contribuables Habitants

Bénéficiaires

Citoyens

L’évaluation suppose

toujours la collecte

d’informations auprès des

bénéficiaires

L’évaluation envisage parfois

l’implication des

bénéficiaires dans le

processus