Les enjeux de l’évaluation des politiques publiques

B. Van Haeperen

FSE, le 2 décembre 2009

1

Plan de l’exposé

• Présentation de l’IWEPS• Emergence de l’évaluation• Une pratique spécifique• Les enjeux de l’évaluation• Quelques difficultés de l’évaluation• Choix des critères d’évaluation• Outils et méthodes : exemple tiré de

l’évaluation du Plan Marshall

2

Présentation de l’IWEPS (1)

Création• Décret du Gouvernement wallon du 4 décembre

2003• L’IWEPS est un OIP de type A• Au départ du Service des Etudes et de la

Statistique (SES), créé en février 1991, attaché à l’époque au secrétariat général du Ministère de la Région wallonne

Missions• Mission générale d’aide à la décision, exercée à

la fois par – une mission scientifique transversale – une mission de conseil stratégique

3

Présentation de l’IWEPS (2)

Mission scientifique transversale• la centralisation, la publication et le traitement

des statistiques régionales• l’élaboration de plans pluriannuels de

développement de statistiques régionales, et la formulation de propositions en la matière

• la réalisation de recherches fondamentales et appliquées, principalement dans les champs couverts par les sciences économiques, sociales, politiques et de l’environnement

Mission de conseil stratégique• la réalisation d’exercices d’évaluation, confiés

par le Gouvernement dans les matières qui relèvent de sa compétence

• la réalisation d’études prospectives.

4

Cadre déontologique de l’IWEPS (1)

Le statut et les missions de l’IWEPS imposent le respect de critères propres aux

- organismes d’intérêt public- organismes scientifiques- organismes d’évaluation

5

Cadre déontologique de l’IWEPS (2)

– Primauté de l’intérêt public: rendre compte au Gouvernement et au Parlement, CWEPS

– Efficience: utilisation optimale des ressources publiques– Ouverture à tous: service à tous les utilisateurs, du

Gouvernement au citoyen

– Rigueur scientifique: justification du choix des méthodes, résultats vérifiables, respect de la confidentialité des données

– Pertinence: amélioration des connaissances– Intégrité: méthodes objectives et transparentes

– Indépendance dans sa mission de conseil stratégique : garantie par la mise en place d’instances d’accompagnement

– Utilité : les évaluations visent à améliorer l’exécution des politique, à aboutir à des conclusions opérationnelles.

6

Emergence de l’évaluation (1)

– Pratique systématique dans les pays anglo-saxon depuis 1960-1970 (USA, Canada, UK, Australie)

• Tradition positiviste - souci de légitimer les politiques publiques à partir de leurs résultats (évaluation scientifique)

• Volonté des Directions du budget de se doter d’outils performants d’allocation des moyens

7

Emergence de l’évaluation (2)

Développement plus récent en France, Belgique (1980 -)

• France: institutionnalisation progressive de l’évaluation

– en 1989, mise en place d’un Conseil scientifique de l’évaluation

– vote en 2001 de la LOLF (Loi Organique relative aux Lois de Finances) – administration par programmes (projets appellent évaluation: justification des actions par les effets qu’elles produisent sur la société, les citoyens, l’économie)

8

Emergence de l’évaluation (3)

- Belgique, 2000 : nombre d’acteurs publics et scientifiques regrettent « l’absence d’une évaluation un tant soit peu systématique, méthodique et rigoureuse des politiques menées » (éditorial du N° de printemps de la revue Pyramides)

- Wallonie, 2000 : volonté de développer et d’institutionnaliser les pratiques évaluatives

- L’évaluation devient un des principes de l’action gouvernementale : inscrite dans le Contrat d’avenir (1999), le Plan Marshall (2005) et le Marshall 2.vert (2009)

- Constitution de la SWEP (2000)- Création de l’IWEPS (Décembre 2003)

- Wallonie: 9

L’évaluation: une pratique spécifique (1)

• La démarche d’évaluation est une mesure et une explication

– la question qui se pose est celle du changement produit par la politique (ou les mesures évaluées) : quels facteurs ont produit quels effets?

– l’évaluation d’une politique publique consiste à mesurer les effets propres de cette politique et, en fonction de critères bien définis, à porter un jugement de valeur sur ces effets, qu’ils soient voulus ou non, directs ou indirects, induits à court ou à long terme (F. Varone).

– L’évaluation s’appuie sur un référentiel théorique de l’action publique

– vise à mettre en évidence une relation causale entre les mesures mises en œuvre et les changements observés dans le comportement des bénéficiaires10

L’évaluation: une pratique spécifique (2)

La démarche d’évaluation se distingue :

• du contrôle de gestion – régularité des procédures mises en œuvre– Ministère des finances – veille sur les budgets

– Cour des comptes: contrôle a posteriori du bon usage des deniers publics et des principes d’économie, d’efficacité et d’efficience (loi du 10 mars 1998)

– Parlement : contrôle et conseil pour la conduite des politiques

• du suivi des politiques– rend compte, étape par étape, du processus

administratif de mise en œuvre de la politique

– rend compte de l’effectivité des mesures - suivi des réalisations.

11

Les enjeux de l’évaluation (1)

• L’évaluation est un élément d’une meilleure gouvernance des politiques publiques

• Principales utilisations: – accroître les connaissances– nourrir le débat politique – résoudre des problèmes – décider

12

Les enjeux de l’évaluation (2)

1. Accroître les connaissances– accroître les informations disponibles sur une

action/une politique– construire une représentation globale et aussi

indépendante que possible de l’action publique • démarche empruntant sa méthode aux sciences sociales

2. Nourrir le débat politique – L’expertise externe apporte des arguments

raisonnés dans les débats démocratiques – permet de qualifier positivement ou négativement

les actions publiques– la communication des résultats des évaluations

permet• de rendre compte aux citoyens • et éventuellement de les faire participer à un débat social

ouvert et transparent sur les choix de politiques publiques13

Les enjeux de l’évaluation (3)

3. Résoudre des problèmes et décider 

• l’évaluation a une dimension pratique:

– outil au service d’une plus grande performance : amélioration de la mise en œuvre et de l’efficacité des politiques

– contribution à un besoin d’éclairage de la décision publique  : Faut-il poursuivre l’action ? L’interrompre ? La réorienter ? L’étendre ? »

14

Quelques difficultés 1. La mission

• Produire des analyses– rigoureuses et approfondies– intégrées dans un processus de décision

• Ceci implique – Comprendre la demande du commanditaire

• clarification des objectifs de l’évaluation• traduction en démarche évaluative (plus difficile

dans le cas d’un programme que d’un dispositif particulier)

• choix consensuel des critères d’évaluation

– Ajuster le calendrier de l’évaluation sur le calendrier politique

– Identifier les parties prenantes et les intégrer au bon moment dans le processus

15

Quelques difficultés 2. Les mesures

• Evaluation d’un programme– Les mesures ont un caractère hétérogène et

se situent à des niveaux d’objectifs différents (viser la mise en place d’une politique ou l’exécution d’une mesure opérationnelle)

– Certaines mesures sont une amplification de mesures existantes, d’autres sont nouvelles

– Les publics-cibles sont diversifiés : entreprises, individus ou indirectement les entreprises à travers les individus (comme pour les formations)

– Les mesures ont une temporalité propre

16

Quelques difficultés 3. Les objectifs du programme

• Absence de hiérarchisation des objectifs

• Absence de quantification ou de clarté des objectifs.

• Evolution des objectifs au cours du temps (en fonction de la prise en compte notamment d’informations sur les réalisations des mesures)

• Horizon temporel des objectifs fixés est variable

17

Quelques difficultés4. Les informations

• Systèmes d’information peu adaptés pour une démarche d’évaluation

– Données administratives utiles pour le suivi des dossiers administratifs, le suivi d’une politique, le bilan périodique d’une politique

– Données souvent éclatées et peu harmonisées – agrégation difficile

18

19

Choix des critères d’évaluation

• Les critères d’évaluation doivent être adaptés

– au moment de l’évaluation : ex ante, in itinere, ex post

– à l’état d’avancement des mesures (programme vs dispositif)

– aux informations disponibles – aux ressources disponibles dans le

temps imparti 

20

Méthode et outilsexemple: évaluation du Plan

Marshall• Reconstitution de la logique d’intervention• Evaluation des résultats de l’évaluation sur les

bénéficiaire directs et indirects : comment ceux-ci ont-ils modifié leur comportement? Quels changements peut-on observer?

• Complémentarité des sources d’informations: • Sources documentaires• Bases de données administratives• Enquêtes et entretiens

• Complémentarité des types d’information: • Informations qualitatives : entretiens semi directifs

en face à face • Informations quantitatives – enquêtes téléphoniques,

données administratives • Au total, près de 1000 enquêtes téléphoniques

(entreprises et individus) et 300 entretiens en face à face (opérateurs du plan, personnes ressources)

21

Résultatsexemple: évaluation du Plan

Marshall

•Question

Les formations qualifiantes améliorent-elles les chances d’insertion professionnelle?

•Méthode•Comparaison groupe de bénéficiaires et groupe témoin (échantillon aléatoire de 219 bénéficiaires et 155 non bénéficiaires).

•Entretiens téléphoniques

•Questions portant sur les parcours, la motivation …

22

Résultatsexemple: évaluation du Plan

MarshallRésultats

•Par rapport au groupe témoin, augmentation du taux d’insertion des bénéficiaires de formation (64% contre 41 % pour le groupe témoin)

•L’effet net est variable selon la catégorie de bénéficiaires

MAIS

•Bénéficiaires de formation sont plus diplômes en moyenne que les non bénéficiaires

•Emplois trouvés après formation sont emplois temporaires (66% des cas)

•Pas de différence entre groupe témoin et bénéficiaires pour le statut au moment de l’enquête

•Peu de correspondance entre formation et métier obtenu (correspondance forte dans 53% des cas)