La politique du FEM en matière de S&E et

le rôle des points focaux du FEM Atelier sous-régional pour les points focaux du FEM

Claudio VolontéSpécialiste chef de l’évaluation, Bureau de l’évaluation du FEM

3-4 novembre 2010Johannesburg (Afrique du Sud)

2

Le suivi et évaluation au FEM

Le suivi fournit aux instances de direction une base de décision compte tenu des progrès obtenus et donne au FEM des informations sur les résultats. Il comporte :– Un recueil systématique, en continu, d’informations qualitatives

et quantitatives pour surveiller les effets et les extrants des progrès et déterminer les progrès accomplis;

– Des données pour repérer les problèmes et proposer des solutions.

L’évaluation fournit des leçons à retenir et des recommandations pour les futurs projets, politiques et portefeuilles. Elle comporte :– Des appréciations périodiques des résultats selon des critères de

pertinence, d’efficacité, d’efficience et de durabilité.

3

Continu ou périodique Épisodique ou ponctuel

Objectifs considérés tels que fixés Objectifs appréciés par rapport à des buts plus élevés

Indicateurs acceptés comme appropriés

Validité et pertinence des indicateurs évaluées

Concentration sur les résultats prévus

Attention accordée aussi aux résultats imprévus

Méthodes quantitatives Méthodes quantitatives et qualitatives

Données recueillies régulièrement Sources multiples de données

Ne peut par répondre aux questions de causalité

Susceptible de répondre aux questions de causalité

Fonction de gestion interne Fonction externe

Suivi contre Évaluation

Rôle des points focaux du FEM dans le S&E

Surveiller l’appui au FEM au niveau national.

Tenir les parties prenantes informées et les consulter sur les plans, la mise en œuvre et les résultats des activités du FEM dans le pays.

Diffuser les informations de S&E, en encourageant l’application des recommandations issues de l’évaluation et des leçons à retenir.

Aider le Bureau de l’évaluation , en tant que premier point d’entrée dans le pays :

– Identifier les principales parties prenantes,

– Coordonner les réunions,

– Apporter leur aide pour l’ordre du jour,

– Coordonner les réponses des pays aux évaluations.

4

5

La politique en matière de suivi et d’évaluation du FEM a été approuvée par le Conseil en 2006

La politique établit les règles et les normes en matière de S&E

Elle énonce des exigences minimum pour les activités de S&E du FEM

Le Conseil a prié le Bureau de l’évaluation de réviser la politique pour le FEM-5

Politique du FEM en matière de S&E

6

Processus de révision de la politique du FEM en matière de S&E

Révision de la politique de S&E du FEM pour le FEM-5– L’actualisation du suivi est menée par le Secrétariat

du FEM– L’actualisation de l’évaluation est menée par le Bureau de

l’évaluation du FEMLarges consultations et interaction avec les parties

prenantes au moyen de sondages électroniques, d’interviews et de réunions interorganisations

Interaction avec les points focaux au moyen de sondages électroniques, de questionnaires et d’ateliers sous-régionaux

La Politique révisée sera présentée au Conseil en novembre 2010

7

Révisions proposées

Référence à la gestion axée sur les résultats du FEM Clarification des rôles et responsabilités Rôle accru des points focaux opérationnels du FEM dans le

S&E Partage des connaissances et apprentissage renforcés Inclusion de programmes et projets mis en œuvre

conjointement Suppression du chapitre sur le Bureau de l’évaluation du

FEM; report de certains éléments dans les rôles et responsabilités

Suppression du chapitre sur l’Utilisation des évaluations; report de certains éléments dans le suivi/contrôle ultérieur et le partage de l’information

Situation de référence des projets Project établie avec approbation du DG

Nouvelle exigence minimale relative à l’engagement des points focaux opérationnels du FEM aux activités de S&E des projets et programmes

8

Rôle des points focaux du FEM – Révisions Les Entités du FEM doivent encourager les points focaux à

s’impliquer dans les activités de S&E– Elles informent pleinement les points focaux et partagent la

documentation– Elles encouragent les points focaux à participer aux activités

de S&E– Elles donnent accès à l’information nécessaire

Nouvelle exigence minimale no 4 : Engagement des points focaux opérationnels– Les plans de S&E indiqueront comment le projet ou programme

assurera l’information et l’engagement du point focal du FEM– Les Entités informeront les points focaux des activités de S&E au

cours de la mise en œuvre des projets– Les Entités informeront les points focaux et les associeront aux

examens à mi-parcours et aux évaluations finales Le Secrétariat du FEM et le Bureau de l’évaluation du FEM peuvent

fournir des appuis pour les activités de S&E par le biais du Programme d’appui aux pays du FEM

9

Principaux rôles et responsabilités proposés Partenaire Principaux rôles et responsabilités en suivi et évaluation

Conseil du FEM Élaboration de politiques en matière de S&ESurveillance des fonctions de S&EEnvironnement favorable au S&E

Bureau de l’évaluation du FEM Évaluation indépendante du FEMSurveillance des évaluations des projets et programmesSurveillance de la pertinence, du fonctionnement et de la qualité générale des systèmes de suiviÉtablissement des exigences minimales du FEM en matière de S&EPartage et diffusion des connaissances en matière d’évaluation

Secrétariat du FEM Établissement de cadres de résultats au niveau des domaines d’intervention et de l’organisationSuivi du portefeuille du FEM au niveau des Entités et des domaines d’interventionProduction de rapports issus du suivi du portefeuille et intégration des leçons à retenirExamen des exigences du FEM en matière de S&E dans les propositions de projets et de programmes Coordination des activités de gestion des connaissances en partenariat

Groupes opérationnels des Entités du FEM

Suivi du portefeuille du FEM des EntitésRapports sur les progrès, les résultats, l’apprentissage et les leçons des projets, des programmes et du portefeuille de l’EntitéAssurer le suivi au niveau des projets et programmesGestion adaptative de la mise en œuvre des projets et programmesImplication systématique des partenaires nationaux et partage des informations de S&E sur les projets au niveau national

Groupes d’évaluation des Entités du FEM

Évaluations indépendantes des projets et programmes et/ou de l’organisation de l’EntitéIntégration systématique des activités du FEM dans les évaluations appropriées de l’Entité

STAP Conseils sur les questions scientifiques/techniques en matière de S&EAppui concernant les indicateurs scientifiques et techniquesAppui de la gestion des connaissances et du partage de l’information

Points focaux opérationnels du FEM

Collaboration au S&E au niveau du portefeuille, des projets et des programmes

Autres parties prenantes (ONG et OSC, secteurs privés, membres des communautés)

Participation aux activités et mécanismes de suiviPrésentation de points de vue et de perceptions concernant les évaluations

10

Exigences minimales de S&E 1. Conception des plans de S&E

• Plan de S&E concret et pleinement financé, avec aval du DG pour les projets de grande envergure et avec approbation du DG pour les projets de moyenne envergure

• Indicateurs SMART• Cadres logiques des projets alignés sur les cadres de résultats du/des domaines

d’intervention du FEM• Situation de référence établie avec aval du DG• Examen à mi-parcours et évaluation finale• Mise en œuvre organisationnelle et budget

2. Application des plans de S&E : le suivi et la supervision des projets et programmes comprendra l’application du plan de S&E

3. Évaluation des projets et programmes : pour tous les projets et programmes de grande envergure

• Indépendante de la direction des projets ou revue par le bureau de l’évaluation de l’Entité du FEM

• Évaluation des extrants et des effets, de la durabilité probable et du respect des exigences minimales de S&E

• Doit être communiquée au Bureau de l’évaluation du FEM dans les 12 mois de l’achèvement du projet/programme

• [Des directives seront élaborées pour l’évaluation des projets de moyenne envergure et des activités habilitantes]

4. Engagement des points focaux opérationnels• Les plans de S&E doivent indiquer comment les points focaux seront inclus• Les points focaux doivent être informés des activités de S&E, y inclus des examens à

mi-parcours et des évaluations finales, et recevoir les documents préliminaires pour commentaires et les rapports finals

11

Sources d’information pour le S&E Rapports sur l’exécution des projets (PIR) établis tous les

ans par les projets et rapports d’auto-évaluation des Entités du FEM

Documents de supervision des Entités du FEM Examens à mi-parcours des projets Évaluations finales des projets Vérifications des évaluations finales par le Bureau de

l’évaluation www.gefeo.org Évaluations de portefeuilles-pays du FEM au Costa Rica, aux

Philippines, au Samoa, au Bénin, au Cameroun, à Madagascar, en Afrique du Sud, en Égypte, en Syrie, en Turquie et en Moldova

Système de gestion de l’information sur les projets du FEM (PMIS)

Évaluations organisationnelles du FEM et leçons à retenir Site web du Programme d’appui aux pays

Bureau de l’évaluation du FEM

Évaluations des portefeuilles-pays (CPE)

Documents du Conseil de novembre 2010

12

13

Évaluations des portefeuilles-pays (CPE) - Généralités

Les évaluations de portefeuilles-pays (CPE) sont effectuées par le Bureau de l’évaluation du FEM pour analyser la totalité de l’appui du FEM fourni par l’entremise de toutes les Entités du Fonds et à tous les programmes d’un pays donné

Les CPE sont menées par une équipe d’experts internationaux et nationaux indépendants

Les CPE évaluent la pertinence, l’efficience et les résultats des projets du FEM au niveau du pays, pour voir :

– Comment ces projets fonctionnent en vue de l’obtention de résultats

– Comment les résultats sont liés aux programmes nationaux concernant l’environnement et le développement durable ainsi qu’aux avantages pour l’environnement mondial

Objet des CPE : fournir des retours d’informations et partager les connaissances avec le Conseil du FEM et les pouvoirs publics, organisations et organismes nationaux.

14

Sélection des pays pour les évaluations du portefeuille

Critères de sélection quantitatifs et qualitatifs

Deux pays seront choisis tous les 6 à 9 mois

Le Nicaragua et un groupe de pays des Caraïbes (Organisation des États des Caraïbes occidentales) ont été choisis (Année financière 2011-Année financière 2012)

Quatre pays africains seront évalués en 2013-2014 (les premiers étant sélectionnés à la fin 2012)

Poursuite de la collaboration avec les bureaux de l’évaluation des Entités du FEM. Deux exemples actuels, avec le Bureau de l’évaluation du PNUD : El Salvador et Jamaïque

15

Méthodologie et processus

Examen des documents des projets et analyse de la littérature Protocoles pour les examens des projets Évaluation des avantages pour l’environnement mondial Cadre juridique du pays relatif à l’environnement Analyse du portefeuille Visites sur le terrain Examen des relations effets-impacts Analyse par triangulation et matrice des constats Principaux constats préliminaires débattus lors d’un atelier de

parties prenantes Diffusion du rapport de CPE préliminaire pour commentaires Rapport de CPE final comportant Demande de réponse de la direction (Conseil et gouvernements) Consolidation des CPE dans l’ACPER (rapport annuel des

évaluations de portefeuilles-pays), qui est présenté au Conseil du FEM (fin juin)

16

Documents du Conseil de novembre 2010

Documents du Bureau de l’évaluation

Documents de travail (décision du Conseil)– Rapport d’avancement par le Directeur– Examen du Fonds pour la Terre (principales conclusions et

recommandations)– Évaluation de la Priorité stratégique pour l’adaptation (SPA) – Politique révisée du FEM en matière de Suivi et Évaluation

Documents d’information (pas de décision du Conseil)– Rapport d’impact annuel du FEM 2010– Examen du Fonds pour le Terre (rapport intégral)

Documents connexes disponibles auprès du Bureau de l’évaluation du FEM

– Évaluation de la Priorité stratégique pour l’adaptation (rapport intégral)

Rapport d’avancement du Directeur

Le Conseil, ayant examiné le document GEF/ME/C.39/1 “GEF Evaluation Office: Progress Report from the Director” [Bureau de l’évaluation du FEM : Rapport d’avancement du Directeur], prend note des travaux menés par le Bureau et des ébauches de plan de travail pour le FEM-5 que le Bureau prépare actuellement et prie le Bureau d’élaborer un plan de travail détaillé et un budget pour la période du FEM-5 à sa réunion de mai 2011, compte tenu des commentaires qui ont été émis.

17

Examen du Fonds pour la Terre du FEM

 Contexte Le Conseil du FEM a approuvé la création du Fonds pour la Terre en

mai 2008.

Cette initiative vise à établir un système de gouvernance et d’administration plus favorable à la créativité, à l’investissement et à la participation du secteur privé et à constituer un mécanisme efficace par lequel les entités du secteur privé pourront accéder au FEM

Le Conseil a alloué 50 millions de dollars à cette initiative, prélevés sur les ressources du FEM-4, qui seront décaissés par le biais de « plateformes ».

Ces plateformes sont des portefeuilles d’activités distinctes qui doivent être alignées sur les stratégies des domaines d’intervention du FEM et être thématiques ou programmatiques. Elles sont élaborées par les Entités du FEM et approuvées tacitement par le Conseil du FEM sur recommandation du Conseil du Fonds pour la Terre.

18

Examen du Fonds pour la Terre du FEM

19

5 plateformes ont été créées :1. SFI : Huit projets novateurs et axés sur le marché dans les domaines

de la biodiversité des changements climatiques et des eaux internationales (FT/FEM : 30 millions de dollars – SFI : 10 millions de dollars)

2. Plateforme du PNUE : Transformation du marché mondial pour l’efficacité de l’éclairage (FT/FEM : 5 millions de dollars – Cofinancement : US$15 million)

3. Plateforme BIRD/CI : Programme d’accords privés de partenariats pour la conservation (FT/FEM : 5 millions de dollars – Cofinancement : 15 millions de dollars)

4. PNUE/Rainforest Alliance : Écologisation de l’industrie du cacao (FT/FEM : 5 millions de dollars – Cofinancement : 15 millions de dollars)

5. BID/TNC : Mécanismes de financement public-privé pour la protection des bassins versants (FT/FEM : 5 millions de dollars – Cofinancement : 15 millions de dollars)

Examen du Fonds pour la Terre du FEM

Objectif : L’examen doit apporter aux donateurs, aux membres du Conseil, au Secrétariat du FEM et aux autres parties prenantes une évaluation des activités financées par le Fonds pour la Terre mises en œuvre à ce jour ainsi qu’un rapport sur les modalités de fonctionnement du Fonds.

Points clés : Respect des décisions du Conseil Examen des activités du Fonds pour la Terre Engagement du secteur privé Efficience.

Rapport final devant être présenté à la réunion du Conseil du FEM de novembre 2010

Équipe d'évaluation : Claudio Volonté, Juan Portillo, Leni Berliner

20

Conclusions

1. Le FT n’a pas atteint son objectif.

2. Bien que le FT ait été conçu pour être établi comme un fonds et qu’il ait été prévu qu’il le soit comme tel, il est devenu un mécanisme d’octroi de dons.

3. Le FT a engagé les 50 millions de dollars qui lui avaient été alloués en cinq plateformes, en un peu plus de deux ans, mais il l’a fait en revenant à la façon traditionnelle de faire les choses au FEM.

4. L’engagement avec le secteur privé, raison d’être du FT, s’est vu relégué essentiellement au niveau des projets.

5. Les attentes concernant les cofinancement et les retours de financements n’étaient pas réalistes.

6. Le FT n’a pas communiqué clairement ses objectifs, à l’interne ni à l’externe, et il n’était pas prévu de plan pour tirer des leçons de son expérience, de celle de l’ensemble du FEM ni de celle d’autres parties.

7. La structure de gouvernance et de gestion du FT présentait plusieurs faiblesses, qui se sont révélées au cours de la mise en œuvre.

Recommandations

1. Le Conseil devrait demander au Secrétariat du FEM de réviser le FT pour sa seconde phase.

2. Redéfinir les objectifs du FT, son créneau et les obstacles du marché

3. Clarifier les conditions d’accès au FT redéfinit

4. Renforcer la gestion21

Évaluation de la Priorité stratégique pour l’adaptation (PSA)

La CCNUCC a prié le FEM d’établir la PSA en 2001

Le Conseil du FEM a approuvé la PSA avec une dotation de 50 millions de dollars en novembre 2003 et les directives de la PSA en mai 2004

Clôture financière (tous les fonds ayant été alloués) en juin 2010

Le Conseil a prié le Bureau de l’évaluation du FEM de procéder à une évaluation

La PSA vise à réduire la vulnérabilité et à accroître la capacité d’adaptation aux effets adverses des changements climatiques dans l’un ou plusieurs des domaines d’intervention du FEM

26 projets et programmes (PSA : 50 millions de dollars; cofinancement : 777 millions de dollars)

$ par région

Nombre de projets par domaine d’intervention

Objectifs de l’évaluation Évaluation de la PSA et de sa mise en œuvre Évaluation des projets de la PSA Identification des leçons relatives à la façon d’accroître la

résilience du portefeuille du FEM.

Processus d’évaluation et tâches• Document d’approche• Examen de la littérature• Interviews• Protocole d’examen des projets• Visites sur le terrain• Analyse comparative avec des projets non-PSA• Constats, conclusions et recommandations préliminaires• Atelier de consultation• Rapport final présenté à la réunion du Conseil de novembre 2010• Réponse de la direction

Équipe d'évaluation : Claudio Volonté, Sandra Romboli, Joana Talafré

Évaluation de la PSA : Objectifs et approches

SPA – Principales conclusions1. Tous les projets de la SPA répondent aux exigences du FEM concernant les

avantages pour l’environnement mondial et tiennent compte expressément des impacts des changements climatiques sur ces avantages et sont pertinents pour le FEM.

2. L’initiative de la SPA de 50 millions de dollars est capable, à divers degrés, d’assurer la résistance au climat par des investissements de 780 millions de dollars.

3. Le portefeuille de projets reflète la diversité au niveau des secteurs, des thèmes et des domaines d’intervention, l’accent étant mis sur la biodiversité et la dégradation des sols.

4. Les projets ont été élaborés conformément aux éléments et aux exigences des directives opérationnelles de la PSA, à quelques exceptions près.

5. Les mesures d’adaptation proposées dans les projets de la SPA sont généralement des mesures du type « pas de regrets » portant sur la gestion des ressources naturelles.

6. Les résultats obtenus à ce jour se situent au niveau des extrants.7. On constate une intégration systématique de l’adaptation au FEM, principalement au

niveau stratégique et dans une certaine mesure dans la conception des projets, mais certains obstacles s’opposent à ce que cette intégration soit pleinement effective.

8. Bien que le portefeuille en soit encore aux premiers stades de la mise en œuvre, certains enseignements peuvent en être tirés pour l’ensemble du FEM.

9. La gestion du portefeuille de la PSA présente certaines faiblesses, mais il est encore temps d’y remédier.

10.En tant que pilote d’apprentissage au sein du FEM, la PSA doit encore atteindre sa pleine efficacité.24

25

SPA – Principales recommandations

1. Le FEM devrait continuer de fournir des incitatifs explicites encourageant à l’intégration systématique de la résilience et de l’adaptation dans tous ses domaines d’intervention, en tant que moyen de réduire les risques auxquels est exposé son portefeuille..

2. Pour continuer de gérer la mise en œuvre de la PSA, le FEM doit mettre des ressources suffisantes à la disposition du Secrétariat du FEM, en sus des ressources allouées pour le traitement d’une filière de projets.

3. Étant donné que les mesures d’adaptation incluses dans les projets de la SPA sont encore en cours de mise en œuvre, de futures évaluations pourraient offrir des possibilités de tirer des enseignements des effets et des progrès accomplis sur la voie de l’obtention des impacts.

Décision du Conseil

… prie le Secrétariat du FEM de veiller à ce que se poursuive l’intégration systématique de la résilience et de l’adaptation dans les domaines d’intervention du FEM, en tant que moyen de réduire les risques d’impacts liés aux changements climatiques sur le portefeuille du FEM, et prie le Secrétariat du FEM de lui faire rapport à sa réunion de novembre 2012 sur les mesures prises et les progrès réalisés.

26

Rapport d’impact annuel 2010

Le rapport comportera deux sections principales

1. Impact du FEM dans la mer de Chine méridionale L’évaluation est en cours d’élaboration Le document d’approche a fait l’objet de débats lors d’un

atelier à Bangkok et est en cours de finalisation L’évaluation s’achèvera en 2012 Équipe d’évaluation : Aaron Zazueta, Neeraj Negi

27

Rapport d’impact annuel 2010

2. Impacts des projets de biodiversité du FEM/Banque mondiale au Pérou

– Examen de cinq projets de la Banque mondiale achevés, qui a été mené dans le cadre de l’évaluation de GIE de pays

– Objectif : déterminer l’impact sur l’environnement mondial et sur la situation socioéconomique des communautés locales

– Méthodologie : relations effets-impacts (ROtI)– Constats :

Le FEM a été un contribuant clé à la conservation de la biodiversité dans les zones protégées du Pérou et leurs environs

La durabilité des moyens d’existence améliorés est limitée Les systèmes d’établissement des situations de référence et de

S&E sont faibles, ce qui limite la capacité de mesurer les impacts

Équipe d'évaluation : Claudio Volonté, Marina Cracco

Merci !

Claudio Volontéwww.gefeo.org

28