1

Termes de références Réf. : Mar 2012/011

Evaluation à mi-parcours du PILIER I Programme de Gestion Sécurisée et Elimination des PCB au Maroc

I. Introduction

Politique de Suivi et d’Evaluation (S&E) du PNUD/FEM La politique de Suivi et d'Évaluation (S&E) au niveau du projet au sein du PNUD/FEM a quatre objectifs : i) contrôler et évaluer les résultats et impacts; ii) fournir une base pour la prise de décisions sur des amendements nécessaires et des améliorations; iii) promouvoir la redevabilité pour l'utilisation des ressources; et iv) documenter, fournir un retour d'information et disséminer les leçons apprises. Une variété d'outils est utilisée pour assurer un suivi et une évaluation efficaces de projet. Ceux-ci peuvent être appliqués en continu pendant la durée de vie du projet - par exemple, le contrôle périodique d'indicateurs-, ou comme des exercices tels que les revues à mi-parcours, les rapports d'audit et les évaluations finales. Conformément aux procédures et politique du PNUD/FEM en matière de S&E, tous les projets ayant une durée de mise en œuvre longue (par exemple plus de 5 ou 6 ans) sont fortement encouragés à mener des évaluations à mi-parcours. En plus d'apporter une évaluation indépendante et approfondie des progrès dans la mise en œuvre du projet, ce type d'évaluation répond aux décisions du Conseil du FEM en matière de transparence et un meilleur accès à l'information lors de la mise en œuvre de projet. Les évaluations à mi-parcours sont destinées à identifier les problèmes potentiels de conception du projet, évaluer les progrès vers la réalisation des objectifs, identifier et documenter les leçons apprises (y compris les leçons qui pourraient améliorer la conception et la mise en œuvre d'autres projets PNUD/FEM), et de faire des recommandations concernant les actions spécifiques qui pourraient être prises pour améliorer le projet, et assurer la durabilités des résultats atteints. L'évaluation à mi-parcours est l'occasion d'évaluer les premiers signes de la réussite du projet ou de l'échec et apporter les ajustements nécessaires. Les évaluations sont effectuées en conformité avec la politique en matière de S&E du FEM (voir http://www.thegef.org/gef/sites/thegef.org/files/documents/ME_Policy-FRENCH.pdf ).

Programme de Gestion Sécurisée et Elimination des PCB au Maroc Le Maroc a signé et ratifié la Convention de Stockholm sur les Polluants Organiques Persistants (POPs) et s’est engagé a cet égard à mettre en œuvre tous les moyens nécessaires pour assurer le respect et la mise en place des dispositions de cette convention. Il a ainsi soumis son Plan

ROYAUME DU MAROC Ministère de l’Energie, des Mines, de l'Eau et de l’Environnement Département de l’Environnement

2

National de Mise en œuvre (PNM) de ladite Convention le 2 mai 2006. La gestion et l’élimination écologiquement rationnelle des PCB figurent parmi les actions prioritaires établis dans le PNM. Dans ce cadre, le Maroc, à travers le Département de l’environnement, a sollicité l’appui financier du Fonds pour l’Environnement Mondial (FEM) pour la mise en œuvre d’un programme national de gestion et d’élimination des PCB, en collaboration avec l’Organisation des Nations Unies pour le Développement Industriel (ONUDI) et le Programme des Nations Unies pour le Développement (PNUD). Ce programme, d’une durée de trois (3) ans (2010-2012), vise la mise en place d’un cadre réglementaire de gestion des PCB, le renforcement des capacités nationales en matière de gestion écologiquement rationnelle des PCB et l’élimination sécurisée, à l’horizon 2013, de l’ensemble des appareils à PCB pur et ceux qui en sont contaminés inventoriés au niveau national. Il est exécuté au sein de la Direction de la Surveillance et de la Prévention des Risques (DSPR) relevant du Département de l’Environnement (DE)/ Ministère de l’Energie, des Mines, de l’Eau et de l’Environnement (MEMEE). Ce programme est subdivisé en deux piliers simultanément mis en œuvre avec l’assistance de deux agences des Nations Unies, le PNUD pour le Pilier I et l’ONUDI pour le Pilier II. Le Pilier I comprend les composantes suivantes : Résultat 1. Renforcement du cadre juridique, politique et administratif de gestion et d'évacuation des PCB; Résultat 2. Renforcement des capacités nationales en matière de gestion sécurisée des PCB et identification de nouvelles sources de PCB ; Résultat 3. Remplacement écologiquement rationnel et évacuation des appareils à PCB pur en vue de leur élimination écologiquement rationnelle. Le Pilier II comprend les composantes suivantes : Résultat 1. Etablissement du processus d’identification des transformateurs à l’huile minérale contaminés par les PCB; Résultat 2. Mise en place d’une infrastructure locale de démantèlement des transformateurs et de décontamination des huiles et des métaux; Résultat 3. Renforcement des capacités de l’Administration en matière de surveillance et de suivi de la pollution par les PCB. Cette évaluation à mi-parcours concerne le Pilier I de ce programme qui a vu son démarrage effectif en décembre 2009. Le budget alloué au pilier I est réparti comme suit : Source de financement ($US) Pilier I FEM (Don) 2 198 000,00 Gouvernement en nature 554 000,00 Gouvernement en espèces 506 000,00 Secteur privé 4 212 200,00 TOTAL 7 470 200,00

3

Stratégie et plan d’action du programme En raison de l’interdépendance entre les différentes activités des deux Piliers I et II, une stratégie d’élimination commune et un plan d’action globale ont été élaborés. Comme le montre le schéma suivant, la stratégie d’élimination adoptée par le programme consiste à exporter les appareils et déchets de PCB purs1 en vue de leur élimination écologiquement rationnelle dans des centres spécialisés, et de procéder au démantèlement et à la décontamination locale des transformateurs à l’huile minérale contaminés2 au PCB.

Schéma 1 : Stratégie d’élimination des appareils et déchets de PCB Le Plan d’Action Global du programme permet de distinguer trois principales phases de mise en œuvre : PHASE 1 PHASE 2 PHASE 3

§ Appui à la mise en place d’un cadre réglementaire notamment l’appui au démarrage des activités de la commission nationale des PCB; § Renforcement des capacités nationales en matière de gestion des PCB à travers

§ Identification, ramassage des appareils et déchets de PCB pur et stockage sécurisé en vue de leur exportation vers des centres d’élimination spécialisés; § Elaboration des études de faisabilité technico-économiques et des

§ Exportation des appareils et des déchets de PCB purs; § Démarrage des unités de démantèlement et de décontamination des appareils et huiles contaminés.

1 Les appareils (Transformateurs, condensateurs …etc) volontairement fabriqués à base de PCB (Pyralène, Aroclor…). 2 Les transformateurs à l’huile minérale qui ont été souillés involontairement par des PCB, notamment suite à des opérations de maintenance croisée, un rétro-remplissage, un appoint au PCB ou autres.

4

l’information, la formation et la sensibilisation des parties prenantes (détenteurs de PCB, les entreprises de service, les agents de l’Administration…); § Identification de nouvelles sources de PCB et actualisation des inventaires: campagnes d’échantillonnages et d’analyses.

modalités de gestion des futures unités ; § Mise en place, avec le secteur privé, de la plateforme locale incluant les unités de démantèlement des transformateurs et de décontamination des matériaux et huiles contaminés.

Cibles du programme Les principales cibles visées par les activités du Programme sont présentées ci-après :

• Les détenteurs de PCB publics et privés : ONE, OCP, ONCF, ONEP, SNRT, ONDA, Bases militaires, Sociétés privées de distribution d'électricité (LYDEC, REDAL, AMENDIS), les régies locales de distribution d'électricité…etc. • Les manipulateurs de PCB : Entreprises de traitement et d'élimination des PCB, les sociétés de maintenance des transformateurs, les sociétés de services spécialisés dans la gestion et l’élimination des PCB, les laboratoires d’analyse, etc. • Les administrations locales : douanes, gendarmerie royale, protection civil, autorités locales, les services extérieurs des ministères chargés de contrôle d’hygiène, de santé et de l’environnement. • Les Universités et le Secrétariat d’État chargé de l’enseignement scolaire : ils sont visés pour l’intégration des modules de gestion sécurisée des PCB dans les curricula. • Le tissu associatif (associations locales, ONG, CGEM): qui œuvrent dans les domaines de la santé et de l’environnement au niveau local dans tout le territoire marocain et qui sont tenu de communiquer et informer sur la problématique des PCB.

La structure de gestion du Programme

Unité de coordination du programme : Composée du coordonnateur national et son assistante administrative et financière. L’unité est responsable de la gestion (opérationnelle, administrative et financière) du programme au quotidien et la production des résultats escomptés, conformément au document de projet. Elle assure la mise en œuvre efficace du programme et identifie les actions à prendre en y allouant, de manière optimale, les moyens humains et financiers. Equipe de Gestion du Programme (EGP) : Assure le suivi de la mise en œuvre des activités du programme. Examine et approuve les TDR des prestations de service, études et travaux envisagées dans le cadre de la mise en œuvre des activités du Programme. Assure le suivi et contrôle la qualité des prestations réalisées et la contribution des consultants engagés. L’EGP est composée du Directeur national du programme (Directeur de la DSPR/DE), son adjoint (Chef de la DPSI/DE) et le Service intervention (DPSI/SI/DE) et l’Unité de coordination. Comité de suivi du programme : composé des représentants du PNUD et ONUDI chargés du programme et les membres de l’équipe de gestion du programme (EGP). Ce comité se réunit

5

périodiquement pour examiner les avancées des activités planifiées, évaluer la pertinence des actions entreprises et fournir des orientations stratégiques. La Commission des PCB : instituée par décret n°2-08-243 du 30 rabii I 1431 (17 mars 2010). Sous la présidence de la Direction de la Surveillance et de la Prévention des Risques (DSPR/DE), la commission a pour mission de veiller au respect et à la mise en œuvre des dispositions de la Convention de Stockholm sur les Polluants Organiques Persistants (POP) et particulièrement celles relatives aux PCB. Elle se réunit périodiquement et au moins 2 fois par an (C.F au décret) et assure, entre autres, le suivi de la mise en œuvre des activités du programme PCB notamment celles relatives à l’approbation du cadre réglementaire. Elle est constituée des représentants : - des différents Départements Ministériels concernés (Industrie, Finances, Eau, Energie, Mines, Agriculture, Intérieur, Equipement, Transport, Santé, Commerce, Défense Nationale et du Secrétariat Général du Gouvernement) ; - des régies autonomes et des concessionnaires du service public de distribution d’eau et d’électricité ; - de l’ONEP et de l’ONE. Le Comité de pilotage du Programme : oriente et supervise la mise en œuvre du programme au niveau national. Il examine les avancées du programme, fournit des orientations stratégiques et approuve les plans d'actions. Ce comité est constitué des membres de la Commission des PCB, des représentants des agences d’exécution PNUD et ONUDI et des différentes parties concernées. Les comités techniques régionaux des PCB : Au niveau de chacune des régions nationales (16 régions), le comité technique régional est composé des représentants régionaux des Départements Ministériels concernés (Industrie, Finances, Eau, Energie, Mines, Agriculture, Intérieur, Equipement et Transports, Santé, Commerce et Défense nationale), de l’ONEP, de l’ONE et des régies et présidé par le responsable du Service Extérieur du Département de l’Environnement de la région considérées. Le Comité technique régional a pour mission d’assurer la communication avec toutes les parties prenantes, d’établir le contact avec les détenteurs des équipements à PCB afin de faciliter l’accès à l’information et de contribuer à la réalisation et à l’actualisation de l’inventaire des PCB.

II. Objectif de l’évaluation à mi-parcours du Pilier I du programme PCB En conformité avec le document de projet PNUD/FEM, une revue à mi-parcours du projet sera réalisée par un expert international et un expert national indépendants. Cette évaluation à mi-parcours déterminera les progrès atteints par rapport à la réalisation des résultats et identifiera les éventuelles corrections. Elle portera sur l'efficience, l'efficacité et la vitesse de mise en œuvre du projet, mettra en relief les problèmes nécessitant des décisions et des actions et tirera les premières leçons de la conception, de la mise en œuvre et de la gestion du projet. Les leçons tirées durant les deux années de mise en œuvre du programme doivent constituer une base pour définir une meilleure feuille de route et réorienter la réalisation du projet et permettre de tirer des enseignements. C’est dans ce contexte et conformément au document et à la stratégie du projet que se place la présente mission d’évaluation à mi-parcours qui, après un diagnostic des structures de mise en œuvre du projet, sa stratégie, une analyse de ses acquis, ses effets et impacts, procédera à la formulation des recommandations pratiques pour une meilleure et efficiente mise en œuvre. L’évaluation à mi-parcours permettra au comité de pilotage et principaux partenaires du

6

programme de: (i) apprécier l’état d’avancement des activités, (ii) estimer dans quelles mesures le Programme a atteint ou atteindra ses objectifs en terme d’effets et d’impact, (iii) juger de l’adéquation des moyens mis en œuvre aux objectifs poursuivis, (iv) identifier les problèmes de mise en œuvre et apprécier les solutions proposées, (v) aménager et/ou réorienter les activités, les financements et les méthodes de travail. En particulier, l’évaluation doit prendre en considération le suivant: Indicateurs du programme L'évaluateur évalue le degré d’atteinte des objectifs, des résultats et des indicateurs mentionnés dans le document du projet. Mise en œuvre du programme L’évaluation portera sur la mise en œuvre du programme en termes de qualité, d’efficience et d'efficacité des activités menées. En outre, l'efficacité de la gestion ainsi que la qualité et la rapidité du suivi et le soutien de toutes les parties prenantes au programme doivent être évalués. En particulier, l'évaluation analysera l'application par l'équipe du Programme de la gestion adaptative dans la mise en œuvre du programme. Produits, Résultats et Impact du Programme L'évaluation portera sur les produits, les résultats et l'impact atteints par le projet ainsi que la durabilité probable des résultats du projet. Cela devrait englober une évaluation de la réalisation des objectifs immédiats et la contribution à la réalisation de l'objectif global du projet. L'évaluation doit également examiner le degré d’implication des différentes parties prenantes concernées dans la mise en œuvre du programme et la création des partenariats entre différentes parties. L'évaluation examinera également si le programme a eu des effets inattendus, qu'ils soient de caractère bénéfique ou néfaste. L’évaluation à mi-parcours couvrira aussi les aspects suivants: 1. Degré d’atteinte des résultats Changement dans les conditions de développement: poser les questions suivantes en mettant l’accent sur la perception des changements parmi les parties prenantes du programme. - Est-ce que les barrières politique, juridique, et institutionnelle concernant l’élimination sécurisée des PCB ont été suffisamment identifiées et traitées afin d’assurer la mise en œuvre efficace du programme PCB ? - Y-a-t-il eu des changements dans le comportement des parties prenantes locales (i.e. menaces) ? - Existe-t-il (ou en cours) un cadre de planification pour une gestion durable des PCB? - Existe-t-il un changement ou des activités en cours qui indiquent une amélioration des connaissances et une prise de conscience concernant la nécessité d’éliminer les équipements contenant les PCBs ? Mesure du changement: des progrès vers les résultats devraient être fondés sur une comparaison des indicateurs avant et après l'intervention du programme. Des progrès peuvent aussi être évalués en comparant les conditions dans les sites adhérents ayant bénéficié de l’appui du programme à des conditions similaires dans les sites non adhérents.

7

La stratégie du programme: comment et pourquoi les produits et les stratégies du programme contribuent à la réalisation des résultats attendus: examiner leur pertinence et évaluer si elles fournissent la voie la plus efficace vers les résultats. Durabilité: Mesure dans laquelle les avantages du programme vont se poursuivre, au sein ou en dehors du domaine du programme. Les facteurs pertinents comprennent par exemple: le développement d'une stratégie de développement durable, mise en place d'instruments financiers et économiques et les mécanismes, l'intégration des objectifs du programme dans l'économie. 2. La gestion adaptative du programme (a) Le système de suivi

- Analyser les outils de suivi qui sont appliqués: § Est-ce -qu'ils fournissent les informations nécessaires? § Est-ce qu'ils impliquent des partenaires clés? § Sont-ils efficaces?

- S'assurer que le système de suivi, y compris les indicateurs de performance, répondent au moins aux exigences minimales du FEM. Appliquer les indicateurs SMART, si nécessaire. (b) Gestion des risques - Analyser si les risques identifiés dans le document de projet et PIR sont les plus importants et si le degré appliqué au risque est approprié. Si non, expliquez pourquoi. - Décrire les risques supplémentaires identifiés. - Analyser le système d'identification et de gestion des risques du programme: est-ce le système de gestion des risques PNUD-FEM est appliqué de manière appropriée? (c) Planification des travaux - Examiner l'utilisation du cadre logique comme outil de gestion lors de l'exécution, ainsi que toutes les modifications qui lui ont été faites; - S’assurer que le cadre logique répond aux exigences PNUD-FEM en termes de format et de contenu; - Quel impact a eu le rétro-ajustement des indicateurs d'impact sur la gestion du programme? - Examiner l'utilisation des plans de travail mis à jour régulièrement; - Examiner l'utilisation des technologies de l'information électronique pour appuyer la mise en œuvre, la participation et de suivi, ainsi que d'autres activités du programme; - Les processus de planification du travail est –il axé sur les résultats? - Examiner la gestion financière du programme, avec une attention particulière au rapport coût-efficacité des interventions. Toutes irrégularités doit être reportée. (d) Reporting - Examiner si et comment des changements ‘adaptatifs’ de gestion ont été rapportés par la gestion du programme; - Évaluer comment les enseignements tirés du processus de gestion adaptative ont été documentés, partagé avec les partenaires clés et intériorisé par les partenaires.

8

3. Facteurs sous-jacents - Examiner les facteurs sous-jacents (qui sont en dehors du contrôle immédiat du projet) qui influencent l’atteinte des résultats. Examiner la pertinence et l'efficacité des mesures de gestion du programme en réponses à ces facteurs. - Re-tester les hypothèses formulées par les gestionnaires du projet et identifier de nouvelles hypothèses qui devraient être apportées. - Examiner l'impact d’éventuelles hypothèses erronées.

4. Contribution du PNUD - Examiner le rôle du PNUD par rapport aux exigences énoncées dans le manuel du PNUD sur le suivi et l'évaluation des résultats. Prenez en considération: des visites de terrain, Comité directeur/analyse et suivi TDR, préparation et suivi du PIR, appui du FEM. - Tenir compte des exigences du PNUD tel que énoncées dans le Guide de l'utilisateur du PNUD, en particulier le rôle d'assurance qualité du projet, et s'assurer qu'elles sont incorporés dans le cadre de la gestion adaptative du projet. - Examiner la contribution d’assistance et appui ‘soft‘ du PNUD (à savoir appui technique, appui/conseils stratégiques/politiques, dialogue, plaidoyer et coordination).

5. Stratégie de partenariat

- Examiner l’implication des partenaires dans le cadre de la gestion adaptative du programme: o Impliquer les partenaires et les intervenants dans le choix des indicateurs et autres mesures de performance o Utiliser les données déjà existantes et les statistiques o Analyser les progrès vers les résultats et déterminer les stratégies du programme

- Identifier des opportunités pour des partenariats substantiels; - Évaluer la participation des acteurs locaux dans la gestion de programme et la prise de décision. - Inclure une analyse des forces et des faiblesses de l'approche adoptée par le programme. - Examiner la diffusion de l'information sur le programme aux partenaires et intervenants, et si nécessaire proposer des mécanismes plus appropriés.

III. Méthodologie d’évaluation L'évaluation doit fournir des informations crédible, fiable et utile. L’évaluation doit être facilement comprise par les partenaires du programme et applicables aux activités restantes pour la durabilité des initiatives du programme. La méthodologie qui sera utilisée par l'équipe d'évaluation devrait être présentée dans le rapport en détail. Elle reposera principalement sur : 1) L’étude et l’analyse de l’ensemble de la documentation produite par le programme. La liste non-exhaustive des documents devant être examinés sont inclus dans l'annexe 2 des Termes de référence;

9

2) La réalisation de contacts et d’entretiens avec les principaux partenaires du programme aussi bien relevant des institutions officielles que les membres de la société civile impliquées dans la mise en œuvre du programme. Il s’agit d’organiser des séances de travail avec les partenaires clés du programme au niveau central et régional : • Les membres de la commission des PCB : représentants des départements Ministériels concernées, les représentants des principaux détenteurs de PCB (Régies de distribution d’eau et d’électricité, les concessionnaires privés (Lydec, Amendis et Redal), l’ONE, l’ONEP) • Les Administrations locales : Autorités locales, les services extérieurs des Ministères concernés, responsables douaniers, Protection civile…etc, • Les détenteurs et les manipulateurs de PCB : les détenteurs publics et privés de PCB, les sociétés de service et de maintenance des appareils à PCB, les laboratoires d’analyse de PCB…etc. • Le tissu associatif (les ONG locales, CGEM…etc). Le PNUD et l'équipe du programme fournira des recommandations aux évaluateurs sur les institutions/partenaires qui doivent être interviewés et les sites à visiter pendant la mission. Néanmoins, les évaluateurs sont responsables de s'assurer que le programme de la mission fournit suffisamment d'informations pour donner une image aussi complète que possible pour l'équipe d'évaluation. Il est entendu que toutes les parties ne peuvent pas être interrogées et il est donc à la charge des évaluateurs de proposer des groupes de discussion, de questionnaires ou d'autres outils pour faciliter une bonne documentation et un soutien à leurs conclusions. 3) La visite des principaux sites d’interventions du programme comprenant des entretiens avec • Les détenteurs de PCB publics et privés ; • Les manipulateurs de PCB ; • Les autorités locales ; • Les responsables douaniers ; • La société civile. A titre indicatif, un avant projet de programme de déroulement de la mission est proposé en annexe 1. Cependant, le programme et le planning de déroulement de la mission doivent être élaborés par l’équipe d’experts soumissionnaires. 4) L’élaboration des questionnaires, des techniques participatives et d'autres approches pour la collecte et l'analyse des données.

IV. Equipe d’évaluateurs/profil et durée de l’évaluation à mi-parcours L’évaluation sera conduite conformément aux principes mis en avant dans les « Directives éthiques pour l’évaluation » de l’UNEG (UNEG, ‘Ethical Guidelines for Evaluation’, juin 2008, disponible sur le site: http://www.uneval.org/search/ index.jsp?q=ethical+Guidelines ). L’éthique d’évaluation et les procédures permettant de sauvegarder les droits et la confidentialité des personnes fournissant les informations, par exemple seront respectées. Les évaluateurs seront indépendants tant du processus politique que de la réalisation et gestion d'appui au projet qu'ils évaluent. Ils ne devraient pas avoir été engagés dans les activités à être évaluées, ou responsables dans des rôles de prise de décisions pour la conception, la mise en œuvre ou le suivi du projet. Dans le cas où un membre de l’équipe d'évaluation a été impliqué dans quelques aspects du projet, ce membre devrait s'abstenir d'évaluer ces aspects.

10

Les évaluateurs seront impartiaux et présenteront une évaluation compréhensive et équilibrée des forces et des faiblesses du projet. L'équipe d'évaluation devrait comprendre des professionnels avec une forte expérience en évaluation, et une expertise technique dans le sujet du programme. Les évaluateurs devraient être bien informés des politiques appropriées du FEM. Les évaluateurs devraient s’assurer, qu'en conduisant des évaluations, ils prennent en compte les points de vues de toutes les parties prenantes du programme. Les évaluateurs devront prendre connaissance et se familiariser avec le document de projet et utiliseront les informations produites par le programme incluant, mais non limité à, la situation de référence (ligne de base) et des informations produites par son système S&E. Les évaluateurs devraient aussi chercher les informations contextuelles nécessaires pour évaluer l’importance et la pertinence des résultats. Durée globale d’exécution de la mission : 1 mois (à partir de début Juin 2012). Expertise et spécialités demandées Pour la réalisation de cette évaluation, une équipe sera recrutée, composée de deux experts dont un international qui est le chef de file de cette mission et le deuxième est national : 1. Un expert international, chef d’équipe, spécialiste dans l’évaluation des projets pour une période de 25 personne/jours. 2. Un expert national spécialiste en gestion des déchets dangereux avec expérience en évaluation des projets pour une période de 20 personne/jours. L’équipe d’évaluateurs aura comme tâches spécifique :

- Travail en équipe en étroite concertation avec PNUD, équipe de projet et autres parties prenantes; - Examen et analyse des données et de la documentation disponible portant sur le programme et ses réalisations, - Analyse et évaluation des activités entreprises initiées par le programme ; - Réalisation d’enquêtes et d’entretiens avec les partenaires du programme; - Evaluation de l’impact du programme sur la gestion et l’élimination des PCB au Maroc ; - Animation de l’atelier de présentation et de restitution des résultats de la mission d’évaluation.

1. Profil de l’expert international Qualifications requises : • diplôme universitaire supérieur (Doctorat, Ingénieur/Maitrise Scientifique) en relation avec les évaluations de projets, les sciences environnementales ou avec les ressources naturelles; • Avoir 10 ans au moins d’expérience régionale ou internationale en matière d’évaluation des projets de développement dans le domaine de l’environnement; • Une expertise reconnue dans la législation environnementale, la gestion des déchets dangereux, la Convention de Stockholm POP/PCB; • Bonne connaissance de la gestion axée sur les résultats (en particulier le suivi et évaluation de projets de gestion axés sur les résultats); • La compréhension des procédures d'évaluation axées sur les résultats du PNUD, et la politique de suivi et évaluation du FEM constitue un avantage; • Disposer d’excellentes capacités d’analyse et de synthèse; • Parfaite maîtrise de la langue française et anglaise.

11

Plus précisément, l'expert international (chef d'équipe) accomplira les tâches suivantes: • Diriger et gérer la mission d'évaluation; • Elaborer une méthodologie d'évaluation détaillée (y compris les méthodes de collecte de données et analyse); • Décider de la division du travail au sein de l'équipe d'évaluation; • Effectuer une analyse des résultats, des livrables et de la stratégie de partenariat (selon les objectifs de l'évaluation décrite ci-dessus); • Restituer les conclusions d’évaluation et les recommandations aux parties prenantes à la fin de la mission ; • Rédiger et élaborer le rapport d'évaluation ; • Finaliser le rapport d'évaluation.

2. Profil de l’expert national Qualifications requises : • Un diplôme universitaire supérieur (Doctorat, ingénieur et/ou Maitrise Scientifique) dans le domaine de l'environnement, sciences naturelles ; • Avoir 7 ans au moins d’expérience nationale et/ou internationale dans le domaine de la mise en œuvre et suivi des projets de développement environnemental, • Expérience d’au moins 5ans de travail dans le domaine de la gestion des déchets dangereux POP/PCBs ; • Maîtrise des procédures PNUD et FEM constitue un avantage ; • Parfaite maîtrise de la langue française. Le consultant national procèdera à l'examen de toute la documentation du programme et fournira au consultant international une compilation de l'information avant la mission d'évaluation. Plus précisément, l'expert national sera chargé d'effectuer, entre autres, les tâches suivantes:

• Examiner les documents ; • Préparer une liste des résultats obtenus par le programme; • Organiser le programme de la mission et fournir la traduction / interprétation si nécessaire; • Participer à la conception de la méthodologie d'évaluation; • Effectuer une analyse des résultats, et de la stratégie de partenariat (selon la portée de l'évaluation décrite ci-dessus); • Rédiger les sections du rapport d'évaluation qui lui sont assignées; • Appuyer le chef d'équipe dans la finalisation du rapport grâce à l’intégration des avis et recommandations reçues sur la version préliminaire du rapport. Des propositions de deux experts indépendants sont acceptées. Ou, alternativement, des propositions seront acceptées à partir des cabinets de conseil/bureau d’études alignant une équipe répondant à l'expertise requise.

Fonctionnement de l’équipe d’évaluation et rôle du chef d’équipe L’expert international est chargé de l’encadrement et la coordination de la mission d’évaluation ainsi que de la production du rapport d’évaluation selon une approche, une démarche et un plan convenus en commun accord avec le FEM, PNUD et la Direction nationale du projet. L’expert national travaillera en étroite collaboration avec l’expert International, ainsi qu’avec le PNUD et la Coordonnatrice Nationale du Programme PCB. L’expert national appliquera la

12

méthodologie et utilisera les outils du diagnostic convenus avec l’expert International, chef de la mission. L’équipe d’experts, rédigera un rapport d’évaluation selon le plan convenu avec le FEM, le PNUD et la Direction nationale du projet. V. Dispositions de mise en œuvre Le Bureau du PNUD est le point opérationnel principal pour l'évaluation. Il sera responsable de se concerter avec l'équipe du programme PCB pour assurer la tenue des entretiens avec les parties prenantes, les visites de terrain et la coordination avec le Gouvernement, pour le recrutement des experts et assurera la disposition des per diem et la logistique de voyage dans le pays pour l'équipe d'évaluation. Ces Termes de Référence sont conformes aux politiques et procédures du PNUD/FEM; l’agenda et le planning finaux seront convenus d’un commun accord par le Bureau du PNUD à Rabat et le Gouvernement du Maroc. Ces parties recevront la version provisoire du rapport de l'évaluation et fourniront des commentaires avant son achèvement. Une mise à jour réaliste du calendrier de la mission sera effectuée juste après le recrutement de l’équipe d’évaluateurs. Cette mise à jour s’étalera sur les tâches suivantes : • Revue documentaire • Sessions de briefings à l’attention des évaluateurs • Visites de terrains, entretiens, questionnaires • Sessions de debriefing • Approbation et validation des résultats préliminaires avec les parties prenantes à travers la diffusion des rapports initiaux et autres mécanismes de feedback • Préparation du rapport final d’évaluation. VI. Livrables et Rapport de l’évaluation à mi-parcours Le rapport d’évaluation sera structuré selon l’aperçu indicatif ci-dessous : 1. Une synthèse succincte et analytique en anglais et en français 2. Introduction 3. Liste des abréviations et des acronymes 4. Le Programme et son contexte de développement 5. Constatations et Conclusions

5.1. Formulation et conception du programme 5.2. Mise en œuvre 5.3. Résultats

6. Recommandations 7. Enseignements tirés 8. Annexes

8.1. Termes de référence de la mission d’évaluation et profil de l’équipe 8.2. Méthodologie et démarche d’évaluation adoptée 8.3. Liste des personnes rencontrées 8.4. Liste de la documentation et références consultées 8.5. Cadre logique des résultats du programme L’Annexe 4 fournit une explication approfondie sur la terminologie utilisée dans le cadre des évaluations FEM et les critères du FEM de revue de projet. L’Annexe 3 fournit le détail des exigences du contenu du rapport en surlignant les catégories ou parties qui doivent faire objet de notations (R).

13

La longueur du rapport final d'évaluation ne doit pas dépasser 30 pages au total (sans compter les annexes). Le rapport ne sera définitivement accepté qu’après validation par l’équipe du Programme PCB, la Direction Nationale et le PNUD-FEM. Livrables et calendrier Les rapports à produire sont les suivants :

- Note méthodologique de réalisation des différentes étapes de la mission avec le chronogramme prévisionnel, - Aide mémoire après les séances de travail et les visites de terrain, au plus tard 3 jours après la fin de la mission d’évaluation, - Rapport d’évaluation en version provisoire, au plus tard une semaine après la fin de la mission d’évaluation, - Un rapport d’évaluation final élaboré sur la base des remarques et observations des partenaires par l’équipe d’experts dans un délai ne dépassant pas 15 jours après la fin de la mission d’évaluation.

14

ANNEXE 1

Proposition de Programme de la Mission d’évaluation

Activité Description Durée Travail préparatoire (desk study) Réception par email du document de projet et autres documents produits par le Programme PCB à examiner et analyser avant le démarrage de la mission. 2 jours

Contacts et sessions d’orientation et de briefing (au niveau national) Séance de travail • Séance de travail PNUD/CN Présentation du programme PCB: Objectifs, stratégie, réalisations, acquis, risques & problèmes et leçons tirées. Remise de la documentation • Rencontre avec Directeur du programme • Séance de travail avec comité de suivi du programme

1 jours

Rencontre avec partenaires du programme Jour 1: Entretiens avec les membres de la commission des PCB Jour 2 & 3: Réunions avec les services régionaux :Services extérieurs du DE, Autorités locales, Services extérieurs des ministères concernés , Responsables douaniers, Associations locales..etc. Jour 4, 5, & 6 : Visite des détenteurs publics et privés et des manipulateurs de PCB (sociétés de services, maintenance, laboratoires d’analyse..etc)

6 jours

Préparation de l’aide mémoire de la mission (Rabat) Séances de travail avec les thématiciens pour complément d’informations. Préparation d’un Aide Mémoire de la mission : principaux résultats des rencontres et première recommandations de l’évaluation

2 jours Sessions de débriefing avec les partenaires centraux Réunion de synthèse en présence de tous les partenaires (inclus Direction Nationale, le point focal Opérationnel du Fonds de l’Environnement Mondial (FEM) et le PNUD)

1 jours Remise de l’aide mémoire final 3 jours après la fin de la mission

15

Finalisation du Rapport d’évaluation provisoire 5 jours de travaux à domicile Remise du rapport d’évaluation provisoire 1 semaine après fin de mission à Rabat Date limite de remise du rapport final 3 jours après réception des commentaires

16

ANNEXE 2

Liste des documents à consulter

• Documents de base du programme • Rapports périodiques d’avancement du programme • Fiches et notes d’information sur les activités du programme • Documents techniques constituant le projet de cadre réglementaire sur la gestion des PCB • Rapports des études techniques réalisées dans le cadre du programme PCB • Les outils de communication et de sensibilisation élaborés • Rapport sur les bilans financiers du programme PCB • Les compte rendus des principales réunions et ateliers • Les rapports et comptes rendus sur le processus participatif régional, • Plan de communication et de renforcement des capacités, • Documents sur les modules de formations dispensées, • Documents sur le système des Suivi et d’évaluation, • Autres Documents jugés utiles par la mission.

17

ANNEXE 3

Cette section décrit les catégories sur lesquelles l'évaluation se penchera en ligne avec le rapport d'évaluation. Elle souligne également les questions spécifiques devant être traitées en

vertu de chaque catégorie. Ces catégories sont le minimum requis par le PNUD et le FEM.

SCOPE OF THE EVALUATION- SPECIFIC ISSUES TO BE ADDRESSED. This section describes the categories that the evaluation will look into in line with the evaluation report. It also highlights specific issues to be addressed under each broad category. These categories are the minimum required by UNDP and GEF. Please note that some of the categories in the findings and conclusions need to be rated in conformity with the GEF guidelines for final evaluations. 1. Executive summary

• Brief description of project • Context and purpose of the evaluation • Main conclusions, recommendations and lessons learned

2. Introduction • Purpose of the evaluation • Key issues addressed • Methodology of the evaluation • Structure of the evaluation

3. The project(s) and its development context • Project start and its duration • Problems that the project seek to address • Immediate and development objectives of the project • Main stakeholders • Results expected

4. Findings and Conclusions In addition to a descriptive assessment, all criteria marked with (R) should be rated using the following divisions: Highly Satisfactory, Satisfactory, Marginally Satisfactory, Unsatisfactory 4.1. Project Formulation § Conceptualization/Design (R). This should assess the approach used in design and an appreciation of the appropriateness of problem conceptualization and whether the selected intervention strategy addressed the root causes and principal threats in the project area. It should also include an assessment of the logical framework and whether the different project components and activities proposed to achieve the objective were appropriate, viable and responded to contextual institutional, legal and regulatory settings of the project. It should also assess the indicators defined for guiding implementation and measurement of

18

achievement and whether lessons from other relevant projects (e.g., same focal area) were incorporated into project design. § Country-ownership/Driveness. Assess the extent to which the project idea/conceptualization had its origin within national, sectoral and development plans and focuses on national environment and development interests. § Stakeholder participation (R) Assess information dissemination, consultation, and “stakeholder” participation in design stages. § Replication approach. Determine the ways in which lessons and experiences coming out of the project were/are to be replicated or scaled up in the design and implementation of other projects (this also related to actual practices undertaken during implementation). § Other aspects to assess in the review of Project formulation approaches would be UNDP comparative advantage as IA for this project; the consideration of linkages between projects and other interventions within the sector and the definition of clear and appropriate management arrangements at the design stage.

4.2. Project Implementation § Implementation Approach (R). This should include assessments of the following aspects: (i) The use of the logical framework as a management tool during implementation and any changes made to this as a response to changing conditions and/or feedback from M and E activities if required. (ii) Other elements that indicate adaptive management such as comprehensive and realistic work plans routinely developed that reflect adaptive management and/or; changes in management arrangements to enhance implementation. (iii) The project's use/establishment of electronic information technologies to support implementation, participation and monitoring, as well as other project activities. (iv) The general operational relationships between the institutions involved and others and how these relationships have contributed to effective implementation and achievement of project objectives. (v) Technical capacities associated with the project and their role in project development, management and achievements. § Monitoring and evaluation (R). Including an assessment as to whether there has been adequate periodic oversight of activities during implementation to establish the extent to which inputs, work schedules, other required actions and outputs are proceeding according to plan; whether formal evaluations have been held and whether action has been taken on the results of this monitoring oversight and evaluation reports.

19

§ Stakeholder participation (R). This should include assessments of the mechanisms for information dissemination in project implementation and the extent of stakeholder participation in management, emphasizing the following: (i) The production and dissemination of information generated by the project. (ii)Local resource users and NGOs participation in project implementation and decision making and an analysis of the strengths and weaknesses of the approach adopted by the project in this arena. (iii) The establishment of partnerships and collaborative relationships developed by the project with local, national and international entities and the effects they have had on project implementation. (iv) Involvement of governmental institutions in project implementation, the extent of governmental support of the project. § Financial Planning: Including an assessment of: (i) The actual project cost by objectives, outputs, activities (ii) The cost-effectiveness of achievements (iii) Financial management (including disbursement issues) (iv) Co-financing 3 § Sustainability. Extent to which the benefits of the project will continue, within or outside the project domain, after it has come to an end. Relevant factors include for example: development of a sustainability strategy, establishment of financial and economic instruments and mechanisms, mainstreaming project objectives into the economy or community production activities. § Execution and implementation modalities. This should consider the effectiveness of the UNDP counterpart and Project Co-ordination Unit participation in selection, recruitment, assignment of experts, consultants and national counterpart staff members and in the definition of tasks and responsibilities; quantity, quality and timeliness of inputs for the project with respect to execution responsibilities, enactment of necessary legislation and budgetary provisions and extent to which these may have affected implementation and sustainability of the Project; quality and timeliness of inputs by UNDP and GoC and other parties responsible for providing inputs to the project, and the extent to which this may have affected the smooth implementation of the project.

3 Please see guidelines at the end of Annex 3 of these TORs for reporting of co-financing

20

4.3. Results § Attainment of Outcomes/ Achievement of objectives (R): Including a description and rating of the extent to which the project's objectives (environmental and developmental ) were achieved using Highly Satisfactory, Satisfactory, Marginally Satisfactory, and Unsatisfactory ratings. If the project did not establish a baseline (initial conditions), the evaluators should seek to determine it through the use of special methodologies so that achievements, results and impacts can be properly established. § This section should also include reviews of the following:

§ Sustainability: Including an appreciation of the extent to which benefits continue, within or outside the project domain after GEF assistance/external assistance in this phase has come to an end. • Contribution to upgrading skills of the national staff

5. Recommendations § Corrective actions for the design, implementation, monitoring and evaluation of the project § Actions to follow up or reinforce initial benefits from the project § Proposals for future directions underlining main objectives

6. Lessons learned This should highlight the best and worst practices in addressing issues relating to relevance, performance and success. 7. Evaluation report Annexes § Evaluation TORs § Itinerary § List of persons interviewed § Summary of field visits § List of documents reviewed § Questionnaire used and summary of results § Comments by stakeholders (only in case of discrepancies with evaluation findings and conclusions)

21

ANNEXE 4

Explication sur la terminologie des Lignes directrices du FEM Pour les Evaluations Finales

Explanation on Terminology Provided in the GEF Guidelines to Terminal Evaluations Implementation Approach includes an analysis of the project’s logical framework, adaptation to changing conditions (adaptive management), partnerships in implementation arrangements, changes in project design, and overall project management. Some elements of an effective implementation approach may include: § The logical framework used during implementation as a management and M&E tool § Effective partnerships arrangements established for implementation of the project with relevant stakeholders involved in the country/region § Lessons from other relevant projects (e.g., same focal area) incorporated into project implementation § Feedback from M&E activities used for adaptive management. Country Ownership/Driveness is the relevance of the project to national development and environmental agendas, recipient country commitment, and regional and international agreements where applicable. Project Concept has its origin within the national sectoral and development plans Some elements of effective country ownership/driveness may include: § Project Concept has its origin within the national sectoral and development plans § Outcomes (or potential outcomes) from the project have been incorporated into the national sectoral and development plans § Relevant country representatives (e.g., governmental official, civil society, etc.) are actively involved in project identification, planning and/or implementation § The recipient government has maintained financial commitment to the project § The government has approved policies and/or modified regulatory frameworks in line with the project’s objectives For projects whose main focus and actors are in the private-sector rather than public-sector (e.g., IFC projects), elements of effective country ownership/driveness that demonstrate the interest and commitment of the local private sector to the project may include: § The number of companies that participated in the project by: receiving technical assistance, applying for financing, attending dissemination events, adopting environmental standards promoted by the project, etc. § Amount contributed by participating companies to achieve the environmental benefits promoted by the project, including: equity invested, guarantees provided, co-funding of project activities, in-kind contributions, etc. § Project’s collaboration with industry associations Stakeholder Participation/Public Involvement consist of three related, and often overlapping processes: information dissemination, consultation, and “stakeholder” participation. Stakeholders are the individuals, groups, institutions, or other bodies that have an interest or stake in the outcome of the GEF-financed project. The term also applies to those potentially adversely affected by a project.

22

Examples of effective public involvement include: Information dissemination § Implementation of appropriate outreach/public awareness campaigns Consultation and stakeholder participation § Consulting and making use of the skills, experiences and knowledge of NGOs, community and local groups, the private and public sectors, and academic institutions in the design, implementation, and evaluation of project activities Stakeholder participation § Project institutional networks well placed within the overall national or community organizational structures, for example, by building on the local decision making structures, incorporating local knowledge, and devolving project management responsibilities to the local organizations or communities as the project approaches closure § Building partnerships among different project stakeholders § Fulfillment of commitments to local stakeholders and stakeholders considered to be adequately involved. Sustainability measures the extent to which benefits continue, within or outside the project domain, from a particular project or program after GEF assistance/external assistance has come to an end. Relevant factors to improve the sustainability of project outcomes include: § Development and implementation of a sustainability strategy. § Establishment of the financial and economic instruments and mechanisms to ensure the ongoing flow of benefits once the GEF assistance ends (from the public and private sectors, income generating activities, and market transformations to promote the project’s objectives). § Development of suitable organizational arrangements by public and/or private sector. § Development of policy and regulatory frameworks that further the project objectives. § Incorporation of environmental and ecological factors affecting future flow of benefits. § Development of appropriate institutional capacity (systems, structures, staff, expertise, etc.) . § Identification and involvement of champions (i.e. individuals in government and civil society who can promote sustainability of project outcomes). § Achieving social sustainability, for example, by mainstreaming project activities into the economy or community production activities. § Achieving stakeholders’ consensus regarding courses of action on project activities. Replication approach, in the context of GEF projects, is defined as lessons and experiences coming out of the project that are replicated or scaled up in the design and implementation of other projects. Replication can have two aspects, replication proper (lessons and experiences are replicated in different geographic area) or scaling up (lessons and experiences are replicated within the same geographic area but funded by other sources). Examples of replication approaches include: § Knowledge transfer (i.e., dissemination of lessons through project result documents, training workshops, information exchange, a national and regional forum, etc). § Expansion of demonstration projects.

23

§ Capacity building and training of individuals, and institutions to expand the project’s achievements in the country or other regions. § Use of project-trained individuals, institutions or companies to replicate the project’s outcomes in other regions. Financial Planning includes actual project cost by activity, financial management (including disbursement issues), and co-financing. If a financial audit has been conducted the major findings should be presented in the TE. Effective financial plans include: § Identification of potential sources of co-financing as well as leveraged and associated financing4. § Strong financial controls, including reporting, and planning that allow the project management to make informed decisions regarding the budget at any time, allows for a proper and timely flow of funds, and for the payment of satisfactory project deliverables § Due diligence due diligence in the management of funds and financial audits. Co financing includes: Grants, Loans/Concessional (compared to market rate), Credits, Equity investments, In-kind support, Other contributions mobilized for the project from other multilateral agencies, bilateral development cooperation agencies, NGOs, the private sector and beneficiaries. Please refer to Council documents on co-financing for definitions, such as GEF/C.20/6. Leveraged resources are additional resources—beyond those committed to the project itself at the time of approval—that are mobilized later as a direct result of the project. Leveraged resources can be financial or in-kind and they may be from other donors, NGO’s, foundations, governments, communities or the private sector. Please briefly describe the resources the project has leveraged since inception and indicate how these resources are contributing to the project’s ultimate objective. Cost-effectiveness assesses the achievement of the environmental and developmental objectives as well as the project’s outputs in relation to the inputs, costs, and implementing time. It also examines the project’s compliance with the application of the incremental cost concept. Cost-effective factors include: § Compliance with the incremental cost criteria (e.g. GEF funds are used to finance a component of a project that would not have taken place without GEF funding.) and securing co-funding and associated funding. § The project completed the planned activities and met or exceeded the expected outcomes in terms of achievement of Global Environmental and Development Objectives according to schedule, and as cost-effective as initially planned. § The project used either a benchmark approach or a comparison approach (did not exceed the costs levels of similar projects in similar contexts) Monitoring & Evaluation. Monitoring is the periodic oversight of a process, or the implementation of an activity, which seeks to establish the extent to which inputs, work schedules, other required actions and outputs are proceeding according to plan, so that timely action can be taken to correct the deficiencies detected. Evaluation is a process by which program inputs, activities and results are analyzed and judged explicitly against benchmarks or baseline conditions using performance indicators. This will allow project managers and planners to make decisions 4 Please refer to Council documents on co-financing for definitions, such as GEF/C.20/6. The following page presents a table to be used for reporting co-financing.

24

based on the evidence of information on the project implementation stage, performance indicators, level of funding still available, etc, building on the project’s logical framework. Monitoring and Evaluation includes activities to measure the project’s achievements such as identification of performance indicators, measurement procedures, and determination of baseline conditions. Projects are required to implement plans for monitoring and evaluation with adequate funding and appropriate staff and include activities such as description of data sources and methods for data collection, collection of baseline data, and stakeholder participation. Given the long-term nature of many GEF projects, projects are also encouraged to include long-term monitoring plans that are sustainable after project completion.

25

Financial Planning Cofinancing * Other is referred to contributions mobilized for the project from other multilateral agencies, bilateral development cooperation agencies, NGOs, the private sector and beneficiaries. Leveraged Resources Leveraged resources are additional resources—beyond those committed to the project itself at the time of approval—that are mobilized later as a direct result of the project. Leveraged resources can be financial or in-kind and they may be from other donors, NGO’s, foundations, governments, communities or the private sector. Please briefly describe the resources the project has leveraged since inception and indicate how these resources are contributing to the project’s ultimate objective.

Co financing (Type/Source)

IA own Financing (mill US$)

Government

(mill US$)

Other*

(mill US$)

Total

(mill US$)

Total Disbursement

(mill US$) Planned Actua

l Planned

Actual

Planned

Actual

Planned

Actual

Planned Actual

− Grants − Loans/Concessional (compared to market rate)

− Credits − Equity investments − In-kind support − Other (*) Totals