GUIDE DE BONNE PRATIQUE DE LA GESTION AXEE SUR LE RESULTAT

Proposé aux organisations de la société civile et naturelle

LA GESTION POUR TOUS

Présenté et édité par DONENG Héritier

Préface La présente publication du ‘Guide de bonne pratique de la gestion axée sur les résultats du développement’ a pour objectif de soutenir l’effort accru des acteurs de développement à s’orienter vers les résultats et à mettre davantage l’accent sur les changements du développement et comment ceux-ci peuvent améliorer la vie des populations. Ce Guide constitue une importante avancée en matière d’application efficace de l’approche de la gestion axée sur les résultats à la gestion des activités et de la performance. Le Guide reconnaît que les étapes de la gestion doivent se concentrer davantage sur l’appropriation par les pays des priorités et des résultats du développement, et devraient refléter les principes fondamentaux de l’appropriation nationale, du renforcement des capacités et du développement humain. De manière générale, il y a eu un passage significatif d’une approche axée sur le projet en faveur d’approches plus axées sur les programmes et les pays. L’ensemble des partenaires s’attendent à ce que chaque organisation puisse démontrer l’accroissement de résultats tangibles en matière de coopération pour le développement. Les organisations font également face à une recrudescence de demandes de redevabilité aux citoyens sur la manière avec laquelle les ressources sont utilisées, les résultats enregistrés, et sur l’efficacité de ces résultats dans le développement humain. Ce guide est une édition nouvelle, destiné à toute personne, quelque soit sa couche sociale (étudiant, élève, chef d’entreprise, leader des organisations de la société civile, commerçant, administrateur etc.) ; Edité par Rodolphe Héritier Bonheur DONENG WANZOUMON, Expert Action Humanitaire, Chercheur en Stratégie de Développement. Pourquoi cette édition ? Précisément à cause de l’importance de la gestion comme une matière non négligeable pour tous. En effet, une organisation peut vivre que si elle est bien gérée et qu’elle réalise un profit, la gestion en vérité est une discipline incontournable pour toutes les espèces humaines ; Un individu peut jouir de son existence que s’il arrive à bien gérer ses problèmes (familiaux, sociaux, culturels etc.) ainsi que ses ressources (financières, matérielles, humaines etc.) Dans cette brochure, plusieurs points sont développés pour le bon fonctionnement de nos organisations et nous permettent de bien planifier, contrôler les activités que menons au quotidien.

1ère PARTIE : LA GESTION I DEFINITION ET COMPOSANT DE LA GESTION I.1 LA GESTION Le mot gestion tire son origine du verbe « gérer », celui-ci est défini par plusieurs auteurs : Selon JINELESE : « la gestion est l’ensemble des moyens, des règles des procédures qui permettent d’appliquer par les méthodes scientifique pour réaliser certains objectifs. » ; Pour le professeur Pierre LASSEGUE : « la gestion est l’application de la science dans la conduite des organisations » ; Pour d’autres auteurs : « la gestion est une activité qui transforme les ressources humaines, financières, matérielles inorganisées en réalisation concrètes utiles et efficaces ». I.2 LES COMPOSANTS DE LA GESTION La gestion est un processus interactif et de « pleine action », composée des étapes que l’on peut schématiser de la manière suivante : I.1.1 L’INFORMATION (diagnostic)

a) Définition d'information

Etymologie : du latin informare, façonner, former Sens 1 : L'information est l'action d'informer, de s'informer, de donner la connaissance d'un fait ou de la rechercher. Exemple : la presse d'information. Sens 2 : Une information est une nouvelle, un renseignement, une documentation sur quelque chose ou sur quelqu'un, portés à la connaissance de quelqu'un. Exemple : un bulletin d'informations.

Selon la GAR L’information provient à la fois des sources internes et externes, elle est indispensable pour la prise de décision que pour la réalisation des objectifs. L’information est un élément très utile en gestion axée sur les résultats, elle se fait en permanence à tous les niveaux des actions à méner :

Information

Suivi évaluation

Objectif Action Décision

- Diagnostic, - Décision, - Formulation, - Élaboration, - Planification, - Organisation, - Mise en œuvre, - Suivi et évaluation - Objectif.

Exemple : D’après les informations que nous avons reçues, le taux de mortalité des enfants est très élevé au sein de notre localité, vu notre vocation, étant une organisation de développement nous décidons de réduire le taux de mortalité des enfants dû au paludisme. Nous procéderons de la manière suivante : Vérification de la source d’information

i- SOURCES EXTERNES (le sujet qu’on veut résoudre) Il s’agit de prendre connaissances des données externes qui existent réellement autour du problème que nous voudrons résoudre, tout en vérifions les racines principales. En posons les questions suivantes par exemple :

- De qui ou de quoi avons- nous reçu cette information ? - Est –il réellement du paludisme que meurent les enfants ? les preuves à justifier. - Quelles sont les causes de la forte influence de cette maladie au sein de notre

localité ? - Quelles sont sources fondamentales de chaque cause ? - Quelles sont les raisons qui font à ce que cette maladie a pu réussi d’avoir une telle

influence sur cette proportion d’enfant ? Etc.

Comme dit le plus souvent il faut formuler un arbre à problème auquel, on a les racines, le tronc et les branches voire les feuilles dans le cas d’une généralité.

ii- SOURCES INTERNES (nous avec et notre environnement physique et moral) Il s’agit de prendre connaissances des données internes qui existent réellement à notre niveau que nous allons utiliser lors de nos actions, tout en vérifions les racines principales de chaque données.

Comment va-t-on réduire le taux de cette pandémie ? Avons-nous les compétences ou les qualités requise d’agir contre cette pandémie ? Lesquelles ? Sont-elles disponibles ? Comment les avoir ? Avons-nous les moyens nécessaires ? Lesquels ? Sont-ils disponibles ? Comment les mobilise-t-on ?

Il est important de se questionner, de diagnostiquer, d’analyser l’idée proposée en n’étant pas trop sûr de cette idée, de la reformuler ainsi qu’il soit important de ne rejeter aucune idée avancée mais de l’améliorer et de la rendre très cohérente. b) LA DECISION Elle est capital et se fait par rapport aux postes fonctions et aux activités en vue de concourir à une bonne réalisation. Elle se prend en permanence pour les actions de besoins de pilotage de l’organisation. D’après Igor ANSOFF(1970), dans son ouvrage intitulé : « la stratégie des entreprises », propose trois types de décisions :

i- LA DECISION STRATEGIQUE Elle est généralement prise au sommet de l’organisation et nécessite des informations fiables et pertinentes.

ii- LA DECISION ADMINISTRATIVE OU TACTIQUE Elle est généralement prise au niveau des cadres pour le moyen terme dans un temps et une espace moins complexe et incertain, peu répétitive la décision tactique se porte sur la structure de l’organisation et de la gestion.

iii- LA DECISION OPERATIONNELLE Prise au niveau d’exécution pour le court terme dans un temps et un espace certain, elle nécessite peu d’information.

iv- LA PRISE DE DECISION La prise de décision est un processus cognitif complexe visant à la sélection d'un type d'action parmi différentes alternatives. Chaque processus de la prise de décision produit un choix final. Le résultat peut être une action ou une opinion d’un choix. Elle est capitale et se fait à tous les niveaux :

- Information ou diagnostic, - Formulation, - Élaboration, - Planification, - Organisation (activité et ressources matérielles, humaines, financières) - Mise en œuvre, - Suivi et évaluation (contrôle) - objectif. (produit, effet impact)

Elle est fondamentalement basée sur des interrogations suivantes : Qui ? : Le sujet

Quoi ? : L’activité à mener Quand ? : L’échéancier (date et horaire) Où ? : Lieu Comment ? : La stratégie de réalisation Référence ? : Source de la décision c) ACTION i- PLANIFICATION Etymologie : de planifier, venant du latin planus, plan, plat, uni. La planification est l'action de planifier, c'est-à-dire d'organiser dans le temps une succession d'actions ou d'évènements afin de réaliser un objectif particulier ou un projet. La planification permet de décrire : - les objectifs recherchés, - la manière dont ils seront atteints, - les rôles et responsabilités des différents acteurs, - le calendrier, - l'estimation des moyens à mettre en œuvre et des coûts, - les modalités de suivi et de contrôle. La planification utilise un certain nombre d'outils comme : - le budget, - les probabilités, - l'étude des risques, - les solutions alternatives ou de repli

ii- LES OUTILS TECHINQUES DE PLANIFICATION

Sont préalables pour la planification les outils suivants : Le répertoire d’activité Le planning d’activité Le plan d’action Le calendrier d’activité Le plan intégré de communication Le plan de mise en œuvre

En économie, au niveau d'un Etat, la planification est l'organisation d'un programme économique avec ses objectifs et ses moyens pour plusieurs années à venir. Exemples : plan de développement, plan industriel, plan de redressement, plan d'austérité, plan d'aménagement du territoire. Le concept de la planification économique s'est développé durant la Première Guerre mondiale. L'objectif des Etats était d'encadrer la production et de soumettre l'économie aux impératifs de la guerre. On distingue la planification impérative qui caractérise l'économie centralisée et dirigée (Ex : URSS et pays communistes) de la planification indicative qui ne comporte aucune mesure obligatoire pour les entreprises.

Selon la GAR, la planification se déroule à toutes les étapes et phases de la gestion dont on distingue la planification de :

- L’information ou diagnostic, - La formulation, - L’élaboration, - La planification, - L’organisation (activité et ressources matérielles, humaines, financières etc.) - La mise en œuvre, - La suivi et évaluation (contrôle) - L’objectif (produit, effet impact)

L’action de planifier consiste à :

- Etablir un plan général de réalisation, basé sur l’initiative, l’imagination, la créativité des Hommes en choisissant les taches permettant d’atteindre l’objectif.

- Organiser : - En créant des organes dotés des moyens auxquels est assigné à chaque organe des

missions ou des taches précises ; - En répartissant les rôles et les responsabilités entre les cadres opérant dans les

différents organes ; - En définissant les moyens à fournir à ces organes qui leurs permettent de réaliser

leurs taches respectives ; - En fixant les orientations précises (les normes, procédures et méthodes de

réalisation) d) SUIVI-EVALUATION Selon la GAR, le suivi-évaluation se déroule à toutes les étapes et phases de la gestion dont on distingue la planification de :

- L’information ou diagnostic, - La formulation, - L’élaboration, - La planification, - L’organisation (activité et ressources matérielles, humaines, financières etc.) - La mise en œuvre, - La suivi et évaluation (contrôle) - L’objectif (produit, effet impact)

i- MISE EN ŒUVRE L’activité de mise en œuvre consiste à mettre en exergue tous les plans et toutes activités définies, elle est la plus lourde et la plus difficile de toutes les étapes de la gestion à ce niveau l’accent doit être mis sur la rigueur et la vigilance afin de rendre concrets les plans.

La mise en œuvre nécessite une opération de supervision.

ii- LA SUPERVISION La supervision est le contrôle du déroulement d’une activité prévue en vu d’atteindre l’objectif. On distingue plusieurs types de supervision dont nous citons quelques unes qui sont les suivantes :

- La supervision de l’organisation - La supervision du personnel ou des membres - La supervision de l’activité etc.

En plus, l’activité de supervision se fait en trois étapes :

1ère étapes : avant la supervision

Avant la supervision, le superviseur doit d’abord : Recenser tous les matériels et équipements nécessaires, consulter le rapport de la supervision précédente, recueillir les informations sur l’activité tout en définissant les priorités de cette supervision (objectif visé). 2è étapes pendant la supervision Suivre le déroulement de l’activité, proposer, accompagner chaque partie prenante, contrôler les outils de réalisation. 3è étape après la supervision Rédiger le rapport d’activité et crocher les observations dans le calendrier d’activité.

iii- CONTROLE Il a pour but de :

Comparer à toutes les étapes de l’action, les résultats obtenus aux objectifs fixés ; Apprécier les résultats aux regards des normes de réalisation ;

Suggérer si possible des actions de correction ; Superviser, voir si les instructions sont appliquées : est que ça marche comme on le pense ? Evaluer, voir si les opérations telles qu’elles sont conduites sont conformes à ce qui est attendu Rationnaliser, identifier les éléments faibles du système.

2è PARTIE : LA GESTION AXEE SUR LES RESULTATS _____________________________________________________________ II – 1 TERMINOLOGIE

a- LA GESTION La gestion est l’ensemble des moyens, des règles des procédures qui permettent d’appliquer par les méthodes scientifiques pour réaliser certains objectifs.

b- AXEE Le mot « axée » est le participe passé du verbe « axer » qui signifie diriger suivant un axe.

c- RESULTAT Le résultat est défini comme « un changement descriptible ou mesurable qui découle d’une relation de cause à effet » Il est mesuré à l’aide d’indicateurs.

d- définitions de la gestion axée sur le résultat :

Selon l’Agence Canadienne de Développement international, la Gestion axée sur les résultats (GAR) est “un moyen d’améliorer l’efficacité et la responsabilité de la gestion en faisant participer les principaux intervenants à la définition de résultats escomptés, en évaluant les risques, en suivant les progrès vers l’atteinte de ces résultats, en intégrant les leçons apprises dans les décisions de gestion et les rapports sur le rendement”. Selon le Programme des Nations Unies pour le Développement, la GAR est une stratégie ou méthode de gestion appliquée par une organisation pour veiller à ce que ses procédures, produits et services contribuent à la réalisation de résultats clairement définis. La GAR offre un cadre cohérent de planification et de gestion stratégique en améliorant l’apprentissage et la responsabilité. Il s’agit aussi d’une vaste stratégie de gestion visant à apporter d’importants changements dans le mode de fonctionnement des organismes, l’accent étant mis sur l’amélioration de la performance et la réalisation de résultats. Ceci passe par la définition de résultats réalistes, le suivi du progrès dans la réalisation des résultats escomptés, l’intégration des enseignements tirés dans les décisions de gestion et la communication d’information au sujet de la performance.”

Selon la Déclaration de Paris, “axer la gestion sur les résultats signifie gérer et mettre en œuvre l’aide en se concentrant sur les résultats souhaités et en utilisant les données disponibles en vue d’améliorer le processus de décision.” La GAR est donc une approche qui se concentre de façon systématique sur les résultats, plutôt que vers la réalisation d’activités déterminées, en optimisant l’utilisation des ressources humaines et financières. II.2 DENOMINATION

L’abréviation : GAR (Gestion Axée sur les Résultats) La notion de résultat étant comprise au sens large du terme, elle fait aussi bien référence aux résultats, aux effets qu’à l’impact. En anglais : Results-based Management (RbM) II.3 ORIGINE ET POSTULATS DE BASE

Le concept de gestion axée sur les résultats est attribué à Peter Drucker (1909-2005), gourou du management, qui publie en 1964 l’ouvrage “Managing for results”. Quelque peu éclipsé jusqu’à la fin des années 80, ce principe de gestion revient à l’avant-plan dans les années 90. À la pointe de cette méthode, le gouvernement canadien l’adopte, au début des années 90, dans le cadre d’une importante réforme du secteur public visant à développer un modèle de gestion de projet plus participatif et responsabilisant. À leur tour, des organisations internationales comme la Banque mondiale, l’ONU, etc. optent pour cette procédure dans le but de mieux rendre compte des résultats acquis. C’est en 2005 que les membres de la communauté du développement (pays partenaires et donateurs) adoptent la Déclaration de Paris. Celle-ci s’inscrit parmi les moments clés de la réflexion internationale sur l’efficacité de l’aide au développement. La Déclaration de Paris marque la volonté de la communauté du développement de progresser sur le front de l’harmonisation, de l’alignement et de la gestion axée sur les résultats en matière de développement. La Belgique suit cette mouvance dans le cadre de la réforme de son service public (réforme Copernic). Par ailleurs en inscrivant, dans l’arrêté royal du 24 septembre 2006 relatif à la subvention des programmes et projets présentés par les organisations non gouvernementales de développement agréées, elle fixe l’obligation d’une approche axée sur les résultats pour tout programme qui voudrait être subsidié. À l’instar d’autres méthodes de gestion de projets, la démarche de la GAR se fonde sur la matrice du cadre logique avec une orientation des efforts des projets vers les résultats attendus (à savoir les

résultats, effets et impact du cadre logique classique). La notion de « résultat » est le noyau dur de la Gestion Axée sur les Résultats. La mise en œuvre de la GAR est fondée sur six grands principes : • Simplicité. La GAR est un outil de gestion simple qui peut aider les parties prenantes à définir et à accomplir des résultats réalistes. La meilleure stratégie est compréhensible et facile à mettre en œuvre. • Apprendre par l’action. L’expérience de terrain, souvent basée sur des tentatives ou des erreurs, est un élément indispensable du développement des capacités d’une structure et permet d’améliorer la gestion de projets. Ainsi, la GAR doit être mise en œuvre sur une base itérative, affinant les stratégies en fonction de l’expérience et des « leçons apprises ». En utilisant la GAR, les parties prenantes améliorent leur expertise et capitalisent l’expérience obtenue lors des projets réalisés. Au fur à mesure de la sensibilisation des parties prenantes à la GAR, elles réalisent que leur apport à la gestion du projet peut être plus efficace. C’est fondamentalement un processus d’apprentissage continu et évolutif. L’évaluation est, dans ce cadre, un bon outil pour remonter l’information. • Une méthodologie adaptable. La GAR peut être utilisée dans de nombreux contextes et dans de nombreux aspects des opérations courantes de la gestion de projet. Dans le cas de projets préexistants, la GAR peut être intégrée durant le processus. • Le partenariat. Afin que la GAR soit efficace, les résultats escomptés doivent être définis et validés par les parties prenantes du projet, à travers un processus de construction consensuel. Ce processus améliore le sentiment d’appropriation des parties prenantes et renforce leur engagement pour le « monitoring ». Il améliore la qualité, l’efficacité et la durabilité des projets. • La redevabilité. Le partage des responsabilités. La meilleure façon d’augmenter la redevabilité des parties prenantes est de définir et de valider en commun la prise de décision, ainsi que de clairement définir les responsabilités de chacun. De cette manière, la participation est un élément clé de la redevabilité lors de la mise en œuvre d’un projet. • La transparence. La transparence du processus doit être totale. Les résultats escomptés et les indicateurs correspondants doivent être clairement identifiés afin que les résultats puissent être mesurables. À travers la mise en œuvre d’un Cadre de Mesure de la Performance (CMP), l’information collectée pourra être utilisée pour la préparation de rapports mieux documentés qui pourront être utiles pour l’apprentissage et l’efficacité du processus de prise de décision. Et ce, aussi bien si les observations sont positives que si elles sont négatives. II-4 LA DÉMARCHE DE GESTION AXÉE SUR LES RÉSULTATS La gestion axée sur les résultats est une approche de gestion fondée sur des résultats mesurables répondant aux objectifs et aux cibles définis préalablement en fonction des services à fournir. Elle s’exerce dans un contexte de transparence, de responsabilisation et de flexibilité quant aux moyens utilisés pour atteindre les résultats visés.

II-4-1 S’ENGAGER La planification, à tous les niveaux de l’organisation, constitue la première étape à laquelle doit s’intégrer la démarche de gestion axée sur les résultats.

i- LA CONNAISSANCE DE L’ENVIRONNEMENT L’environnement externe de l’organisation sert essentiellement à comprendre le contexte et à établir les enjeux pour dégager les possibilités et les menaces. Plusieurs facteurs entrent en jeu, dont les facteurs sociaux, économiques, environnementaux et technologiques. L’environnement interne correspond à la capacité organisationnelle dont l’analyse permet d’évaluer les forces et les faiblesses de l’organisation. L’analyse comprend le constat, le positionnement et les améliorations à apporter. Il ne s’agit pas d’un diagnostic complet mais bien d’une évaluation de la capacité de l’organisation à profiter des possibilités et à faire face aux menaces à l’égard des objectifs et de la mission.

ii- LES ENGAGEMENTS EN MATIERE DE SERVICES AUX CITOYENS Le cadre de gestion axée sur les résultats prévoit que les organisations, qui fournissent directement des services aux citoyens, fixent leurs objectifs quant au niveau et à la qualité des services offerts. Traduits sous forme d’objectifs et de cibles, leurs engagements sont rendus publics au moyen de la déclaration de services aux citoyens. Cette déclaration fait état de la diligence avec laquelle les services devraient être rendus et elle fournit une information claire quant à leur nature et à leur accessibilité. La connaissance des clientèles et de leurs attentes est essentielle pour exercer les bons choix quant à la qualité et au niveau des services. Le recours aux unités administratives de soutien facilite le travail des gestionnaires et l’information obtenue est profitable à l’ensemble de l’organisation. D’un autre côté, la connaissance « de terrain » des particularités de la clientèle que peuvent avoir les gestionnaires et leur équipe s’ajoute à la connaissance des clientèles et de leurs attentes.

iii- LES ENGAGEMENTS EN MATIERE DE PRIORITES, D’OBJECTIFS ET DE CIBLES STRATEGIQUES (PLANIFICATION STRATEGIQUE)

La Loi sur l’administration publique prévoit qu’un plan stratégique est déposé à l’Assemblée nationale (Canadienne). Ce plan découle de la démarche de planification stratégique que réalisent toutes les organisations et qui constitue un exercice d’engagement collectif auquel tous les membres participent. Le plan stratégique doit comporter (art. 9, loi sur l’administration publique Canadienne) : • une description de la mission du ministère ou de l’organisme ; • le contexte dans lequel évoluent le ministère ou l’organisme et les principaux enjeux auxquels il fait face ; • les orientations stratégiques, les objectifs et les axes d’intervention retenus ; • les résultats visés au terme de la période couverte par le plan ; • les indicateurs de performance utilisée pour mesurer l’atteinte des résultats ; • tout autre élément déterminé par le Conseil du trésor.

Les orientations retenues et les objectifs pluriannuels fixés sont cohérents avec les orientations et le cadre financier gouvernementaux.

iv- LES ENGAGEMENTS SUR LA REPARTITION DES RESSOURCES La Loi sur l’administration publique Canadienne prévoit que les ministères et les organismes préparent leur plan annuel de gestion de dépenses dans le contexte de la préparation du budget de dépenses. Ce document sert à expliquer les choix budgétaires par rapport aux objectifs stratégiques.

v- LE PLAN ANNUEL DE GESTION DE DEPENSES PRESENTE NOTAMMENT • les choix budgétaires arrêtés par l’Assemblée nationale ; • la répartition du budget pour chacune des orientations du plan stratégique ; • l’information sur les évaluations de programmes complétées, en cours et envisagées pour la prochaine année ; • l’information pertinente au regard du budget, utile à la reddition de comptes et explicitant notamment la mission et les créneaux d’activités.

vi- LES PLANS D’ACTION Bien que leur préparation ne soit pas prévue par la Loi sur l’administration publique Canadienne, les plans d’action sont essentiels pour toute organisation qui souhaite réaliser son plan stratégique et atteindre ses objectifs. Le ministère ou l’organisme doit ainsi traduire les orientations stratégiques en actions annuelles tout en considérant que certaines activités peuvent s’échelonner sur une période plus longue. Les plans d’action portent sur tous les aspects de l’organisation, découlant tant des objectifs de la planification stratégique que de la réalisation des activités courantes, et touchent la direction, voire l’ensemble de l’organisation, ou ont une portée limitée à une ou à plusieurs unités administratives. Les plans d’action précisent : • les orientations et les préoccupations de gestion ; • les objectifs spécifiques, les cibles annuelles et les indicateurs de mesure appropriés (rattachés aux objectifs du plan stratégique et aux activités courantes); • les étapes à franchir et les activités à réaliser ; • les ressources disponibles et leur répartition ; • les responsables de la mise en œuvre et du suivi des différentes activités ; • les partenaires, publics ou privés, et leur contribution ; • l’échéancier.

vii- LES ATTENTES SIGNIFIEES CONVENUES AVEC LES PERSONNES La signification des attentes s’effectue en continuité avec la mise en œuvre des plans d’action. Les attentes tiennent compte des mandats de l’employé, de ses tâches, du développement de la compétence et de l’expertise, du soutien, du suivi et des critères d’appréciation du rendement.

Elles définissent, notamment, la contribution des employés à l’atteinte des objectifs et des résultats de l’organisation. II-4-2 RÉALISER Alors que la planification constitue une opération limitée dans le temps, la prestation des services est continue. La réalisation comprend la mise en œuvre et le suivi des plans. Cette phase est sans doute la plus difficile à mener à terme. Les changements, les imprévus, les urgences et les contingences perturbent la réalisation des plans. En outre, cette phase de la gestion axée sur les résultats prend toute sa signification au moment de la reddition de comptes en raison de son apport considérable à l’atteinte des résultats.

i- LA MISE EN OEUVRE DES PLANS C’est à travers la mise en œuvre des plans stratégique et d’action que les membres de l’organisation voient si leurs choix de gestion permettent d’atteindre les objectifs et les résultats fixés. Les liens entre l’exercice de planification et la prestation de services se matérialisent au cours de l’exercice.

ii- LE SUIVI A L’AIDE D’INDICATEURS En cours d’exercice, la mesure à l’aide d’indicateurs permet de suivre la progression des activités vers l’atteinte des résultats. Les données obtenues périodiquement au moyen des indicateurs permettent de modifier les activités lorsque l’atteinte des résultats est compromise ou de revoir les cibles choisies, s’il y a lieu. Les indicateurs mesurent différents paramètres des activités et des résultats et sont utilisés pour répondre aux besoins de gestion. Les principaux indicateurs sont généralement groupés dans des tableaux de bord qui facilitent la visualisation des paramètres de suivi des activités et des résultats.

iii- RENDRE COMPTE La reddition de comptes est l’obligation de répondre de l’exercice d’une responsabilité qui a été conférée au ministère ou à l’organisme. La reddition de comptes démontre l’adéquation entre la mission, le plan stratégique, les obligations législatives, les capacités organisationnelles et les résultats atteints. Des explications accompagnent les résultats afin de mettre en contexte ce qui aura permis de les atteindre ou de les dépasser ou, au contraire, ce qui aura empêché de les atteindre.

iv- L’EVALUATION DES RESULTATS L’évaluation des résultats détermine le degré d’atteinte des objectifs et des cibles. Les indicateurs associés aux objectifs et aux cibles des différents plans sont utilisés pour mesurer et évaluer les résultats et pour apprécier la performance. Les unités administratives de soutien, dans les domaines de la vérification interne, de l’évaluation de programme, de l’analyse financière, de la gestion du rendement, de l’acquisition du matériel, des systèmes informatisés, des opérations et autres, peuvent assister les gestionnaires et la direction, grâce à leur expertise, en réalisant des évaluations pour l’organisation dans son ensemble.

v- UNE REDDITION DE COMPTES A L’INTERNE SUR LA PERFORMANCE DE L’ORGANISATION

L’évaluation des résultats et l’appréciation de la performance de l’organisation sont, dans un premier temps, présentées à l’interne. Des bilans peuvent être élaborés pour consigner les résultats et les évaluations. Ces bilans serviront à alimenter la reddition de comptes externe et à justifier les changements qui devront être apportés.

vi- LA REDDITION DE COMPTES EXTERNE ET LA COMMUNICATION DES RESULTATS Au Québec, la Loi sur l’administration publique prévoit que les ministères et organismes qui reçoivent des ressources de l’État doivent en rendre compte à la population et aux parlementaires. C’est la reddition de comptes externe. La reddition de comptes s’effectue au moyen de la publication d’un rapport annuel de gestion. Elle est complétée par des discussions entre un ou une sous-ministre ou un dirigeant ou une dirigeante d’organisme et des parlementaires (sans que la présence du ou de la ministre responsable ne soit nécessaire). La reddition de comptes devant une commission parlementaire porte notamment sur la gestion administrative et sur les résultats obtenus par rapport aux aspects administratifs du plan stratégique, du plan annuel de gestion des dépenses, de la déclaration de services aux citoyens et du rapport annuel de gestion (art. 29 de la Loi de l’administration publique canadienne).

vii- LE RAPPORT ANNUEL : • présente une déclaration du ou de la sous-ministre ou du dirigeant ou de la dirigeante d’organisme sur la fiabilité des données contenues dans le rapport et des contrôles afférents ; • fait état des résultats atteints par rapport aux objectifs prévus dans le plan stratégique et le plan annuel de gestion des dépenses ; • indique tout autre élément déterminé par le Conseil du trésor ; • fait état du degré de réalisation des engagements contenus dans la déclaration de services aux citoyens. II-4-3 APPRENDRE ET S’ADAPTER Tous les membres de l’organisation prennent en compte les nouvelles connaissances acquises (apprentissage) à partir des résultats obtenus et des changements qui ont été apportés aux programmes ou à la prestation des services, ou qui proviennent de l’évolution de l’environnement. Cet apprentissage sert à réviser le contenu des plans subséquents de même que les façons de faire pour mieux répondre aux attentes des citoyens (adaptation). En pratique, l’apprentissage est acquis en cours d’exercice. Il peut être pris en compte et intégré, avant la fin de la période, et être exposé au cours de la reddition de comptes. Cette phase n’étant pas encadrée par un processus formel, sa mise en œuvre et son degré de réalisation pourront être très variables selon les besoins et les circonstances.

II-5 LA METHODE

Elle est, tout d’abord, un outil de conception et de gestion basé sur la planification. Elle s’appuie pour ce faire sur un ensemble d’objectifs, d’activités, d’extrants, de résultats et de mesures clairement définis. Ces différentes notions, au cœur de la GAR, sont explicitées dans les sections suivantes.

- Elle permet de prévoir et de gérer les risques et hypothèses. - Elle garantit que le projet est réaliste et durable « dont les activités et tâches

correspondent aux capacités et disponibilités réelles de ses acteurs, qui tienne réellement compte des contraintes extérieures et des risques et impondérables/imprévisibles et dont la durabilité des impacts et/ou la poursuite soient garanties ».

- Elle contribue à avoir une vision claire des objectifs d’un projet et de savoir dans quelle mesure ces objectifs sont atteints.

II-5-1 DESCRIPTION DE LA MÉTHODE A/ÉTAPES METHODOLOGIQUES On distingue trois phases qui chacune se décline en différentes étapes. La première phase est celle de l’information, de l’identification et du diagnostic. La deuxième phase est celle de la planification, de l’élaboration et de la formulation et la phase trois réside sur une mise en œuvre et un suivi -évaluation des rendements. A-1 IDENTIFICATION/DIAGNOSTIC/INFORMATION La phase d’identification, diagnostic, information consiste à s’informer, identifier et analyser les situations problématiques et proposer des solutions de changements.

i- COLLECTE D’INFORMATIONS SUR LE RENDEMENT Le suivi-évaluation doit examiner le cadre de mesure de rendement déjà élaboré et doit pouvoir répondre aux questions suivantes : • Les activités et moyens ont-ils permis d’atteindre les résultats escomptés ? Il s’agit de vérifier l’efficience du projet. • Les résultats ont-ils favorisé l’obtention des objectifs ? Il s’agit de vérifier l’efficacité du projet. • La stratégie choisie a-t-elle permis d’atteindre concrètement les résultats et objectifs ? Il s’agit de vérifier la pertinence du projet. • Le contexte institutionnel, politique, social, organisationnel du projet a-t-il favorisé sa réussite ? Il s’agit d’analyser les résultats par rapport aux hypothèses/risques. Les informations collectées permettront de faire des propositions pour l’avenir et feront l’objet d’un rapport. Des rapports d’étapes doivent notamment décrire les résultats réels obtenus pendant la période couverte à chaque niveau de la chaîne des résultats ainsi que les écarts entre les résultats prévus et réels en expliquant la situation et en expliquant comment gérer les enjeux qui interviennent en raison de ces écarts. Les rapports d’étapes fournissent l’occasion : • de faire le point sur les réalisations,

• d’analyse des défis auxquels faire face, • et d’adapter les stratégies en vue d’atteindre les objectifs.

ii- OUTILS DE CONNAISSANCE ET DIFFUSION DE L’INFORMATION Les outils de connaissance peuvent prendre de nombreuses formes différentes selon leurs destinataires et leurs exigences spécifiques en matière d’information. Afin de permettre un apprentissage et un partage d’information riches, les outils de connaissance doivent se caractériser par une haute qualité et être conçus pour un public et une finalité clairement identifiés. Les caractéristiques d’un bon outil de connaissance, y compris d’une publication appropriée. Ne pas perdre de vue ces caractéristiques avant l’analyse préliminaire ou la préparation d’un outil de connaissance, permet d’organiser les informations de manière claire et ordonnée.

iii- ÉTAPES PRATIQUES DE LA CRÉATION ET DE LA DIFFUSION D’OUTILS DE CONNAISSANCE

La diffusion est aussi importante que la création d’outils de connaissance. Seul un système de diffusion efficace garantira que les destinataires cibles recevront les données de suivi et d’évaluation répondant de manière pertinente à leurs besoins. Les modes de diffusion les plus couramment appliqués aux produits de suivi et d’évaluation sont : les rapports imprimés, les copies au format HTML ou PDF des produits, partagées sur les sites Internet internes et externes, envoyées par courrier électronique et via les listes de diffusion, et fournies sur CD-ROM. Les médias peuvent représenter un partenaire de poids pour diffuser les résultats, recommandations et enseignements issus de l’évaluation. Dans bon nombre de pays, ils ont en effet joué un rôle déterminant en plaidant pour davantage de transparence et en abordant des sujets sensibles. Vous trouverez ci-dessous les étapes pratiques de la création et de la diffusion d’outils de connaissance issus du suivi et de l’évaluation.

iv- IDENTIFIER LES PUBLICS CIBLES ET LEURS BESOINS EN MATIERE D’INFORMATION, Certains des publics cibles communément identifiés pour les rapports d’évaluation et les outils de connaissance sont les suivants :

- Collaborateurs de l’organisation au sein des bureaux Pays et des autres entités ; - Homologues gouvernementaux susceptibles d’être directement impliqués, ou non

directement impliqués dans le projet soumis à évaluation, mais pouvant faciliter les changements de politiques recommandés par l’évaluation ou soutenir l’action d’une organisation au niveau de leur pays respectif ;

- Partenaires de développement, autres organismes des Nations unies, ONG, instituts universitaires et de recherche

- Autres réseaux d’évaluateurs (par exemple, une association nationale d’évaluation)

Les personnes chargées du partage et de la diffusion des connaissances doivent évaluer les besoins des différents groupes en matière d’information, y compris dans les cas où l’information se révèle très précieuse et pourrait servir “d’agent de change”. Par exemple, les homologues

gouvernementaux peuvent trouver certaines données d’une évaluation particulièrement utiles pour éclairer des décisions politiques essentielles. Lors de la planification d’une procédure de suivi et d’évaluation, l’entité adjudicatrice du mandat d’évaluation doit savoir quand une Fondé sur une évaluation des besoins et sur une demande de l’outil en question parmi les utilisateurs ciblés, afin de garantir la pertinence, l’efficacité, l’utilité et la valeur ajoutée du produit conçu pour un public spécifique, en tenant compte des besoins fonctionnels et des niveaux de connaissances et compétences techniques Répondant avec pertinence aux exigences décisionnelles disponible en temps opportun rédigé dans un langage clair et facilement compréhensible.

v- PRESENTATION CLAIRE DES INFORMATIONS Fondé sur les données factuelles issues de l’évaluation, sans aucun parti pris élaboré, le cas échéant, au moyen d’un processus participatif et validé par le biais d’un processus d’assurance qualité avec les parties prenantes intéressées, facilement accessible pour le public cible via les moyens les plus efficaces et efficients ; Cohérence dans la présentation des outils afin d’optimiser la visibilité et l’acquisition de connaissances

vi- COLLECTER LES DONNEES DE CONTACT DES PARTIES PRENANTES Le succès de toute initiative de diffusion dépend largement des données de contact des destinataires collectées durant les procédures de suivi et d’évaluation. Par exemple, les membres de l’équipe d’évaluation rencontrent les principales parties prenantes et leurs homologues nationaux, qui représentent, quel que soit leur degré d’implication dans l’évaluation, un public essentiel, et doivent par conséquent être informés des résultats de cette évaluation. Les données de contact de ces personnes doivent être recueillies par l’équipe d’évaluation, et transmises aux personnes chargées de la diffusion et du partage de l’information.

iv- DETERMINER LE TYPE DE PRODUITS REPONDANT AUX BESOINS D’INFORMATION DES PUBLICS CIBLES

Au-delà de la publication d’informations issues des rapports de suivi et d’évaluation réguliers, il est possible de créer différents types d’outils de connaissance afin de répondre aux exigences d’information des différents groupes. Une évaluation systématique des besoins et de la demande d’outils spécifiques parmi les publics cibles, peut être conduite afin de garantir la pertinence et la valeur de ces outils. Vous trouvez ci-dessous quelques exemples de supports de communication et de produits d’évaluation.

v- RAPPORT D’ACTIVITE : Les rapports d’activité doivent inclure un résumé certes succinct, mais complet et riche en information. Ce résumé peut être utilisé comme outil indépendant afin d’élargir le lectorat. Ils se présentent de la manière suivante :

- Une introduction (date, heure, lieu, dirigeant, objet de l’activité, ordre du jour etc.) - Les activités réalisées - Les activités non réalisées

- Les difficultés rencontrées - Les moyens de réalisation - Les recommandations - Conclusions.

vi- DOSSIER D’ACTIVITE

Ce document constitue une version non technique du résumé, comprise entre trois et cinq pages, et destinée à stimuler l’intérêt du lecteur sans le submerger d’informations. Le Guide de publication du Bureau de l’évaluation fournit des conseils sur la manière de rédiger des dossiers d’évaluation dans un langage courant.

vii- NOTICE D’ACTIVITE Il s’agit d’un descriptif d’un paragraphe, conçu pour accroître la visibilité du contenu publié et signaler la publication du rapport sur la page Web, par courrier électronique et via les listes de diffusion. Il ressort de la responsabilité de chaque organisation de veiller à ce que des outils de connaissance pertinents et de haute qualité soient créés dans des délais opportuns. Afin de préserver l’intégrité et l’exactitude des données d’évaluation, les entités adjudicatrices du mandat d’évaluation peuvent envisager d’intégrer la création de ces outils de connaissance dans le cahier des charges des évaluateurs.

viii- IDENTIFIER LES EXIGENCES LINGUISTIQUES EN FONCTION DES OUTILS ET DES PUBLICS

Afin d’optimiser l’impact du partage et de la diffusion de l’information, les outils de connaissance doivent être traduits en langue locale, dans la mesure du possible. Lorsque les ressources sont limitées, l’entité ayant commandé l’évaluation détermine les exigences linguistiques selon les outils de connaissance et les groupes cibles. Au minimum, le dossier d’évaluation doit être dans certaines circonstances, exemple le PNUD et ses partenaires sont susceptibles de publier des rapports de suivi ‘tel que’, en raison de leur caractère interne. Afin d’assurer un large partage de l’information, l’organisation peut être amené à extraire des données essentielles de ces documents, et à les mettre sous une forme permettant leur diffusion. En ce qui concerne l’évaluation, Exemple : la politique du PNUD exige que tous les rapports d’évaluation soient rendus publics.

ix- OPTIMISER L’EXPLOITATION DES INFORMATIONS Traduit dans la langue locale la plus utilisée. Par ailleurs, le registre de langue utilisé lors de la rédaction de l’outil doit correspondre au niveau de connaissances et de compétences techniques du public visé. Il convient ainsi d’éviter le jargon spécialisé et le recours excessif aux acronymes.

x- DETERMINER LES SUPPORTS ET MODES DE DIFFUSION EFFICACES SELON LES OUTILS DE CONNAISSANCE ET PRODUITS

La plupart des rapports et outils de connaissance peuvent faire l’objet d’un partage sous forme électronique. Afin d’accroître l’efficacité en termes de délais et de coûts, les pages Web publiques et la liste de diffusion électronique de l’organisation doivent être utilisés stratégiquement comme supports et modes de diffusion. Par exemple, les rapports d’évaluation doivent être publiés sur les sites Web internes et externes du PNUD, et assortis d’une notice résumant les principales informations du rapport. Par ailleurs, le partage de l’information issue du suivi et de l’évaluation passe largement par son intégration dans les rapports et publications existants, tels que les rapports annuels des bureaux Pays ou d’autres rapports importants, brochures et lettres d’information.

xi- SUIVRE LE RETOUR D’INFORMATION ET MESURER LES RESULTATS DES INITIATIVES DE DIFFUSION

Il convient d’assurer le suivi du retour d’information et des mécanismes de partage des connaissances, afin de vérifier l’efficacité de la stratégie de diffusion et la qualité d’outils de connaissance. Outils et réseaux dédiés au partage des données d’évaluation séance donnés. Par exemple, le PNUD peut conduire une brève enquête auprès des destinataires des outils de connaissance ou mettre en place une section sur son site Web dans laquelle les utilisateurs auront la possibilité de fournir leurs commentaires directement en ligne. L’analyse du retour d’information doit s’articuler autour des questions suivantes par exemple :

- dans quelle mesure les données de suivi et d’évaluation ont été exploitées dans la programmation et la prise de décision au sein et au-delà du PNUD ? ;

- Ces données ont-elles été rendues disponibles dans des délais opportuns permettant d’influencer efficacement les processus décisionnels ? ;

- Les outils de connaissance ont-ils atteint un public direct et indirect de manière efficace et étaient ils facilement accessibles ? ; Le public a-t-il jugé ces outils utiles ? ;

- Si non, pour quelles raisons? - Qu’est-ce qui peut être amélioré lors de la prochaine initiative de diffusion ?

Les acquis de l’expérience doivent être intégrés dans les futures initiatives de partage et de diffusion des données d’évaluation, afin que les évaluations d’une organisation demeurent pertinentes et continuent de contribuer à l’apprentissage interne et à l’enrichissement d’une base de connaissances mondiale en matière de développement.

xii- IDENTIFICATION DES PROBLEMES ET DES BESOINS

Il s’agit, en premier lieu, d’identifier une situation négative et de l’analyser avec les acteurs concernés. Pour ce faire, on peut utiliser un arbre à problèmes inspiré de la méthode de planification d’interventions par objectif (PIPO). Dans le cadre de la GAR, l’analyse des problèmes se fait à plusieurs niveaux. On débute par l’identification du problème central suivie d’une analyse des causes et sous-causes de celui-ci. Viennent s’y ajouter les conséquences négatives du problème central. Ce dernier doit être relativement précis et constituer une priorité aux yeux du groupe cible bénéficiaire

Schéma d’arbre des problèmes (exemple)

xiii- IDENTIFICATION ET FORMULATION DE LA VISION POSITIVE Il s’agit subséquemment de proposer des solutions au problème. Diverses questions peuvent alors se poser concernant la capacité des partenaires locaux de mettre en œuvre la solution : dans quelle mesure cette mise en œuvre exige un renforcement des capacités des partenaires locaux ; des obstacles existent-ils quant à la mise en place des solutions ? Ces questions permettent de cerner le contexte et le bien-fondé du projet.

Racines (causes) en dessous du

tronc

Faible participation électorale des femmes et des

populations autochtones

Branches (effets) au-dessous du

tronc

Manque de confiance et faible participation du public dans le processus locaux et nationaux de

prise de décision et de gouvernance (Tronc d’arbre)

Normes sociales et pratiques culturelles

empêchant la participation des

groupes autochtones et des minorités aux

processus publics de prise de décision

Manque de confiance et faible participation du public dans les

systèmes et les processus électoraux notamment parmi les femmes, les populations autochtones et autres

groupes marginalisés

Les femmes, les populations

autochtones et d’autres groupes ne

connaissent pas leurs droits ni les responsabilités de

l’Etat

Droit, systèmes et processus électoraux qui privent les citoyens de leurs droits de

représentation Déficit des capacités

d’administration en ligne dans les institutions étatiques

Lois électorales absolues

Capacité médiocres des organisations

administrant les élections

Absences de consensus entre les partis politiques sur la nécessité de reformes les lois électorales

Investissement inadéquat dans l’administration en ligne

Faible sensibilisation au potentiel de l’administration en ligne

Faible respect des politiques publiques

de la part des citoyens

Revenus publics inadaptés à l’investissement dans le

developpement social

Recettes fiscales des pouvoirs

publics inadéquates

Ouvertures et canaux inadéquats pour la participation des

citoyens à la prise de décision en lien avec les

politiques publiques

Schéma cadre de résultats de base (exemple)

Cadre de résultat (exemples)

Tableau 6. Le cadre de résultats Résultats Indicateurs Point de

référence Cible Moyens de

vérification Risques et hypothèses

Énoncé d’impact (Bénéfices finaux pour la population ciblée)

Mesure des progrès par rapport à l’impact

Hypothèses formulées de la réalisation jusqu’à l’impact. Risque de ne pas parvenir à l’impact

Énoncé de la réalisation (Changement à court et A moyen terme dans les conditions du développement)

Mesure des progrès par rapport à la réalisation

Hypothèses formulées des produits jusqu’à la réalisation. Risque de ne pas parvenir à l’effet.

Produits (Produits et services tangibles / intangibles - fournis ou exécutés)

Mesure des progrès par rapport au produit

Hypothèses formulées des activités jusqu’aux produits. Risque de ne pas parvenir aux produits.

Activités (Tâches entreprises pour obtenir les produits de recherche)

Jalons ou cibles clés pour l’obtention de produits

Conditions préalables à la mise en oeuvre des activités.

La chaine de résultat

Hausse de l’investissement dans le développement social

Hausse des revenus publics pour l’investissement dans le développement social

Hausse des recettes fiscales

des pouvoirs publics

Respect attentif des politiques publiques de la part des citoyens

Forte participation Électorale parmi les

Femmes et les populations autochtones

Grande confiance et forte participation du public dans les

processus locaux et nationaux de gouvernance et de prise de décision

Grande confiance et forte participation du public dans les processus et les systèmes électoraux, notamment parmi les femmes, les populations autochtones et les autres groupes marginalisés

Ouvertures et canaux permettant la participation des citoyens aux prises de décision en lien avec

les politiques publiques

Rôle accru des

organisations de la

société civile dans la

supervision des

Droit et systèmes électoraux modernisés afin de favoriser une

plus forte participation des citoyens aux élections

Développement et renforcement des

capacités d’administration en ligne dans

les institutions étatiques clés

Hausse de l’investissement dans l’administration

en ligne

Sensibilisation accrue sur le potentiel de

l’administration

Les femmes, les populations

autochtones et les autres groupes

connaissent leurs droits et les responsabilités de

l’État

Lois électorales

modernisées

Renforcement de l’efficacité et de

l’indépendance des autorités administrant

les élections

Consensus entre les partis politiques sur la nécessité

de réformer les lois

Nombre accru de centres

électoraux, et notamment

dans

Campagnes de formation

du public

Programme de plaidoyer et de

sensibilisation à destination des partis

politiques

Comment ? Que voulons-nous ? Pourquoi ?

RESSOURCES Les moyens financiers, humains et

matériels utilisés pour l’action de développement

ACTIVITÉS Les actions entreprises dans le cadre desquelles les ressources sont mobilisées pour obtenir des produits spécifiques

PRODUITS Les produits, équipements ou services qui résultent de l’action de développement

EFFETS Les effets à court et à moyen terme des produits de l’action de développement. Les changements dans les conditions du développement

IMPACT Les changements effectifs ou escomptés dans le développement humain, mesurés par le bien-être des individus. Les améliorations dans la vie des individus

Ressources Résultats

PLANIFICATION

MISE EN OEUVRE

Exemple de cadre résultats

xiv- ANALYSE DES ACTEURS ET IDENTIFICATION DES BENEFICIAIRES L’analyse des acteurs (groupes cibles, bénéficiaires et intervenants) concernés impose de les citer selon les catégories auxquelles ils appartiennent, les établir en fonction de leurs domaines d’intervention, leurs compétences et leurs apports. Il faut spécifier les acteurs institutionnels que sont les instances locales, les délégations ministérielles, etc., et les groupes cibles, bénéficiaires futurs du changement. Trois recommandations appuient l’identification des bénéficiaires : • Déterminer leur catégorie : femme, homme, enfant, etc. ; • Définir leur nombre et leur situation socio-économique. • Connaître leurs propensions à contribuer à résoudre le problème identifié (leurs disponibilités en temps et en financement) Il est aussi important de classifier les acteurs en trois catégories de participant :

• Participant Primaire Ils sont les cibles de l’activité (bénéficiaires)

• Participant secondaire Ce sont les structures de mobilisation sociale (association, partie politique, confession religieuse, entreprise, institution du gouvernement, organisme international etc.)

• Participant tertiaire Il s’agit des personnes ressources ou leaders des instances identifiés Exemple : D’après les informations que nous avons reçues, le taux de mortalité des enfants de 0 à 10 ans est très élevé au sein de notre localité, vu notre vocation, étant une organisation de développement nous décidons de réduire le taux de mortalité des enfants dû au paludisme. Identifions les participants concernés Participant primaire(Cible) : Les enfants de 0 à 10 ans Participant secondaire : Conscient qu’il soit important d’être accompagné par une organisation de mobilisation sociale pour ce faire nous identifions l’association « stop malaria » comme la participante secondaire. Participant tertiaire : Pour prendre contact avec l’association « stop malaria »nous devons aller à l’encontre de son responsable qui est le participant tertiaire.

xv- IDENTIFICATION DES ACTIONS ET INFLUENCES ATTENDUES DES PARTICIPANTS SECONDAIRES ET TERTIAIRES

Une fois identifié les participants concernés, il est important d’attribuer à tout un chacun un rôle, une tache bien définies, bref l’identification des actions et influences permet de connaitre ce qu’on attend de chaque acteurs, de savoir : Que doit-on faire ? Avec qui ? Qui doit faire quoi ? Comment ?

xvi- ANTICIPATION DES PROBLEMES Les évaluations peuvent aider à éviter certains problèmes et fournissent un point de vue indépendant sur les problèmes existants. Il est préférable de choisir d’évaluer des effets dont la réalisation risque de poser des problèmes, ou des complications, parce qu’il s’agit de domaines délicats et qu’un nombre important de partenaires est concerné.

xvii- DETERMINATION DES HYPOTHESES ET ANALYSE DE RISQUE Les hypothèses indiquent les conditions nécessaires qui doivent exister si l’on veut que les relations de cause à effet entre les niveaux de résultats fonctionnent. Elles représentent les conditions positives externes et internes importantes dans l’atteinte des résultats du projet. Les risques sont les facteurs négatifs externes et internes qui affectent la bonne atteinte des résultats du projet. Cela revient à déterminer le risque que certaines hypothèses déterminées soient fausses. Dès lors, chaque fois qu’est définie l’existence d’une hypothèse pour la réussite d’un projet, il faut analyser le risque qu’elle soit absente. Des facteurs de risques internes peuvent être : la capacité en matière de ressources humaines, la transparence, la structure d’autorité, etc. Des facteurs de risque externes peuvent être politiques, économiques, sociaux ou encore techniques. Les hypothèses et les risques doivent être définis pour chaque niveau de résultats. CADRE DE SUIVI DES RISQUES

Facteur de risque

Indicateur de risque

Sources d’information

Méthode de la collecte des données

Fréquence de la collecte

Responsable de la collecte

Le risque serait plus faible au cours du passage de l’activité à l’extrant, moyen en passant de l’extrant à l’effet et élevé pendant le passage à l’impact. Les hypothèses prévues au niveau de la réalisation des activités ont plus de chance de se réaliser que celles qui relient l’effet à l’impact. L’ACDI affirme que « plus on avance dans le cadre du rendement, moins on a de contrôle sur ces facteurs externes, et la capacité de contrôler efficacement les risques devient de plus en plus difficile ». L’analyse des risques suppose d’identifier ceux qui menacent le plus le projet et pour lesquels il faudra élaborer une stratégie d’atténuation qui correspond aux efforts additionnels à déployer pour amoindrir la probabilité qu’un risque se concrétise et/ou en réduire les répercussions sur le projet si toutefois il se réalisait.

Un cadre de suivi des risques peut aider à intégrer le suivi des risques au fonctionnement du projet et à garantir que les ressources indispensables sont consacrées à la mise en œuvre de la stratégie d’analyse des risques. Un cadre de suivi des risques insère les facteurs de risque identifiés, les indicateurs de risque, les sources d’information, les méthodes de collecte de données, la fréquence de la collecte ainsi que les personnes chargées de recueillir l’information. A-2/PLANIFICATION /ÉLABORATION/FORMULATION DE LA LOGIQUE D’INTERVENTION La phase de planification/élaboration/formulation de la logique d’intervention Consiste à analyser, élaborer, formuler et choisir des stratégies d’intervention qui feront l’objet de mise en oeuvre et programmation.

i- DEFINITION DES INDICATEURS ET ELABORATION DU CADRE DE MESURE DE RENDEMENT

La détermination des « mesures du cadre de rendement » au niveau de la GAR, correspond à la détermination des Indicateurs par Objectif Visé au niveau de la matrice du cadre logique. Un cadre de mesure de rendement se compose d’indicateurs, de sources de vérification, de la méthode de collecte d’informations, de la fréquence de cette collecte des données et enfin de la responsabilité de la mesure. Les indicateurs de rendement sont des « mesures qualitatives ou quantitatives des ressources utilisées, de l’ampleur du rayonnement et des retombées sur le plan du développement » Il faut définir des indicateurs pour chaque niveau dans la chaîne des résultats : impact, effet et extrant. Il peut s’agir d’indicateurs techniques (formations, etc.), d’indicateurs économiques (revenus, crédits, commercialisation, etc.), d’indicateurs de fonctionnement ou d’organisation qui permettent de suivre la capacité de gestion de l’action et/ou encore d’indicateurs sociaux qui permettent de suivre les effets positifs de l’action sur les bénéficiaires et leur environnement. L’élaboration des indicateurs nécessite des objectifs et résultats attendus clairement définis dans un lien de causalité et non susceptibles d’interprétation. Pour sélectionner les indicateurs de rendement, il est conseillé de constituer une liste exhaustive. Ensuite, parmi cette liste d’extraire les indicateurs les plus pertinents, qui répondent le mieux aux critères de : • Validité : mesure-t-il le résultat ? • Sensibilité : lorsque le résultat change, est-il sensible à ce changement ? • Fiabilité : est-ce une mesure uniforme dans le temps ? • Simplicité : sera-t-il facile de recueillir et d’analyser l’information ? • Utilité : l’information sera-t-elle utile à la prise de décision et à l’apprentissage ? • Abordabilité : le projet a-t-il les moyens de recueillir l’information ? L’approbation des indicateurs choisis doit se faire en concertation avec tous les acteurs. La phase suivante, une fois les indicateurs choisis, consiste à déterminer les sources de vérification qui sont des supports d’information permettant de vérifier les indicateurs. Une source

d’information peut être un document écrit, visuel, etc. l’observation directe constitue également une source de vérification puisqu’elle permet d’observer l’évolution des indicateurs sur le terrain. La façon de se fournir les informations peut tenir en des fiches de suivi, groupes de discussion, sondages, témoignages, etc. Il faut ensuite, d’une part, estimer la fréquence de collecte de l’information (mensuelle, trimestrielle, semestrielle, annuelle,…) et d’autre part, définir les responsabilités de chacune des tâches (qui s’occupe de la collecte, de l’analyse des informations ou des prises de décisions ?). Il est recommandé, à ce stade de tenir compte du rayonnement. Le rayonnement est un concept important dans la GAR. Il a pour but « de faire ressortir la dimension humaine des résultats du projet » Il décrit les bénéficiaires de l’atteinte de l’impact, des effets et des extrants prévus. En progressant dans la chaîne de résultats, le rayonnement devient plus difficile à évaluer. L’ACDI identifie quelques questions clés pour déterminer le rayonnement du projet : • Qui sont les bénéficiaires directs et indirects de l’atteinte des résultats à chaque maillon de la chaîne ? • Combien de personnes sont susceptibles de bénéficier du projet ? Combien de bénéficiaires sont des femmes et combien sont des hommes ? Combien d’entre eux sont des enfants, des jeunes, des adultes et des personnes âgées ? Combien vivent dans des régions rurales, urbaines ou périurbaines? • Quelles sont les principales caractéristiques de ces personnes ? Comment les décririez-vous en termes de situation économique, sociale, culturelle, religieuse, scolaire ou physique ? Sont-elles victimes de conflits, de catastrophes naturelles ou d’origine humaine ? Sont-elles déplacées ou aux prises avec l’insécurité alimentaire ? • Comment le projet va-t-il toucher les populations bénéficiaires ? Quels sont les effets positifs et négatifs sur ces dernières ? Certaines méthodes de collecte des données nécessitent d’élaborer certains outils. Il est, par exemple, nécessaire de préparer des questionnaires si l’on choisit la méthode de sondage. Les questions suivantes sont utiles pour déterminer les responsabilités: Comment partagerez-vous les responsabilités et affecterez-vous les ressources nécessaires à l’atteinte des résultats ? Qui est responsable de l’atteinte de quels résultats ? Quelles sont les ressources nécessaires à la mise en œuvre ? Quelle est la contribution que l’on attend de chaque partenaire d’exécution ? Un cadre de mesure de rendement reprend les différents éléments abordés dans cette section et se présente de la manière suivante :

ii- CADRE DE MESURE DU RENDEMENT

CADRE DE MESURE DU RENDEMENT Indicateurs

de rendement ;

Sources de vérification ;

Méthode de collecte des informations ;

Fréquence Responsabilités ;

Impact ;

Effets ;

Extrants ;

Activités ;

Rayonnement ;

Ressources Au préalable, une matrice des extrants et des activités, outil de planification, peut être élaborée afin de préciser la stratégie d’exécution. Elle permet de réduire le risque d’oublier une étape essentielle à la réalisation du projet. Elle aide également à constituer le budget du projet en déterminant les intrants indispensables pour exécuter chacune des tâches.

iii- MATRICE DES EXTRANTS ET ACTIVITES

MATRICE DES EXTRANTS ET ACTIVITES Effets/extrants/ activités

Intrants Responsabilité ;

Actions précises nécessaires

Ressources.

Les intrants sont le personnel, le matériel, l’équipement, les frais de déplacement, les salles de réunion, la traduction, les indemnités journalières, etc. La GAR repose sur une chaîne de résultats qui peut être parcourue de la manière suivante : On réalise des activités grâce aux ressources disponibles. Les activités produisent des résultats immédiats « extrants » qui permettent d’effectuer le changement « effet » grâce à l’utilisation de ces « extrants ». Si l’on atteint l’effet, c’est que les résultats intermédiaires sont atteints. Celui-ci contribuant à son tour, à l’atteinte des résultats finaux. Cette relation de cause à effet entre les différents éléments constitue une logique d’intervention appelée « cadre logique axé sur les résultats » ou « cadre logique d’intervention ». Il présente un format assez semblable au cadre logique utilisé plus communément dans la gestion de cycle de projet.

iv- PLANIFICATION : DEFINITION DU CADRE DE RENDEMENT Le cadre de rendement permet d’élaborer le projet en exposant les intervenants à une suite de questions • Quel est le but du projet ? • Quels résultats à atteindre en fonction des ressources investies ? • Quels seront les bénéficiaires du projet ? • Quelle est la manière la plus adéquate pour la mise en œuvre du projet ? Le groupe cible désigne le type et la catégorie de l’ensemble de la population ciblée par le projet. Les bénéficiaires directs sont ceux à qui le projet profite directement. Ils font partie des groupes cibles. Les bénéficiaires indirects font également partie du groupe cible. Soit ils profitent également du projet d’une façon indirecte, soit ils en subissent les retombées. Sur cette base, le cadre de rendement exprime une chaîne de résultats qui sert à clarifier les liens existants entre les diverses activités. La chaîne indique le parcours d’une situation actuelle vers une vision de changement à atteindre: a) RESSOURCES/MOYENS : Ce que le projet investit b) ACTIVITES : Quoi et comment le travail du projet est réalisé c) RESULTATS IMMEDIATS « EXTRANTS » : Biens et services/produits des activités du projet d) RESULTATS INTERMEDIAIRES « EFFETS » : Conséquences des résultats immédiats e) RESULTATS FINAUX « IMPACT » : Conséquences finales ou à long terme Déterminer un cadre de rendement revient à établir des liens de cause à effet entre les activités, le public visé et les retombées sur le plan du développement à l’instar de la détermination de la logique d’intervention verticale dans la méthode du cadre logique de la Gestion du Cycle du Projet (GCP).

v- PROGRAMMATION DES ACTIVITE S, INTRANTS ET RESPONSABILITES Il s’agit de l’organisation, en détail, des moyens, méthodes et procédures pour atteindre l’objectif.

vi- ELABORATION ET FORMULATION DE LA MATRICE DU CADRE LOGIQUE Cette matrice, qui fournit un instantané de la logique qui sous-tend le projet, comprend les objectifs, les résultats, les activités, les moyens/ressources, les indicateurs et leurs sources de vérification ainsi que les hypothèses et risques.

La matrice saisit la logique verticale ou chaîne de résultats (c’est-à-dire, pour rappel, la façon dont les activités mèneront à des « extrants », les « extrants » à des « effets », et dont les effets auront un impact positif sur le problème concerné) ainsi que la logique horizontale, à savoir les indicateurs des résultats prévus, les bénéficiaires et les risques inhérents à la mise en place du projet. L’objectif global s’exprime généralement en « contribution à ». Les résultats doivent être SMART à savoir : • Spécifiques : ils répondent à la question « Quel domaine/nature spécifique de changement ? Quels bénéficiaires ?, Où ? » • Mesurables : Combien ? (mesure du changement) • Atteignables : Peuvent être réalisés • Réalistes : la solution est cohérente et pertinente par rapport à la réalité défavorable à changer • Temporels : peuvent être atteint dans la durée du projet.

vii- ECRITURE DU PROJET (FICHE DU PROJET) Cette étape thésaurise toutes les décisions qui ont été prises durant les phases précédentes. Il s’agit de développer une littérature autour du projet en détaillant les informations concernant la raison d’être du projet, la pertinence, faisabilité et viabilité des solutions proposées, les modalités d’exécution, de suivi et évaluation du projet, la budgétisation et la gestion financière du projet. Une fiche de projet peut se présenter de la façon suivante :

- Identification de l’organisation (nom de l’organisation, organigramme de l’organisation, nombre et fonctions des permanents, moyens matériels et financiers, coordonnées)

- Objectifs de l’institution

Résumé du projet (titre, localisation, bénéficiaires, durée, financement, les partenaires du projet et leurs coordonnées, les personnes responsables à contacter).

viii- DESCRIPTION DU PROJET 1 Intitulé (utiliser des mots-clés signalant l’action, les bénéficiaires, le lieu et l’objectif) 2 Localisation (région, ville, quartier) 3 Historique du projet (comment le projet a émergé ?) 4 Les bénéficiaires 5 Les acteurs responsables 6 Exposé de la problématique abordée par le projet 7 Objectifs, résultats escomptés, activités projetées, indicateurs et sources de vérification 8 Hypothèses et risques 9 Échéancier d’exécution des activités 10 Ressources humaines et moyens matériels nécessaires pour la réalisation du projet 11 Budget chiffré 12 viabilités et durabilité (mettre en avant la capacité du projet à avoir un impact durable, montré que le projet est faisable, réaliste et efficace) 13 Système et modalités de suivi et d’évaluation.

A-4/ LE SUIVI ET L’ÉVALUATION Le suivi et l’évaluation répondent à plusieurs besoins. Dans l’absence d’un suivi et d’une évaluation efficaces, il serait difficile de savoir si les résultats escomptés sont réalisés tel que prévu, quelle serait la mesure corrective à prendre pour garantir la réalisation de ces résultats et si les initiatives entreprises apportent une réelle contribution au développement humain. Le suivi et l’évaluation se rapportent toujours aux résultats prédéfinis dans le plan de développement. Ils sont conduits par le besoin de redevabilité de réalisation des résultats escomptés et constituent une base factuelle permettant des prises de décisions correctives en connaissance de cause. Il s’agit d’un outil de gestion essentiel au soutien de l’engagement du PNUD pour la reddition de comptes sur la réalisation des résultats, les ressources qui lui sont confiées et l’apprentissage organisationnel. En outre, le suivi et l’évaluation s’inscrivent dans les processus généraux de gestion des programmes et apportent une contribution essentielle à la capacité de gestion pour les résultats de développement.

i- SUIVI ET EVALUATION DES RENDEMENTS Le suivi et l’évaluation sont des instants de réflexion quant à l’exécution du projet et à la réalisation des résultats et objectifs. Plus précisément, « le but général du suivi et de l’évaluation est de mesurer et d’évaluer la performance afin de mieux gérer les effets et produits appelés résultats du développement ». Il ne s’agit plus de faire le suivi/évaluation des produits de projets, comme c’était le cas auparavant, mais bien des effets de ce projet. Le suivi et l’évaluation des effets concerne la collecte et l’analyse systématique de données afin de suivre les changements depuis la situation de référence jusqu’aux effets attendus et d’appréhender pourquoi il y a ou non changement. Le suivi permet d’adapter le projet à l’évolution du contexte en repérant d’éventuelles anomalies en cours d’exécution. Le suivi constitue alors un moyen de contrôle des prévisions par rapport aux réalisations. Les activités de suivi permettent de comparer le rendement prévu avec le rendement atteint. Le suivi est aussi un outil de gestion puisqu’il rend possible des réorientations de l’action. Le cadre de mesure du rendement, en incorporant les indicateurs de rendement, les sources de données, les méthodes de collecte de données, de fréquence et de responsabilité, permet de faire le lien entre les éléments dont on fait le suivi et la manière de s’y prendre. La GAR privilégie un suivi participatif qui doit être : • peu exigeant financièrement et en termes de temps, • ciblé sur quelques informations et indicateurs, • concerté de manière à ce que le plus grand nombre d’acteurs possibles appréhendent et s’impliquent dans le processus du suivi. La GAR définit le « suivi optimal » comme « étant un suivi continu impliquant les partenaires et axé sur les progrès réalisés dans la poursuite des effets ». L’évaluation est un processus plus achevé d’analyse de l’action et de ses résultats.

La GAR favorise également l’évaluation participative qui doit être négociée entre les différents acteurs concernés. Dès le départ, l’évaluateur doit établir une stratégie de consultation des principaux intéressés. Le suivi et l’évaluation participatifs divergent quelque peu des approches plus conventionnelles en ce sens qu’il tente de faire participer plus intensément les parties prenantes d’un projet en s’appuyant La performance se définit comme la progression vers la réalisation de résultats. Sur la notion d’apprentissage. Les parties prenantes du projet deviennent les acteurs principaux du processus de suivi-évaluation plutôt que l’objet de celui-ci. « Les parties prenantes participent à la définition de ce qui sera évalué, de qui prendra part à l’évaluation, du moment où elle se fera, des méthodes participatives de collecte et d’analyse des données et de la manière dont les constatations seront consolidées ». L’avantage le plus probant consistant probablement en ce que la participation des parties prenantes les conduit à donner une suite plus favorable aux recommandations puisqu’elles viennent d’elles.

ii- LA PLANIFICATION POUR LE SUIVI ET L’ÉVALUATION Le suivi, autant que l’évaluation, offrent la possibilité, à des moments réguliers et prédéterminés, de confirmer la logique d’un programme, de ses activités et leur mise en œuvre et, de les réajuster si nécessaire. La planification à elle seule ne suffit cependant pas à garantir la réalisation des résultats. Les progrès réalisés doivent également être soumis à un suivi. De la même manière, le suivi, aussi bon soit-il, ne suffit pas à lui seul pour corriger des conceptions, des plans ou des résultats médiocres de programmes. Les informations fournies par le suivi doivent être exploitées pour encourager les améliorations ou renforcer les plans. Les informations pour un suivi systématique constituent également un apport crucial à l’évaluation. Il est très difficile d’évaluer un programme qui n’a pas été conçu convenablement et dont les résultats ne font pas l’objet d’un suivi systématique. Les principales questions auxquelles le suivi tente de répondre sont, entre autres :

- Les produits prédéterminés sont-ils en adéquation avec ce qui a été planifié ? - Quels sont les problèmes, risques et défis, actuels ou à venir dont il faut tenir

compte pour garantir la réalisation des résultats ? - Quelles sont les décisions à prendre concernant les changements à apporter aux

activités en cours pour les étapes à venir ? - Les produits planifiés et exécutés sont-ils toujours pertinents pour la réalisation des

effets envisagés ? - Les effets envisagés sont-ils toujours pertinents et efficaces pour la réalisation des

objectifs nationaux, répondent-ils toujours aux priorités nationales et ont-ils toujours le même impact ?

- Qu’apprenons-nous ? De la même manière que le suivi, l’évaluation est une partie intégrante de la gestion de programmes et constitue un outil de gestion crucial. Elle complémente le suivi en fournissant un examen indépendant et approfondi sur ce qui a fonctionné et ce qui n’a pas fonctionné et pourquoi. Après avoir mis en œuvre et établi le suivi d’une initiative pendant un certain temps, il est

important, dans le cadre d’une discipline de gestion, de faire le point à travers une évaluation externe. Les avantages des évaluations sont multiples. Une évaluation de qualité assure un retour d’information pouvant être exploité pour l’amélioration de la stratégie et de la politique de programmes. Elle permet également de déceler les résultats inattendus et les conséquences des initiatives de développement, chose qu’un suivi classique n’est probablement pas capable de faire, étant donné que ce dernier se concentre plus sur la mise en œuvre d’un plan de développement. Les informations générées par les évaluations apportent une contribution à l’apprentissage organisationnel ainsi qu’aux connaissances mondiales sur l’efficacité du développement. Dans des contextes de développement évoluant rapidement ou en présence d’environnements en développement ou en sortie de crise, le plan de développement se doit d’être dynamique et doit être révisé et amélioré continuellement. A chaque fois que les plans de développement sont mis à jour pendant leur mise en œuvre, il est indispensable de renseigner les raisons de ces changements. L’importance d’un suivi et d’une évaluation efficaces est alors d’autant plus évidente car elle fournit la preuve de ces changements à travers une gestion de la prise de décision en connaissance de cause.

iii- PLANIFIER LE SUIVI ET L’ÉVALUATION Une prise de décision efficace et à temps nécessite des informations fournies par des activités de suivi et d’évaluation régulières et planifiées. La planification pour le suivi et l’évaluation doit débuter au moment de l’élaboration du programme ou du projet et doit être menée en même temps. Alors que le suivi fournit des informations en temps réel sur l’élaboration du programme ou projet en

cours et nécessaires à sa gestion, l’évaluation quant à elle, fournit un examen plus approfondi. Le processus de suivi peut aussi poser des questions auxquelles l’évaluation peut apporter des réponses. D’autre part, l’évaluation puise largement dans les données fournies par le suivi, et notamment dans les données de référence, les informations sur les processus de mise en œuvre des programmes ou projets et le degré des progrès réalisés pour atteindre les résultats planifiés grâce aux différents indicateurs. La planification du suivi doit être réalisée tout en gardant à l’esprit l’évaluation : l’existence de résultats clairement déterminés, d’un modèle des effets ou de données de suivi, entre autres, détermine « l’évaluabilité » du sujet.

iv- LE CADRE DE SUIVI ET D’ÉVALUATION Un cadre de suivi et d’évaluation clairement établit et dûment accordé parmi toutes les principales parties prenantes à la fin de l’étape de planification, est fondamental pour mener systématiquement un suivi et une évaluation. Ce cadre sert de plan pour le suivi et l’évaluation et doit indiquer :

- Ce qui doit être suivi ou évalué - Les activités nécessaires au suivi et à l’évaluation - - A qui incombe la responsabilité des activités de suivi et d’évaluation ? - Quand les activités de suivi et d’évaluation sont-elles prévues (calendrier) ? - Comment le suivi et l’évaluation sont-ils menés (méthodes) ? - Quelles sont les ressources nécessaires et à qui sont-elles confiées ?

En outre, les risques les plus importants et les hypothèses des activités de suivi et d’évaluation à entreprendre doivent également être sérieusement pris en compte, anticipés et mentionnés dans le cadre de suivi et d’évaluation. De manière générale, le cadre de suivi et d’évaluation s’articule autour de trois principales composantes :

v- LA COMPOSANTE NARRATIVE : Elle décrit la manière avec laquelle les partenaires de développement vont mener le suivi et l’évaluation ainsi que les redevabilité attribuées aux différents individus ou entités. Ainsi, par exemple, au niveau du PCNUAD ou à l’échelon national des résultats, il est nécessaire de s’engager avec des comités de suivi nationaux ou des groupes de revue au niveau des effets (dispositions sectorielles par exemple), ainsi qu’avec des groupes de travail inter-agences de l’ONU chargés du suivi. Si ces entités L’évaluabilité peut être déterminée selon le niveau de transparence de l’intention du sujet à évaluer, la présence d’un nombre adéquat d’indicateurs, l’accessibilité et la fiabilité des sources d’informations et, l’absence d’importants facteurs pouvant entraver un processus d’évaluation impartial.

vi- LA PLANIFICATION, LE SUIVI ET L’ÉVALUATION N’existent pas, il faut alors établir de telles structures pour garantir un suivi et une évaluation efficaces. La composante narrative doit en outre comporter :

Matrice de planification du suivi

Résultats escomptés (effet et produits)

Indicateur (avec points de repère et cible indicatives et autres principaux domaines à suivre

Suivi et évaluation avec méthodes de collectes de données

Calendrier et fréquences

responsabilités

Moyens de vérifications sources et types des données

ressources risques

Issus du plan de développement et du cadre de résultats

Du cadre de résultat Les indicateurs doivent également mentionner les principales priorités telles que le renforcement des capacités et genre.

Comment les données sont elles obtenus ?

Le degré de précision dépendra des besoins des pratiques

Qui est responsables de l’organisations de la collecte de données et de vérification de leur qualité et de leur source ?

Préciser systématiquement les sources et le lieu où se trouvent les données comme par exemple un institut national de leur qualité et de leur source ?

Estimation des ressources nécessaires et de celles engagées pour mener à bien les activités de suivi planifiées

Quels sont les risques et les hypothèses quant à la réalisation des activités de suivi

a. Les plans qui pourraient être établis pour renforcer les capacités de suivi et d’évaluation nationales ou infranationales. b. Les capacités de suivi et d’évaluation déjà existantes et une estimation des besoins en ressources humaines, financières et matérielles pour la mise en œuvre de ces capacités. 2. Un cadre de résultats : celui-ci doit être préparé lors de l’étape de la planification tel que décrite dans le chapitre 2. 3. Des matrices de planification et d’évaluation : elles sont stratégiques et permettent de réunir les informations nécessaires au suivi et à l’évaluation en vue d’en faciliter la consultation. La matrice de planification du PNUD du tableau 14 peut être utilisée à l’échelle de programmes nationaux, régionaux et mondiaux afin de déterminer ce qui doit être suivi. Cette matrice doit néanmoins être adaptée aux circonstances et conditions locales. Dans certains cas, les colonnes peuvent être modifiées pour qu’elles puissent englober les éléments de résultats tels que les effets, les produits, les indicateurs, les points de repère, les risques et les hypothèses séparément). Le besoin d’établir un cadre de suivi et d’évaluation s’applique aussi bien aux programmes qu’aux projets au sein d’un même programme. Par conséquent, les programmes, aussi bien que les projets, devraient élaborer des cadres de suivi et d’évaluation dans leurs étapes de planification. Le cadre de suivi et d’évaluation à l’échelle du projet devrait découler du cadre de suivi et d’évaluation à l’échelle du programme et pourrait contenir des informations plus détaillées sur les tâches exécutées par le suivi et l’évaluation qui s’appliquent particulièrement aux projets respectifs. Inversement, le cadre de suivi et d’évaluation à l’échelle du programme repose sur les cadres de suivi et d’évaluation à l’échelle du projet. Les activités de suivi et d’évaluation devraient être perçues comme une composante faisant partie intégrante de la gestion du programme et projet. Ces activités sont menées tout au long des cycles des programmes et projets et doivent être régulièrement révisées et actualisées (au moins une fois par an, lors des examens annuels par exemple).

II- OBJETS ET DEFINITIONS DU SUIVI-EVALUATION. Le suivi et l’évaluation améliorent l’efficacité de l’aide du PNUD en établissant des liens bien définis entre les interventions passées, actuelles et futures et les résultats. Le suivi et l’évaluation peuvent aider une organisation à retirer des activités passées et en cours des renseignements utiles qui peuvent servir de base par la suite à affiner, réorienter et planifier les programmes. En l’absence de suivi et d’évaluation, il serait impossible de déterminer si les activités sont allées dans le bon sens, si des progrès et des succès ont été enregistrés, pas plus que la manière dont l’action future pourrait être améliorée.

III- OBJETS DU SUIVI ET DE L’ÉVALUATION Le suivi et l’évaluation permettent d’améliorer la performance et d’obtenir des résultats. Plus précisément, le but général du suivi et de l’évaluation est de mesurer et d’évaluer la performance afin de mieux gérer les effets et produits appelés résultats du développement. La performance se définit comme la progression vers la réalisation de résultats. Avec le priorité que le PNUD accorde actuellement aux résultats, les bureaux de pays et groupes chargés des programmes doivent répondre à de nouvelles exigences en matière de suivi et d’évaluation à cause de la nécessité de mettre les réalisations en évidence.

Le suivi et l’évaluation ont toujours porté sur l’évaluation des apports et de l’exécution. Actuellement, l’accent est mis sur l’évaluation des contributions de différents facteurs à un effet de développement donné, ces facteurs étant des produits, des partenariats, l’orientation générale et le dialogue, le plaidoyer, la sensibilisation et la médiation et coordination. Les directeurs de programme sont appelés à utiliser activement l’information qui s’est dégagée du suivi et de l’évaluation pour améliorer les stratégies, programmes et autres activités. Le suivi et l’évaluation axés aujourd’hui sur les résultats ont essentiellement pour objectif : • D’améliorer l’apprentissage au niveau de l’organisation et du développement; • De permettre la prise de décisions en connaissance de cause; • D’appuyer la responsabilité fonctionnelle et le recentrage du PNUD; • De renforcer les capacités des pays dans chacun de ces domaines ainsi que pour ce qui est des fonctions de suivi et d’évaluation en général. Ces objectifs sont interdépendants de manière cyclique, C’est en tirant les enseignements du passé que l’on peut prendre des décisions en meilleure connaissance de cause. Des décisions plus judicieuses conduisent à une plus grande responsabilité envers les parties prenantes. Des décisions plus judicieuses améliorent en outre la performance, ce qui permet de recentrer en permanence les activités du PNUD. En constituant des partenariats étroits avec les principales parties prenantes à tous les stades de ce processus, on favorise en outre la création de connaissances et l’apprentissage en commun, on contribue à transférer des compétences et renforce la capacité des bureaux de pays et des projets du PNUD en matière de planification, de suivi et d’évaluation. Ces parties prenantes apportent par ailleurs un précieux retour d’information qui peut servir à améliorer les réalisations et l’apprentissage. Ainsi, les bonnes pratiques qui sont le fondement même du suivi et de l’évaluation se trouvent renforcées en permanence, contribuant à l’efficacité globale du développement.

IV- DÉFINITIONS DU SUIVI ET DE L’ÉVALUATION Le suivi peut se définir comme une fonction continue visant essentiellement à assurer à la direction et aux principales parties prenantes une intervention permanente assortie d’indications rapides de progrès ou d’absence de progrès dans la réalisation des résultats. Une intervention permanente peut consister en projets, programmes ou autres types d’appui à un effet. L’évaluation est une opération sélective qui vise à apprécier systématiquement et de manière objective les progrès dans la réalisation d’un effet. Il ne s’agit pas d’une activité ponctuelle, mais d’une opération qui suppose une série d’évaluations différentes quant à leur objet et le degré de détail, effectuée à plusieurs moments pour répondre à l’évolution des besoins en connaissances critiques et en apprentissage tout au long de la réalisation d’un effet. Toutes les évaluations – même les évaluations de projet portant sur la pertinence, l’efficacité et d’autres critères – doivent être reliées aux effets par rapport à la seule performance ou aux produits immédiats. (Voir.. le chapitre 5 relatif à l’évaluation.) La communication d’information fait partie intégrante du suivi et de l’évaluation. Il s’agit de fournir systématiquement et en temps utile des renseignements vitaux à intervalles réguliers. Le suivi et l’évaluation se situent à deux niveaux différents tout en étant étroitement liés : Un niveau est axé sur les produits – ou les produits et services spécifiques qui se dégagent de la transformation d’apports par le jeu d’activités de programme, de projet et autres comme par exemple une assistance spécifique ponctuelle fournie en dehors de projets et programmes.

L’autre niveau porte sur les effets de l’action de développement du PNUD – ou l’évolution de la situation de développement que le PNUD cherche à opérer au moyen de ses projets et programmes. Les effets intègrent l’élaboration de produits et les apports des partenaires. Traditionnellement, le personnel du PNUD a toujours été plus à l’aise avec le premier niveau: le suivi et l’évaluation fondés sur les programmes et projets et qui envisagent l’exécution du point de vue des produits. Il s’agit actuellement de dépasser ce niveau et de relier la performance aux effets, avec des évaluations rigoureuses et crédibles des progrès dans la réalisation des résultats. Les approches, techniques et instruments de suivi et d’évaluation qui devraient être appliqués aux deux niveaux sont présentés tout au long du présent Guide. La figure 2 montre comment les produits et effets sont interconnectés pendant la réalisation des résultats : On trouvera ci-après la définition de deux autres termes qui apparaissent fréquemment dans le domaine du suivi et de l’évaluation : Le retour d’information est une opération s’inscrivant dans le cadre du suivi et de l’évaluation par laquelle des informations et des connaissances sont diffusées et utilisées pour évaluer les progrès globaux sur la voie de la réalisation des résultats ou pour confirmer la réalisation des résultats. Il peut s’agir de constatations, de conclusions, de recommandations et d’enseignements tirés de l’expérience. Le retour d’information peut contribuer à améliorer l’efficacité et sert de base à la prise de décisions et à la promotion de l’apprentissage dans l’organisation. Un enseignement tiré est un exemple instructif fondé sur l’expérience qui peut s’appliquer à une situation générale plutôt qu’à un cas particulier. Il s’agit de tirer les enseignements de l’expérience. Les enseignements tirés de telle ou telle activité grâce à l’évaluation sont considérés comme des connaissances tirées de l’évaluation, que les parties prenantes ont plus de chances d’intérioriser si elles ont été associées à l’évaluation. Les enseignements tirés peuvent dégager des « pratiques optimales » indiquant comment et pourquoi différentes stratégies se révèlent efficaces dans des situations différentes – des renseignements précieux qui doivent être documentés.

V- LE PASSAGE A LA GESTION AXEE SUR LES RESULTATS Le présent chapitre définit la gestion axée sur les résultats et présente les principales caractéristiques d’un système de suivi et d’évaluation axé sur les résultats. Le rôle du suivi et de l’évaluation est situé dans le contexte du passage du PNUD à la gestion axée sur les résultats, qui est sur les rails depuis 1999. On y trouve également une comparaison entre les méthodes anciennes et l’approche actuelle fondée sur les résultats. Grâce à ce chapitre, les usagers devraient pouvoir identifier les domaines où un changement de comportement s’impose, et aligner en conséquence les activités de suivi et d’évaluation.

VI- SUIVI ET EVALUATION DANS LE CONTEXTE DE LA GESTION AXEE SUR LES RESULTATS

L’accent étant mis de plus en plus sur les résultats, l’attention, l’approche et l’application du suivi et de l’évaluation sont en train de changer profondément au PNUD. La gestion axée sur les résultats est au centre de ces changements. La gestion axée sur les résultats est une stratégie ou méthode de gestion selon laquelle une organisation veille à ce que ses procédés, produits et services contribuent à la réalisation de résultats clairement définis. La gestion axée sur les résultats fournit un cadre cohérent de planification et de gestion stratégiques en améliorant l’apprentissage et la responsabilité. Il s’agit également d’une large stratégie de gestion visant à changer profondément le mode de

fonctionnement de l’organisme, l’accent étant mis sur l’amélioration de la performance et la réalisation de résultats par la définition de résultats réalistes à viser, le suivi du progrès vers la réalisation des résultats escomptés, l’intégration des enseignements tirés dans les décisions de gestion et l’information au sujet de la performance.

VII- SUIVI DES EFFETS Les interventions d’une organisation consistent en projets, programmes, partenariats et « appui-conseil » tels que des activités de sensibilisation menées en dehors de projets ou programmes, tous ces éléments concourant à la réalisation d’effets, ou changements du développement. Le suivi de ces effets représente un changement profond par rapport à l’accent qui était mis dans le passé sur le suivi des produits de projets. Le suivi des effets est la collecte et l’analyse continues et systématiques de données afin de mesurer l’efficacité des interventions de l’organisation pour ce qui est de la réalisation des effets au niveau du pays. Si le suivi des résultats est continu dans la mesure où il ne s’agit pas d’une activité limitée dans le temps, le suivi des résultats doit être périodique, de façon que le changement puisse être perçu. En d’autres termes, les bureaux de pays rassembleront en permanence des renseignements au sujet de la réalisation d’un effet puis compareront périodiquement la situation actuelle à la référence pour dégager des indicateurs de résultat et évaluer et analyser la situation. Note! Pour pouvoir suivre efficacement les résultats et produits, le bureau de pays doit définir avec précision les projets, programmes et autres activités qui contribuent à un effet donné. Les autres activités peuvent consister en conseils et activités de plaidoyer menés en dehors des projets. Le suivi des résultats est concentré sur les interventions et stratégies ci-après ainsi que sur leurs incidences : • Projets; • Programmes; • Partenariats; • Assistance « conseil » sous forme d’orientation, de dialogue, d’activité de plaidoyer, de médiation et coordination assurée en dehors des projets ou programmes établis; • Stratégies d’application. Comment les directeurs de programme procèdent-ils au suivi des effets? Ils suivent les produits et mesurent leur contribution aux effets en évaluant le changement par rapport à la situation de référence. Les directeurs de programme doivent garder l’œil sur les produits clefs (les produits et services particuliers qui résultent du traitement des apports au moyen des activités de programme ou autres) car ils peuvent indiquer si une stratégie est pertinente et efficace ou non. Dans le contexte des résultats, une intervention de l’organisation est pertinente si elle contribue à la réalisation d’un effet clef, va dans le sens des priorités nationales en matière de développement et est bien ciblée. Pour bien suivre les effets, les directeurs de programme doivent fixer des données de référence, choisir des indicateurs de performance et concevoir des mécanismes incorporant certaines activités telles que visites sur le terrain, réunions des parties prenantes et analyses systématiques ou rapports. Il ne faut pas oublier que le suivi des effets est autre chose que le suivi de l’exécution. Les directeurs de projet en particulier sont toujours censés suivre l’exécution de leurs projets. Ce suivi devrait être

planifié et intégré dans le suivi des résultats afin d’éviter les doubles emplois et de réduire les frais de transaction. • Description du problème ou de la situation avant l’intervention; • Critères pour les activités et produits immédiats; • Collecte de données au sujet des apports, activités et produits immédiats; • Information systématique au sujet de la fourniture d’apports, etc.; • Lien direct avec une intervention ponctuelle (ou une série d’interventions); • Conçus pour réunir des informations au sujet de questions d’administration, d’application et de gestion au lieu de questions liées à l’efficacité du développement en général. • Données de référence décrivant le problème ou la situation avant l’intervention; • Indicateurs d’effets; • Collecte de données au sujet des produits et de leur contribution à la réalisation des effets; • L’accent est mis davantage sur la manière dont le changement est perçu par les parties prenantes et « l’appui-conseil »; • Information systématique, plus qualitative et quantitative, au sujet des progrès liés aux effets; • Opérer de concert avec les partenaires stratégiques; • Recueil des informations au sujet de l’efficacité de la stratégie de partenariat du PNUD dans la réalisation des effets recherchés.

VIII- ÉVALUATION DES EFFETS L’évaluation des effets porte sur une série de projets, programmes et stratégies apparentés visant à atteindre un certain effet. Il s’agit d’évaluer comment et pourquoi les effets sont atteints ou non dans un contexte national donné, ainsi que le rôle joué par l’organisation. Ces évaluations peuvent également servir à préciser les facteurs sous-jacents qui ont une incidence sur la situation, mettre en lumière les conséquences imprévues (positives et négatives), recommander des mesures afin d’améliorer la performance dans la programmation future et dégager des enseignements. Ces évaluations périodiques et approfondies utilisent des données de suivi « avant et après ». Les évaluations des effets peuvent répondre à des besoins différents selon la période, en fournissant dès les premiers stades des renseignements au sujet des obstacles éventuels, en proposant des aménagements à mi-parcours ou en contribuant aux enseignements tirés à la fin d’une intervention. L’évaluation des effets a pour objet de dégager des enseignements, des conclusions et recommandations en évaluant : • Les progrès accomplis dans la réalisation de l’effet; • Les facteurs déterminant l’effet (influences concrètes); • Les apports clefs de l’organisation (produits, notamment au moyen de « l’appui-conseil ») aux effets; • La stratégie de partenariat (la manière dont le l’organisation travaille avec ses partenaires). Ces quatre grandes composantes sont évaluées à des degrés de détail différents selon l’objet de l’évaluation. D’autres domaines peuvent être ajoutés à l’évaluation, encore que cela exige davantage de temps et de ressources financières sans nécessairement donner des résultats aussi détaillés.

Comment les directeurs de programme évaluent-ils les effets? Agissant avec l’équipe du bureau de pays, les directeurs de programme organisent les évaluations d’effet au niveau de pays au moyen du plan d’évaluation Les bureaux de pays doivent réserver des ressources suffisantes à cette fin. La planification permet d’améliorer sensiblement la conduite et la qualité de l’évaluation. Les bureaux de pays (et les entités du siège) doivent prévoir, en concertation avec les partenaires stratégiques, les aspects des évaluations d’effet, de la définition des objectifs à la collecte des données. Les directeurs de programme, en assurant la liaison avec les niveaux de gestion appropriés du projet au bureau de pays, doivent faire en sorte que les données de référence et les indicateurs de performance appropriés soient établis dès le début d’une intervention.

IX- RAPPORT ENTRE SUIVI DES EFFETS ET EVALUATION DES EFFETS Le suivi des effets tout comme l’évaluation des effets vise la collecte et l’analyse systématique de renseignements afin de suivre les changements depuis la situation de référence jusqu’aux effets recherchés et de comprendre pourquoi il y a changement ou pas. Ces deux fonctions sont étroitement liées aux mécanismes de prise de décisions au niveau des programmes et des politiques. Elles fournissent toutes deux aux directeurs de programme, directeurs de projet et parties prenantes des renseignements cohérents afin d’améliorer les interventions et stratégies. En outre, elles peuvent l’une et l’autre établir la preuve de la responsabilité. Toutefois, elles diffèrent quant à leurs objectifs, aux centres d’intérêt et aux méthodes, ainsi qu’à la manière dont elles sont exécutées et exploitées. Les évaluations des effets partent de données produites grâce au suivi des effets, d’informations provenant d’autres sources telles que le Rapport annuel axé sur les résultats (RAAR) de l’organisation et des renseignements provenant de sources extérieures telles que des enquêtes indépendantes auprès des clients ou les rapports de partenaires. De même, les évaluations des effets appuient le suivi des effets. Elles constituent par exemple une source d’enseignements qui peuvent être appliqués à l’élaboration d’innovations théoriques et méthodologiques applicables à l’affinage de la fonction de suivi. Ces innovations peuvent consister à concevoir des résultats et stratégies réalistes, mettre au point des indicateurs appropriés en vue de futurs projets ou à démontrer l’efficacité de certains types d’outils de suivi dans certains types d’intervention.

X- IMPORTANCE DES PARTENARIATS Étant donné qu’on ne peut modifier le développement en vase clos, le PNUD travaille en étroite collaboration avec ses partenaires pour suivre et évaluer les effets. Les partenaires du PNUD sont d’autres organismes des Nations Unies, des pouvoirs publics, des organismes donateurs, des organisations gouvernementales et non gouvernementales et d’autres entités avec lesquelles le PNUD noue des relations de fond pour réaliser des objectifs communs. Idéalement, au moment de la formulation des interventions visant à réaliser certains effets, les directeurs de programme devraient envisager la manière d’encourager la participation des partenaires. Il faut pour cela savoir quels atouts chaque partenaire peut apporter. Aux fins du suivi et de l’évaluation, les leaders des organisations peuvent faire appel aux partenaires de plusieurs manières,

comme par exemple : • En faisant participer les partenaires et d’autres parties prenantes au choix des indicateurs et cibles, à la collecte et à l’analyse des données, en tant que participants à des missions sur le terrain ou en tant que membres d’une équipe d’évaluation; • En utilisant les sources de données et statistiques existantes d’organismes partenaires clefs, réduisant ainsi le coût de la collecte des données; • En travaillant avec les partenaires à l’étude des progrès accomplis en ce qui concerne les effets et à la recherche du meilleur moyen de renforcer leur stratégie collective. Les leaders des organisations peuvent faire participer divers types de partenaires à tout un éventail d’activités liées au suivi et à l’évaluation. Les rôles de ces partenaires sont décrits dans

a- ROLES DES PARTENAIRES DANS LE SUIVI ET L’EVALUATION L’organisme public de coordination et d’autres ministères centraux (par exemple du plan ou des finances), sont généralement chargés globalement du suivi et de l’évaluation des activités de développement telles qu’elles sont décrites dans le Plan-cadre des Nations Unies pour l’aide au développement et dans le programme de pays du PNUD. Ils sont bien placés pour coordonner la conception et l’appui des activités de suivi et d’évaluation, en particulier l’examen annuel, et prendre les décisions requises sur la base des résultats des évaluations. Les organismes des Nations Unies fournissent les renseignements socioéconomiques de référence sur les populations et groupes bénéficiaires là où l’organisation n’est présente que depuis peu ou a une présence réduite. Les organismes des Nations Unies partagent des objectifs dans l’évaluation commune de pays et le Plan-cadre. Ils fournissent un appui technique pour l’évaluation et le suivi et peuvent également fournir des renseignements au sujet de l’état des effets. Les agents d’exécution (des institutions désignées pour gérer un projet) sont chargés de la gestion des projets et de l’exécution des produits. Ces institutions fournissent des informations techniques vitales sur l’effet et la situation en matière de développement, l’efficacité de la stratégie d’application et la manière dont les produits sont exécutés. Les bénéficiaires visés fournissent des renseignements au sujet de la pertinence et de la qualité des produits ou services grâce aux réunions et consultations de parties prenantes. Ils fournissent également un appui technique au cours des évaluations. Les offices nationaux de statistique sont les principaux fournisseurs de données et de compétences en matière de collecte et d’analyses des données. Les universités, centres de recherche et bureaux d’étude peuvent offrir des compétences en matière de suivi et d’évaluation et ont en outre les moyens d’assurer une formation dans toute une série d’aptitudes et techniques d’évaluation. Ils disposent également d’informations de base dans les domaines de fond utiles à l’analyse des résultats. La société civile peut jouer un rôle de premier plan dans l’exploitation des informations et constatations dégagées du suivi et de l’évaluation en encourageant un débat en toute connaissance de cause sur les politiques générales. La société civile peut également indiquer utilement la manière dont l’état des effets est perçu. Les organismes d’aide au développement peuvent renforcer les capacités de suivi et d’évaluation en fournissant une assistance technique, sous forme de conseil, d’encadrement, d’organisation de

séminaires, de formation, de désignation de consultants qualifiés et en rédigeant des documents d’orientation, notamment des études de cas. Ces organismes fournissent également des renseignements sur les effets et produits et sont influents.

b- IMPORTANCE DE L’APPUI CONSEIL. L’appui conseil recouvre les conseils de politique générale et le dialogue, la sensibilisation et les services de médiation et de coordination. On le distingue des contributions « dures » ou concrètes au développement que l’on peut reconnaître dans un bâtiment, une étude ou un programme de formation. Ce type d’assistance était bien souvent négligé dans le passé dans la planification, l’évaluation et la documentation de la programmation et de la performance. Il est désormais considéré comme un apport important pour la réalisation de résultats, ce renversement de tendances s’expliquant par le recours à la gestion axée sur les résultats et l’adoption des plans d’opération de l’Administrateur (2001-2003), qui mettent en avant l’appui conseil.

c- L’APPUI « CONSEIL » RECOUVRE LES ELEMENTS SUIVANTS : CONSEILS DE POLITIQUE GENERALE ET DIALOGUE

Les conseils de politique générale et le dialogue sont au centre de l’action que mène le PNUD pour aider les pays à faire des avancées dans le développement, position énoncée dans le plan d’opération de l’Administrateur (2001-2003). Ainsi s’amorce une nouvelle orientation de la manière dont le PNUD conçoit ses activités : Le PNUD abandonne la politique répondant aux projets au profit de projets répondant aux politiques. Sur le plan de l’évaluation, il convient de noter que les conseils de politique générale et les dialogues en la matière sont voisins tout en étant distincts. Pour évaluer les conseils en matière de politique générale, il faut examiner comment les informations et études relatives aux options fondamentales sont communiquées aux parties prenantes, après quoi on examinera l’impact du point de vue du développement humain. En revanche, pour évaluer le dialogue de politique générale, il faut examiner la manière dont l’échange d’information au sujet des options fondamentales est facilité entre parties prenantes, puis examiner les conséquences pour le développement humain.

d- SENSIBILISATION La sensibilisation suppose que l’on représente ou recommande quelque chose ou quelqu’un. Le rôle de l’organisation en matière de sensibilisation est de favoriser le programme de développement humain aux niveaux mondial, régional et national par le jeu de questions diverses telles que l’élimination de la pauvreté, l’allégement de la dette, l’égalité entre les sexes, le changement climatique et la bonne gouvernance etc. Pour évaluer la sensibilisation, on pourrait par exemple examiner comment les changements d’orientation au niveau national sont déterminés par les recommandations du Rapport sur le développement humain et les rapports nationaux sur le développement humain, qui sont des aspects fondamentaux du travail de sensibilisation du PNUD par exemple. Ces rapports contiennent une analyse et des recommandations concernant les réformes fondamentales et institutionnelles, et notamment une analyse détaillée des questions institutionnelles intersectorielles.

e- MEDIATION ET COORDINATION Les activités touchant la médiation et la coordination sont si étroitement liées que les deux termes sont utilisés presque indistinctement à une organisation pour désigner une série d’activités appelées « médiation-coordination ». La médiation-coordination désigne le rôle d’un intermédiaire ou agent impartial qui négocie et prend des dispositions, parfois dans des domaines sensibles, de manière à parvenir à des résultats harmonieux et efficaces. En tant que forme d’appui « conseil », la médiation-coordination peut porter sur la politique, l’information ou le partenariat, l’évaluation étant différente dans chaque cas. • La médiation-coordination politique participe du rôle de médiateur impartial que joue le PNUD en favorisant le dialogue entre parties et intérêts en opposition ou en conflit ouvert. L’évaluation est particulièrement importante dans les situations conflictuelles et transitoires. • La médiation-coordination en matière d’information concerne l’échange d’enseignements tirés, d’information et de connaissances (notamment sur les pratiques optimales) avec des partenaires du développement et des parties prenantes. • La médiation-coordination concernant le partenariat désigne l’instauration de relations de travail entre et parmi des partenaires internationaux et nationaux. Les évaluations sont axées sur la programmation en commun et la mobilisation de ressources en vue de programmes ou opérations spécifiques (par exemple, des élections ou la coordination de l’aide), et ont pour objet de renforcer la coordination entre donateurs.

f- APPORT DE L’APPUI-CONSEIL • Conseil et dialogue de politique générale • Sensibilisation • Médiation-coordination • Descriptif de projet/Document d’appui au projet • Conseillers • Ateliers spécialisés en partenariat avec

• Les partenaires du développement • Les parties prenantes PRODUITS (Résultats Intermédiaires)

L’appui « conseil » consiste en apports à un système, Ce système de base englobe les différentes formes d’appui « conseil », les méthodes d’exécution et sa contribution aux produits et effets. Ces contributions sont également apportées au moyen de partenariats.

g- POURQUOI SUIVRE ET EVALUER L’APPUI CONSEIL ? L’appui « conseil » peut réduire la pauvreté et favoriser le développement humain en influençant le contexte de l’action des pouvoirs publics. Les politiques et réglementations nationales doivent à tous les niveaux être favorables à un environnement porteur pour le développement humain. Le PNUD peut promouvoir son programme de développement grâce aux outils d’importance vitale que représentent les conseils aux décideurs, la sensibilisation et la médiation. L’appui « conseil » est souple, dynamique et à intervention rapide. Les interventions au titre de l’appui « conseil » représentent un service de plus que le PNUD est en mesure d’offrir aux pays en développement. Cette aide ne demande guère de structure formelle, si tant est qu’elle en demande, pour ce qui est de l’intégration à un programme ou un cadre de gestion axée sur les résultats, ce qui ne l’empêche pas de faire progresser considérablement le développement. Elle peut aussi être fournie rapidement pour répondre sur le champ aux exigences des pays.

h- ROLES ET RESPONSABILITES Les rôles et responsabilités du personnel du PNUD sont définis plus clairement selon l’approche actuelle, fondée sur les résultats, du suivi et de l’évaluation, comme on peut le

i- PROBLÈMES PRATIQUES QUI SE POSENT AUX LEADERS DES ORGANISATIONS Les leaders des organisations jouent un rôle important en mettant en lumière les résultats des programmes et en situant cette information dans le contexte du cadre de résultats stratégiques. En d’autres termes, ils apportent une importante contribution à la saisie des produits et effets. Dans le passé, ils se concentraient sur le suivi et l’évaluation de l’exécution des projets. Actuellement, ils portent leur attention sur l’analyse et la communication des effets, ou, plus précisément, sur la contribution des produits des projets, l’intervention douce et le partenariat stratégique aux effets. Plus que jamais, les directeurs de programme doivent faire preuve de rigueur au niveau de la formulation des projets et de la planification des travaux afin de faire en sorte que les projets réalisent les objectifs, et appliquent les outils à cet effet.

j- RESPONSABILITES DES LEADERS DES ORGANISATIONS EN MATIERE DE SUIVI ET D’EVALUATION

Comme le montre la figure 4, les directeurs de programme ont deux niveaux de responsabilité interdépendants pour ce qui est du suivi et de l’évaluation. Tout d’abord, ils doivent saisir les résultats au niveau intermédiaire (progrès dans la réalisation des effets) aux fins du rapport annuel axé sur les résultats. En deuxième lieu, ils doivent améliorer l’exécution des produits par le projet, au moyen, par exemple, de la planification des travaux, de visites sur le terrain, de l’appui à une prise de décisions efficace et de l’examen de la stratégie d’exécution la plus efficace. Responsabilités des directeurs de programme en matière de suivi et d’évaluation

ix- MEILLEURE EXECUTION DES PRODUITS DES PROJETS PROGRES DANS LE SENS DES EFFETS AU NIVEAU DES PAYS

En tant que leaders, que dois-je changer dans mon action? • Me concentrer davantage sur les résultats que sur l’exécution • Préciser les attentes concernant les tâches d’exécution, fixer des repères et laisser faire • Préparer dès le départ les modalités, l’objet et le moment du suivi et de l’évaluation • Mettre au point et utiliser des indicateurs dans les programmes • Analyser la situation, observer les changements et suivre leurs incidences • Dans les rapports, proposer des mesures à prendre • Tirer systématiquement des leçons des erreurs et des réussites • Collaborer plus étroitement avec les partenaires extérieurs • S’attacher avec le personnel des projets à expliquer les liens avec les effets • Participer, au niveau du bureau, aux travaux de Guide du suivi et de l’évaluation axés sur les résultats

x- LE SUIVI ET L’EVALUATION a- PRINCIPES DE BASE DE LA PLANIFICATION 1- PLAN DE TRAVAIL GENERAL

Le plan de travail résume les tâches, calendriers et responsabilités pour une ou plusieurs années. Il sert à contrôler le déroulement des activités et les progrès enregistrés dans la réalisation des effets. Le plan de travail décrit les activités à réaliser ainsi que les produits et effets prévus. C’est un outil qui aide à tirer méthodiquement et concrètement parti, sur une base annuelle, des informations et

des idées. Le plan de travail général du bureau de pays comprend de nombreux domaines, dont le suivi et l’évaluation. Comme le montre le schéma Le plan de travail d’une organisation est composé de trois éléments interdépendants : • Le plan de travail général qui contient les informations de fond et les décisions de gestion et est supervisé par l’équipe de direction du bureau de pays; • Le plan de travail pour le suivi et l’évaluation qui est centré sur les produits et les objectifs et est supervisé par l’équipe du programme; • Le plan de travail du projet qui est axé sur les activités et les produits et est supervisé par l’équipe du projet. La planification des activités au niveau des bureaux de pays reflète, en faisant une part plus importante à la planification du suivi et de l’évaluation, l’évolution vers une gestion axée sur les résultats. Les bureaux du PNUD, pour assurer un suivi et une évaluation axés sur les résultats doivent tenir compte, au niveau de la planification, des besoins spécifiques du bureau, des partenaires, du projet ainsi que des effets – et non pas appliquer mécaniquement des procédures normatives Plan de travail Effets Produits prévus

Activités planifiées

calendrier Partie responsable

Budget Cadre de suivi

Q1

Q2

Q3

Q4

Source de financement

Description du budget

Montant

dépenses

Progression vers les produits

Effet1 Effet2 Effet3

Total

2- CONSIGNES MINIMUMS Les organisations peuvent intégrer la planification du suivi et de l’évaluation axés sur les résultats dans les systèmes et les structures en place de différentes façons. Néanmoins, ils devraient pour leur planification, respecter les consignes minimums suivantes : Planifier simultanément les activités de suivi et d’évaluation : l’évaluation est un instrument de suivi important et le contrôle de l’exécution joue un rôle essentiel dans l’évaluation. Le suivi et l’évaluation sont donc étroitement liés. Par conséquent, il est recommandé aux bureaux de pays de planifier conjointement le suivi et l’évaluation. Enregistrer les résultats (réalisation des effets et des produits): les informations pertinentes sur les progrès réalisés dans la réalisation des effets et des produits doivent être enregistrées,

indépendamment de l’unité d’analyse adoptée dans le plan de suivi et d’évaluation (effets, produits, projets, activités, thèmes, domaines).

Elaborer un plan d’évaluation : le plan d’évaluation couvre les effets définis pour la période d’exécution du Programme de pays. Tous les bureaux et les groupes des opérations doivent obligatoirement préparer un plan d’évaluation au cours du premier quart de chaque cycle du programme de pays. Ce plan est un élément essentiel de l’évaluation de l’exécution des activités. La planification ne se limite pas à la programmation (calendriers et choix des instruments). Son objet principal est de définir la meilleure approche en fonction des besoins et de la nature de l’objet du suivi et de l’évaluation. Planification au niveau du programme de pays La planification du suivi de l’exécution et de l’évaluation doit débuter dès la phase de formulation du programme de pays. Elle doit être revue régulièrement, chaque année ou périodiquement, selon les besoins locaux, et à mesure que les plans se concrétisent et que les programmes évoluent. Elle permet de décider, en connaissance de cause, des éléments pertinents à évaluer, et de choisir le moment propice pour ce faire. En d’autres termes, ce type de planification tient compte de la finalité de l’évaluation, à savoir aidé à améliorer la programmation et la ligne d’action. En outre, les résultats de l’évaluation peuvent inciter à prendre certaines mesures touchant au plan de travail général du bureau de pays, ou au plan de travail du projet ou encore aux tâches du responsable de programme. Lors de la phase de conception et d’approbation des grandes lignes du programme de pays – le document dans lequel est exposé le programme du PNUD pour le pays – le bureau de pays, avec ses partenaires : • Décide des stratégies du suivi et de l’évaluation et expose ces dispositions dans les grandes lignes du programme de pays. Il définit la démarche générale pour le suivi et l’évaluation. Il précise les effets sur lesquels portera l’évaluation (ou la méthode qui sera utilisée pour les définir). Il indique également, de façon générale, comment seront suivis les progrès réalisés dans la réalisation des effets et l’exécution des programmes et projets. Note : c’est au cours de cette étape que souvent il trouve un terrain d’accord avec le gouvernement sur les modalités du suivi et de l’évaluation. • Planifie les évaluations des effets. Plus précisément, il sélectionne des effets spécifiques (Résultats ou modifications du développement) à évaluer et fixe les calendriers des évaluations. (Voir section suivante sur la planification). • Planifie le suivi des effets et met au point des systèmes pour ce faire. L’évaluation des progrès réalisés dans la réalisation des effets s’appuie sur la collecte continue de données et d’informations. À ce stade il peut être nécessaire de recourir aux mécanismes en place ou de créer des groupes de consultation sur les effets, de définir le mode de collecte des données pour les indicateurs, de discuter de l’orientation générale du suivi, etc. • Planifie avec précision, une fois les grandes lignes du programme de pays approuvées et la phase de mise en œuvre engagée, le suivi du programme/projet pour la première année. Le suivi devrait aller au-delà du suivi planifié pour l’effet connexe. En d’autres termes, le suivi du programme/projet devrait porter sur les problèmes liés à la mise en œuvre, sur l’exécution des produits, ainsi que sur

les progrès réalisés dans la réalisation des effets, Alors que le plan de suivi relatif aux effets devrait être plus ciblé.

b- PROCESSUS DE PLANIFICATION 1- PLANIFICATION DU SUIVI

La méthode et le calendrier pour suivre l’exécution des activités devraient être discutés dès le début et ensuite revus régulièrement. La planification du suivi se fait en général au stade de la conception du Programme de l’organisation, de la conception du programme/projet pour être ensuite revue chaque année. Le plan de suivi peut être axé sur les projets et programmes, ainsi que sur les changements apportés par le développement (effets). Des projets, programmes et nouvelles activités sont mis au point ou mis en œuvre au cours de chaque cycle de programmation. Parallèlement, des plans pour leur suivi et leur évaluation sont également élaborés. Ces plans sont conçus de façon à pouvoir s’intégrer dans le cadre pour le suivi et l’évaluation déjà établi dans le programme de pays. Les responsables sont chargés de définir les dispositions à prendre pour le suivi, compte tenu de la nature de l’effet, du programme et du projet. Différents dispositifs de suivi peuvent être retenus comme dans les exemples ci-après : • L’effet visé est l’amélioration des moyens de subsistance de la communauté villageoise, dans ce cas une approche réellement participative peut être nécessaire; • L’objectif visé implique une « assistance douce » importante, comme des conseils en matière d’orientation, dans ce cas le plan de suivi devrait inclure des dispositions pour suivre le processus d’établissement des politiques dans le pays; • L’effet visé implique notamment d’importantes activités de sensibilisation, dans ce cas le suivi pourrait viser à rendre compte de l’évolution des manières de voir (grâce à des enquêtes auprès des bénéficiaires ou de groupes cibles) plutôt que de l’évolution matérielle (grâce à des inspections sur les sites de projet); • L’effet visé est régional ou mondial, dans ce cas des rapports plus fréquents pourraient être nécessaires, compte tenu de la dispersion géographique des pays concernés. Les bureaux de pays, lorsqu’ils planifient le suivi des progrès réalisés dans la réalisation des effets (suivi des effets), sont encouragés à suivre les étapes suivantes :

2- IDENTIFIER LES BESOINS En d’autres termes déterminer la nature de l’effet et/ou des programmes et projets menés pour obtenir cet effet, décider de l’information requise pour pouvoir déterminer la nature de l’effet, identifier les éléments à suivre en priorité et définir des indicateurs de progrès ou de succès.

3- EVALUER LE SUIVI EN COURS Pour évaluer le suivi en cours (ou celui proposé pour les nouveaux projets), analyser les instruments de suivi utilisés dans tous les projets et programmes menés pour atteindre un effet donné. Mesurer l’efficacité de ces instruments pour obtenir les informations requises et le rôle qu’ils donnent aux partenaires clés. Établir si le suivi porte sur des questions réellement pertinentes pour mesurer l’efficacité. Identifier les possibilités d’augmenter l’efficacité et la coordination. Cette approche aidera à d’identifier, en fonction des besoins d’information, les insuffisances de l’analyse.

4- ANALYSER LA PORTEE, OU LES INSTRUMENTS, DU SUIVI

Est-il nécessaire d’élargir ou de spécialiser la portée, ou les instruments, du suivi en fonction du programme ou du projet considéré? Des programmes complexes ou de grande envergure

pourraient nécessiter plus de détails sur la mise en œuvre. Des projets en aval pourraient demander une participation supplémentaire des bénéficiaires. Des projets pilotes pourraient fournir des enseignements particuliers que devrait identifier le suivi.

5- ADAPTER ET/OU METTRE AU POINT DES MECANISMES DE SUIVI les mécanismes utilisés devraient permettre d’analyser de façon satisfaisante les effets et de combler le fossé pouvant exister entre l’information disponible et l’information requise. Par exemple, si un Comité directeur, ou autre mécanisme du même type, est utilisé pour le suivi, veillé à y faire participer les partenaires travaillant à la réalisation du même effet. Si le résultat considéré implique un grand nombre de partenaires, introduire des instruments supplémentaires comme des réunions des parties prenantes. Il n’y a pas de présentation standard pour l’établissement du plan de suivi. En pratique, le plan de suivi peut être inclus dans le plan de travail du bureau de pays, les plans de travail du projet, ou dans le plan de travail personnel des responsables de programme, ou encore dans les plans établis pour les mécanismes de coordination. Néanmoins, de nombreux bureaux de pays, pour assurer au suivi toute l’efficacité voulue, souhaiteront décrire dans un document spécifique l’ensemble des mesures prises pour le suivi.

6- PLANIFICATION DE L’EVALUATION L’évaluation est importante car elle permet de tirer des enseignements, de valider les résultats et prendre des décisions appropriées. Il est demandé aux organisation de réaliser un nombre précis d’évaluations d’effets au cours du cycle de programmation et de concevoir un plan d’évaluation pour ces évaluations d’effets et pour toutes les autres évaluations – de projets, programmes ou thèmes – qu’ils souhaitent faire. 1 Un système général pour la planification et le suivi de l’évaluation est prévu pour : a) planifier le déroulement des évaluations; b) analyser les enseignements et les résultats des évaluations et les consigner; c) contrôler la suite donnée aux recommandations issues de l’évaluation. Ce système fera la liaison avec les plans d’évaluation et des évaluations du bureau de pays et intégrera leurs informations pour permettre une responsabilisation et un apprentissage généralisés. Le plan d’évaluation est basé sur les décisions et les choix stratégiques de l’organisation (plus précisément de l’équipe de direction) concernant les éléments à évaluer et les calendriers d’évaluation. Le plan est ensuite utilisé pour s’assurer que les activités d’évaluation se déroulent bien comme prévu. La préparation de l’évaluation pourrait être facilitée par une « planification à rebours », c’est-à-dire en calculant à partir de la date fixée pour l’évaluation, et compte tenu du temps estimé nécessaire pour sa préparation et sa réalisation, le moment auquel engager le processus de préparation.

7- BUT DE L’EVALUATION D’EFFET : Les évaluations d’effet peuvent avoir différents buts, notamment :

- rassembler des informations sur le bien-fondé de la stratégie de partenariat de l’organisation dès les premières étapes de sa mise en œuvre,

- identifier les obstacles à la réalisation de l’effet fixé, définir les ajustements auxquels procéder à mi-parcours et tirer des enseignements pour le prochain cycle de programmation.

L’organisation devrait examiner les résultats effets dans le Cadre de résultats stratégiques pour identifier ceux nécessitant une évaluation et décider du moment où la réaliser pour obtenir le maximum d’informations. Par exemple, une évaluation en début de cycle pourrait être nécessaire dans le cas d’un effet de gouvernance faisant une part importante à la fourniture de conseils en matière de politique générale et de sensibilisation alors que le bureau de pays a relativement peu d’expérience dans ces domaines. Ce type d’évaluation en début de programme (qui peut même avoir lieu au cours de la première année) pourrait porter sur la formulation et l’application de la stratégie. Dans une situation différente, une évaluation à moyen terme pourrait être nécessaire pour procéder à des ajustements à mi-parcours et vérifier l’exécution des premiers produits

xi- LE CADRE DE RESULTATS STRATEGIQUES Définit une approche pour le développement et la démarche à adopter pour parvenir aux résultats escomptés. Il inclut des stratégies, des objectifs et une analyse des problèmes et fournit un point de départ pour une évaluation et un suivi axés sur les résultats. Au PNUD par exemple, le cadre est présenté dans un document qui définit les effets, les produits, les partenariats et les indicateurs avec buts et domaines stratégiques d’appui.

1- PROBABILITE D’INTERVENTIONS ULTERIEURES DANS LE MEME DOMAINE THEMATIQUE L’évaluation d’effet peut être extrêmement utile pour mettre au point des recommandations qui guideront la réalisation des travaux. Elle permet aux structures de voir dans quelle mesure les produits exécutés ont aidé à atteindre l’effet considéré et d’évaluer l’efficacité de la stratégie de partenariat élaborée. Il est préférable de choisir d’évaluer des effets ayant trait à des domaines auxquels le bureau de pays continuera de s’intéresser.

2- ENSEIGNEMENTS :

Quels sont les enseignements dont on a besoin pour guider la poursuite des activités dans ce pays ou dans d’autres pays de la région? Une évaluation de résultat dans un domaine thématique donné n’est pas seulement instructive dans ce domaine, mais peut également fournir des enseignements utilisables dans d’autres domaines thématiques. Les organisations devraient choisir les effets à évaluer en fonction des enseignements qui peuvent être tirés et qui sont utiles pour toute l’organisation.

3- CALENDRIER DES EVALUATIONS La structure peut définir la date des évaluations en fonction de sa charge de travail prévue pour chaque année donnée. Il cherche à répartir équitablement les évaluations, en les échelonnant sur l’ensemble du programme de pays et en variant leur portée. Il alternera les évaluations en début et en fin de cycle, les évaluations succinctes et les évaluations plus approfondies, en fonction des besoins.

xii- PLANIFICATION DU PROJET Le plan de travail du projet est un instrument utilisé pour fixer des buts à l’exécution des produits et pour mettre au point une stratégie visant à rentabiliser au maximum la contribution du projet et des

activités connexes à la réalisation des effets fixés dans le cadre de résultats stratégiques. Le processus de planification des tâches aide l’équipe responsable de la gestion du projet et les autres parties prenantes à s’accorder sur la meilleure stratégie à adopter pour parvenir aux résultats escomptés. La planification axée sur les résultats nécessite une révision régulière du plan de travail. L’accent devrait être mis sur les objectifs généraux du cadre de résultats stratégiques plutôt que sur les objectifs plus limités du projet. Le plan de travail permet de faire la relation entre les apports, le budget, les activités, les produits et les effets. Une approche plus souple pour la réalisation du projet peut devenir nécessaire si les enseignements tirés de cet examen périodique impliquent des ajustements réguliers du plan de travail. Le responsable s’appuie sur les plans de travail du projet pour contrôler l’avancement des travaux. Les plans de travail du projet permettent aux responsables de programme et aux autres parties prenantes de s’accorder sur les résultats et de s’assurer que ceux-ci sont conformes aux objectifs et aux cibles posés dans le cadre de résultats stratégiques. Les plans de travail peuvent également fournir un point de départ pour décider de la démarche à suivre pour l’exécution des produits escomptés, pour fixer les apports et les rubriques budgétaires. Des points de repère stratégiques pour les activités et les produits fixés dans le plan de travail permettront de noter très tôt si les progrès réalisés dans la réalisation des objectifs correspondent bien aux prévisions. Le responsable de projet devrait inclure les principales activités d’évaluation et de suivi de l’exécution du projet dans le plan de travail en précisant particulièrement les modalités du suivi des effets. Le plan pourrait également donner des précisions sur la supervision des activités exécutées sous contrat, la collecte des données et de l’information, ainsi que les activités spécifiques prévues dans le cadre du suivi comme les réunions des parties prenantes.

1- LE SUIVI DE L’EXECUTION Le suivi de l’exécution est probablement la tâche la plus importante d’un responsable. Le ou la responsable de programme mesure les progrès réalisés dans la réalisation des activités du projet en fonction des effets prévus et choisit les différentes méthodes de suivi. Le présent chapitre donne des directives pour pouvoir contrôler efficacement les résultats, y compris propose différentes méthodes pour établir les rapports, conduire les analyses et vérifier les progrès réalisés dans la poursuite des résultats et l’application d’une démarche participative.

2- PRINCIPES DE BASE DU SUIVI La gestion axée sur les résultats définit le « suivi optimal » comme étant un suivi continu impliquant les partenaires et axé sur les progrès réalisés dans la poursuite des effets. Un suivi de ce type peut servir de point de départ pour le Rapport annuel axé sur les résultats (RAAR) et pour les évaluations. Le bureau de pays doit choisir les bons instruments de suivi et être capable de trouver le juste équilibre entre les analyses de rapport, les études et les procédures de validation, tout en assurant une réelle participation des parties prenantes. L’efficacité du suivi d’exécution ne tient pas simplement à la production de rapports sous une forme prescrite à des dates données. Les organisations doivent adopter de bonnes pratiques pour décider à la fois de la portée du suivi et de la méthode à suivre. Chaque organe choisit, tout en respectant un ensemble de principes de base, les instruments, modes de présentation, calendriers et programmes qui permettront à l’équipe de gestion de parvenir aux résultats souhaités. Les bonnes pratiques de suivi et

d’évaluation des organisations peuvent être elles-mêmes contrôlées par des études, des indicateurs de gestion et des vérifications portant sur le projet ou le bureau de pays.

3- EFFICACITE La crédibilité des évaluations et des constatations dépend en grande partie de la façon dont sont exécutés le suivi et l’évaluation. Il y a des principes (ou « normes minimums ») à respecter pour que le suivi ait toute l’efficacité voulue, à savoir : • Mettre l’accent sur les résultats et le suivi. Identifier, en fonction des progrès réalisés dans la poursuite des résultats prévus, ce qui « marche bien » et ce qui « ne marche pas ». Consigner ensuite les résultats de ces observations dans des rapports, faire des recommandations pour améliorer la situation, puis leur donner suite en prenant des décisions et des mesures appropriées. • Veiller à la bonne conception du projet. Si un projet est mal conçu, ou basé sur des présupposés erronés, même le suivi d’exécution le plus efficace ne fera pas son succès. Il est particulièrement important d’articuler logiquement effets, produits et activités. Les organes ne devraient pas chercher à utiliser le suivi pour résoudre des problèmes chroniques qui nécessitent en fait des solutions radicales. • Prévoir des inspections régulières de l’organisation axées sur les résultats et le suivi pour vérifier et valider les progrès réalisés. En outre, le responsable devrait organiser des visites et/ou des réunions bilatérales pour évaluer les progrès réalisés, obtenir une vue d’ensemble et identifier les domaines à problème. Le responsable de programme veille aussi à rassembler régulièrement une information actualisée sur les résultats obtenus et les problèmes qui se posent et n’attend pas le dernier moment pour essayer de se rappeler ce qui est arrivé. • Procéder à une analyse régulière de certains rapports choisis, dont le Rapport de projet annuel. Le respect de cette norme minimum contribue aussi à l’efficacité du suivi. Ces rapports, préparés par l’équipe responsable du projet, ou les directeurs, à l’intention des membres de l’organisation et les autres partenaires sont également utilisés par les responsables comme point de départ pour leurs analyses. • Choisir des mécanismes de contrôle participatifs pour assurer l’engagement, l’appropriation, le suivi et le retour de l’information. Il est indispensable de tenir compte, dans l’évaluation des progrès, des activités entreprises par les partenaires dans le cadre du même résultat. Par mécanismes participatifs on entend notamment les groupes de discussion sur les effets, les réunions des parties prenantes, les comités directeurs et les entretiens avec des groupes de réflexion. • Trouver des méthodes pour évaluer objectivement l’exécution et l’avancement des activités en utilisant des critères et des indicateurs clairs. Les organisations, pour pouvoir évaluer plus précisément les progrès réalisés dans la poursuite des effets, devraient chercher à améliorer leur système d’évaluation de la performance en mettant au point des indicateurs et des points de repère appropriés. • Évaluer la pertinence, la performance et le succès des interventions de la structure en matière de développement pour donner également plus de portée au suivi. La structure doit régulièrement

s’interroger sur la pertinence de l’appui apporté à l’activité considérée et chercher à juger l’exécution et le succès, ou l’échec, en s’appuyant sur des informations concrètes. Les résultats de ces analyses sont utilisés pour les prises de décision relatives à la programmation et à l’appui au programme • Enfin, l’organisation doit activement tirer les enseignements du suivi, assurer l’apprentissage, adapter les stratégies et éviter de répéter les mêmes erreurs. L’utilisation du support électronique pour consigner et diffuser ces enseignements fait également partie des normes minimums.

4- PORTEE Le suivi vise à mesurer les progrès enregistrés dans la poursuite des résultats prévus. Le responsable de programme, grâce à l’information rassemblée au cours du suivi, analyse les activités de projet et de programme contribuant à la poursuite des résultats prévus résultats qui s’inscrivent dans les domaines stratégiques d’appui définis dans le cadre de résultats stratégiques et prend les mesures qui s’imposent. Les responsables de programme contrôlent également le rôle joué par l’« appui conseil » et les partenariats stratégiques et rassemblent de la documentation à ce propos. Toutes ces tâches font partie du suivi des résultats. Toutes les activités de suivi et d’évaluation devraient, au minimum, porter sur : • Les progrès réalisés dans la poursuite des effets : ce qui signifie notamment analyser périodiquement les progrès réalisés dans la poursuite des effets et identifier ceux qui sont atteints; • Les facteurs favorisant ou ralentissant la poursuite de l’effet : ce qui oblige à tenir compte de la situation nationale et son évolution économique, sociale, politique et autre; • Les contributions du PNUD dans la poursuite des effets : ces produits peuvent résulter de programmes ou projets, de la fourniture de conseils en matière de politique, d’activités de sensibilisation et autres. Le suivi et l’évaluation de ces produits visent notamment à vérifier qu’ils sont exécutés comme prévu et à mesurer leur rôle dans la poursuite du résultat fixé; • La stratégie de partenariat : ce qui implique d’analyser la forme donnée aux stratégies de partenariat, ainsi que la composition et le fonctionnement des alliances conclues. Il est ainsi possible de s’assurer que les partenaires ayant le même objectif ont une approche commune des problèmes et des besoins et qu’ils appliquent une même stratégique synchronisée. Les bureaux de pays peuvent ajouter à cette liste d’autres éléments lorsque cela est nécessaire pour la gestion ou l’analyse, tout en veillant à maintenir la portée du contrôle dans des limites le mode de présentation simplifié adopté pour le document de projet en s’alignant sur la gestion axée sur les résultats devrait faciliter le suivi qui devrait s’appuyer sur des indicateurs de produits de projet lorsque nécessaire. Les objectifs figurant dans le descriptif de projet devraient correspondre aux objectifs fixés dans le cadre de résultats stratégiques. Réalistes, compte tenu des moyens disponibles, La mise en œuvre des activités n’est plus suivie aussi sérieusement qu’elle pourrait l’être, en grande partie parce que les efforts se concentrent surtout désormais sur le suivi des effets et des produits.

Le compromis courant est d’approfondir moins la mise en œuvre mais d’insister plus sur les effets. Chaque organisation doit, lorsqu’il contrôle la mise en œuvre, trouver le juste milieu, c’est-à-dire resté suffisamment précis sans pour cela se perdre dans les détails. Par exemple, ce n’est pas son rôle de s’interroger sur des détails pratiques comme de savoir si « la voiture a bien été fournie » ou si «l’assistant de projet a bien été payé ». Des échanges réguliers entre le responsable des organisations devraient donner suffisamment d’indications sur les problèmes posés par la mise en œuvre, les activités, les produits et les dépenses. C’est l’institution chargée de gérer le projet (l’agent d’exécution) qui organise ces échanges. Dans les cas où un suivi plus étroit par la structure requis pour assurer la transparence, il est possible de réduire le niveau de détail du suivi en introduisant des suivis ponctuels et en précisant la planification des tâches grâce à des points de repère et autres mesures. Il faut noter que les problèmes liés à la mise en œuvre, tels que les faiblesses de gestion et le manque de transparence ne peuvent pas être réellement résolus par le suivi. Les évaluations de capacité, un projet bien conçu ou des accords préalables sur les normes de gestion permettront beaucoup plus efficacement de résoudre ces problèmes. Le suivi ne se limite pas aux produits du projet. L’évaluation des progrès réalisés dans l’exécution des projets et des programmes, dans la mise en place des partenariats et dans la fourniture de l’« appui conseil », dans la mesure où tout cela contribue à atteindre les effets fixés, fait aussi partie du suivi. Le suivi fournit aussi aux responsables des informations qu’ils peuvent utiliser comme point de départ pour prendre les décisions et les mesures qui s’imposent. Dans la gestion axée sur les résultats, le suivi joue un rôle encore plus important pour les prises de décision et l’apprentissage et est considéré comme une étape indispensable dans la collecte d’informations et de données pour les évaluations. Des ressources budgétaires suffisantes devraient être allouées pour le suivi. Le bureau de pays peut imputer directement sur le budget du projet le financement des visites prévues pour informer l’institution désignée. Le budget du projet peut également couvrir, avec l’aval du Représentant résident, la participation des partenaires nationaux aux visites. Le responsable de la gestion du projet, généralement le gouvernement, s’occupe de l’exécution des produits du projet, de la réalisation des activités, de la gestion des apports et de la gestion administrative. Il contrôle également les activités menées sous contrat. Il élabore le plan de travail du projet et établit, la structure, le rapport de projet annuel. Ce dernier fournit des informations et des enseignements extrêmement utiles pour améliorer l’efficacité de la stratégie de mise en œuvre et d’exécution des produits. Le responsable de la gestion du projet peut également participer à la mise en place de la stratégie de partenariat conçue par le bureau de pays. L’institution qui gère le projet est chargée d’articuler les résultats escomptés et les attentes des bénéficiaires cibles pour favoriser une bonne maîtrise du projet. Le suivi des activités de projet au quotidien est principalement la responsabilité de l’agent d’exécution. Le rapport de projet annuel est réalisé par l’équipe de projet et accorde une attention particulière aux résultats. L’institution qui gère le projet devrait effectuer un contrôle détaillé de toutes les « prestations », et de tous les aspects de la mise en œuvre. Les membres de l’équipe du projet qui sont des experts

dans leur domaine d’activité pourraient également, dans le cadre du contrôle, faire certaines évaluations spécialisées qui seraient ensuite utilisées pour le RAAR. Instruments Les méthodes et instruments de suivi décrits ci-après sont applicables pour les projets, les programmes, les effets ou pour toute autre activité. Par exemple, bien que les comités directeurs soient normalement créés pour diriger les projets, ils peuvent également être établis pour suivre un Résultat impliquant un grand nombre de parties prenantes. Les responsables de programme travaillent dans un cadre axé sur les progrès réalisés dans la poursuite des effets et sur la contribution connexe de la structure. En respectant ce cadre, ils doivent définir un assortiment équilibré de méthodes et instruments de suivi adapté à chaque projet, programme ou effet faisant la part entre : • Les rapports/analyse, collecte et analyse de la documentation sur le projet pour obtenir des informations sur les progrès réalisés; • La validation, contrôle ou vérification de l’exactitude des progrès rapportés; • La participation, pour obtenir un retour d’information des partenaires et des bénéficiaires sur les progrès réalisés et les actions proposées. Dans le tableau 1 les mécanismes de suivi possibles sont répartis en trois catégories selon leur caractéristique dominante. Par exemple, les inspections sur le terrain ont pour but principal la validation par observation directe, mais elles peuvent aussi se ranger dans le groupe des mécanismes participatifs lorsqu’elles impliquent un retour d’information des bénéficiaires.

xiii- CLASSEMENT DES MECANISMES DE SUIVI PAR CATEGORIE 1- RAPPORTS ET ANALYSES VALIDATION PARTICIPATION

• Rapport de projet annuel • Rapports trimestriels et/ou d’activité • Plans de travail • Rapports sur l’exécution du projet/programme et rapports combinés • Documentation de fond pour le projet • Visites sur le terrain • Vérifications ponctuelles • Évaluations/suivis externes • Enquêtes auprès de la clientèle • Évaluations • Groupes de discussion sur les effets • Mécanismes/Comités directeurs • Réunions des parties prenantes • Réunions des groupes de réflexion • Examen annuel... L’apprentissage est fait grâce à tous les mécanismes et instruments de suivi... Différents groupes d’acteurs utiliseront différents instruments ou les utiliseront différemment. Il n’est pas réaliste de croire qu’un instrument ou un mécanisme de suivi puisse satisfaire tous les besoins. Le suivi des résultats peut nécessiter un choix d’instruments différents de ceux traditionnellement employés au niveau du projet. Des instruments tels que les inspections de projet ou les réunions bilatérales/tripartites peuvent s’avérer inappropriés parce que le projet à une portée trop limitée ou que le nombre de partenaires impliqués est trop restreint. Par contre, des examens faits par des groupes de discussion sur les effets, les analyses et les études pourraient se

révéler des instruments plus utiles dans ce cas (voir annexe E pour la description d’un assortiment d’instruments de suivi pouvant être utilisé par un bureau de pays moyen ou grand).

2- APPROCHE MODULAIRE : INSTRUMENTS ET MECANISMES DE SUIVI Un éventail d’instruments et de mécanismes de suivi, formels et informels, sont à la disposition des structures, visites sur le terrain, rapports de projet annuels, groupes de discussion sur les résultats et examens annuels notamment. Ils sont adaptables aux besoins locaux à partir du moment où le minimum d’information requis (progrès réalisés dans la poursuite des effets, dans l’exécution des produits et dans la création de partenariats) est bien fourni. Les structures devraient au moins utiliser les instruments et mécanismes principaux présentés ci-dessous. D’autres instruments et mécanismes sont donnés au tableau

a- VISITES SUR LE TERRAIN Les visites sur le terrain sont fréquemment utilisées comme mécanisme de suivi et de mise en oeuvre. Des visites sur le terrain régulières sont devenues une pratique courante. Le choix de la date de l’inspection, de son objectif et des éléments à contrôler doit être fait de façon judicieuse pour pouvoir réellement mesurer les progrès réalisés. a - 1 CALENDRIER : Une visite sur terrain peut se dérouler à n’importe quel moment de l’année. Si elle a lieu au cours du premier semestre, juste après la réalisation du RAAR, elle sera orientée plutôt sur la validation des résultats. Si elle a lieu au cours du deuxième semestre, elle fournira des informations actualisées sur les progrès enregistrés dans la préparation du rapport annuel. Les rapports des visites sur le terrain sont concrets et relativement brefs. Ils doivent être présentés une Semaine au plus tard après le retour de visite. a – 2 BUT : Les visites sur le terrain sont importantes pour la validation des résultats. Elles permettent de valider les résultats fournis par les programmes et projets, notamment lorsqu’il s’agit de grands programmes et projets jouant un rôle essentiel dans la poursuite des effets du cadre de résultats stratégiques. Elles incluent une évaluation des progrès, résultats et problèmes et peuvent également prévoir des inspections de l’équipe de gestion ou de direction du projet. Ces visites, de plus en plus, sont réalisées conjointement par plusieurs partenaires et portent sur plusieurs programmes et projets consacrés à un effet commun. Une équipe de responsables de programme, par exemple, on peut entreprendre une série de visites portant sur des projets liés à un effet particulier. Plusieurs partenaires peuvent également visiter ensemble toutes les activités menées par le PNUD dans une zone géographique donnée. Les visites communes constituent souvent un moyen efficace d’obtenir une vue d’ensemble précise des progrès réalisés. Tous les projets ne nécessitent pas le temps et les efforts qu’exige une visite annuelle sur le terrain comme on peut le voir dans les cas suivants : • Un suivi au jour le jour peut suffire pour les projets qui traitent de questions purement administratives comme les projets d’appui logistique au programme, les centres d’activités ou certains projets-cadres sans résultats prédéterminés en matière de développement; • Un suivi basé sur des rapports et des contacts réguliers peut être aussi efficace qu’une inspection annuelle dans le cas de petits projets non stratégiques et/ou d’une durée maximum d’un an;

• Lorsque d’autres activités de suivi et/ou d’évaluation ont récemment été menées, le responsable de programme peut reporter sa visite à une date ultérieure. En d’autres termes, si une évaluation récente des objectifs a été discutée à une réunion des parties prenantes et que le comité directeur du projet a pris ensuite certaines décisions, le responsable de projet peut souhaiter laisser s’écouler assez de temps pour qu’une suite puisse être donnée aux recommandations. a – 3 CIBLE : Quelle est la cible d’une visite sur le terrain? L’accent est mis sur les progrès réalisés dans la poursuite des résultats (effets et produits) qui aident à atteindre les objectifs du cadre de résultats stratégiques. Le responsable devrait également s’intéresser au rôle joué par l’« appui conseil », à la mise au point des partenariats stratégiques et mesurer les progrès réalisés par rapport aux produits et effets prévus. Contrairement à ce qui était la norme par le passé, les visites sur le terrain ne se concentrent plus sur les détails de la mise en œuvre (voir annexe D pour la présentation des rapports de visite sur le terrain). b - RAPPORT ANNUEL Le rapport annuel sert de point de départ pour évaluer, en fonction de l’exécution des produits et des activités de partenariat, la contribution des programmes et projets à la poursuite des effets prévus. C’est un rapport d’auto-évaluation qui ne demande pas une préparation importante réalisé par le responsable de la gestion du projet à l’intention de la structure. Il peut être utilisé, tel quel, comme point de départ pour un dialogue avec les partenaires. Il est établi chaque année pour les grands projets jouant un rôle essentiel dans la poursuite des effets du cadre de résultats stratégiques et sert pour l’examen annuel et le rapport annuel axé sur les résultats. b – 1 CALENDRIER La période couverte par le Rapport annuel est relativement souple dans la mesure où l’évaluation de l’exécution du projet peut être faite à n’importe quel moment de l’année. L’idéal serait cependant qu’il soit établi tous les 12 mois et porte sur la période correspondant à l’année financière. b – 2 BUT Le rapport de projet annuel est une auto-évaluation réalisée par l’équipe responsable de la gestion du projet qui s’inscrit dans l’examen de l’exécution du projet du responsable de programme. Il devrait fournir un bilan exact des résultats du projet, identifier les principaux problèmes et proposer des orientations. Il fournit des éléments à l’organisation pour ses rapports et est utilisé dans le RAAR. Son analyse des raisons sous-jacentes au manque de progrès aide l’équipe responsable de la gestion du projet à tirer les enseignements de l’expérience et à prendre les mesures qui s’imposent pour améliorer l’exécution du projet. b – 3 PREPARATION : Le Rapport annuel est préparé par l’équipe responsable, les responsables de la gestion au jour le jour (conseiller technique principal, coordonnateur du projet, directeur national ou équivalent). Le responsable de programme reste en contact avec l’équipe responsable de la gestion du projet pour que les principaux problèmes soient pris en compte dans le rapport. C’est un rapport d’information destiné à l’organisation et aux autres parties prenantes, ce n’est pas un instrument pour encourager la participation ou la recherche de consensus. Le directeur du projet et le responsable de programme mesurent l’avancement de l’exécution des produits dans le rapport de projet annuel et

le responsable de programme mesure les progrès réalisés dans la poursuite des effets. Le rapport de projet annuel peut être établi périodiquement ou même supprimé pour les projets plus petits ou ceux qui ne prévoient pas de produits stratégiques destinés au cadre de résultats stratégiques/RAAR comme on peut le voir dans les cas suivants : • Un suivi de l’exécution du projet fait en mesurant la satisfaction des bénéficiaires, les services fournis, ou encore par d’autres moyens, peut se révéler suffisant pour les projets traitant de questions purement administratives, y compris les projets d’appui logistique au programme, les projets d’appui, les centres commerciaux et certains projets-cadres n’ayant pas de résultats spécifiques prévus en matière de développement; • Un suivi à jour et un rapport final sur les résultats peuvent être appropriés pour les petits projets d’une durée maximum d’un an; • Des mécanismes de suivi de l’exécution peuvent être suffisants pour les petits projets, ceux qui n’ont ni effets ni produits stratégiques prévus ou pour ceux qui ne sont pas utilisés pour établir le RAAR. b – 4 FINALITE La production du Rapport de projet annuel s’inscrit dans le cadre de la gestion, du suivi et de la supervision du projet dont est chargé, au niveau général. Il appartient plus précisément au module examen annuel/RAAR. Après sa distribution, des consultations devraient être organisées, par exemple au niveau du comité directeur, ou par écrit auprès des partenaires. L’organisation pourrait l’utiliser, en fonction de son contenu et de son orientation pour :

3- L’EVALUATION DE LA PERFORMANCE : L’évaluation de la performance du projet est liée au cadre de résultats stratégiques et au RAAR. Le responsable vérifie l’exactitude des informations communiquées dans le rapport de projet annuel et détermine si les problèmes y sont exposés de façon satisfaisante. Il peut demander un complément d’information si les résultats communiqués lui semblent peu clairs. Une fois les éclaircissements requis apportés, le rapport de projet annuel alimente directement le RAAR. Lorsque des mécanismes comme les groupes discussion sur les effets ou les comités directeurs sont utilisés pour vérifier l’exécution du projet, il peut aussi servir de point de départ pour trouver un consensus et décider, avec les principaux partenaires, des recommandations à faire pour la poursuite de l’action. Certains de ses éléments clés sont aussi repris pour l’examen annuel de pays. Il devrait être utilisé comme base pour obtenir un retour d’information sur l’exécution du projet.

a- L’APPRENTISSAGE : Le rapport annuel fournit des informations sur ce qui a bien marché, ce qui a échoué et explique pourquoi. Ces renseignements devraient être utilisés pour l’Examen annuel par les réseaux d’apprentissage et de praticiens des systèmes des ressources sous-régionales, par les banques de connaissances et les équipes d’évaluation. Il est recommandé d’ajouter dans le rapport annuel établi pour la dernière année du projet des sections consacrées aux enseignements de l’expérience et à la planification du suivi (stratégie de sortie). Ces enseignements peuvent être tirés sous la forme de bonnes et mauvaises pratiques, de possibilités de succès ou de recommandations pour le suivi lorsque nécessaire. Le rapport de projet annuel peut également être utilisé pour discuter des résultats et des problèmes avec les bénéficiaires, les partenaires et les parties prenantes et pour connaître leurs réactions.

b- LES PRISES DE DECISION : Les partenaires peuvent se servir du rapport annuel pour planifier leurs futures stratégies d’action et de mise en œuvre, pour mesurer les progrès réalisés dans l’exécution des produits et l’efficacité de « l’appui conseil » et pour faire le bilan des partenariats et des alliances. La structure, les comités directeurs et les partenaires peuvent l’utiliser pour trouver des solutions aux principaux obstacles à l’obtention des résultats. Le responsable de programme souligne les problèmes et les porte à l’attention de l’équipe responsable de la gestion du projet pour qu’elle puisse prendre les mesures qui s’imposent, ou en tenir compte dans l’examen annuel de pays, contribuant ainsi au débat sur les résultats obtenus, les principaux problèmes et la poursuite de l’action.

c- CONTENU ET PRESENTATION DU RAPPORT DE PROJET ANNUEL : Le rapport doit être très bref et contenir les éléments de base minimums requis pour l’évaluation des résultats, des principaux problèmes et des actions proposées. Ces éléments sont notamment • L’analyse de l’exécution du projet au cours de la période sur laquelle porte le rapport, y compris les produits exécutés et, lorsque possible, des informations sur les progrès réalisés dans la poursuite de l’effet; • Les obstacles à l’obtention des résultats, et les raisons sous-jacentes; • Trois (maximum) grands obstacles à l’obtention des résultats; • Les enseignements tirés; • Des recommandations claires sur la démarche à suivre pour traiter les principaux problèmes faisant obstacle à l’obtention des résultats. Des éléments supplémentaires peuvent être ajoutés à cette liste minimum lorsque l’organisation, l’équipe de gestion du projet ou les autres partenaires l’estiment nécessaire. Certains bureaux peuvent, par exemple, souhaiter inclure des questions de gestion comme les dépenses pour l’exécution des produits, les problèmes de mise en œuvre (les décisions et les modalités de gestion), l’efficacité des approches et des stratégies adoptées pour cette mise en œuvre, l’influence des facteurs extérieurs, les problèmes posés par le personnel et le travail d’équipe. Néanmoins, plus on élargit le champ du rapport, plus il devient difficile de se concentrer sur les questions clés. En outre, dans un souci d’harmonisation, il est préférable d’utiliser le même mode de présentation que celui adopté pour les rapports des donateurs, pourvu que les informations sur les effets, les produits et les stratégies de partenariat requis figurent bien dans le rapport. (Voir annexe C pour le mode de présentation des rapports de projet annuels).

d- GROUPES DE DISCUSSION SUR LES EFFETS Des mécanismes de coordination réunissant les partenaires pour discuter et procéder à des analyses communes constituent un autre moyen de suivi important. Ces mécanismes sont généralement regroupés sous l’expression « groupes de discussion sur les effets ».

4- EXAMEN ANNUEL L’examen annuel consiste à faire, à partir des rapports, des retours d’information, des évaluations et des enseignements tirés, une analyse de l’exécution du projet qui servira de base au rapport annuel axé sur les résultats. Il est important que le rapport annuel axé sur les résultats soit établi à partir d’analyses basées sur les consultations avec les partenaires. L’examen annuel est conduit vers la fin de l’année (entre octobre et décembre) pour que ses conclusions puissent être utilisées lors de la préparation du RAAR.

a- BUT : L’examen annuel prend la forme d’un échange de vues organisé au niveau du pays pour évaluer les progrès réalisés dans la poursuite des résultats (produits et effets). Il peut être utilisé pour dégager un consensus et permettre à l’organisation et à ses partenaires de s’accorder sur des objectifs communs (résultats). Il inclut une évaluation, par le staff et les partenaires, des effets du cadre de résultats stratégiques et de leur contribution aux buts fixés dans le programme. Cette évaluation sert ensuite de base au RAAR. Les débats devraient aider à planifier l’assistance de la structures pour les 12 mois à venir. L’examen annuel, en identifiant les enseignements généraux et globaux et en analysant les recommandations contenues dans les évaluations d’effets est un vecteur non négligeable d’apprentissage. Pour déterminer l’approche la plus efficace, Il se posera les trois questions de fond, à savoir :

- Quel est l’objectif de l’examen annuel? - Qui doit y participer? - Quelle est la cible de l’examen annuel?

Centrer les débats sur les résultats difficiles ou controversés. Pour les effets ne présentant pas de difficultés, se contenter se produire le RAAR et de communiquer l’information ainsi rassemblée

b- DOCUMENTATION : Aucune documentation officielle n’est requise pour l’examen annuel dans la mesure où différentes approches sont possibles. Le travail préparatoire s’appuie sur les débats internes consacrés à l’analyse de l’exécution sur la base des rapports annuels, des évaluations et des autres informations pertinentes disponibles sur l’exécution du projet et les progrès réalisés dans la poursuite des effets. Dans certains pays, il pourrait être utile d’utiliser comme base de discussion le cadre de résultats stratégiques et/ou le projet de RAAR établi à partir des rapports annuels. Cela permettra aux partenaires de se mettre d’accord sur les résultats communiqués. Dans d’autres cas, l’information relative aux principaux résultats est présentée sous différentes formes. Les rapports annuels pourraient être distribués au cours des réunions restreintes consacrées à un effet spécifique. Dans les réunions plus larges, il pourrait cependant s’avérer plus efficace de distribuer une liste résumant les questions soulevées par les rapports annuels et précisant les problèmes, les recommandations, les évaluations et les constatations des délibérations du comité directeur. Les progrès enregistrés dans la poursuite des effets lors de l’examen annuel sont repris dans le Rapport annuel axé sur les résultats. Pour s’assurer qu’une suite est donnée aux autres points analysés au cours de l’examen, le staff devrait préparer des résumés des décisions, constatations et enseignements tirés au cours de l’examen annuel et les communiquer aux partenaires locaux ainsi qu’aux autres parties et réseaux intéressés. Cela favorisera l’apprentissage et aidera les responsables de programme à suivre l’application des accords résultant de l’examen annuel.

c- L’EVALUATION Comment est-ce que les bureaux de pays préparent et réalisent l’évaluation? Et comment est-ce que l’équipe d’évaluation conduit cette évaluation ? Le présent chapitre propose une méthodologie d’évaluation des effets et fait des suggestions pour améliorer les évaluations de projet. Il vise

également à aider les utilisateurs à réaliser une évaluation et à fixer des normes pour assurer la qualité des évaluations axées sur les résultats.

d- ÉVALUATIONS COMMUNES 1- PRÉPARATION DE L’ÉVALUATION

La préparation d’une évaluation demande du temps et de la réflexion. La préparation d’une évaluation d’effet, généralement, bien que ce ne soit pas toujours le cas, demande encore plus de temps et de réflexion que les évaluations de projet.

2- BUT ET CALENDRIER Décider précisément quand et comment réaliser une évaluation d’effet est un processus complexe qui commence dès le début du cycle de programmation, les plans d’évaluation sont élaborés en s’appuyant sur les effets (dont le nombre peut varier) que chaque organisation doit évaluer obligatoirement au cours d’un cycle de programme de pays donné. Différentes évaluations d’effets, chacune avec des buts, une portée et un calendrier différent sont prévues pour chaque cycle. Les organisations devraient chercher à définir, du moins en général, le but et le calendrier de leurs évaluations de façon précise et cohérente, le plus tôt possible. Le calendrier de réalisation d’une évaluation d’effet devrait être directement lié à son but). Une évaluation d’effet qui vise à favoriser l’apprentissage ou à aboutir à des modifications de la nature des produits ou de la stratégie de partenariat doit être réalisée assez tôt pour permettre la prise en compte de ces changements dans la programmation. En d’autres termes, si l’organisation commence à travailler à la réalisation d’un effet donné dès la première année du cycle de programme de pays, l’évaluation de cet effet devrait être stratégiquement placée à la fin de la troisième année de façon à laisser assez de temps s’écouler pour qu’il y ait quelque chose à évaluer mais aussi de se réserver assez de temps pour ensuite appliquer les leçons tirées de l’évaluation. D’un autre côté, si l’organisation souhaite tirer des enseignements quant à la qualité des produits et la validité de la stratégie de partenariat contribuant à la réalisation d’un effet précis, ou leur efficacité, l’évaluation d’effet devrait stratégiquement se dérouler au début de la cinquième année. Le même principe vaut pour les évaluations de projet : le but de l’évaluation devrait dicter son calendrier et sa portée.

3- PARTICIPATION DES PARTENAIRES ET DES PARTIES PRENANTES En mettant l’accent sur les résultats, on est amené à insister encore plus sur la participation des partenaires (ceux qui sont activement engagés avec l’organisation dans la réalisation des résultats) et des parties prenantes. Certains moyens peuvent aider à impliquer les partenaires et les parties prenantes dans le processus complet de l’évaluation, notamment : • Procéder à une pré-sélection des partenaires et des parties prenantes à contacter dans les premiers stades de la planification de l’évaluation (sélection de son effet, définition de sa portée, choix du calendrier, etc.);

• Diffuser le mandat de l’équipe d’évaluation et le curriculum vitae des candidats présélectionnés pour obtenir un retour d’information de la part des parties prenantes et des partenaires qui peuvent jouer un rôle important dans la définition de la portée de l’évaluation d’effet; • Présenter les membres de l’équipe d’évaluation aux partenaires et aux parties prenantes; • Inviter les partenaires et les parties prenantes aux ateliers organisés avec l’équipe d’évaluation (Sur la formulation des questions d’évaluation, la présentation du rapport d’évaluation, etc.); • Procéder, avec les partenaires, à une analyse conjointe de la documentation pertinente pour l’évaluation et communiquer cette analyse, pour examen, à l’équipe d’évaluation; • Organiser des visites sur le terrain avec les partenaires, lorsque pertinent; • Organiser une réunion avec les partenaires et les parties prenantes après l’élaboration de la première mouture du projet de rapport d’évaluation pour en discuter ensemble les constatations; • Assurer le suivi avec les partenaires et les parties prenantes pour veiller à l’exploitation des enseignements et des recommandations de l’évaluation.

4- CONFIRMATION DE L’EFFET L’une des premières étapes de la planification est de confirmer la valeur de l’effet choisi pour l’évaluation. Il s’agit de s’assurer que l’effet est toujours pertinent et d’identifier clairement les principaux produits, projets, programmes, activités et interventions des partenaires qui lui sont liés. L’équipe du bureau de pays devrait pouvoir obtenir ces informations sans difficulté à partir des rapports périodiques de contrôle, du cadre de résultats stratégiques/RAAR et du plan d’évaluation. Le plan qui est préparé par chaque bureau de pays expose en détail les projets, programmes, assistance douce, etc. ayant trait à un effet donné. Dans l’idéal, cette confirmation de l’effet devrait avoir lieu au moins six mois avant l’évaluation elle-même.

5- PORTEE DE L’EVALUATION Normalement la portée d’une évaluation de projet se définie d’elle-même dans le descriptif de projet. Dans la plupart des cas, la portée de l’évaluation d’effet sera plus large que celle d’une évaluation de projet. L’équipe de direction du bureau de pays, l’équipe du programme, l’équipe du Rapport national sur le développement humain (qui peut fournir une analyse contextuelle très utile de l’objectif), les principaux partenaires et, si possible, le Chef de l’équipe d’évaluation, devraient tous participer à la définition de la portée de l’évaluation d’effet. La portée d’une évaluation d’effet devrait être composée au minimum des quatre domaines d’analyse suivants, chacun plus ou moins détaillé selon les cas : 1. Situation de l’effet : l’effet a-t-il été atteint? Dans la négative, quels progrès ont été enregistrés dans sa réalisation? 2. Facteurs sous-jacents : quels sont les facteurs, dépassant la compétence de l’organisation, qui influencent la réalisation de l’effet? 3. Contribution de la structures : est-ce que les produits, et autres activités, exécutés par la structure ont réellement aidé à atteindre l’effet, y compris en contribuant à l’exécution des produits, programmes, projets et à l’assistance administrative et technique liés à l’effet. 4. Stratégie de partenariat : est-ce que la stratégie de partenariat de l’organisation a été appropriée et efficace. Il peut cependant y avoir des exceptions. Par exemple, la portée de l’évaluation d’un très grand projet complexe et à long terme pourrait être beaucoup plus large que celle d’une évaluation

d’effet rapide réalisée au début, la première ou deuxième année, du cycle de réalisation du programme de pays.

6- LA CONTRIBUTION DE LA STRUCTURE Les évaluations d’effet mettent en lumière le lien de cause à effet probable entre l’ensemble des activités entreprises par l’organisation avec ses partenaires et les progrès ou succès enregistrés dans la réalisation des effets. Exemple : Un bureau de pays pose comme effet : « une meilleure réglementation pour une décentralisation municipale ». Il note dans le cadre de résultats stratégiques /RAAR que le PNUD aide le pays à : 1) faciliter le débat sur les réglementations juridiques pour la décentralisation, 2) réaliser des essais pilotes d’exécution décentralisée du budget dans des municipalités choisies, 3) favoriser la responsabilisation de la communauté pour la planification du développement local. Ces trois produits ont clairement contribué à l’instauration d’un processus de décentralisation plus efficace et peuvent donc être considérés comme ayant activement aidé à atteindre l’effet. Par contre, le PNUD ne pourra pas revendiquer avoir contribué à l’approbation de la loi (qui relève du Parlement) ni à son application efficace (qui relève de la municipalité). SOURCE : D’après le Rapport sur le plan de financement pluriannuel de l’Administrateur, 1998. Certains bureaux de pays pourraient souhaiter insister plus sur l’une des catégories d’analyse que sur les autres, ce qui modifiera la portée de l’évaluation. Le tableau 4 reprend le tableau 1 en y ajoutant l’élément « portée » afin d’illustrer les interactions entre le calendrier, but, durée et portée de l’évaluation. BUT : Analyser, en début de cycle, la stratégie adoptée pour un effet particulièrement ambitieux

7- PORTEE (REPREND, AVEC DIFFERENTS DEGRES D’INSISTANCE, LES QUATRE CATEGORIES D’ANALYSE)

• Situation et pertinence de l’effet • Facteurs affectant l’effet • Rôle stratégique De l’organisation • Formulation et application de la stratégie de partenariat COURT TERME Au milieu du cycle du programme de pays BUT Définir les ajustements à mi-parcours à faire dans l’exécution des produits PORTEE • Pertinence de l’effet (et lorsque possible situation et facteurs sous-jacents) • Rôle stratégique de l’organisation • Formulation et application de la stratégie de partenariat • Exécution des produits (lorsque possible avec les partenaires)

MOYEN TERME A la fin du cycle du programme de pays : BUT : Tirer les enseignements pour la formulation du prochain programme de pays PORTEE • Situation de l’effet et facteurs sous-jacents • Pertinence du résultat/des produits • Rôle stratégique de l’organisation • Exécution des produits • Formulation et application de la stratégie de partenariat LONG TERME Outre ces quatre catégories d’analyse, l’évaluation d’effet peut aussi s’intéresser : • à l’identification de nouvelles méthodologies pour traiter les grandes questions liées au développement humain durable; • au renforcement des capacités nationales grâce à l’assistance fournie par l’organisation (le renforcement des capacités figure dans la plupart des programmes d’assistance du PNUD); • à la participation des parties prenantes à la réalisation de l’effet (pour établir si l’assistance fournie par l’organisation a encouragé réellement la participation (est-ce que la société civile et les représentants des groupes locaux ont été consultés pour la définition d’une politique d’investissement social par exemple?); • à l’identification des bénéficiaires directs et indirects et à leur appréciation de l’assistance fournie; • aux questions de gestion et/ou d’exécution susceptibles de poser des problèmes, y compris l’exécution dans les délais prévus des produits, le degré de participation des partenaires et des parties prenantes à l’exécution des produits, et la démarche suivie (transparence et participation); LE MANDAT Le mandat de l’évaluation sera en grande partie déterminé par son objectif et ses calendriers, but, durée et portée. Rédaction du mandat Le mandat d’une évaluation, quelle qu’elle soit, doit au moins, contenir les éléments suivants : • Introduction : une brève description du sujet de l’évaluation (effet, programme, projet, interventions des différents partenaires, etc.); • Objectifs : les raisons de l’évaluation et la liste des principales parties prenantes et principaux partenaires; • Portée : les questions, sujets, domaines et période couverts par l’évaluation; • Produits prévus de l’évaluation : les constatations, recommandations et enseignements, un système de notation de la performance, une liste des « choses à faire »); • Méthodologie ou approche : la méthodologie proposée à l’équipe d’évaluation; • Equipe d’évaluation : sa composition et ses domaines de compétence; • Arrangements relatifs à l’exécution : le partage des responsabilités et l’organisation de l’évaluation.

Le mandat doit être suffisamment souple pour permettre à l’équipe chargée de l’évaluation de choisir l’approche qu’elle estime la meilleure pour la collecte et l’analyse des données. Par exemple, le mandat pourrait proposer une approche mixte combinant questionnaires, visites sur le terrain et entretiens, mais l’équipe d’évaluation devrait pouvoir revoir cette approche si elle l’estime nécessaire. Le mandat est établi en faisant certains choix stratégiques, aspects sur lesquels se concentrer, domaines à confier à l’examen des principales parties prenantes, et dans le cas d’une évaluation d’effet, participation des partenaires à l’élaboration du mandat. BUDGET L’établissement du budget d’une évaluation dépend de la complexité du projet ou de l’effet devant être évalué et du but de l’évaluation. Ces facteurs déterminent la durée de l’évaluation et le nombre. Le bureau de pays de l’organisation, lorsqu’il établit le budget d’une évaluation d’effet, devrait tenir compte des facteurs suivants : • La portée, la complexité, et le calendrier de l’évaluation : une évaluation d’effet réalisée au début du programme a toutes les chances d’être peu compliquée, d’avoir une portée restreinte et de prendre moins de temps qu’une évaluation plus « lourde » réalisée à la fin du programme de pays. Plus une évaluation est complexe et sa portée étendue, plus le travail de l’équipe d’évaluation sera long et compliqué et plus élevés seront, par conséquent, les émoluments des évaluateurs. Le calendrier de l’évaluation d’effet doit être défini par son but. Les évaluations réalisées en début de programme durent moins longtemps et coûtent moins cher que celles qui sont faites vers la fin du cycle du programme. • Les visites sur le terrain et les entretiens : dans le cas d’une évaluation de résultat, les évaluateurs peuvent devoir s’entretenir avec certains partenaires, parties prenantes et bénéficiaires pour connaître leur appréciation des progrès réalisés dans la réalisation des effets ou des produits exécutés par l’organisation. Les visites sur le terrain et les entretiens devraient être brefs lorsque les évaluations d’effet sont faites au début du programme. Pour les évaluations réalisées plus tard, il pourrait être nécessaire que les évaluateurs rencontrent un plus grand nombre de parties prenantes et de partenaires, ce qui entraînera une augmentation des frais de voyage, des indemnités journalières et du coût des services de consultant. • Les consultants nationaux : Il peut être nécessaire de faire appel à des consultants nationaux pour compléter le travail des évaluateurs. Les évaluations de résultat peuvent nécessiter une analyse de documentation avant l’arrivée de l’équipe d’évaluation. Des consultants nationaux peuvent se charger efficacement de ce travail. L’équipe de l’organisation aura, au préalable, rassemblé la documentation et procédé à son examen, faisant ainsi un « premier tri » et ne retenant que les données les plus pertinentes. • Les domaines de compétence des évaluateurs : les évaluations de résultat requérant une approche multidisciplinaire, l’équipe d’évaluation devra comprendre au moins un évaluateur (national ou international) familiarisé avec les principes de la gestion axée sur les résultats. En outre, un évaluateur (national ou international) devrait avoir une connaissance approfondie de l’effet devant être évalué.

Le respect de ces deux critères pourrait augmenter les coûts de consultation. DOCUMENTATION Une fois que la portée de l’évaluation a été définie, le bureau de pays rassemble la documentation de base requise et la communique à l’équipe d’évaluation. Un travail de recherche théorique préliminaire peut être nécessaire pour recueillir des informations sur les activités et les produits exécutés par les partenaires, sur l’assistance déjà fournie par l’organisation dans le domaine considéré, sur l’état d’avancement du projet ou du programme, ou sur la situation de l’effet. Cette étape préliminaire pourrait être prévue dans le plan de l’évaluation ou proposée par l’équipe d’évaluation. LES SOURCES D’INFORMATION CI-APRES SERONT EXTREMEMENT UTILES POUR L’EQUIPE D’EVALUATION DE RESULTAT • le Cadre de résultats stratégiques et le Rapport annuel axé sur les résultats du bureau de pays : ces deux documents présentent certains des projets et programmes relatifs à l’effet visé et devraient, dans l’idéal, identifier tous les projets, programmes, sous-programmes et aide abstraite qui contribuent à la réalisation de l’effet visé. Ils fournissent des éléments d’information sur les produits clés, les partenaires stratégiques, la stratégie de partenariat, les progrès enregistrés au cours des années précédentes, la qualité des indicateurs d’effet, la réalisation des activités ainsi qu’une information de départ. L’organisation: ces documents fournissent notamment une information de base sur le développement du pays, les partenariats et les activités menées conjointement par l’organisation et d’autres. • les rapports de suivi et d’évaluation : on trouve dans ces rapports des rapports d’évaluation sur des sujets connexes, les rapports de projet annuels, les rapports de visite sur le terrain et une documentation sur les autres effets et programmes et projets importants. • les rapports de projets et programmes régionaux et sous-régionaux connexes : ces rapports renseignent sur l’appui fourni par ces projets et programmes à la contribution de l’organisation et de ses partenaires à la réalisation de l’effet. • les rapports sur l’état d’avancement des activités des partenaires : on trouve dans ces documents une relation des progrès effectués par les partenaires dans la réalisation du résultat et une information sur leur stratégie de partenariat avec l’organisation. • les données des sources officielles : des informations sur les progrès réalisés dans la réalisation des effets peuvent être obtenues auprès de sources gouvernementales, d’organisations du secteur privé, des établissements universitaires et des instituts nationaux de recherche. • les études : certains sujets relatifs à l’effet à évaluer peuvent être traités dans des études réalisées par le gouvernement, des ONG, des institutions financières internationales, des établissements universitaires, ou dans le Rapport national sur le développement humain national, ou encore dans des études provenant d’autres sources. Les sources susmentionnées sont supposées fournir des informations utiles pour les quatre domaines d’analyse retenus (la situation de l’effet, les facteurs sous-jacents, la contribution de l’organisation, la stratégie de partenariat) pour l’évaluation d’effet.

FORMATION DE L’EQUIPE DE LIAISON POUR L’EVALUATION Il est conseillé de constituer une équipe de liaison pour l’évaluation au sein même de l’organisation dès qu’un effet donné a été retenu pour une évaluation au cours de la phase de planification. La mise en place de cette équipe au début du processus a plusieurs avantages. Premièrement, elle permet un travail d’équipe au sein de l’organisation pour tout ce qui concerne l’évaluation. Ensuite, elle élargit l’apprentissage et le brassage d’idées au sein de l’organisation. Enfin, elle permet un suivi continu et automatique de l’effet au cours de la période précédant l’évaluation et renforce ainsi le lien entre le suivi et l’évaluation de l’effet. Le bureau de l’organisation, lorsqu’il prépare l’évaluation, dans un premier temps confirme la pertinence de l’effet devant être évalué. Ce travail est dévolu à l’équipe de liaison qui est, à ce stade, la mieux placée pour ce faire. Une transformation du contexte peut obliger à modifier le calendrier, la portée ou la nature prévue de l’évaluation (une évaluation succincte et directe en début de programme peut faire place à une évaluation d’ajustement en cours de programme ou à une évaluation rétrospective en fin de programme, ou vice versa) pour garder à l’évaluation toute sa valeur. Une équipe bien structurée peut prendre plus efficacement ce type de décision qu’un particulier. L’équipe de liaison joue normalement un rôle très utile en mettant en relation l’équipe d’évaluation avec le groupe du programme, l’équipe responsable de la direction du bureau et les partenaires. En outre, elle s’occupe des arrangements matériels et d’organisation, définir les tâches de l’équipe d’évaluation, rechercher des candidats (particuliers ou entreprises) pour l’équipe d’évaluation, recruter les membres de l’équipe, veiller au caractère participatif du processus d’évaluation, contacter les partenaires, fournir un appui à l’équipe d’évaluation et faire des observations sur le projet de rapport d’évaluation. L’équipe de liaison assure un niveau de participation élevé au sein du bureau de l’organisation et parmi les partenaires à toutes les étapes du processus d’évaluation. Toutes les parties intéressées restent ainsi informées du déroulement de l’évaluation, ce qui permet d’assurer la crédibilité et la qualité du processus. Les parties nommées ci-après jouent un rôle très important dans le processus d’évaluation : • L’équipe de direction du bureau de l’organisation : c’est elle qui décide de l’orientation et de la perspective de l’évaluation, qui fournit des informations sur la stratégie adoptée par le bureau, sur l’assistance douce et sur le cadre de résultats stratégiques. Elle donne également une information de première main sur l’assistance prévue ou potentielle (discussions préliminaires avec les autorités de haut niveau pour l’assistance ou les services spécifiques ou encore l’assistance douce. • L’équipe du programme : elle enrichit le débat grâce à l’échange d’informations sur les initiatives connexes ou complémentaires menées dans d’autres domaines thématiques, sur les produits clés des projets et programmes, sur l’assistance douce en cours et sur les liens avec les questions transdomaines (comme la gouvernance, l’environnement, l’équité entre les sexes, la gestion des risques). • L’équipe du rapport sur le développement humain : lorsqu’elle existe, elle peut fournir à l’équipe d’évaluation une information récente sur les variables, statistiques et autres données relatives au développement humain. • Les membres de la «cellule de réflexion» : lorsque la cellule existe, ses membres fournir des renseignements sur le contexte, des suggestions sur la façon d’aborder les questions liées à l’effet, ainsi que des conseils pour la collecte d’informations et les contacts avec les principaux partenaires.

• Les partenaires : ils peuvent aider à mieux comprendre les différentes activités menées simultanément pour atteindre le même effet et aider à évaluer la stratégie de partenariat de l’organisation. ÉQUIPE D’EVALUATION L’évaluation est réalisée par une équipe officielle d’experts désignés. Le choix des évaluateurs est déterminant pour l’efficacité de l’évaluation. Les évaluateurs peuvent être recrutés au niveau interne, au sein de l’organisation, ou au niveau externe. Les entreprises d’évaluation ou les équipes d’évaluateurs indépendants peuvent être nationales, internationales ou une combinaison des deux. Tous les membres de l’équipe doivent être indépendants et n’avoir absolument aucun lien avec la conception, la formulation ou la mise en œuvre des programmes, projets et activités en question de l’organisation ou des partenaires. L’équipe ne doit pas comprendre de fonctionnaires gouvernementaux directement impliqués dans les activités considérées ou dans leurs résultats. Le non-respect de ces conditions risque de compromettre la crédibilité et l’indépendance de l’évaluation. Le bureau de l’organisation est encouragé à inclure dans l’équipe d’évaluation d’effet des membres de l’équipe de l’organisation venant d’autres pays ou régions lorsque cela est possible. L’échange de connaissances et l’apprentissage au sein du personnel est ainsi favorisé, tout comme le développement des capacités dans toutes les régions et tous les pays. Le personnel de l’organisation participant, normalement des membres des bureaux de niveau soit de direction, soit de responsable de programme, ne doit avoir aucun lien avec la conception, la formulation, ou la réalisation de l’effet considéré, ni avec aucun des projets, programmes et activités associés. Les domaines de compétence requis pour les membres de l’équipe sont notamment : • Une connaissance technique et une expérience concrète des domaines thématiques de l’organisation, avec une spécialisation correspondant au thème spécifique de l’évaluation; • Une connaissance de la situation et du contexte national; • Des compétences dans la gestion axée sur les résultats; • Des compétences dans le renforcement des capacités; • Une pratique des processus de prise de décision (conception, adoption et mise en œuvre) si l’évaluation touche à des questions d’orientation et de concertation sur l’action à mener. Des compétences dans la gestion axée sur les résultats sont de plus en plus nécessaires car les évaluations commencent à appliquer les principes et la méthodologie de la gestion axée sur les résultats. Les évaluateurs doivent savoir comment faire le lien entre le renforcement de l’assistance de l’organisation et le rôle que joue cette assistance pour faire avancer le développement. GESTION DE L’ÉVALUATION Dans cette partie sont passées en revue les principales étapes de la supervision de l’évaluation, la collecte et l’analyse des données, l’appui technique et le retour d’information, l’établissement des rapports et le suivi. C’est l’équipe du bureau de l’organisation, en général, le responsable de programme, le groupe de discussion sur les effets ou l’équipe de liaison qui s’acquitte de ces tâches. Des conseils détaillés à l’intention des évaluateurs d’effet sont donnés dans une autre publication de la série à laquelle appartient ce manuel ayant pour titre « Directives pour les évaluateurs ».

COLLECTE ET ANALYSE DES DONNEES La collecte et l’analyse des données de base pour l’évaluation d’effet est principalement la responsabilité de l’organisation, et plus spécialement de l’équipe de liaison (si elle existe). Celle-ci décide des méthodes de collecte et d’analyse de l’information. Des méthodes qualitatives et quantitatives sont utilisées. Leur choix dépend des objectifs. Bien que faisant appel à des instruments et des méthodologies différents, elles sont parfaitement complémentaires. La préparation de l’évaluation normalement exige l’utilisation combinée des deux types de méthodes. Les méthodes qualitatives sont utilisées pour les questions posées par les évaluateurs au cours des entretiens et des enquêtes, ainsi que pour analyser le contexte social, économique et politique dans lequel évolue le développement. Les méthodes quantitatives sont utilisées pour appuyer les stratégies de collecte de données qualitatives, Par exemple des analyses statistiques pour contrôler les conditions socioéconomiques dans divers domaines d’étude. ÉVALUATIONS COMMUNES Des évaluations communes peuvent être réalisées, quel que soit le type d’évaluation, en partenariat par l’organisation, les donateurs, les gouvernements et les autres partenaires. Les évaluations communes seront traitées plus en profondeur dans un autre numéro de la série à laquelle appartient ce manuel. On peut néanmoins préciser ici les étapes à suivre dans la planification et l’exécution d’une évaluation commune (qu’il s’agisse d’une évaluation de résultat ou de projet) : PORTEE DE L’EVALUATION La portée de l’évaluation doit être arrêtée en commun par tous les organisateurs de l’évaluation. Les domaines d’intérêt prioritaires, ainsi que les intérêts des parties, qui ne sont pas nécessairement les mêmes doivent être clairement définis. Les questions pratiques doivent être aussi clarifiées, qu’il s’agisse de l’objet de l’évaluation (projet ou objectif), des questions à traiter ou du calendrier de l’évaluation. Les évaluations communes seront étudiées plus en détail dans un autre numéro de la série à laquelle appartient ce manuel. DIVISION DES TACHES L’équipe de direction de l’organisation de pays doit définir la façon dont seront prises les décisions par les acteurs et décider de la répartition des tâches. Elle doit donc choisir le responsable de chaque étape de l’évaluation, en d’autres termes, désigné les responsables d’activités. Un partenaire peut être chargé de l’élaboration du mandat de l’évaluation, un autre du recrutement de l’équipe et un troisième de la logistique de la mission. Les visites sur le terrain peuvent prévoir que différentes parties rassemblent simultanément des données dans différents endroits. Les différentes institutions impliquées ont probablement chacune leur propre approche. Il faut donc pouvoir s’adapter et prévoir que ces divergences de méthode augmenteront la durée de l’évaluation. Même au niveau national, les différents donateurs peuvent avoir des pratiques administratives, politiques, financières et des méthodes variées et cette diversité ne peut que ralentir l’évaluation. Il est nécessaire de définir clairement les responsabilités respectives pour les visites sur le terrain et d’accorder toute l’attention voulue aux détails. Préciser qui est responsable du financement du

transport des experts d’un site à l’autre, qui sera chargé de consigner par écrit « les réunions individuelles» pour que les comptes rendus de fin d’évaluation soient étayés par toutes les pièces justificatives requises, décider qui se chargera de recueillir la documentation lors de la visite sur le terrain et comment celle-ci sera communiquée aux autres experts au cours des analyses ultérieures dans leurs pays respectifs, etc. REDACTION DU MANDAT En général, il est plus efficace que tous les partenaires participant à une évaluation commune décident ensemble de la portée de l’évaluation, puis désignent la partie qui dirigera la rédaction du mandat. Le mandat devrait être ensuite discuté et accepté par les institutions partenaires. Le meilleur mandat est celui qui satisfait les intérêts de toutes les parties concernées. Cependant cela n’est pas toujours possible étant donné la variété des motivations à la base de l’évaluation. tirer des enseignements, créer une base pratique pour une réorientation de fond ou du financement, satisfaire les exigences politiques des pays donateurs ou respecter les contraintes institutionnelles particulières aux projets de grande envergure. Le mieux serait de mettre sur pied un programme commun qui définisse les priorités tout en faisant la part des intérêts en présence et des possibilités pratiques. SELECTION DES EXPERTS Plusieurs méthodes sont possibles pour sélectionner les experts devant participer à une évaluation commune. Une possibilité est de charger l’un des partenaires de recruter l’équipe d’évaluation, en consultation avec les autres partenaires. Une autre possibilité est que chacun des partenaires fournisse ses propres experts. Dans certains cas, la méthode choisie est fonction des modalités de financement adoptées. Par exemple, si le mode de financement est un financement parallèle, chaque partenaire devra désigner son propre expert pour faire partie de l’équipe. Dans le cas où l’équipe est composée des évaluateurs de chaque partie, ceux-ci peuvent avoir des difficultés à rendre compte à un acteur en particulier alors qu’ils sont membres de l’équipe commune. Pour résoudre ce problème, les responsables de l’évaluation de chaque institution impliquée devraient clairement préciser aux évaluateurs que l’indépendance de l’équipe est de rigueur et doit être respectée. Au moins une session de planification réunissant tous les experts impliqués doit être organisée avant la visite sur le terrain. En d’autres termes, il n’est pas souhaitable de combiner la présentation des experts avec la collecte des données. Dans certains cas, les experts devraient rencontrer chaque partie prenante afin de se faire une idée générale du contexte du projet ou du résultat avant de commencer les visites sur le terrain. Ceci est particulièrement vrai dans les cas où les experts sont sélectionnés par l’organisation et la (les) contrepartie(s). REALISATION DE L’EVALUATION : Les experts recrutés séparément par l’organisation et la (les) contrepartie(s) doi (ven)t faire les visites sur le terrain ensemble, dans la mesure du possible. Par exemple, un groupe de quatre évaluateurs – deux sélectionnés par le PNUD et deux par un pays donateur, peut, par souci de gain de temps, travailler par groupes de deux dans un pays ou une région donnée, chaque groupe étant dans ce cas composé de deux experts de ‘bord’ différent. La participation à l’équipe d’évaluation d’un représentant de l’organisation et/ou de la (des) contrepartie(s) renforcera les possibilités de création de capacités au sein de l’équipe de l’organisation. Cela peut s’avérer particulièrement utile durant la phase d’enquête, à laquelle ils

pourraient participer à titre de simples observateurs. Cet arrangement risque d’être relativement délicat et requiert une bonne communication entre toutes les parties participant à l’évaluation. PREPARATION DU RAPPORT C’est uniquement l’équipe d’évaluation qui doit analyser les résultats et se charger d’établir le rapport de l’évaluation commune. Cela ne signifie pas nécessairement que tous les membres de l’équipe doivent convenir de la façon dont les résultats et les recommandations sont présentés, surtout lorsque l’équipe d’évaluation est composée de représentants de différentes institutions. L’établissement du rapport peut par conséquent être discuté par les membres de l’équipe. La version préliminaire du rapport devra d’abord être présentée à l’organisation et aux institutions partenaires pour observations. La version finale du rapport sera ensuite établie en suivant les procédures de vérification et de finalisation coutumières. SUIVI ET MISE EN ŒUVRE DES RECOMMANDATIONS Toutes les évaluations doivent prévoir le suivi des résultats et des recommandations du rapport. Dans les évaluations communes cependant, cela risque d’être particulièrement difficile étant donné que les résultats et les recommandations concernent des institutions, au niveau individuel et au niveau de leurs partenariats. Les partenaires, par conséquent, doivent s’accorder sur les mesures à prendre, à titre individuel et collectif, et décider du mécanisme de suivi à mettre en place pour contrôler la mise en œuvre des changements décidés. MESURE DE LA PERFORMANCE Les indicateurs font partie de la mesure de la performance, mais ils n’en sont pas le seul élément. Pour évaluer la performance, il faut connaître davantage que les réalisations effectives. Il faut aussi savoir comment les réalisations ont été obtenues, quels facteurs ont exercé une influence positive ou négative et savoir si les réalisations ont été exceptionnellement bonnes ou mauvaises, qui en porte la principale responsabilité, etc. Il a toujours été plus facile de mesurer la performance financière ou administrative, Par exemple l’efficacité. Aujourd’hui, la gestion axée sur les résultats constitue la base de la responsabilité fonctionnelle et de l’évaluation de la performance, ou efficacité. Les rapports annuels, les évaluations et le Rapport annuel axé sur les résultats permettent d’évaluer la performance au niveau du bureau de pays. Dans toute organisation, la gestion axée sur les résultats peut également alimenter l’évaluation de la performance des projets, programmes, domaines de programme, groupes de fonctionnaires et particuliers, si l’organisation le juge utile. Illustre les liens entre mesure de la performance, notation et indicateurs dans le contexte de ces évaluations. Un système de notation commun pourrait partir du système de notation en trois points élaborés dans le cadre du Rapport annuel axé sur les résultats. Un système de notation commun peut être appliqué à tous les principaux outils de suivi et d’évaluation (le Rapport annuel axé sur les résultats, le Rapport annuel de projet, les missions sur le terrain et les évaluations des effets) afin de comparer la performance au regard de tous les résultats. Selon cette formule, il y a deux types de notations : Auto notations (comme dans le Rapport annuel de projet) et notations indépendantes (comme dans les évaluations des effets). En disposant de deux types de notation utilisant les mêmes critères, on peut avoir une image plus précise de la manière dont la réalisation progressive des résultats est

perçue par le bureau de l’organisation, le siège de l’organisation et les évaluateurs indépendants. Cette double notation permet également d’instaurer un dialogue dans et entre le bureau de pays et le siège en cas d’écart entre les notations concernant les mêmes produits ou effets. ÉLEMENTS ESSENTIELS DU SYSTEME DE NOTATION COMMUN Dans le cas des effets, le système de notation présente trois points : Changement positif, changement négatif et absence de changement. Ces trois notations concernent les progrès dans la réalisation des effets, sans les attribuer à l’un ou l’autre partenaire. Les trois notations visent à présenter le degré de progrès, positif ou négatif, par rapport à la réalisation de l’effet. Pour les trois notations, la méthode consiste à comparer, en fonction des indicateurs de résultat, les signes d’évolution par rapport aux points de référence se rapprochant ou s’éloignant de l’objectif final du cadre de résultat stratégique (CRS). • Changement positif, mouvement positif à partir du point de référence vers l’objectif du CRS, mesuré par le ou les indicateurs d’effet; • Changement négatif, retour à un niveau inférieur au point de référence, mesuré par le ou les indicateurs d’effet; • Pas de changement, pas de changement perceptible entre le point de référence et l’objectif du CRS mesuré par le ou les indicateurs d’effet. Dans le cas des produits, le système de notation présente également trois points : non, partiel et oui. Les trois notations représentent le niveau de réalisation des objectifs d’un produit. On peut ainsi évaluer indirectement dans quelle mesure une entité donnée a réalisé ses produits du CRS. Les trois notations visent à représenter le niveau de réalisation des produits par une comparaison des points de référence (absence de produit) avec l’objectif (production du produit). La catégorie « réalisé en partie » s’applique aux produits en cours ou particulièrement ambitieux qui exigent des apports considérables et une longue période de maturation. • Non, non réalisé; • Partiel, uniquement si les deux tiers ou davantage d’un objectif chiffrable sont atteints; • Oui, réalisé. Ce système de notation des résultats s’applique au Rapport annuel axé sur les résultats, aux évaluations et à certains rapports de bureau de pays. Un système de notation a trois points (changement positif, changement négatif, absence de changement) pour les effets et (réalisé, non réalisé, réalisé en partie) pour les objectifs de produit annuel a été mis au point au départ pour le Rapport annuel axé sur les résultats. Ce système permet à l’organisation de déterminer les taux de performance des produits et effets et de les comparer entre pays, régions, objectifs, objectifs secondaires, etc. Établi par des analystes du siège, il n’a pas été partagé systématiquement avec les bureaux de pays ni comparé à la notation des bureaux de pays concernant des changements analogues. Pour bien utiliser l’évaluation et la notation de la performance, le bureau de pays pourrait :

• Déterminer l’usage qui sera fait des résultats attendus du système d’évaluation de la performance, comme par exemple analyse des tendances, ciblage de projets aux fins d’amélioration, apport à l’évaluation de la pertinence des résultats et prolongation des contrats du personnel de projet; • Communiquer au personnel du bureau de pays et au personnel de projet intéressés des renseignements au sujet de l’application du système de notation, de façon à éviter des malentendus à ce sujet; • Définir les responsabilités collectives et individuelles concernant l’évaluation de la performance et la notation ainsi que les mesures de contrôle afin d’atténuer l’éventuelle partialité de ceux qui sont chargés de la notation; • Assortir les notations quantitatives d’évaluations de performance d’ordre qualitatif. On trouvera dans les « Directives à l’intention des évaluateurs », dans le complément au présent Guide, un examen plus détaillé de l’application de la notation dans le cas des outils de suivi et d’évaluation, à savoir le RAP, la visite sur le terrain et l’évaluation des résultats. CHOIX DES INDICATEURS Les paragraphes qui suivent concernent plutôt les responsables de programme et les cadres supérieurs des bureaux de l’organisation, que les directeurs de projet, qui s’occupent essentiellement d’indicateurs de produit pour lesquels les références, les objectifs et la collecte d’information sont généralement évidents. Les responsables de programme et les cadres supérieurs des bureaux de pays s’occupent d’indicateurs plus complexes portant sur l’évolution de la réalisation des effets. On trouvera ci-après quelques opérations fondamentales auxquelles doivent procéder les cadres de l’organisation s’agissant d’indicateurs. PRINCIPALES ETAPES DU CHOIX DES INDICATEURS Fixer des données de référence et un objectif : Un indicateur d’effet présente deux composantes, une base de référence et un objectif. (Les indicateurs de produit exigent rarement une base de référence étant donné que les produits sont des réalisations nouvelles et que la référence est précisément qu’ils n’existent pas.) La situation précédant un programme ou activité est la référence, point de départ du suivi des résultats. La situation escomptée à la fin de l’opération est l’objectif. • Par exemple, si le résultat visé est d’améliorer l’accès à l’éducation, les taux de scolarisation peuvent constituer un bon indicateur. On peut suivre le résultat en commençant par un taux de scolarisation de référence de 55 % en 1997 pour atteindre un objectif de 80 % en 2002. On peut trouver entre la base de référence et l’objectif plusieurs jalons correspondant à la performance attendue à des intervalles réguliers. Les données de référence indiquent ce qui peut être utilisé au moment de la conception et de l’exécution des interventions. Elles constituent également un important ensemble de données avec lesquelles est comparée la réussite (ou au moins le changement), ce qui permet de mesurer les progrès dans la réalisation d’un effet. La confirmation des résultats est fonction d’une vision évolutive du changement. Il faut pour cela, avant de commencer toute intervention, avoir une idée bien précise du problème de développement à aborder. L’élaboration de données de référence et la

fixation des objectifs seront complétées par une analyse approfondie des facteurs de base déterminant un problème de développement. Que faire quand il n’y a pas de référence? Même si on n’a pas précisé de référence au moment de la formulation d’un programme ou d’un projet, une référence peut néanmoins exister. Dans certains cas, on pourra peut-être trouver des évaluations de la situation approximative au moment du lancement du programme, grâce au bilan commun de pays et aux examens annuels, ainsi qu’en faisant appel à des sources administratives nationales. • Exemple : l’exécution d’un projet de gouvernance locale a commencé, mais on ne trouve pas de données de référence. Il n’est peut-être pas trop tard pour trouver une mesure du changement dans le temps. On peut par exemple poser la question suivante à plusieurs personnes : « Par rapport à il y a trois ans, avez-vous l’impression de participer plus ou moins aux prises des décisions locales? » Utiliser au besoin des indicateurs supplétifs : Des raisons de coût, de complexité ou de calendrier de la collecte des données peuvent empêcher de mesurer directement un résultat. Dans ce cas, on peut utiliser des indicateurs supplétifs ou indirects pour dégager les tendances de la performance et sensibiliser les responsables aux problèmes qui risquent de se poser ou aux chances de réussite. C’est souvent le cas dans les effets difficiles à mesurer comme dans le cas du dialogue de politique générale et de la gouvernance. • Par exemple, on mesure souvent l’effet « administration équitable et efficace de la justice » en étudiant la confiance du public dans le système judiciaire. Bien qu’un degré élevé de confiance ne prouve pas nécessairement que le système soit équitable, il y a très certainement une corrélation. Autre exemple : dans le cadre d’un programme de protection de l’environnement où le résultat visé est l’amélioration de la salubrité de certains lacs, la teneur en toxines des œufs de canard peut constituer un indicateur supplétif de cette amélioration. Utiliser des données ventilées : De bons indicateurs reposent sur des données de base ventilées selon l’emplacement, le sexe, le niveau de revenu et le groupe social. Il en est de même dans le cadre d’une bonne gestion des projets et programmes. Ces informations, parfois présentées sous forme d’estimations, peuvent être extraites de rapports et études administratives publiques et non gouvernementales. On peut utiliser des évaluations ordinaires de la qualité fondées sur des méthodes qualitatives et participatives pour corroborer, préciser et affiner les données provenant de sources administratives. • Par exemple, dans le cas de l’effet « cadre juridique et directif efficace de la décentralisation », l’indicateur « proportion du total des recettes publiques allouées et gérées au niveau sous-national » peut indiquer une augmentation de la répartition globale des ressources au niveau local tout en dissimulant de profondes disparités concernant certaines régions. Faites participer les parties prenantes : Il faut encourager la participation au choix des indicateurs de produit et des indicateurs d’effet. La participation favorise généralement la maîtrise et la responsabilité des résultats prévus et l’acceptation de leur réalisation. Il faudrait arrêter, au stade de la formulation du projet, une liste préliminaire des indicateurs de produit, avec la participation directe de l’institution désignée pour gérer le projet ainsi que d’autres parties prenantes.

Les partenaires sont impliqués dans le choix des indicateurs d’effet dans le contexte de la formulation du programme de pays et du cadre de résultats stratégiques. Il est important que les partenaires se mettent d’accord sur les indicateurs à utiliser aux fins du suivi et sur les responsabilités des uns et des autres pour ce qui est de la collecte et de l’analyse des données, ce qui sert de fondement pour tout changement futur dans la stratégie d’exécution au cas où les indicateurs montreraient qu’on fait fausse route. Établir une distinction entre indicateurs quantitatifs et indicateurs qualitatifs : Les indicateurs quantitatifs tout comme les indicateurs qualitatifs devraient être sélectionnés en fonction de la nature des aspects particuliers du résultat escompté. L’efficacité, Par exemple, se prête bien à des indicateurs quantitatifs. En revanche, pour mesurer la viabilité dynamique, qui suppose la faculté d’adaptation de la population à un nouvel environnement, il faut une certaine évaluation qualitative des attitudes et comportements. On peut appliquer des méthodes telles que l’évaluation des bénéficiaires, l’évaluation rurale rapide et les entretiens directifs pour transformer des indicateurs qualitatifs en indicateurs quantitatifs. Essayer de limiter le nombre d’indicateurs : Un nombre trop élevé d’indicateurs est généralement contreproductif. En partant des renseignements disponibles, élaborer quelques indicateurs crédibles bien pensés qui saisissent concrètement l’évolution positive de la situation en matière de développement. Étant donné que plusieurs projets peuvent concourir à un seul effet de développement stratégique, le bureau de pays doit choisir entre toute une série d’indicateurs. Il s’agit de trouver un juste équilibre entre ce qui devrait être mesuré et ce qui peut l’être. On peut réduire la liste en appliquant les principes SMART et des critères supplémentaires pour affiner les indicateurs. Données « valides » et « représentatives » peut se révéler une opération vaste, complexe et onéreuse. Il est rarement possible de demander l’avis de tout le monde au moyen d’une enquête, par exemple, et il serait plus facile d’obtenir un échantillon réduit mais représentatif d’enquêtés. C’est pourquoi les indicateurs devraient être aussi simples et peu nombreux que possible, tout en permettant d’établir l’existence de progrès ou l’ampleur du changement. Si les indicateurs choisis sont trop complexes, ils seront difficiles à comprendre ou à analyser correctement. La collecte et l’analyse des données incombent essentiellement aux responsables de programme, qui consultent au besoin les cadres du bureau de pays et la direction du projet. Pour ce qui est des effets, le responsable de programme doit s’acquitter des tâches suivantes : • Veiller à ce que des données de référence ou de situation concernant les effets soient disponibles au stade de la formulation du programme. Il sera ainsi possible de comparer des données chronologiques aux données de référence afin d’évaluer les progrès dans la réalisation des effets recherchés. Utiliser des sources et procédures telles que le Rapport national sur le développement humain et l’évaluation commune de pays. La majorité des résultats seront identifiés au stade de la formulation du programme de pays/cadre de résultats stratégiques. Certains pourront toutefois être formulés d’une manière légèrement différente dans certains programmes et projets. Certains résultats peuvent également être assortis d’indicateurs légèrement différents ou supplémentaires par rapport au cadre de résultats stratégiques. L’essentiel est de faire en sorte que des données de référence ou de situation suffisantes soient disponibles au moment du choix de l’effet et des indicateurs, quelles que soient les particularités de l’effet et des indicateurs.

• Veiller à ce que la collecte et l’analyse des données soient planifiées en ce qui concerne le résultat. Dans la mesure du possible, recourir aux sources nationales plutôt qu’à la collecte de données par le bureau de l’organisation ou le projet. Par exemple, pour l’effet « sensibilité des politiques nationales aux questions de parité entre les sexes », l’indicateur « les programme et plans du pays comportent des objectifs pour l’amélioration de la condition de la femme » est mesurable, mais il faudra rassembler tous les plans puis les examiner afin de déterminer si des objectifs sont fixés. Cette opération devra avoir été prévue. • Faire en sorte d’obtenir des renseignements auprès des bénéficiaires au sujet des effets. Pour ce faire, on peut procéder à des enquêtes sur les ménages, des enquêtes individuelles et des consultations avec des membres de la communauté et des parties prenantes. Dans le cas des produits, le responsable de programme doit : • Veiller à ce que les données soient rassemblées au moyen des projets et à ce que la direction des projets soit consciente de ses responsabilités. En outre, réunir des données auprès de diverses administrations et de systèmes nationaux. Un plan de suivi des effets établi par l’organisation permet de veiller à ce qu’elle collecte en permanence des renseignements au sujet de l’effet et les analyse régulièrement afin d’orienter l’avancement des travaux. Les organisations qui dressent un plan de suivi des effets doivent impérativement inclure des renseignements au sujet des indicateurs d’effet de façon que a) les indicateurs ne soient choisis que si des données pourront être disponibles et b) des données soient disponibles pour les indicateurs choisis. Il est recommandé que le plan de suivi des effets, si les bureaux de pays décident d’y recourir, définissent ce qui suit : Guide du suivi et de l’évaluation axés sur les résultats • Résultats auxquels s’appliquent les indicateurs; • Indicateur(s) d’effet; • Source(s) de données; • Méthode et fréquence de la collecte et de l’analyse de données. Le plan peut également désigner les responsables de la collecte et de l’analyse des données et de l’exploitation des renseignements ainsi obtenus. RESPONSABLE UTILISATEUR DE L’INFORMATION Des principes et éléments généraux fondamentaux à aborder au moment où les directeurs de programme planifient la collecte et l’analyse des données au moyen des indicateurs sont énumérés. Comme on l’a noté plus haut, des indicateurs plus simples sont plus faciles à comprendre et analyser. Élaborer un cadre théorique dans lequel peuvent s’insérer des idées, fournissant une définition et une orientation générale des informations disponibles et de vos propres idées au sujet du projet ou programme. Pour le PNUD, cela signifie une chaîne de résultats crédibles sur les plans des effets, des produits et des partenariats.

ÉNONCE DE L’OBJECTIF OU DU PROBLEME Que prévoyez-vous d’étudier? Définissez les problèmes et les enjeux, recherchez les éléments significatifs, concluez des accords avec les bénéficiaires et partenaires. Cela suppose une définition du problème de développement au niveau des objectifs secondaires du cadre de Résultats stratégiques. QUESTIONS A POSER Une fois terminée la collecte des données, quelles sont les grandes questions auxquelles on peut S’attendre à des réponses raisonnables? Quels éléments utiliser pour confirmer le niveau dé réalisation de l’indicateur? ÉNONCE DE L’EFFET Définissez le ou les effets particuliers que vous allez suivre, fixez des objectifs réalistes et gardez à l’esprit les sources de données et responsabilités en matière de suivi. Conception et procédure, Indiquez qui vous allez soumettre à des interviews, enquêtes et qui fera partie de groupes témoins; décrivez la procédure de sélection. Expliquez dans quelles conditions les données seront réunies, les instruments de mesure ou de collecte de données qui seront utilisés et la manière dont les données seront analysées et interprétées. Attachez-vous à des données d’accès aisé et évitez les vastes opérations de collecte de données. HYPOTHESES Quelles sont vos hypothèses quant à la nature des problèmes que vous étudiez, vos méthodes et Mesures et au rapport entre l’enquête et d’autres problèmes ou situations? LIMITES Quelles sont les limites de vos méthodes ou de votre approche pour ce qui est de la validité interne et externe? CIRCONSCRIPTION Sur quelle base avez-vous délimité la portée de la collecte et de l’analyse des données? Êtes-vous limité à certains aspects de problèmes ou effets ?, à certains domaines d’intérêt ? ou à une gamme limitée de thèmes? DEFINITIONS Énumérez et définissez les principaux termes et expressions que vous utiliserez, en particulier lorsqu’ils ont un sens différent pour des personnes différentes. L’accent devrait être mis sur des définitions opérationnelles ou comportementales. En planifiant la collecte et l’analyse des données au moyen d’indicateur, les responsables de programme s’apercevront peut-être que les données sont difficiles à obtenir. En pareil cas, ils devraient prévoir de réunir des données au moyen d’autres instruments ou formules, comme par exemple : • Enquêtes et questionnaires de sensibilisation et d’attitude; • Groupes d’experts; • Entretiens avec des enquêtés clefs; • Groupes cibles; • Techniques de mappage.

Les enquêtes sur les attitudes permettent une certaine quantification de changements d’ordre qualitatif. Par exemple, si la proportion de la population qui considère que la gestion des pouvoirs locaux est « participative » passe de 40 % à 65 % (au cours d’une période donnée) ce chiffre indique le degré de changement qualitatif. UTILISATION DES INDICATEURS PARTICIPATION DES PARTIES PRENANTES Le bureau de l’organisation et plus précisément le responsable de programme agissant en consultation directe, devraient établir des mécanismes afin de partager l’information obtenue au moyen d’indicateurs avec les principales parties prenantes. Cela vaut particulièrement pour les indicateurs d’effet. Ainsi, l’analyse du progrès sera pertinente sur le plan local grâce à l’utilisation de connaissances locales, tout en favorisant la « maîtrise » et en développant des techniques de prise de décisions de groupe. Il convient toutefois de noter que la participation des parties prenantes ou partenaires à l’analyse des données concernant des indicateurs peut modifier sensiblement l’interprétation de ces données. L’observation participative et les examens participatifs approfondis avec les partenaires d’exécution et les bénéficiaires font partie intégrante de la vérification de visu des résultats, qui est une forme fiable d’évaluation. On peut appliquer des méthodes partant davantage du sommet et moins participatives aux fins de rigueur analytique, d’indépendance, de qualité technique, d’uniformité et de comparabilité dans l’évaluation. Bien entendu, en dernière analyse, les renseignements réunis grâce à l’analyse des indicateurs alimentent les évaluations. Ces données permettent d’évaluer les progrès dans la réalisation des produits et effets et comportent une mesure de la satisfaction des parties prenantes concernant les résultats. UTILISATION D’INDICATEURS POUR LE SUIVI Le suivi axé sur les résultats de la performance du développement suppose l’examen des résultats au niveau des produits, des effets et, en fin de compte, de l’impact. Les indicateurs sont utilisés périodiquement pour confirmer la manière dont les partenaires perçoivent les progrès et réalisations, sauvegarder la bonne orientation des projets et programmes et fournir des clignotants concernant les problèmes. Dans le cas des indicateurs de produit, le responsable de programme applique le suivi quotidien à la confirmation des progrès, ainsi que des visites sur le terrain, des rapports ou renseignements fournis par le responsable de projet. Le Rapport annuel de projet (RAP) n’est pas suffisamment fréquent pour permettre de réagir rapidement en cas de retard ou de problème dans la production des produits. Dans le cas des indicateurs d’effet, un suivi annuel est plus indiqué, et est assuré au moyen d’apports des spécialistes du projet, des discussions du Comité directeur et de l’examen annuel. Les effets étant moins concrets que les produits, il est indispensable d’utiliser des indicateurs pour pouvoir bien analyser le progrès. Dans le cas des indicateurs d’impact (appelés également indicateurs de situation), l’examen peut avoir lieu une fois par an si les renseignements nécessaires sont disponibles, mais il a bien souvent lieu moins fréquemment..

EXPLOITATION DES DONNEES DE SUIVI ET D’EVALUATION INTRODUCTION Le savoir provenant du suivi et de l’évaluation est au cœur même du processus d’apprentissage de l’organisation en tant qu’organisation. Le suivi et l’évaluation fournissent des informations et des données factuelles qui, une fois acceptées et assimilées, se transforment en savoir qui favorise l’apprentissage. L’apprentissage doit donc être incorporé au cycle global de programmation au moyen d’un mécanisme efficace de retour d’information. L’information doit être diffusée et mise à la disposition de ses utilisateurs éventuels afin de se transformer en savoir appliqué. Exemple Au niveau du bureau de pays, le PNUD applique l’apprentissage à partir du suivi et de l’évaluation afin d’améliorer la performance globale ainsi que la qualité des résultats des projets, programmes et stratégies en cours et futurs. L’apprentissage est particulièrement important pour l’appui du PNUD à la réforme d’orientation, qui est bien souvent novatrice et comporte des incertitudes. Pour que l’apprentissage soit utile, il faut que les éléments d’évaluation manifestent une capacité d’exécution en temps réel. Si l’on veut fournir aux parties prenantes des résultats « en temps réel », aucune erreur n’est admise. L’avantage immédiat est que les conclusions peuvent être contrôlées sur le terrain auprès des enquêtés en l’espace de quelques semaines, ce qui permet d’éliminer les fausses interprétations, de rehausser le sens de maîtrise des enquêtés pour ce qui est de leurs expériences analysées et de communiquer les résultats d’évaluation aux parties prenantes intéressées au moment où elles sont sans doute les plus utiles. Une fois que la diffusion d’information « en temps réel » sera devenue pratique courante, la publication de résultats dépassés ou de recommandations hors de propos devrait diminuer. L’apprentissage vient compléter la mesure de la performance en rehaussant la qualité des évaluations. Même si les indicateurs liés aux résultats sont médiocres ou obscurs, il est toujours possible de tirer des enseignements et d’utiliser ce savoir pour améliorer le processus. L’apprentissage est aussi un outil clé de gestion, si bien que la stratégie d’application du savoir tiré de l’évaluation est un puissant moteur de réalisation des effets. Les effets sont une entreprise plus ambitieuse et complexe que le simple apport d’intrants et la simple production de produits. C’est pourquoi la priorité est accordée à la capacité de l’organisation d’apprendre ce qui fonctionne, du point de vue de l’intérêt des effets, de la stratégie des partenariats, de la conception des produits et des indicateurs et d’appliquer ce savoir à l’aide en cours et future à la réalisation des résultats. Les résultats présentent davantage de variables permettant et exigeant l’apprentissage. Il ne faut pas considérer les évaluations comme un événement, mais comme des éléments d’une opération permettant à différentes parties prenantes de participer à la production et à l’application permanente de connaissances d’évaluation. C’est aux cadres de décider des participants à cette opération et de leur degré d’implication (informés, consultés, activement impliqués, partenaires égaux ou décideurs clés). Ce sont là des décisions d’ordre stratégique que doivent prendre les cadres car elles déterminent l’apprentissage et la maîtrise des résultats. Un cadre de suivi et d’évaluation qui est source de connaissances, favorise l’apprentissage et oriente l’action, constitue en soi un moyen important de renforcer les capacités et d’assurer la viabilité des résultats nationaux. Le suivi et l’évaluation alimentent le corpus de savoir organisationnel et global au sujet de ce qui est efficace, de ce qui ne l’est pas et des raisons de cet état de choses. En outre, le suivi et l’évaluation indiquent dans quelles conditions, dans tel ou tel domaine examiné, les enseignements tirés devraient être partagés au niveau mondial, par exemple au moyen de communautés de praticiens

ou de groupes de suivi et d’évaluation. Il faut pour cela que le personnel consigne les enseignements tirés et les partage avec d’autres, selon l’agenda. Par ailleurs, l’apprentissage exige que les cadres soient ouverts au changement. L’accent étant mis sur les effets, les enseignements tirés du suivi et de l’évaluation se prêtent davantage à l’application au niveau de l’organisation, au niveau des politiques générales et à des fins pratiques. Les enseignements tirés du résultat d’un cadre de résultats stratégiques mis en œuvre par de nombreux bureaux de pays ont plus de chances de pouvoir être reproduits en dehors du pays en question que des enseignements plus circonscrits et liés à des projets. Les évaluations d’effets peuvent rapprocher des partenaires du développement. Ainsi, l’apprentissage grâce aux connaissances d’évaluation dépasse le simple apprentissage organisationnel et englobe l’apprentissage du développement. Il permet de contrôler systématiquement la validité, la pertinence et l’avancement des hypothèses de développement. Afin de maximiser l’apprentissage, les bureaux de pays devraient prévoir et organiser les évaluations de façon qu’elles couvrent les effets les plus importants, qu’elles soient exécutées en temps voulu et qu’elles produisent suffisamment d’information au sujet des enseignements tirés. S’il est efficace, le suivi peut déceler les signes précurseurs de sources de difficultés et de sources de réussite. Les responsables de programme doivent donner suite aux constatations, en appliquant les enseignements tirés à la modification du programme ou projet. Cet apprentissage pratique répond aux besoins immédiats du programme ou du projet et peut aussi être source de retour d’information en vue de la programmation future. SAVOIR ET ENSEIGNEMENT TIRÉ DE L’EXPÉRIENCE DEFINITIONS Le bureau de l’organisation doit exploiter judicieusement l’information et les éléments d’évaluation afin de gérer les opérations de développement et de réaliser des résultats. Le succès part du principe que les praticiens du développement tirent les enseignements de ce qui s’est révélé efficace et inefficace afin de pouvoir mieux progresser dans la réalisation des résultats et d’obtenir des résultats meilleurs. L’apprentissage a été défini comme un processus d’investigation continu et dynamique dont les principaux éléments sont l’expérience, la connaissance, l’accès et la pertinence. Il exige une prédisposition à l’enquête et à l’investigation au lieu d’une attitude d’intervention et de communication d’information. Il est plus facile de réunir ces conditions lorsqu’on offre la possibilité d’observer, d’inventer ou de découvrir des stratégies et de participer à ces stratégies afin de s’attaquer à des types de problèmes particuliers ou à des questions de développement. Le savoir est un ensemble d’information précis et circonscrit capable d’apporter un changement ou d’inspirer des actions plus efficaces dans un contexte élargi pouvant alimenter un nouvel apprentissage et un nouveau savoir. La gestion du savoir suppose que l’on crée, partage et suscite des connaissances; il faut pour cela non seulement mettre en place des mécanismes et procédures pour réunir, organiser, présenter et diffuser l’information à temps aux décideurs compétents, mais aussi procéder à des évaluations de ces opérations. Les renseignements ainsi réunis constituent le retour d’information Les éléments d’évaluation, en particulier, nous aident à appliquer les enseignements tirés de l’expérience à l’élaboration de politiques et programmes appropriés, ou à la gestion des projets.

Les éléments d’évaluation sont les informations ou données représentant des valeurs qualitatives et quantitatives de mécanismes, effets et impacts de développement, provenant de diverses sources d’information et organisés dans le cadre de l’évaluation. Les éléments d’évaluation sont fondés sur : • L’explication des relations de cause à effet dans les interventions et de leurs conséquences; • Une analyse à partir de l’observation directe et détaillée du contexte du développement par les enquêteurs, qui fait partie des données empiriques; • Une analyse partant de la recherche et de l’étude d’autres documents (sources secondaires) intéressant le contexte du développement; et • Le souci d’éviter tout préjugé dans l’évaluation. Des observations directes et détaillées ne sont pas toujours une source d’éléments d’évaluation. Une bonne évaluation part d’une approche empirique. Les données empiriques sont des informations vérifiables reposant sur l’observation ou l’expérience plutôt que sur la conjoncture, la théorie ou la logique. Les données empiriques ont pour objet d’indiquer : • La validité des concepts ou questions théoriques; • La cohérence des tendances ou schémas; • Les éléments déterminants des effets et impacts effectifs. GESTION AXEE SUR LES RESULTATS ET GESTION DU SAVOIR Si le suivi contribue à dégager les premières leçons concernant l’effet, le programme ou projet, l’évaluation a pour objet de tirer des enseignements de l’expérience de façon à pouvoir identifier des questions générales aussi bien que particulières et à élaborer des solutions de rechange. La gestion axée sur les résultats suppose implicitement, en permanence, la planification, l’exécution, le suivi et l’évaluation afin de gérer les résultats et de tirer les enseignements de l’expérience. Il faut pour cela renforcer les interactions entre parties prenantes et institutions en ce qui concerne les résultats. Il s’agit également d’appliquer les mécanismes de communication et d’information pour rendre compte de l’apprentissage et faciliter la circulation du savoir, de l’information et des ressources. La stratégie de gestion du savoir met en exergue plusieurs principes récents visant à renforcer l’apprentissage. Ces principes supposent l’exploitation optimale des outils de suivi et d’évaluation afin d’établir des points de référence qui aideront les responsables à réaliser l’efficacité à deux niveaux. Le premier est l’efficacité de développement, qui regroupe les résultats (produits, effets et impacts) de l’aide. L’autre niveau et celui de l’efficacité organisationnelle, qui désigne le niveau de performance de l’organisation. PRINCIPES FONDAMENTAUX DE L’APPRENTISSAGE • Aider les autres à interpréter activement au lieu d’enregistrer l’information de façon à pouvoir se constituer de nouvelles connaissances; • Utiliser des stratégies de gestion de l’information actualisées, efficaces et novatrices; • Dégager des critères de performance et des enseignements de divers ensembles, groupes et communautés de pratique avec lesquels l’organisation collabore afin de rendre les évaluations du PNUD plus participatives, mieux axées sur les contextes et plus indépendantes; • Situer les tâches abstraites dans des contextes authentiques de façon à faire ressortir la pertinence de la tâche et à inculquer de nouvelles connaissances;

• Offrir la possibilité de participer au règlement des problèmes en partageant les compétences et techniques, c’est-à-dire par une interaction directe sans recourir indûment à la technologie de l’information; • Dégager la connaissance d’un contexte unique spécifique afin d’optimiser le transfert de connaissances; • Permettre aux autres de reconnaître et de respecter ce qu’ils savent déjà ainsi que le savoir existant dans leur communauté; • Donner de nombreux exemples d’une notion nouvelle et expliquer comment les principales caractéristiques de cette notion se retrouvent dans une série de contextes; • Renforcer sa capacité propre ainsi que celle des autres de déterminer le moment d’appliquer des connaissances nouvelles. RETOUR D’INFORMATION DU SUIVI ET DE L’ÉVALUATION En matière de suivi, la principale difficulté consiste à rassembler, stocker et utiliser des informations utiles à différents niveaux d’évaluation. Le suivi devrait être multifonctionnel de façon que l’information produite à un niveau soit utile au niveau suivant. En outre, le suivi ne devrait pas être limité à vérifier si les éléments se déroulent comme prévu. Il importe d’examiner régulièrement la qualité du mouvement bidirectionnel d’information entre le personnel de projet et le personnel de programme au niveau du pays, de même que la circulation de l’information à l’intérieur du bureau de l’organisation entre le personnel de programme qui gère différents programmes et surveille les produits provenant des projets ainsi que leur impact sur les effets. Cela peut se faire au moyen d’entretiens périodiques, de l’examen de rapports annuels et autres rapports de programme et de projet ainsi que par une observation indépendante. L’opération de suivi devrait chercher à améliorer les liens latéraux entre fonctionnaires responsables des projets et programmes, y compris le retour d’information, aux fins d’apprentissage. L’étude des liens existants ou potentiels entre programmes et projets devrait être aussi critique, objective et exhaustive que possible. Les cadres, y compris les cadres supérieurs du bureau, doivent être impliqués tout au long du suivi. L’évaluation est une opération axée sur les procédures qui exige la mise en place de données de référence communes aux fins de comparaison. Le problème est de savoir dès le départ quels sont les facteurs importants et quelles sont les interactions entre tous les facteurs. Avant de procéder à toute évaluation, prenez les mesures suivantes : • Convenez des questions prioritaires exigeant une information. Obtenez un accord au sujet des questions pour lesquelles il est le plus urgent de réunir des informations afin d’optimiser les ressources disponibles aux fins de la gestion de l’information, ces questions sont généralement limitées et complexes. D’intenses consultations doivent aller de pair avec la conclusion de l’accord, étant donné que les parties prenantes peuvent avoir des vues très divergentes en ce qui concerne les priorités. Un projet de liste de questions prioritaires pourrait être établi et distribué aux parties prenantes aux fins d’observation. Une autre possibilité est d’organiser un atelier où une autre formule de discussion expressément pour dégager un consensus. En conciliant des points de vue différents grâce à la négociation d’un consensus autour des questions prioritaires, on peut tisser des liens entre les parties prenantes et faciliter la coopération. • Déterminer les besoins en information des groupes de décision. La clé d’une bonne utilisation de l’information est de ne se concentrer que sur l’information essentielle. Avant d’entreprendre un examen des bases de données de l’organisation, des pouvoirs publics ou de l’organisation et

d’autres sources d’information, demander aux décideurs de définir directement leurs besoins. Une évaluation précise des besoins en information constitue un premier pas d’importance vitale. L’un des moyens les plus efficaces de dégager des informations (enseignements) communicables est de procéder à l’évaluation des effets, dont la communication peut faciliter l’apprentissage d’un pays à l’autre et entre différents emplacements géographiques. S’attacher aux effets signifie que l’organisation traite avec des partenaires pouvoirs publics et organismes donateurs, organisations non gouvernementales, parlements dont les activités de développement, tout comme les siennes, sont tributaires de la performance d’autres organismes ne dépendant pas d’eux. Ces organismes accumulent bien souvent d’énormes quantités de renseignements qualitatifs pouvant modifier la manière dont les résultats du développement sont perçus s’ils étaient dûment pris en considération. En tant que partenaires, on peut les amener à faciliter le suivi et l’évaluation mais ils ne doivent pas orienter ou imposer la marche à suivre. Cette participation des partenaires devrait favoriser les échanges en vue de l’apprentissage et de la constitution de savoir. Sans retour d’informations sûres et régulier, le suivi et l’évaluation ne sauraient atteindre leurs buts. En particulier, il faut insister sur des enseignements qui se prêtent à une application plus large, enseignements qui sont utiles non seulement à un programme ou projet donné, mais également à des contextes de développement plus larges. Si l’apprentissage exige un retour d’information systématique (résultats des évaluations, études pilotes, données de contrôle des indicateurs de produit et d’effet, connaissances autochtones, etc.), l’information que les bureaux des organisations sont appelés à organiser et gérer pour satisfaire à leurs propres besoins doit répondre à des critères particuliers qui sont complexes et dépassent fréquemment les cloisonnements sectoriels classiques. En pareil cas, les partenaires des pouvoirs publics et des établissements de recherche peuvent être invités à analyser les questions nouvelles de suivi et d’évaluation (méthodes de collecte des données, d’analyse, dialogues d’intervention et sensibilisation, etc.) et conseiller l’organisation afin de définir les lacunes et les doubles emplois. LE RETOUR D’INFORMATION Lorsque les bureaux de l’organisation effectuent le suivi et l’évaluation, le retour d’information suit les quelques opérations de base suivantes : 1. Veillez à ce que l’accent soit mis sur les résultats • Élaborez des projets et programmes fondés sur les effets visés; • Déterminez quels éléments sont recherchés, quels écarts peuvent apparaître et la marche à suivre en pareil cas (par exemple ce qui constituerait des éléments positifs ou négatifs pour tout projet ou programme donné); • Définissez, pour chaque niveau de personnel et les partenaires, l’objet de la production de connaissances ou d’information applicables à la prise de décisions ainsi que leur portée; • Définissez les priorités de suivi axées sur les produits et effets et établissez des points de référence ou normes permettant de formuler des jugements au sujet du retour d’information; • Choisissez les indicateurs de connaissances et d’information sur la base des priorités, de l’utilisation et des usagers de l’organisation; • Ayez le souci d’un bon rapport coût-efficacité pour ce qui est du montant des ressources et définissez les ressources élémentaires nécessaires à l’évaluation dans les programmes futurs; • Introduisez un calendrier des changements futurs dans la programmation;

• Convenez du système de collecte et d’analyse des données, assignez les responsabilités et allouez les coûts; • Passez en revue les informations qualitatives afin d’améliorer l’application de certaines techniques de suivi et d’évaluation telles que le contrôle d’hypothèses sur le terrain, une meilleure articulation des questions ou problèmes et un choix plus judicieux des domaines d’évaluation; • Suivez les processus d’apprentissage, y compris l’utilisation du retour d’information et des produits cognitifs. POSEZ DES QUESTIONS • Renseignez-vous en permanence, au moyen de mécanismes de retour d’information, sur le raisons pour lesquelles des événements semblent s’être produits ou se produire dans le cadre des projets et programmes; • Déterminez les répercussions des projets ou programmes par rapport à d’autres facteurs qui déterminent une situation de développement; • Précisez où, quand et comment les informations seront interprétées, communiquées et diffusées, et tenez des consultations afin d’alimenter les procédures courantes. PARTAGEZ LE SAVOIR • Documentez, analysez et examinez différentes expériences en matière de conception de programme, de partenariat, d’activités de suivi et d’évaluation; • Touchez différents niveaux de l’organisation (activités opérationnelles, choix stratégiques, missions et priorités de l’organisation) conformément à la stratégie de gestion du savoir de l’organisation; • Partagez le savoir et l’apprentissage avec les communautés de pratique, grâce aux réseaux mondiaux de savoir; • Définissez les sources de connaissances et d’information, y compris le type d’éléments d’évaluation qu’elles fournissent, ainsi que leur fréquence. OPEREZ UN CIBLAGE STRATEGIQUE • Produisez des informations convenant à différents utilisateurs et opportunes pour ce qui est de la prise des décisions et de la responsabilité; • Élaborez, en consultation avec les utilisateurs, des formats appropriés et apprenez au personnel à les utiliser; • Sollicitez les points de vue de toutes les parties prenantes clés, y compris les bénéficiaires des programmes. RECHERCHEZ DES ELEMENTS EMPIRIQUES • Effectuez une vérification et contrôlez la qualité des éléments d’évaluation afin d’assurer un retour d’information utile. Les principales étapes du retour d’information, de suivi et d’évaluation devraient appliquer les principes décrits plus haut pour boucler la boucle en utilisant le retour d’information afin de prendre de meilleures décisions. Le retour d’information devrait être pratique et conçu de façon à faciliter la prise des décisions en matière de programmes ou de projets ainsi que pour l’évaluation. Les enseignements tirés des évaluations doivent pouvoir être exploités avant et pendant la formulation des nouveaux projets, programmes et résultats. D’une manière générale, les enseignements tirés des évaluations

devraient être disponibles au moment de la formulation de nouveaux effets ou de la définition, de la conception et de l’évaluation de projets ou programmes. Dans le même temps, un retour d’information au sujet de la réussite ou de l’échec de types d’aide nouveaux ou originaux (conseils d’intervention, sensibilisation, renforcement des capacités, etc.) peut aider à la formation de programmes, projets ou effets nouveaux. En effectuant ces opérations, les directeurs de programme et les partenaires devraient se garder de la tendance à n’évaluer que les activités, les dépenses et les produits. Par exemple, n’examinez pas seulement les facteurs de gestion interne tels que les coûts et le calendrier des apports et produits. Le suivi et l’évaluation doivent dégager des informations au sujet des résultats et identifier les éventuels phénomènes indésirables et leurs incidences. OUTILS ET METHODES D’INFORMATION Comme on l’a vu plus haut, l’information obtenue grâce au suivi constitue la base de la prise des décisions et de mesures. Elle sous-tend les besoins immédiats en matière de prise de décisions plutôt que de contribuer au savoir à long terme. En revanche, l’information provenant de l’évaluation appuie la fonction d’apprentissage davantage qu’elle aide à la prise des décisions immédiate. Le retour d’information d’évaluations prend la forme d’enseignement tiré au sujet de ce qui est efficace et de ce qui ne l’est pas dans certaines conditions. Aussi bien pour le suivi que pour l’évaluation, il faut envisager l’information du point de vue de son exploitation. Il convient de commencer par répondre aux questions ci-après au sujet de l’obtention, de l’utilisation et du partage de l’information : • Quel est l’objectif précis de la collecte, du partage et de l’utilisation de l’information? • Quels sont les principaux groupes de décisions et d’influence qui déterminent la manière dont l’information sera réunie, partagée et utilisée dans le cadre d’un projet, programme ou effet? • Comment ces groupes réunissent-ils, partagent-ils et utilisent-ils actuellement l’information? • À quelles difficultés se heurtent-t-ils? • Le projet, programme ou effet comporte-t-il un mécanisme (ou principe directeur) pour la prise des décisions au sujet de l’information? LE RETOUR D’INFORMATION, DE SUIVI ET D’EVALUATION • Extraire les enseignements de l’expérience • Transformer les enseignements en savoir • Assurer l’accès au retour d’information • Évaluer la pertinence du retour d’information • Exploiter le retour d’information • Quelle information faut-il pour améliorer le projet, programme ou résultat? • Comment, quand et à qui cette information doit-elle être fournie? Ces questions devraient aider à déterminer le type de retour d’information nécessaire pour favoriser de bonnes décisions au sujet des projets, programmes ou effets de la part des cadres des projets, programmes. Toutes les activités de suivi et d’évaluation visent à garantir l’utilité de l’information, à utiliser l’information de manière ciblée, opportune et efficace et à exploiter le savoir des principales parties prenantes. Des informations qualitatives peuvent améliorer considérablement l’application de certaines techniques de suivi et d’évaluation, comme par exemple au moyen du contrôle opérationnel des hypothèses, d’une meilleure formulation des questions ou des problèmes et d’un choix plus judicieux des domaines d’évaluation.

BASE DE DONNEES NATIONALES Ces bases de données ont une vaste portée et sont généralement réparties par secteur entre pouvoirs publics et établissements nationaux de recherche. On peut les utiliser pour obtenir des renseignements par exemple au sujet d’effets, trouver des indicateurs et prendre connaissance des enseignements concernant le bilan commun de pays ou la formulation de projets. COMMUNAUTES DE PRATIQUE AXEES SUR LES EFFETS Des communautés de pratique peuvent être constituées autour d’effets afin de faciliter l’échange d’information entre l’organisation et entre ceux-ci et les principales parties prenantes afin de maximiser la réalisation des effets. Le Système de planification et de suivi de l’évaluation peut servir à engager le dialogue, car il fournira des informations au sujet des évaluations prévues, ainsi que des recommandations et des mesures de suivi au sujet d’évaluations PUBLICATION D’ELEMENTS D’EVALUATION ET DE RETOUR D’INFORMATION Les résultats de l’évaluation devraient être publiés selon une présentation claire, dans un souci d’équité, afin de dégager des conclusions convaincantes et d’exclure toute ambiguïté. L’information peut être présentée selon diverses techniques d’analyse. L’essentiel est toutefois que l’information provenant des évaluations et du suivi soit d’utilisation facile, d’accès aisé et utile. . • Conçus pour un public bien précis; • Adaptés aux besoins en matière de décisions, surtout au niveau du personnel des bureaux de pays; • Disponibles lorsque se présente un créneau pour la prise de décisions (opportunité); • Clarté; • Fondés sur des principes méthodologiques judicieux; • Diffusés par des voies reconnues; • Identification claire des domaines d’incertitude et de leur importance; • Indication complète des sources; • Renseignent sur les produits et procédures de développement tangibles et intangibles; • Disponibles aux meilleurs coûts sur les plans temporel, financier et administratif. En ayant ces caractéristiques à l’esprit même avant le début de l’étude ou la préparation d’une publication, on pourra bien ordonnancer les éléments d’évaluation. Les résultats de l’évaluation devraient être documentés et diffusés aux parties prenantes aux fins de retour d’information, ce qui permettra de définir les besoins en information. DEMARCHE A SUIVRE POUR AMELIORER LE RETOUR D’INFORMATION CONCERNANT L’EVALUATION • Bien comprendre le processus d’apprentissage à l’intérieur et à l’extérieur de l’organisation (identifier les goulets d’étranglement); • Déterminer comment améliorer la pertinence et l’actualité du retour d’information sur l’évaluation et assurer cette amélioration; • Définir avec précision les groupes cibles aux fins de retour d’information relative à l’évaluation et justifier le choix de ces groupes, sur le plan général comme dans les cas particuliers;

• Se familiariser avec les groupes cibles afin de savoir ce qu’ils attendent des évaluations, comment ils utilisent les données de l’évaluation et comment les systèmes de retour d’information peuvent mieux satisfaire ces demandes; • Adopter une approche stratégique de la manière dont les méthodes de retour d’information peuvent être adaptées aux besoins des différents groupes cibles; • Assurer la qualité des produits de l’évaluation, surtout pour ce qui est de la concision, de la clarté et de la présentation; • Envisager de diversifier les approches appliquées pour communiquer avec les groupes cibles, au moyen éventuellement de formules originales; • Améliorer les sites Web et les intranets concernant l’évaluation, sans oublier que la facilité d’accès et d’utilisation est un facteur fondamental; • Veiller à ce que la communication complète des rapports d’évaluation soit la norme et que des mécanismes efficaces d’approbation et de notification soient en place pour éviter que les cadres supérieurs ou les partenaires principaux soient pris au dépourvu par des résultats traitant à controverse. • S’efforcer de trouver de meilleurs moyens d’associer les parties prenantes nationales à l’évaluation, y compris au retour d’information des enseignements tirés de l’évaluation, sans perdre de vue l’importance primordiale des barrières linguistiques. • Recruter si nécessaire des spécialistes dans des domaines où ils font défaut, en particulier dans le domaine des communications. La diffusion des résultats de l’évaluation est aussi importante que leur publication. Ce n’est que grâce à un système efficace de diffusion que les bénéficiaires visés recevront le retour d’information concernant l’évaluation dont ils ont besoin. La communication intégrale de tous les enseignements est une tâche redoutable. Le problème est de savoir comment tirer de l’expérience des enseignements transférables, c’est-à-dire qui ont une application plus large que ceux qui ne concernent qu’un seul programme ou projet. Pour ce faire, on peut institutionnaliser l’apprentissage à partir du retour d’information, de suivi et d’évaluation. L’institutionnalisation de l’apprentissage appelle une meilleure intégration de l’apprentissage dans les instruments et procédures existants, tels que la rédaction des descriptifs de projet et de programme, le Rapport annuel axé sur les résultats. DESCRIPTIF DE PROJET Les descriptifs de projet devraient renvoyer (y compris au moyen de liens) aux conclusions d’études ou d’évaluations dans la section de l’analyse de situation. Révision des descriptifs de projet. Lorsque des révisions budgétaires ou autres sont apportées aux descriptifs de projet, les enseignements liés à l’objet de la modification budgétaire devraient également être indiqués. Rapport annuel axé sur les résultats. En présentant son rapport annuel axé sur les résultats, le bureau de l’organisation devrait souligner dans le texte explicatif les principaux enseignements tirés au sujet de chaque résultat, en particulier dans la partie consacrée aux questions stratégiques et aux mesures convenues. L’une des principales sources de ces enseignements est l’examen annuel. On trouvera également une série de suppléments au Guide, donc chaque livraison examinera dans le détail un thème lié au suivi et à l’évaluation (exemples : directives à l’intention des évaluateurs des effets; suivi et évaluation après une crise; renforcement des capacités d’évaluation).

PLANIFICATION DES RÉSULTATS : APPLICATIONS PRATIQUES Il s’agit là d’indicateurs de résultats. Il est pratique de disposer d’au moins deux indicateurs pour un produit : un indicateur de processus qui permet de savoir si le service ou le produit a été achevé ou fourni, et un indicateur de résultat qui évalue si le produit finalisé apporte les changements visés. Ainsi, les responsables des programmes et des projets peuvent non seulement débattre de la progression des activités et des produits prévus, mais également de la qualité et de l’effet de ces activités et de ces produits. Bien souvent, il est difficile de déterminer le type d’indicateur qu’il faut utiliser pour certains effets, notamment lorsque le nombre de produits ne donne pas de renseignement significatif. Dans ce Guide, nous proposons, pour certains produits complexes ou pour ceux dont la qualité compte plus que la quantité, de recourir à une mesure qui serait le « niveau des progrès accomplis ». Les objectifs sont fixés en fonction d’un niveau de progression à atteindre chaque année. Ces indicateurs de la progression peuvent être complétés par d’autres, mesurant la satisfaction des usagers, ce qui permet d’évaluer à quel point les individus sont satisfaits des produits. LISTE DE CONTRÔLE POUR L’EXAMEN DES EFFETS POINTS DE REPERE ET OBJECTIFS Une fois les indicateurs identifiés, les participants doivent établir des points de repère et des objectifs en fonction de l’ampleur du changement qu’ils veulent observer. Il est souvent préférable de fonctionner en groupe restreint pour entreprendre le travail de recherche sur les points de repère, les parties prenantes ne disposant pas toujours de l’ensemble des données à ce moment. Le point de repère et l’objectif doivent clairement correspondre à l’indicateur, en utilisant la même unité de mesure. (Pour des raisons pratiques, certains indicateurs peuvent nécessiter un ajustement afin de les faire correspondre avec les mesures existantes, telles que les enquêtes nationales ou les recensements). Les points de repère constituent la base à partir de laquelle le changement est mesuré. Sans ces données, il est très difficile d’évaluer le changement dans le temps ou d’effectuer le suivi et l’évaluation. Grâce aux points de repère, les progrès peuvent être mesurés par rapport à la situation qui précédait l’action. Une fois le point de repère établi, il convient de fixer un objectif. Celui-ci dépend normalement de la période du programme et de la durée de l’action et des activités. Par exemple, dans le contexte d’un PCNUAD, les objectifs sont normalement fixés pour cinq ans, de manière à idéalement, les parties prenantes doivent collecter et déterminer d’un commun accord les points de repère, lors de l’élaboration d’un programme. Cependant, il arrive que certaines activités soient lancées avant que les points de repère n’aient pu être établis. Il est alors possible d’évaluer approximativement la situation telle qu’elle était au début du programme, en utilisant les données des examens annuels précédents. Si celles-ci ne sont pas disponibles, il est encore possible de mesurer le changement dans le temps. Par exemple, pour établir un point de repère par rapport à la gouvernance locale, il peut être utile de conduire une enquête et de poser la question suivante : « Par rapport à il y a trois ans, vous sentez-vous plus ou moins impliqué dans les prises de décision locales » ? Lorsqu’il est impossible d’évaluer

la portée du changement de manière rétroactive, il faut mesurer la situation telle qu’elle est à présent, ce qui permettra au moins d’évaluer les évolutions à l’avenir. Parfois, un nouvel indicateur peut être créé, qui est susceptible de ne pas posséder de point de repère pour une année précédente. Dans cette situation ou dans un cas similaire, l’équipe peut convenir d’un point de repère tout en avançant dans la mise en application du programme. MOYENS DE VERIFICATION L'énoncé des résultats et les indicateurs doivent être SMART. Le «M» de « SMART » signifie « mesurable », ce qui veut dire que les données doivent être aisément disponibles pour estimer les progrès accomplis grâce aux résultats. Lors de la définition des résultats et de leurs indicateurs, il est donc important de garder à l’esprit la manière dont les données seront collectées dans le cadre des processus de suivi et d’évaluation. Les moyens de vérification jouent un rôle clé pour ancrer les initiatives dans la réalité d’un contexte donné. Souvent, les plans top ambitieux ou ceux élaborés trop hâtivement ne prennent pas en compte les difficultés propres à la collecte des preuves, qui permettront aux responsables du programme de démontrer le succès de l’action menée. Sans une définition claire du type de preuves nécessaire pour garantir que les résultats sont obtenus, et si les implications de cette collecte, en termes de travail et de coût, ne sont pas pleinement prises en compte, les responsables de la planification mettent en danger l’intégrité du programme. Si les résultats et les indicateurs ne s’appuient pas sur des données mesurables et vérifiables par des experts indépendants, il est permis de s’interroger sur le caractère réalisable ou réaliste de l’initiative. L’identification des moyens de vérification doit avoir lieu dans le cadre d’une coordination étroite entre les parties prenantes clés. Les preuves portant sur les réalisations (sans parler de celles d’impact) doivent être apportées par le groupe ciblé, les bénéficiaires ou les partenaires de l’action pour le développement. Il est donc important qu’au cours de la planification des projets ou des programmes, ces protagonistes participent à la réflexion sur la manière dont les preuves permettant d’évaluer les progrès seront obtenues, pendant la mise en œuvre comme au terme Des moyens de vérification clairs facilitent donc l’établissement de systèmes de suivi et contribuent de manière significative au fait que les projets et les programmes puissent faire l’objet d’une évaluation. PRÉPARER LE LANCEMENT DES OPÉRATIONS Les parties précédentes ont décrit les étapes de la préparation d’une carte des résultats et d’un cadre de résultats spécifique qu’il convient d’intégrer au document du projet ou du programme dont l’organisation est partenaire. Afin de parvenir aux résultats envisagés dans le cadre, ce dernier doit faire l’objet d’une communication, d’une mise en œuvre, d’un suivi et d’une évaluation. En l’absence d’un suivi et d’une évaluation efficaces, l’organisation, les parties prenantes et les partenaires ne pourront pas déterminer si les résultats visés ont été obtenus ou s’ils doivent prendre des mesures correctives afin d’aider à la réalisation des objectifs. Le suivi et l’évaluation sont essentiels à une application efficace d’un projet ou d’un programme, ainsi qu’à la promotion de la redevabilité et de l’apprentissage au sein DE l’organisation. Au terme du processus de planification, les participants doivent consacrer un certain temps à mettre au point une stratégie de mise en œuvre du cadre, et à déterminer la manière dont il est possible de renforcer les objectifs et les finalités. Un cadre de résultats opérationnel revêt les caractères suivants:

- Largement diffusé à l’ensemble des parties prenantes.

- Régulièrement et formellement soumis à un examen et mis à jour. - Clair sur qui est responsable et qui doit rendre des comptes pour chaque

composante. - Utilisé pour la prise de décision. - Cohérent avec les systèmes de mesures incitatives de l’organisation.

COMMUNICATION ET CONSTRUCTION DE PARTENARIATS Lors de la dernière rencontre de planification, les participants doivent réfléchir aux méthodes qui vont être utilisées pour communiquer les principaux objectifs contenus dans le cadre. Le but est ici d’accroître la sensibilisation à l’égard du programme et d’entraîner un mouvement de soutien en sa faveur. La mission consistant à élaborer un plan de communication doit être confiée à un individu ou à quelques membres d’une équipe. Pour les programmes de grande envergure, il peut être utile de faire appel à une agence de communication pour qu’elle apporte son soutien. Il est souvent utile de débattre, lors de la dernière réunion de planification, de la manière dont il convient de bâtir des partenariats et des équipes afin de faire avancer les travaux. Ainsi, dans les organisations de développement (pouvoirs publics, institutions internationales, etc.), le personnel a souvent tendance à considérer le travail d’élaboration des programmes comme le domaine exclusif de l’équipe qui en responsable. Le personnel de terrain ne s’approprie pas le plan et ne s’implique que dans les processus d’opérations administratives. Ce phénomène risque de priver l’équipe des énergies, des idées et de l’appui plus larges dont celle-ci pourrait avoir besoin pour avancer efficacement. Il peut s’avérer utile de consacrer du temps à confronter des idées sur des moyens créatifs de faire participer à la fois les partenaires internes et externes. REDEVABILITÉ ET MESURES INCITATIVES Les parties prenantes doivent également réfléchir sur la redevabilité attribuée à chaque composante du cadre et sur le type de mesures incitatives ou de sanctions qui pourraient être prises pour encourager un comportement conforme au cadre. REDEVABILITE Souvent, lorsque le cadre de résultats ou la carte ont été mis au point, le groupe désigne le responsable de la coordination pour l’élaboration des programmes et des mesures. Il peut s’agir d’une organisation (par exemple les Nations Unies) ou d’un individu, dans le cadre de ses fonctions. PLANIFICATION DES RÉSULTATS : APPLICATIONS PRATIQUES Parfois, des brochures et des supports de communication, tels que les dépliants et les vidéos , sont créés afin d’exposer les principaux objectifs en des termes simples. Ces supports sont ensuite diffusés aux parties prenantes. Dans d’autres cas, un programme de communication en continu (radio, journaux, etc.) expose les grands objectifs et les finalités, ce qui permet de les rappeler constamment aux participants, de maintenir leur engagement et de s’assurer de la clarté des objectifs communs. Dans certains bureaux du secteur privé ou public, des espaces ouverts et des panneaux d’affichage sont utilisés pour présenter les principaux objectifs du plan, et les salles de réunion disposent souvent de panneaux, de tableaux ou d’autres supports sur lesquels sont inscrits les objectifs et les finalités. Dans de nombreuses organisations, les réunions sont accompagnées de diapositives, illustrant les objectifs et leur progression.

PROPOSITIONS DE PLANS DE COMMUNICATION Dans un grand hôpital des États-Unis, un tableau d’affichage rappelle les éléments clés des valeurs, de la mission et des objectifs de l’établissement. En outre, plusieurs services disposent de grands panneaux où sont inscrits les indicateurs de performance correspondant à l’unité en question ainsi que les succès obtenus par rapport à ces indicateurs. L’hôpital fait régulièrement partie des établissements les mieux notés en matière de satisfaction des usagers et se targue d’afficher l’un des taux d’erreur dans le traitement des patients les plus faibles. Il expose fièrement ses nombreuses récompenses et citations, au côté de l’énoncé de sa mission et des ses indicateurs de performance. PARTAGER LA MEME VISION Les parties prenantes doivent examiner la carte des résultats ou le cadre et identifier les domaines nécessitant des mesures concrètes pour faire avancer la situation. Des individus ou des organisations doivent être désignés pour conduire ces actions.

- Les accords doivent être consignés et intégrés à un plan simple de mise en œuvre. - Le plan aborde également des enjeux comme la nécessité d’obtenir un accord ou une

décision politique, ainsi que la stratégie pour y parvenir. Il peut être demandé à un groupe plus restreint d’examiner plus en détail les éléments du cadre de résultats pour lesquels certaines parties prenantes doivent mener une action spécifique. TRAITE DE L’ORGANISATION DES DISPOSITIONS POUR LE SUIVI ET L’EVALUATION. MESURES INCITATIVES ET DISSUASIVES Les participants doivent confronter leurs idées concernant d’éventuelles dispositions incitatives ou sanctions (le cas échéant) qui pourraient servir à la mise en application du cadre. Il est également possible de demander à une ou plusieurs personnes d’examiner le cadre et de faire des propositions au groupe. Cependant, lors de la phase initiale, il peut être utile d’entendre les différentes idées formulées par le groupe. Celles-ci doivent être consignées pour être intégrées au plan de mise en œuvre. RASSEMBLER TOUS LES ÉLÉMENTS : PLANIFIER LE CHANGEMENT La planification de résultats réels nécessite une réflexion approfondie sur les changements recherchés et sur les moyens de les provoquer. Le processus comprend une série de questions :

- À quels changements voulons-nous précisément assister ? - Comment ce changement va-t-il se produire ? Qu’est-ce qui va provoquer le

changement ? - Quelles conditions préalables doivent être mises en place, et par quels éléments

vont-elles être influencées ? - Comment allons-nous suivre et évaluer le changement ? - Comment allons-nous utiliser l’information obtenue grâce au suivi et à l’évaluation ?

Le processus doit définir l’ensemble des éléments constitutifs nécessaires pour atteindre la finalité à long terme qui est recherchée, ainsi que pour suivre et évaluer la portée de la progression. De cette manière, la planification peut devenir un processus puissant, qui permet d’accomplir les tâches suivantes :

- Obtenir un consensus et un engagement de la part des parties prenantes. - Communiquer clairement avec l’ensemble des participants sur les changements

recherchés. - Motiver les mesures et mobiliser les ressources.

- Mieux définir l’ensemble des ressources et des partenariats internes et externes nécessaires pour parvenir aux résultats.

- Mieux comprendre les intérêts, les besoins et les préoccupations des différents groupes de parties prenantes, dont les hommes, les femmes et les groupes traditionnellement marginalisés.

- Fixer des indicateurs de performance clairs pour le suivi et l’évaluation. - Attribuer des responsabilités.

La planification doit toujours se concentrer sur les résultats les changements réels dans les conditions du développement qui permettent d’améliorer la vie des individus. Elle ne doit pas être effectuée dans le simple but de respecter les exigences du superviseur ou du bureau central. La planification doit toujours être envisagée comme un processus, dont le plan en lui-même ne représente qu’un produit. Le processus de planification doit s’étendre au-delà de l’observation des résultats et de la mesure des performances. Il doit inclure un plan et des mécanismes de gestion, de suivi et d’évaluation ainsi que des idées bien établies en matière de partenariats et de collaborations, afin d’obtenir les résultats recherchés. Le processus de planification doit être extrêmement participatif et très ouvert, et doit inciter à la franchise, à la créativité et à l’innovation. La planification doit être guidée par les principes qui sont au cœur de l’efficacité du développement. Elle ne doit pas conduire à un plan neutre ou générique mais à un plan qui s’appuie sur des enseignements, sur ce qui fonctionne ou pas dans l’élaboration des programmes de développement. Les effets les plus importants du processus de planification sont les suivants : un consensus sur les finalités, les objectifs et la vision de l’avenir, l’engagement et la motivation des parties prenantes et la clarté sur le processus de mise en oeuvre et de gestion du plan. Le document de planification peut servir d’archive pour consigner ce qui a été convenu et comme un instrument pour communiquer avec les futurs partenaires. LE SUIVI ET L’ÉVALUATION, POUR QUELLES RAISONS ? Le suivi et l’évaluation répondent à plusieurs besoins. Dans l’absence d’un suivi et d’une évaluation efficaces, il serait difficile de savoir si les résultats escomptés sont réalisés tel que prévu, quelle serait la mesure corrective à prendre pour garantir la réalisation de ces résultats et si les initiatives entreprises apportent une réelle contribution au développement humain. Le suivi et l’évaluation se rapportent toujours aux résultats prédéfinis dans le plan de développement. Ils sont conduits par le besoin de redevabilité de réalisation des résultats escomptés et constituent une base factuelle permettant des prises de décisions correctives en connaissance de cause. Il s’agit d’un outil de gestion essentiel au soutien de l’engagement de l’organisation pour la reddition de comptes sur la réalisation des résultats, les ressources qui lui sont confiées et l’apprentissage organisationnel. En outre, le suivi et l’évaluation s’inscrivent dans les processus généraux de gestion des programmes et apportent une contribution essentielle à la capacité de gestion pour les résultats de développement. Le suivi, autant que l’évaluation, offrent la possibilité, à des moments réguliers et prédéterminés, de confirmer la logique d’un programme, de ses activités et leur mise en oeuvre et, de les réajuster si nécessaire. La planification à elle seule ne suffit cependant pas à garantir la réalisation des résultats. Les progrès réalisés doivent également être soumis à un suivi. De la même manière, le suivi, aussi

bon soit-il, ne suffit pas à lui seul pour corriger des conceptions, des plans ou des résultats médiocres de programmes. Les informations fournies par le suivi doivent être exploitées pour encourager les améliorations ou renforcer les plans. Les informations pour un suivi systématique constituent également un apport crucial à l’évaluation. Il est très difficile d’évaluer un programme qui n’a pas été conçu convenablement et dont les résultats ne font pas l’objet d’un suivi systématique. Les principales questions auxquelles le suivi tente de répondre sont, entre autres :

- Les produits prédéterminés sont-ils en adéquation avec ce qui a été planifié ? - Quels sont les problèmes, risques et défis, actuels ou à venir dont il faut tenir compte

pour garantir la réalisation des résultats ? - Quelles sont les décisions à prendre concernant les changements à apporter aux

activités en cours pour les étapes à venir ? - Les produits planifiés et exécutés sont-ils toujours pertinents pour la réalisation des

effets envisagés ? - Les effets envisagés sont-ils toujours pertinents et efficaces pour la réalisation des

objectifs nationaux, répondent-ils toujours aux priorités nationales et ont-ils toujours le même impact ?

- Qu’apprenons-nous ? De la même manière que le suivi, l’évaluation est une partie intégrante de la gestion de programmes et constitue un outil de gestion crucial. Elle complémente le suivi en fournissant un examen indépendant et approfondi sur ce qui a fonctionné et ce qui n’a pas fonctionné et pourquoi. Après avoir mis en oeuvre et établi le suivi d’une initiative pendant un certain temps, il est important, dans le cadre d’une discipline de gestion, de faire le point à travers une évaluation externe. Les avantages des évaluations sont multiples. Une évaluation de qualité assure un retour d’information pouvant être exploité pour l’amélioration de la stratégie et de la politique de programmes. Elle permet également de déceler les résultats inattendus et les conséquences des initiatives de développement, chose qu’un suivi classique n’est probablement pas capable de faire, étant donné que ce dernier se concentre plus sur la mise en oeuvre d’un plan de développement. Les informations générées par les évaluations apportent une contribution à l’apprentissage organisationnel ainsi qu’aux connaissances mondiales sur l’efficacité du développement. Dans des contextes de développement évoluant rapidement ou en présence d’environnements en développement ou en sortie de crise, le plan de développement se doit d’être dynamique et doit être révisé et amélioré continuellement. A chaque fois que les plans de développement sont mis à jour pendant leur mise en oeuvre, il est indispensable de renseigner les raisons de ces changements. L’importance d’un suivi et d’une évaluation efficaces est alors d’autant plus évidente car elle fournit la preuve de ces changements à travers une gestion de la prise de décision en connaissance de cause. POURQUOI PLANIFIER LE SUIVI ET L’ÉVALUATION ? Une prise de décision efficace et à temps nécessite des informations fournies par des activités de suivi et d’évaluation régulières et planifiées. La planification pour le suivi et l’évaluation doit débuter au moment de l’élaboration du programme ou du projet et doit être menée en même temps. Alors

que le suivi fournit des informations en temps réel sur l’élaboration du programme ou projet en cours et nécessaires à sa gestion, l’évaluation quant à elle, fournit un examen plus approfondi. Le processus de suivi peut aussi poser des questions auxquelles l’évaluation peut apporter des réponses. D’autre part, l’évaluation puise largement dans les données fournies par le suivi, et notamment dans les données de référence, les informations sur les processus de mise en oeuvre des programmes ou projets et le degré des progrès réalisés pour atteindre les résultats planifiés grâce aux différents indicateurs. La planification du suivi doit être réalisée tout en gardant à l’esprit l’évaluation : l’existence de résultats clairement déterminés, d’un modèle des effets ou de données de suivi, entre autres, détermine « l’évaluabilité ». LE CADRE DE SUIVI ET D’ÉVALUATION Un cadre de suivi et d’évaluation clairement établit et dûment accordé parmi toutes les principales parties prenantes à la fin de l’étape de planification, est fondamental pour mener systématiquement un suivi et une évaluation. Ce cadre sert de plan pour le suivi et l’évaluation et doit indiquer : CE QUI DOIT ETRE SUIVI OU EVALUE

- Les activités nécessaires au suivi et à l’évaluation - A qui incombe la responsabilité des activités de suivi et d’évaluation - Quand les activités de suivi et d’évaluation sont-elles prévues (calendrier) - Comment le suivi et l’évaluation sont-ils menés (méthodes) - Quelles sont les ressources nécessaires et à qui sont-elles confiées

En outre, les risques les plus importants et les hypothèses des activités de suivi et d’évaluation à entreprendre doivent également être sérieusement pris en compte, anticipés et mentionnés dans le cadre de suivi et d’évaluation. LA PLANIFICATION, LE SUIVI ET L’ÉVALUATION Il faut alors établir de telles structures pour garantir un suivi et une évaluation efficaces. La composante narrative doit en outre comporter :

a. Les plans qui pourraient être établis pour renforcer les capacités de suivi et d’évaluation nationales ou infranationales.

b. Les capacités de suivi et d’évaluation déjà existantes et une estimation des besoins en ressources humaines, financières et matérielles pour la mise en oeuvre de ces capacités.

Un cadre de résultats : celui-ci doit être préparé lors de l’étape de la planification. Des matrices de planification et d’évaluation : elles sont stratégiques et permettent de réunir les informations nécessaires au suivi et à l’évaluation en vue d’en faciliter la consultation. Les utilisations, l’objectif et le calendrier de l’évaluation : les évaluations ne devront être proposées qu’une fois que les unités de programme mandataires et les parties prenantes se seront mises d’accord sur les raisons de l’évaluation mise en oeuvre (l’objet), la nature des informations nécessaires (demande d’informations), la/les personne(s) qui seront amenées à utiliser lesdites informations, et comment ces informations seront utilisées.

Ressources investies : tout domaine (domaine thématique ou de programme, résultats attendus ou projet) dans lequel l’organisation a investi des ressources importantes peut être soumis à évaluation dans l'éventualité d’un renforcement des critères de redevabilité. La probabilité d'initiatives futures dans le même domaine : les évaluations représentent un moyen important pour formuler des recommandations visant à orienter des actions futures. Une évaluation permet à l'unité de programme de déterminer si les produits réalisés ont contribué aux résultats et si l’organisation a bâti une stratégie de partenariat efficace. Au moment de choisir une initiative à évaluer, il faut la sélectionner dans un domaine que l’organisation continuera à soutenir. Anticipation des problèmes : les évaluations peuvent aider à éviter des problèmes et à fournir un point de vue indépendant de problèmes existants. Lors de la sélection de résultats attendus en vue de les évaluer, il convient de choisir ceux comportant des problèmes ou ceux dans lesquels des complications sont susceptibles de survenir parce que le résultat attendu relève d'un domaine sensible pour un certain nombre de partenaires. Besoin en enseignements tirés : quels types de leçons sont nécessaires pour aider à mener des activités dans ce pays ou dans d’autres pays ou régions ? Alignement et harmonisation : les évaluations planifiées doivent être alignées sur les priorités de développement nationales, régionales et mondiales et sur les priorités institutionnelles de l’organisation (le plan stratégique du PNUD par exemple), et doivent être harmonisées avec les évaluations des organismes du système des Nations Unies et autres partenaires internationaux. Les mêmes critères de sélection des effets devraient s’appliquer à la sélection des évaluations de projet. Certains protocoles de partenariat requièrent que leurs projets soient évalués. Il est donc fortement recommandé que les évaluations soient achevées pour les projets pilotes avant leur duplication ou élargissement, pour les projets abordant une nouvelle phase et pour les projets en cours pour plus de cinq ans pour reddition de compte ou apprentissage. Dans le cadre du processus régulier de mise à jour du plan d’évaluation, toute nouvelle évaluation de projet devrait être intégrée dans le plan. En présence de contextes de crise, les évaluations doivent bénéficier d’un délai supplémentaire car elles nécessitent plus de flexibilité afin de répondre aux changements pouvant avoir lieu. Il faut donc avoir une flexibilité lors de l’organisation des visites sur le terrain et des entretiens, mais également de pouvoir anticiper les retards dans la collecte de données et les changements de dernière minute des méthodes utilisées pour cette collecte et ce, dans le cas où les relations entre les différents groupe changent. Plus encore, il faut une préparation supplémentaire lorsqu’on travaille avec des groupes vulnérables ou touchés par un conflit car il faut une attention particulière et tenir compte de certaines considérations éthiques. Les ressources inadéquates donnent lieu à un suivi et à une évaluation de qualité médiocre. Afin de garantir un suivi et une évaluation efficaces et de bonne qualité, il est fondamental de déterminer les ressources financières et humaines nécessaires lors de l’étape de planification. Ces besoins doivent être inclus dans les dépenses globales destinées à la réalisation des résultats accordés et non pas être considérés comme des frais supplémentaires. Les ressources financières pour le suivi et l’évaluation doivent être estimées de manière réaliste lors de l’étape de planification du suivi et de l’évaluation. Alors qu’il est crucial de planifier le suivi et l’évaluation en même temps, les ressources allouées à chacune de ces activités devraient être traitées séparément. En pratique, chaque projet doit posséder deux lignes budgétaires indépendantes pour le suivi et pour l’évaluation et que celles-ci soient accordées préalablement avec les partenaires. Ceci permet non seulement à l’organisation et ses partenaires d’être plus

réalistes à l’heure d’établir les budgets mais également de réduire le risque de se retrouver à cours de budget pour l’évaluation qui a généralement lieu en fin de mise en oeuvre. Les coûts du suivi et de l’évaluation associés aux projets peuvent être relativement faciles à déterminer et être ainsi inscrits directement aux budgets respectifs. Cette étape vient à la suite d’un accord préalable entre les partenaires à travers son intégration dans le projet de budget ou dans le plan de travail annuel (AWP) signé par les partenaires. Trouver et garantir les ressources financières pour le suivi et l’évaluation des effets ou des programmes peut poser certains problèmes supplémentaires car il n’existe pas de projet pour lequel ces coûts puissent être directement imputés. Le mécanisme de financement le plus courant consiste à puiser ces ressources de projets qui s’y prêtent. Il existe également d’autres possibilités telles que :

- Créer un fonds particulier ou un projet associé à un effet pour le suivi et l’évaluation ou également un programme pour lequel tous les projets constituants contribueraient en transférant certains de leurs fonds. Ce dispositif pourrait se situer au sein de la même entité qui gère l’effet ou le programme.

- Mobiliser des fonds directement de chez les partenaires en vue d’établir un dispositif de suivi et d’évaluation de l’effet ou de programme.

- Allouer annuellement les fonds nécessaires à chaque effet sur la base des dépenses

prévues pour le suivi et l’évaluation depuis le budget global du programme vers ce dispositif ou fonds.

Il est important que les partenaires prennent en considération les ressources nécessaires pour le suivi et l’évaluation et s’accordent sur des dispositions pratiques permettant de financer les activités associées. De telles dispositions doivent être renseignées en début de programme afin de permettre aux partenaires de transférer les fonds nécessaires selon leurs procédures, ce qui peut s’avérer long et contraignant. Les ressources humaines sont également un élément fondamental pour un suivi et une évaluation efficaces et même après avoir garanti un financement adéquat, il faut s’assurer d’avoir :

- Un personnel dédié et disponible pour cette fonction, les pratiques varient d’un organisme à un autre.

- Un personnel qualifié, le personnel qui se voit confié la tâche du suivi doit posséder les compétences techniques nécessaires dans ce domaine.

- Chaque entité de suivi et d’évaluation exerçant son activité à différents niveaux (aux niveaux de projet, de programme ou d’effet, par exemple) doit posséder des termes de référence qui tracent les grandes lignes de son rôle et de ses responsabilités. Ces responsabilités doivent généralement inclure les tâches suivantes :

- Mettre systématiquement en place des cadres de suivi et élaborer un plan d’évaluation

- Rencontrer régulièrement les principaux partenaires et parties prenantes afin de mesurer les progrès de réalisation des résultats

- Piloter des missions de suivi et d’évaluation conjointes sur le terrain afin de témoigner des réalisations et des contraintes

- Déterminer tous les enseignements à tirer et toutes les bonnes pratiques à suivre

- Refléter la manière avec laquelle les résultats réalisés traitent la question de l’égalité entre les sexes et les intérêts et droits des groupes les plus vulnérables et marginalisés de la société

- Identifier les besoins supplémentaires des parties prenantes et des partenaires en

matière de renforcement des capacités de développement - Etablir régulièrement des rapports destinés aux responsables ou aux agences de

l’état des domaines de résultats particuliers et des opportunités permettant d’influencer la politique et les processus de prise de décision

- Garantir la qualité des activités de suivi et d’évaluation et fournir les orientations

nécessaires - Evaluer la pertinence du cadre de suivi et d’évaluation de manière régulière selon les

nouvelles priorités de développement et l’évolution du contexte

ENGAGEMENT DES PARTIES PRENANTES DANS LE SUIVI ET L’ÉVALUATION L’engagement des parties prenantes lors de la planification reste important pour les étapes du suivi et de l’évaluation pour les raisons suivantes : Les parties prenantes qui, lors de l’étape de planification, déterminent l’orientation à suivre et établissent les priorités pour sa réalisation, possèdent les meilleures idées sur la manière avec laquelle les résultats continueraient d’être pertinents pour eux. Ils doivent, par conséquent, être impliqués dans la définition des informations ou retour d’informations nécessaires lors de l’étape de mise en oeuvre et permettant d’établir les paramètres du suivi et de l’évaluation. En plus de déterminer l’orientation, les résultats prioritaires et les paramètres de suivi et d’évaluation, les parties prenantes sont également les mieux placées pour garantir les résultats et les moyens des initiatives planifiées. La participation des parties prenantes dans le suivi et l’évaluation peut donner lieu à un échange plus efficace pour de nombreux autres objectifs tels que :

- faciliter la communication de nouvelles réalisations pour renforcer le soutien et l’engagement d’autres parties prenantes, garantir l’accès aux derniers produits et services des initiatives aux bénéficiaires visés, mobiliser les ressources supplémentaires pour répondre aux écarts financiers et, garantir l’usage efficace des enseignement tirés pour la prise de décision à venir.

- La participation des parties prenantes à tout le cycle du programme garantit par ailleurs l’appropriation, l’apprentissage et la durabilité des résultats. Une participation constante des parties prenantes au suivi et à l’évaluation ne peut être présumée, elle doit être institutionnalisée et des mesures précises doivent être mises en place dans les processus de gestion des programmes et projets afin d’assurer une implication efficace et continue des parties prenantes.

MISE EN OEUVRE ET GESTION D’UNE ÉVALUATION

Nécessaire, la révision du projet d’évaluation, la préparation et la mise en oeuvre de la réponse gestion, et la diffusion et l’internalisation des enseignements tirés de l’évaluation. Dans les situations de conflits, conduire une évaluation d’une manière adéquate est fondamental pour regrouper les différentes factions et pour écouter les points de vue de chacune d’elles, en vue d’une meilleure transparence et d’une représentation équilibrée des avis des différents groupes. Cela permet au PNUD de rester transparent et de s’assurer qu’aucun groupe ne se sente (à tort ou à raison) exclu ou victime de discrimination, ce qui provoquerait des tensions ou des faiblesses. Il est certes difficile de maintenir une telle approche globale lors des situations de conflits, en raison du taux habituellement élevé de renouvellement et de la mobilité, et du fait de la nécessité de résultats rapides, qui incite, afin de faciliter le travail, à réaliser une évaluation sans considérer les autres partenaires nationaux, au lieu de prendre le temps d’impliquer ces derniers et de renforcer leur capacité. Néanmoins, malgré les difficultés, le renforcement de la capacité d’une manière globale est un élément important du processus de reprise. ÉTAPES CLÉS DES ÉVALUATIONS DÉCENTRALISÉES Le processus des évaluations décentralisées, mises en oeuvre par les unités de programme adjudicatrices, comprend les étapes suivantes : PREMIÈRE ÉTAPE : PRÉ-ÉVALUATION : MISE EN OEUVRE DU PROCESSUS D’ÉVALUATION Vérification de l’évaluabilité, ou de la disposition pour l’évaluation Avant de mettre en oeuvre officiellement un processus d’évaluation, il est recommandé à l’organisation et aux parties prenantes, impliquées dans le développement d’un plan d’évaluation de vérifier si l’objet de l’évaluation est prêt à être évalué. Cela implique de déterminer si l’évaluation proposée est : toujours pertinente et réalisable telle qu’elle a été planifiée, destinée à compléter l’analyse précédente, et susceptible d’apporter une valeur à l’information existante et aux autres évaluations planifiées et futures par le gouvernement et les autres partenaires. En outre, les organisations devraient réviser la matrice de résultats, qui constitue la base des évaluations. Étant donné que le modèle a été effectué à l’étape de planification Il est possible que des changements aient eu lieu dans le contexte du développement ou de la stratégie de partenariat pendant la mise en oeuvre. C’est pourquoi, avant de lancer officiellement une évaluation, les organisations, les partenaires clés et les parties prenantes devraient peut être procéder à une révision et une actualisation du modèle et y ajouter l’information supplémentaire reflétant les changements survenus. Le modèle des résultats devrait être actualisé tout au long de la vie du programme, étant donné qu’il permet aux évaluateurs et à d’autres personnes de comprendre le résultat, les changements qui ont eu lieu, ainsi que les facteurs qui sont susceptibles de contribuer aux résultats. Si le contexte socio-économique ne permet pas à l’équipe de mener une évaluation de manière significative, le staff de l’organisation et les parties prenantes nationales, peuvent décider d’attendre que l’environnement soit favorable à une évaluation sûre. Dans les situations de conflits, de telles décisions seront prises en se basant sur des analyses fiables et actuelles de la situation, de façon à ce que l’évaluation soit pertinente dans un contexte instable de crise. Les facteurs tels que les situations de sécurité Dans le cas d’une amélioration nécessaire concernant le modèle ou le cadre des résultats, l’organisation peut réunir les parties prenantes concernées afin de les aider à se perfectionner,

grâce à la révision et à la formulation claire des résultats escomptés, des produits et des indicateurs. L’organisation pourra également procéder à une collecte rapide de données de première importance grâce à des enquêtes et à un examen sur documents. Cela représente en outre une occasion d’établir des données de référence, peut être non disponibles au moment de la planification. S’il est décidé d’entreprendre une évaluation, toutes les parties concernées devraient en être informées afin d’assurer l’adhésion, la crédibilité et la transparence de celle-ci. En situation de conflits, faire en sorte que les agents concernés soient dûment contactés et informés au début du processus d’évaluation est crucial pour assurer l’appropriation de l’action prochaine. DEUXIÈME ÉTAPE : PRÉPARATION Définition de la structure de gestion d’une évaluation, des rôles et des responsabilités Une structure d’organisation et de gestion pour l’évaluation devrait être clairement définie, et les rôles et responsabilités des acteurs clés devraient être déterminés. L’organisation et les parties prenantes de l’évaluation devraient nommer un responsable de l’évaluation, qui assumera les responsabilités quotidiennes ayant trait à la gestion de l’évaluation et sera le lien entre les différents acteurs clés. Dans la mesure du possible, un spécialiste d’évaluation ou de S&E devrait assumer ce rôle au sein de l’organisation afin de renforcer l’indépendance de l’action par rapport aux personnes directement responsables de l’objet d’une évaluation. En vue d’assurer un lien solide entre le programme ou le projet évalué et l’évaluation, le responsable désigné devrait travailler étroitement avec une équipe compétente du programme ou du projet. En l’absence d’un tel spécialiste, un agent de programme de l’organisation assumera ce rôle. L’appropriation nationale signifie que les partenaires et les parties prenantes clés assument un rôle essentiel dans le processus d’évaluation depuis le début de celle-ci. Chaque évaluation devrait disposer d’un groupe de référence, composé de parties prenantes clés, collaborant étroitement avec le responsable de l’évaluation, afin d’orienter le processus. MISE EN OEUVRE ET GESTION D´UNE ÉVALUATION Chaque évaluation devrait également disposer d’un mécanisme veillant à la qualité du processus et des produits de l’évaluation, tel que le mandat et les rapports d’évaluation. Les responsables des organisations sont, en fin de compte, responsables de la qualité du processus d’évaluation et des produits et ont le devoir de rendre compte de celle-ci. ÉLABORATION DES TERMES DE REFERENCE Les termes de référence définissent la portée, les exigences et les attentes de l’évaluation et servent d’orientation et de point de repère tout au long de l’évaluation. Alors que le premier projet des termes de référence est généralement du ressort du bureau de délégation, les parties prenantes clés et les partenaires de l’évaluation devraient se consulter pour élaborer des termes de référence de l’évaluation, afin de s’assurer que leurs problèmes sont abordés et que la plupart du public de l’évaluation aura accès aux résultats de l’évaluation, s’ils sont pertinents et utiles. Des conseillers d’évaluation régionaux et autres conseillers suffisamment compétents en la matière peuvent émettre des commentaires sur le projet de termes de référence afin de garantir son adéquation aux standards de qualité. Des termes de référence de qualité devraient être explicites et ciblés. Une mission claire pour l’équipe d’évaluation devrait y figurer, présentant l’objet à évaluer et la raison de l’évaluation, ainsi que les personnes impliquées dans le processus d’évaluation et les produits escomptés.

MISE EN OEUVRE ET GESTION D´UNE ÉVALUATION Chaque terme de référence sera propre aux circonstances particulières et aux objectifs de l’évaluation. Dans la mesure où les termes de référence jouent un rôle essentiel dans l’établissement des critères de qualité et dans l’utilisation du rapport d’évaluation, il est conseillé d’y accorder un temps suffisant. Les résultats, le projet, le domaine thématique et toute autre initiative choisis pour l’évaluation ainsi que le calendrier, l’objet, la durée et la portée de l’évaluation comportent l’essentiel du contenu des termes de référence. Néanmoins, étant donné qu’une évaluation n’est pas en mesure d’aborder tous les problèmes, l’élaboration des termes de référence implique des choix stratégiques concernant la priorité, les paramètres et les résultats de l’évaluation, à la portée des ressources disponibles. ÉLÉMENTS CLÉS DU PROCESSUS DE L’ÉVALUATION CONJOINTE En principe, les étapes suggérées pour la planification et la conduite d’une évaluation conjointe sont celles de toute autre évaluation bien gérée. Cependant, il existe un certain nombre de questions spécifiques aux évaluations conjointes qui justifient une attention particulière. DÉCISION D’UNE ÉVALUATION CONJOINTE. EXISTE-T-IL UNE RAISON D’ÊTRE? Il est important d’évaluer si le programme ou le projet nécessite une évaluation conjointe. Pour cela, posez-vous les questions suivantes :

- Le programme est-il orienté vers un résultat englobant plusieurs secteurs et agences? - Le programme est-il cofinancé par plusieurs partenaires? - S’agit-il d’un sujet conflictuel, exigeant par conséquent une approche objective? - En outre, il est possible qu’une étude au sujet du but de l’évaluation du programme

soit nécessaire. Si l’évaluation du programme est réalisée dans le seul but de rendre compte, une évaluation conjointe à grande échelle n’est pas justifiée. Les restrictions temporelles pour la production d’un rapport d’évaluation peuvent également représenter un problème. Les évaluations conjointes ont tendance à être des processus plus lents, exigeants en outre de plus grands efforts de coordination. Les avantages et les inconvénients des évaluations conjointes devraient être soupesés aussi bien au niveau interne qu’avec les parties prenantes (voir Avantages et inconvénients des évaluations conjointes dans l’encadré 29).

DÉTERMINATION DES PARTENAIRES. QUI EST IMPORTANT Les évaluations conjointes, comme toutes autres évaluations, reposent sur l’appropriation nationale et devraient contribuer, dans la mesure du possible, au développement de la capacité des parties prenantes. Elles contribuent également à faire entendre la voix de toutes les parties prenantes et à aider les partenaires à travailler ensemble pour évaluer les contributions d’un programme ou d’un projet. Cependant, il est essentiel de déterminer les partenaires, au début de l’évaluation afin d’assurer leur implication et leur appropriation. Les partenaires pourraient être sélectionnés en fonction de l’origine des fonds, de l’identité des partenaires de mise en oeuvre, ou à l’issu d’une recherche d’autres agences réalisant un travail similaire et qui, par conséquent, pourraient contribuer au résultat global de développement. Il est également important d’apprécier, à ce stade, les contributions potentielles des partenaires. Si, par exemple, un partenaire est impliqué dans de nombreuses autres activités, ou doit faire face.

MISE EN OEUVRE ET GESTION D´UNE ÉVALUATION Contraintes extérieures, il n’est peut être pas le partenaire idéal avec lequel s’associer. Il est toujours important d’étudier l’objectivité que les partenaires peuvent ou non apporter, afin de garantir l’indépendance et l’impartialité de l’évaluation. DÉFINITION DE LA PORTÉE DU TRAVAIL En principe, il est plus efficace que tous les partenaires d’une évaluation conjointe décident ensemble de la portée de l’évaluation. Certains sujets pratiques devraient être clarifiés, tels que la portée de l’évaluation, les problèmes à traiter et le calendrier de l’action. Cependant, cela n’est pas toujours possible étant donné la variété motivations qui conduisent à entreprendre une évaluation, telles que tirer des enseignements, établir une base pratique pour une réorientation de fond ou du financement, satisfaire les exigences politiques des pays donateurs ou respecter les contraintes institutionnelles particulières aux projets de grande envergure. REDACTION DES TERMES DE REFERENCE : Il est pratique de désigner une partie qui dirigera la rédaction des termes de référence. Ces derniers définissent la portée du travail et une fois rédigés, ils doivent être ensuite discutés et approuvés par les organisations partenaires. Il est important de satisfaire les intérêts de toutes les parties concernées par les termes de référence, dans la mesure du possible. Un programme commun qui définirait les priorités, cherchant à renforcer l’appropriation nationale tout en étant à la portée des possibilités, pourrait être envisagé. DETERMINATION DES PROCEDURES A SUIVRE : Dans la mesure où les organisations ont une approche différente de l’évaluation, il est important d’être flexible et de prévoir un temps d’adaptation pour faire face aux retards dus à ces différences. Deux approches communes sont possibles : accepter que l’évaluation soit gérée selon les systèmes et les procédures d’une agence, ou diviser l’évaluation en plusieurs parties et déterminer les systèmes utilisés pour chacune des parties. DÉTERMINATION DES MODALITÉS DE FINANCEMENT Différentes modalités de financement sont possibles pour les évaluations conjointes. L’organisation préfère que les partenaires contribuent financièrement à l’évaluation dans le cadre d’un pool de fonds (similaire à un fonds d’affectation), géré par une agence et couvrant tous les coûts liés à l’évaluation. Une seconde possibilité serait que le (ou les) partenaire(s) finance(nt) certains éléments de l’évaluation et que l’organisation se charge des autres (une solution similaire à un financement parallèle). Cette option est moins avantageuse, dans la mesure où elle entraîne des coûts d’opération et de coordination. MISE EN OEUVRE ET GESTION D´UNE ÉVALUATION Ces modalités de financement mentionnées antérieurement doivent se décider entre les gouvernements à l’élaboration du projet ou du programme, et des ressources nécessaires devraient être affectées dans le budget à l’évaluation conjointe. Si d’autres donateurs apportent une contribution financière, la décision devrait avoir lieu lors du développement du projet ou lors de la détermination du partage des coûts. Afin de faciliter les négociations entre le staff de l’organisation et les donateurs. RECRUTEMENT DES ÉVALUATEURS

Plusieurs méthodes sont possibles pour sélectionner les experts participant à une évaluation conjointe. Une des possibilités est de charger l’un des partenaires de recruter l’équipe d’évaluation, en consultation avec les autres partenaires. Une autre possibilité est que chacun des partenaires fournisse ses propres experts. Dans certains cas, la méthode choisie est fonction des modalités de financement adoptées. Par exemple, si le mode de financement est un financement parallèle, chaque partenaire devrait désigner son propre expert pour faire partie de l’équipe. Dans le cas où l’équipe est composée des évaluateurs de chaque partie, ceux-ci peuvent avoir des difficultés à rendre compte à un acteur en particulier alors qu’ils sont membres de l’équipe commune. Pour résoudre ce problème, les responsables de l’évaluation de chaque institution impliquée devraient déterminer le responsable de l’équipe dès le début, ou charger une agence particulière de cette tâche et préciser clairement aux évaluateurs que l’indépendance de l’équipe est de rigueur et doit être respectée. STRATÉGIES DE RAPPORT ET DE DIFFUSION Les organisations suivent différentes pratiques quant à la décision finale du contenu du rapport. En ce qui concerne les évaluations conjointes, le travail est facilité si les partenaires s’entendent sur le fait que : Ils ont la possibilité de corriger les erreurs de fait dans le rapport ; et s’il est impossible de résoudre les différends concernant les déductions et les conclusions, les points de vue divergents devraient néanmoins être inclus dans le rapport, et les conclusions et les recommandations devraient être du ressort des évaluateurs. Cependant, certaines mesures, telles que l’autorisation de conclusions séparées de l’évaluation, peuvent représenter un avantage pour les partenaires ayant une responsabilité de redevabilité ou de remise de rapports. VUE D’ENSEMBLE Concevoir un modèle d’évaluation de la qualité exige une compréhension approfondie de l’objet soumis à l’évaluation (un programme donné et son contexte), nécessite de procéder à un certain nombre d’arbitrages portant sur les principaux éléments suivants, et implique de déterminer dans quelle mesure chacun de ces éléments contribuera à valider les résultats utiles de l’évaluation : La finalité de l’évaluation ; Le champ de l’évaluation, c’est-à-dire les questions essentielles auxquelles l’évaluation tente de répondre ; GARANTIR LA QUALITÉ DE L’ÉLABORATION ET DE LA MÉTHODOLOGIE DE L’ÉVALUATION

- Les sources et méthodes utilisées afin d’obtenir une information crédible et défendable ;

- Les procédures qui seront mises en oeuvre afin d’analyser et d’interpréter les données et les résultats des rapports ;

- Les normes devant impérativement être respectées afin de considérer un programme comme réussi ;

- Les indicateurs qui seront utilisés afin de mesurer les performances du programme et d’établir ses résultats (produits et effets) ;

RÔLE DES PARTIES PRENANTES Les parties prenantes jouent un rôle important dans l’élaboration et la mise en oeuvre de l’évaluation de la qualité. Elles incluent les individus et les groupes ayant un intérêt direct dans le programme ou dans les résultats de l’évaluation. Leur implication à tous les stades de l’évaluation, y

compris dans la définition du champ de l’évaluation, dans l’élaboration des questions à traiter, dans l’identification des sources d’indicateurs crédibles, dans l’analyse des conclusions et dans la contribution à leur interprétation renforce la crédibilité, ainsi que l’utilité potentielle et la durabilité des résultats de l’évaluation. En règle générale, les parties prenantes se subdivisent en trois principales catégories, pouvant le cas échant se recouper :

- Les parties prenantes impliquées dans l’exécution du programme : par exemple, les donateurs, les collaborateurs, les partenaires stratégiques, les administrateurs, les responsables et les membres du personnel ;

- Les parties prenantes destinataires du programme ou affectées par celui-ci : par exemple, les bénéficiaires prévus, les organisations et agences concernées, les responsables des pouvoirs publics, les groupes de pression, les sceptiques, les opposants et le personnel des organisations exécutantes ou concurrentes ;

- Les premiers utilisateurs de l’évaluation : par exemple, les personnes spécifiquement en position d’effectuer ou de décider une action relative au programme, notamment les donateurs, les homologues des programmes (Comité de programme ou de résultats) et les partenaires associés à l’évaluation conjointe.

Le niveau d’implication des parties prenantes variera selon les évaluations. Au moment d’élaborer une évaluation, il est important que l’unité de programme mandatée puisse déterminer les parties prenantes en amont et qu’elle fasse appel à leur savoir pendant l’étape d’élaboration de l’évaluation, en commençant par leur implication significative dans le préparation des termes de référence. Ce point est particulièrement crucial pour les évaluations conjointes pour lesquelles les partenaires impliqués dans l’évaluation doivent participer à toutes les étapes de l’élaboration du modèle de l’évaluation. DÉTERMINER LE CONTEXTE Les évaluations de l’organisation soutiennent la stratégie de développement humain de celui-ci pour « Aider les populations à construire une vie meilleure » en créant des connaissances sur ce qui fonctionne, les raisons de ce fonctionnement et ses circonstances. Par conséquent, les évaluations de qualité ne se bornent pas simplement à la réalisation des produits et des effets, elles évaluent également la manière avec laquelle les initiatives s’adaptent aux contextes dans lesquels elles opèrent et expliquent comment et pourquoi elles contribuent à la réalisation des produits et des effets. Les évaluations doivent être conçues et élaborées avec une connaissance approfondie de l’initiative à mettre en place et du contexte dans lequel celle-ci va opérer. L’unité mandatée de l’organisation et les principales parties prenantes engagées dans l’élaboration du projet de mandat sont tenues d’énoncer clairement les informations nécessaires aux évaluateurs pour qu’ils aient une bonne compréhension de l’initiative, du contexte de l’évaluation, des points d’intérêt et du but de l’évaluation et, les questions-clés qui seront traitées dans celle-ci. GARANTIR LA QUALITÉ DE L’ÉLABORATION ET DE LA MÉTHODOLOGIE DE L’ÉVALUATION COMPRENDRE L’INITIATIVE Afin de pouvoir fournir des informations crédibles et utiles aux responsables de la prise de décision, les évaluations doivent être élaborée avec une claire compréhension de l’initiative, sa manière d’opérer, comment était-elle censée opérer, pourquoi opère-t-elle de cette manière et quels sont les résultats qu’elle produit. Il ne suffit pas de savoir ce qui a fonctionné et ce qui ne l’a pas (c'est-à-

dire si les résultats ont été atteints ou pas). Pour une action en bonne connaissance de cause, les évaluations doivent fournir des informations crédibles sur la raison pour laquelle une initiative a produit de tels résultats et déterminer également les facteurs qui ont contribué à ces résultats (aussi bien les résultats positifs que négatifs). Comprendre parfaitement ce qui a été mis en oeuvre, et pourquoi, établit les bases pour comprendre l’importance ou la signification des résultats d’un programme ou d’un projet. Par conséquent, les évaluations doivent être élaborées sur la base d’une compréhension approfondie de l’initiative évaluée, y compris la chaîne de résultats escomptés (apports, produits et effets espérés), sa stratégie de mise en oeuvre, son étendue et, les hypothèses-clés et risques sous-jacents au modèle de résultats ou à la théorie du changement. LE CONTEXTE DE L’ÉVALUATION Le contexte de l’évaluation concerne deux groupes de facteurs corrélés qui influent sur la précision, la crédibilité et l’utilité des résultats de l’évaluation : Facteurs sociaux, politiques, démographiques et institutionnels, aussi bien internes qu’externes, qui influencent le comment et le pourquoi de la réalisation des résultats (positifs ou négatifs) et leur durabilité. Facteurs sociaux, politiques, démographiques et institutionnels contenus au sein de l’environnement et du calendrier fixé pour l’évaluation et qui influencent la précision, l’impartialité et la crédibilité des résultats de celle-ci.

- Quel est l’environnement opérationnel du projet ou programme ? - De quelle manière des facteurs tels que l’histoire, la géographie, les politiques, les

conditions sociales et économiques, les tendances séculaires et les efforts fournis par les organisations concernées ou en compétition, influencent-ils la mise en oeuvre de la stratégie de l’initiative, de ses produits, de ses effets ?

- Comment le contexte au sein duquel l’évaluation est menée (comme par exemple les mœurs culturelles, la langue, le cadre institutionnel, les perceptions des populations, etc.) influence-t-il l’évaluation ? Comment le projet ou le programme collabore-t-il et se coordonne-t-il avec d’autres initiatives et celles d’autres organisations ?

Comment le programme est-il financé ? Les fonds sont-ils suffisants ? Le projet ou le programme possède-t-il un financement assuré pour le futur ? Dans quel environnement normatif et politique le projet ou le programme opère-t-il ? Comment les alternatives politiques actuelles et émergeantes peuvent-elles influencer les produits et les effets de l’initiative ? QUESTIONS-INDICATIONS POUR DEFINIR LE CONTEXTE Les résultats de l’évaluation sont le produit final de l’évaluation, la somme des informations que l’évaluation génère pour les utilisateurs, y compris les résultats, les conclusions, les recommandations et les enseignements tirés. L’examen du contexte de l’initiative peut également révéler des facteurs pouvant entraver la réalisation de produits et d’effets anticipés ou compliquer l’estimation de leur réalisation, ou de la contribution que les produits apportent aux effets. De plus, comprendre les cadres politique, culturel et institutionnel de l’évaluation peut fournir d’importantes indications sur la meilleure manière d’élaborer et de mener l’évaluation afin de garantir l’impartialité, la crédibilité et l’utilité de ses résultats.

L’OBJET DE L’ÉVALUATION Toutes les évaluations commencent par un objet qui met en place les directives à suivre. En l’absence d’un énoncé clair et complet des objets, une évaluation court le risque d’être inutile et de manquer de crédibilité. Les évaluations peuvent répondre à nombre de différents besoins. L’énonciation des objets doivent répondre clairement aux points suivants :

- Pourquoi l’évaluation est-elle menée et pourquoi à ce moment bien précis? - Qui exploitera les informations? - De quelles informations a-t-on besoin? - Comment cette information sera-t-elle utilisée?

L’objet et le calendrier d’une évaluation devrait être déterminé au moment de son élaboration .L’énonciation de l’objet de l’évaluation peut par la suite être élaborée en même temps que le projet des termes de référence de l’évaluation afin de documenter l’élaboration de l’évaluation. PORTÉE DE L’ÉVALUATION La portée de l’évaluation réduit le centre d’intérêt de l’évaluation en établissant les limites de ce que l’évaluation couvrira et ce qu’elle ne couvrira pas dans le cadre de l’exécution de son objet. La portée détermine les aspects de l’initiative et leur contexte situés dans les limites de l’évaluation. Ainsi, la portée détermine par exemple : Les unités d’analyse à couvrir par l’évaluation tels que, un système de programmes associés, les politiques ou stratégies, un seul programme impliquant un ensemble de projets, un seul projet, ou une sous-composante ou processus au sein d’un projet Le temps ou étape(s) de la mise en œuvre, les fonds dépensés au moment de l’évaluation par rapport au montant total alloué OBJECTIFS DE L’ÉVALUATION ET CRITÈRES Les objectifs de l’évaluation sont des formulations sur ce que l’évaluation fera pour remplir ses objets. Ils sont basés sur de minutieuses considérations sur : le type de décisions que les utilisateurs de l’évaluation prendront ; les questions auxquelles ils auront à trouver une réponse pour prendre ces décisions et ; ce que l’évaluation aura à réaliser pour contribuer à ces décisions. Une évaluation donnée peu poursuivre un ou plusieurs objectifs. Le point le plus important reste néanmoins que les objectifs sont directement issus de l’objet de l’évaluation et servent à la centrer sur les décisions à prendre. Les critères de l’évaluation aident à mettre au point les objectifs en déterminant les normes d’évaluation de l’initiative. Les évaluations appliquent généralement les critères suivants : La pertinence, l’efficacité, l’efficience, la durabilité et les impacts des efforts du développement. La pertinence fait référence au degré de compatibilité qu’une initiative de développement et ses produits et effets escomptés entretien avec les politiques nationales et locales et avec les priorités et les besoins des bénéficiaires visés. Elle tient compte par ailleurs du degré de réactivité de l’initiative face aux priorités de développement humain et de plan institutionnel, en matière de redevabilité des populations et des questions d’égalité des sexes. Elle vérifie également le niveau de compatibilité entre la perception des besoins tels que planifiés par les chargés de la planification de l’initiative et la réalité des besoins du point de vue des bénéficiaires visés. Enfin, elle englobe le concept de capacité de réaction, c'est-à-dire le degré de réactivité de l’organisation face aux changements et émergence des priorités et besoins de développement. L’une des importantes sous-catégories de la pertinence est le critère de justesse, qui traite de l’acceptation culturelle ainsi que de la faisabilité des activités ou méthode d’une initiative de développement.

L’évaluation de l’efficacité dans les évaluations d’un projet implique une appréciation des causes et des effets, c'est-à-dire l’attribution des changements observés aux activités du projet et à ses produits. Par exemple, le niveau de changement du nombre de votants pouvant être attribué à un projet d’éducation électorale. L’appréciation de l’efficacité des effets des évaluations se penchera plus sur l’examen des contributions apportées par l’organisation et par d’autres partenaires à la réalisation des effets escomptés. L’évaluation d’un effet pourra par exemple étudier jusqu’à quel point les produits observés d’un projet d’éducation électorale, ainsi que d’autres produits bénéficiant du soutien de l’organisation tels que la professionnalisation de l’administration électorale, ont contribué à la réalisation des effets formulés en rapport avec une participation inclusive et mesurés par des observateurs internationaux et des experts réputés. L’EVALUATION DE L’EFFICACITE IMPLIQUE TROIS ETAPES FONDAMENTALES : 1. Mesurer le changement dans les produits et les effets observés 2. Attribuer ces changements ou les progrès réalisés à l’initiative (évaluation du projet) ou déterminer les contributions de l’organisation à ces changements observés 3. Juger la valeur du changement (positive ou négative) L’efficience mesure la manière avec laquelle les ressources ou les apports (tels que les fonds, la compétence et le temps) sont transformés de façon économe en résultats. Une initiative est considérée efficiente lorsqu’elle utilise les ressources correctement et de façon économe pour atteindre les produits souhaités. L’efficience est importante pour garantir le bon usage des ressources et mettre en relief d’autres usages efficaces de ces ressources. Etant donné que la nature et les objets premiers des évaluations des projets et des effets diffèrent, l’application du critère à utiliser diffère également. Ainsi, lors de l’évaluation de l’efficience par exemple, une évaluation de projet peut être amenée à étudier le degré d’utilisation des ressources pour réaliser les produits escomptés et comment ces ressources peuvent-elles être utilisées plus efficacement pour réaliser les résultats prévus. D’autre part, une évaluation des effets, peut impliquer des estimations de l’investissement global de l’organisation (tous les projets et l’appui-conseil) destiné à un effet de développement donné. L’application de ce critère, particulièrement dans les évaluations, constitue un certain défi vu que la nature même des initiatives (par exemple l’appui-conseil), ne se prêtent pas toujours aux indicateurs conventionnels d’efficience. Dans ces cas, il faut donc considérer de leur appliquer certaines analyses de taux d’exécution, de raisons pour lesquelles certaines initiatives sont mises en œuvre plus rapidement que d’autres et, de ratios de gestion au niveau du programme. Il est également important d’évaluer la manière avec laquelle la stratégie de partenariat a influencé l’efficience des initiatives à travers des mesures de partage de frais et d’activités complémentaires. GARANTIR LA QUALITÉ DE L’ÉLABORATION ET DE LA MÉTHODOLOGIE DE L’ÉVALUATION Autres sont réunies et, toujours sur la base de cette appréciation, d’effectuer des projections sur la capacité nationale à maintenir, diriger et garantir les résultats du développement dans le futur. Une évaluation de la durabilité peut par exemple étudier le degré auquel : Une stratégie de durabilité, y compris le renforcement de la capacité des parties prenantes nationales, a été développée ou mise en oeuvre. Il existe des mécanismes financiers et économiques mis en place pour assurer la continuité du flux de bénéfices en cours une fois que l’aide touchera à sa fin. Les modalités organisationnelles appropriées (dans le secteur public ou privé) ont été appliquées.

Les cadres politiques et de régulation ont été mis en place et soutiendront la continuité des bénéfices. La capacité institutionnelle requise (systèmes, structures, personnel, compétence, etc.) existe. MÉTHODOLOGIE DE L’ÉVALUATION L’élaboration de l’évaluation doit contenir un plan de travail détaillé étape par étape, précisant les méthodes que l’évaluation va adopter pour la collecte de l’information nécessaire au traitement des critères d’évaluation et pour répondre aux questions sur l’évaluation, ainsi que les méthodes à suivre pour l’analyse des données, l’interprétation des conclusions et le rapport des résultats. Les méthodes d’évaluation doivent donc être choisies selon leur rigueur à produire des données empiriques destinées à aborder les critères d’évaluation et répondre aux questions d’évaluation. Le rapport initial d’évaluation doit contenir une matrice d’évaluation qui expose, pour chaque critère d’évaluation, les questions et sous-questions auxquelles l’évaluation apportera une réponse et, pour chaque question, les données à collecter qui renseigneront celle-ci ainsi que les méthodes à suivre pour la collecte de ces informations. Le rapport initial d’évaluation doit en outre mettre explicitement en relief, la théorie ou hypothèses sous-jacentes sur la manière avec laquelle chaque donnée contribuera à comprendre les résultats de développement ,imputabilité, contribution, processus, mise en oeuvre et ainsi de suite et la raison de la collecte d’information et des méthodologies choisies pour l’analyse et la rédaction de rapports. MÉTHODES DE COLLECTE DE DONNÉES Les données à collecter et la méthode à suivre à cet effet seront déterminées par : les éléments nécessaires pour répondre aux questions de l’évaluation ; l’analyse utilisée pour traduire ces données en conclusions significatives pour répondre aux questions de l’évaluation et ; les jugements sur quelles données il faudra collecter au vu des contraintes de temps et de ressources. QUESTIONS POUR LES EVALUATEURS Les éléments de documentation sont particulièrement utiles lorsque le projet ou programme manque d’indicateurs et de cibles de référence pour mesurer le progrès des produits et des effets. Malgré que ce ne soit pas la méthode la plus conseillée, les données secondaires peuvent être utilisées pour recréer des données et des cibles de références. Elles viennent enfin en complément et en supplément aux données de base mais ne remplacent pas la collecte de données de sources primaires. Au vu de la nature et du contexte des évaluations au niveau décentralisé, et en tenant compte des limitations de temps et de ressources, les évaluateurs sont souvent amenés à utiliser un mélange de méthodes, y compris des indicateurs de performance, des éléments de documentation pertinents supplémentaires issus de sources secondaires et, de données de qualité collectées par différents moyens. Les bureaux mandatés doivent garantir que les méthodes et les instruments (questions, enquêtes, protocoles, listes de vérifications) utilisées pour la collecte ou l’enregistrement des GARANTIR LA QUALITÉ DE L’ÉLABORATION ET DE LA MÉTHODOLOGIE DE L’ÉVALUATION

Données sont : cohérentes avec les normes de qualité en termes de validité et de fiabilité, sensibles à la culture et en adéquation avec les populations concernées et, pertinentes et appropriées aux différents types d’informations recherchées et aux questions sur l’évaluation auxquelles elles doivent apporter une réponse. Dans le cas de situations en milieux de conflits, les facteurs tels que les questions de sécurité, le manque d’infrastructures, l’accès limité aux populations détenant les informations ainsi que les sensibilités et considérations éthiques en termes de travail avec des populations vulnérables doivent alors être prise en ligne de compte pour déterminer les méthodes de collectes de données les plus adéquates. FAIRE APPEL A DES EXPERTS POUR EXAMINER ET VALIDER LES FAITS. Le défi pour les évaluations de l’organisation est d’utiliser des méthodes d’élaboration d’évaluations rigoureuses qui donneront lieu à des informations utiles et basées sur des faits crédibles et défendables face au défi que représente la précision et la validité des déductions tirées de ces faits. CONSIDÉRATIONS ÉTHIQUES Les évaluations doivent être élaborées et menées dans le respect et la protection des droits et du bien-être des populations et des communautés auxquelles elles appartiennent, conformément à la Déclaration Universelle des Droits de l’Homme des Nations Unies et autres conventions sur les droits de l’Homme. Les évaluateurs doivent donc respecter la dignité et la diversité des participants aux évaluations au moment de sa planification, de son déroulement et de la rédaction des rapports, en partie grâce à l’utilisation des instruments d’évaluation appropriés au milieu culturel. Plus encore, les éventuels participants à l’évaluation doivent être considérés comme autonomes, que le temps et les informations nécessaires leur soient donnés pour décider de leur participation ou pas, et qu’ils puissent prendre une décision libre et sans aucune pression. GARANTIR LA QUALITÉ DE L’ÉLABORATION ET DE LA MÉTHODOLOGIE DE L’ÉVALUATION Les responsables de l’évaluation et les évaluateurs doivent être conscients des implications liées à la conduite d’une évaluation en zones de conflit. Les évaluateurs doivent particulièrement savoir que leur manière d’agir, y compris dans les messages explicites et implicites qu’ils transmettent, peut avoir des répercussions sur la situation et faire courir de plus grands risques aux personnes avec lesquelles ils interagissent. Lorsque les évaluateurs doivent s’entretenir avec des groupes vulnérables, ils doivent s’assurer que les personnes interrogées sont conscientes des implications potentielles de leur participation à l’évaluation et qu’ils ont reçu suffisamment d’informations leur permettant de décider de leur participation à cet exercice. ANALYSE ET SYNTHÈSE DES DONNÉES La collecte de données implique la gestion de questionnaires, la conduite d’entretiens, l’observation d’opérations de programmes et l’examen ou l’intégration de données de sources déjà existantes. L’analyse des données est un processus systématique pour lequel il s’agit d’organiser et de classer les informations collectées sous forme de tableaux, de les résumer et de comparer les résultats avec ceux d’autres informations adéquates afin d’en extraire des déductions pouvant répondre aux questions de l’évaluation et à ses objets. C’est également un processus qui permet de déchiffrer les faits issus d’un ensemble de témoignages grâce à une codification et un rassemblement systématique des données collectées, en veillant à s’assurer de leur précision, en effectuant toute analyse statistique nécessaire et en transposant ces données sur des formats ou unités d’analyse liés à chacune des questions sur l’évaluation.

Les données doivent être analysées, à chaque fois que cela est possible, sous différents points de vue, y compris le sexe, le groupe socio-économique, l’ethnicité et le handicap. Les groupes marginalisés sont souvent sujets à différentes formes de discriminations, et il est donc important de comprendre comment ces discriminations se croisent et privent ces groupes de leurs droits. GARANTIR LA QUALITÉ DE L’ÉLABORATION ET DE LA MÉTHODOLOGIE DE L’ÉVALUATION FAIRE DES RECOMMANDATIONS Les recommandations sont des propositions basées sur les faits en vu de prise de mesures de la part des utilisateurs de l’évaluation. Elles doivent être fondées sur les conclusions. Faire des recommandations est néanmoins un élément différent de l’évaluation qui requiert plus d’informations que celles qui sont nécessaires aux conclusions. Elaborer des recommandations implique la prise en compte d’alternatives efficaces, de politiques, de priorités de financement entre autres, dans un contexte plus large. Cet exercice requiert également une connaissance approfondie de contexte, particulièrement le contexte organisationnel au sein duquel les décisions sur les politiques et les programmes seront prises ainsi que le contexte politique, social et économique dans lequel l’initiative va opérer. LEÇONS TIREES Les leçons tirées d’une évaluation comprennent les nouvelles connaissances acquises de la circonstance particulière (initiative, effets du contexte et même des méthodes d’évaluation) qui sont applicables et utiles à d’autres contextes similaires. Les leçons tirées mettent souvent en valeur les forces et les faiblesses de la préparation, de l’élaboration et de la mise en oeuvre qui ont une influence sur la performance, l’effet et l’impact. Quelles leçons ont été tirées et pourquoi ces leçons sont significatives et peuvent être généralisées à des programmes ou des projets similaires ou à venir, sont des questions pouvant être soulevées par l’évaluation. Les avantages liés à l’utilisation des informations issues du suivi et de l’évaluation sont multiples. La valeur de la procédure de suivi et d’évaluation dépend de la mesure dans laquelle ces informations sont utilisées par les décideurs auxquels elles sont destinées, ainsi que par un public plus vaste. POURQUOI UTILISER LE SUIVI ET L’ÉVALUATION ? Chaque activité de suivi et d’évaluation possède une finalité. L’organisation accorde une grande importance au suivi et à l’évaluation car lorsqu’ils sont mis en oeuvre et utilisés correctement, ils confortent la gestion axée sur les résultats, favorisent l’apprentissage et la production de connaissances au sein de l’organisation et dans l’ensemble de la communauté des acteurs du développement et de l’évaluation, et soutient l’effort de redevabilité publique de l’organisation. Les connaissances issues du suivi et de l’évaluation sont au cœur du processus d’apprentissage interne. Le suivi et l’évaluation fournissent des informations et des données factuelles qui, une fois validées et intégrées, deviennent des connaissances favorisant l’apprentissage. L’organisation utilise et applique les enseignements du suivi et de l’évaluation afin d’améliorer la performance globale et la qualité de résultats des projets, programmes et stratégies en cours et futurs. Le rôle essentiel des données issues du suivi et de l’évaluation consiste à soutenir les processus de la APPRENDRE ET PRODUIRE DES CONNAISSANCES À PARTIR DU SUIVI ET DE L’ÉVALUATION EXPLOITER LES ENSEIGNEMENTS DANS LA PLANIFICATION ET LA PROGRAMMATION

L’un des moyens les plus directs d’exploitation des données issues du suivi et de l’évaluation consiste à étayer la prise de décision relative aux actions de planification et de programmation en cours et futures. Les enseignements de l’évaluation de programmes, projets et initiatives, ainsi que les réponses en termes de gestion, doivent être disponibles lorsque de nouveaux résultats sont élaborés, ou lorsque des projets ou programmes sont identifiés, conçus et évalués. Lors de la révision ou de la création de nouveaux programmes, projets, politiques, stratégies et autres initiatives, l’organisation doit inviter les principaux partenaires et parties prenantes à une réunion consultative afin d’analyser et de partager les données d’évaluation de manière systématique et substantielle. L’institutionnalisation du processus d’acquisition de connaissances peut être obtenue en partie par une meilleure intégration des enseignements du suivi et de l’évaluation dans les outils et processus existants. Ces enseignements doivent être mieux intégrés dans les éléments suivants : REVISIONS DE PROJET : Le suivi et l’évaluation doivent conjointement répondre à un certain nombre de questions utiles,

- les initiatives de projet traitent-elles de manière pertinente les besoins de développement ? ;

- L’exécution du projet est-elle conforme à la planification ? (les résultats sont-ils produits dans les délais ?) ;

- la stratégie et la logique de la chaîne de résultats sont-elles opérantes ? ; La stratégie de partenariat est-elle efficace ? ;

- Le projet parvient-il à atteindre les bénéficiaires visés conformément aux prévisions ? Outre les réponses à toutes ces questions, l’évaluation renseigne sur les raisons pour lesquelles les choses fonctionnent ou ne fonctionnent pas. Ces éléments d’information doivent être incorporés dans la stratégie de projet, et induire des ajustements opportuns. Lorsque des révisions de budget ou d’autres modifications sont apportées au document de projet, les enseignements justifiant ces aménagements doivent être spécifiés. Une documentation appropriée des enseignements et leur intégration dans les révisions de projet aident l’organisation et ses partenaires à mettre en oeuvre une gestion axée sur les résultats, et à promouvoir une culture de l’apprentissage systématique. Réplication et transposition à la plus grande échelle : l’évaluation des initiatives pilotes doit impérativement être conduite avant que ces initiatives ne soient répliquées ou transposées à plus grande échelle. Les informations démontrant ce qui a marché et ce qui n’a pas marché doivent éclairer le processus de réplication. Il convient de le répéter : une documentation appropriée des enseignements et leur intégration dans les processus de réplication et de transposition à plus grande échelle, aideront l’organisation et ses partenaires à éviter la répétition des erreurs. ÉTABLIR LES RESSOURCES Les ressources constituent principalement les éléments qui doivent être mis en place ou investis pour que les activités puissent être menées à bien. Bien qu’elles ne soient pas traitées dans ce Guide, les ressources font également partie de la chaîne des résultats. Elles comprennent le temps de travail du personnel, des parties prenantes et des bénévoles, les moyens financiers, les consultants, l’équipement, la technologie et le matériel. La tendance générale est de recourir aux moyens financiers comme ressource principale, puisque ceux-ci permettent de couvrir les coûts liés aux consultants, au personnel, au matériel, etc. Néanmoins, dans les premières phases de la planification, il convient de s’efforcer d’identifier les diverses ressources nécessaires avant de les convertir en termes monétaires.

ÉTABLIR LES ACTIVITÉS Les activités désignent les mesures nécessaires pour obtenir les produits énoncés. Elles comprennent la coordination, l’assistance technique et les missions de formation organisées et mises en place par le personnel responsable du projet. Dans le cadre de la GAR, le fait de mener une activité au sein d’un programme ou d’un projet ne constitue pas en soi un résultat en matière de développement. Les activités désignent les processus utilisés pour générer des biens et services tangibles, les produits, qui contribuent à leur tour aux effets puis à l’impact. Lors de la mise au point des activités, il convient de poser les questions suivantes :

- Quelles mesures sont nécessaires pour obtenir le produit ? - Toutes les mesures réunies suffiront-elles à générer le produit ? - Quelles ressources (moyens) sont-elles nécessaires pour entreprendre ces activités ? -

Il est important de garder à l’esprit les éléments suivants : - Les activités fournissent généralement une information quantitative et peuvent

indiquer la périodicité des mesures. Habituellement, plus d’une activité est nécessaire pour obtenir un produit. L’énoncé des activités commence généralement par un verbe et décrit une activité ou une mesure. Voici quelques Exemples tirés du cas précédent :

- Fournir une assistance technique assurée par des spécialistes de la réforme des lois électorales.

- Élaborer et dispenser une formation et des programmes de préparation professionnelle à destination du personnel.

- Organiser des ateliers et des séminaires de sensibilisation dans le domaine des élections.

- Publier des bulletins d’information et des brochures sur les droits électoraux des femmes et des minorités.

- Obtenir l’équipement et les fournitures pour l’autorité administrant les élections. - Faire intervenir des consultants pour élaborer un projet de révision des lois

électorales. ÉNONCÉ DES PRODUITS Les produits sont les résultats de développement à court terme générés par les activités liées ou non à un projet. Ils sont obtenus au moyen des ressources fournies et dans la limite de temps impartie (généralement moins de cinq ans). Puisque les produits constituent les résultats les plus immédiats des activités d’un projet ou d’un programme, ils sont généralement ceux sur lesquels les pouvoirs publics, le PNUD ou le directeur de projet ont le plus d’influence. Il est important de définir les produits qui sont susceptibles d’apporter une contribution significative au succès des effets. Modèle « SMART » pour l’impact et les effets Spécifique (Specific) : impact, effets et produits doivent utiliser la langue du changement—ils doivent décrire une situation spécifique dans l’avenir. M Mesurable (Measurable) : les résultats, qu’ils soient quantitatifs ou qualitatifs, doivent disposer D’indicateurs mesurables qui rendent possible l’évaluation de leurs succès ou de leur échec. A Réalisable (Achievable) : les résultats doivent correspondre aux capacités des partenaires.

R Pertinent (Relevant) : les résultats doivent contribuer aux priorités définies dans le cadre du développement national. T Limité dans le temps (Time-bound) : les résultats ne sont jamais illimités une date est prévue pour leur accomplissement. Lors de la formulation des produits, les questions suivantes doivent être posées :

- De quels types de politiques, d’orientations, d’accords, de produits et de services avons-nous besoin pour accomplir un effet donné ?

- Ces éléments sont-ils réalisables et pouvons-nous les contrôler directement ? - Ces produits relèvent-ils d’une stratégie appropriée pour accomplir l’effet ? - Existe-t-il une relation de cause à effet adéquate ? - Avons-nous besoin de produits complémentaires pour atténuer les risques potentiels

qui pourraient nous empêcher d’accomplir l’effet ? - Le produit respecte-t-il le modèle « SMART » — spécifique, mesurable, réalisable,

pertinent et limité dans le temps ? -

Il est important de garder à l’esprit les éléments suivants : - Les produits doivent pouvoir être fournis pendant le cycle d’élaboration du

programme donné. - Généralement, plus d’un produit est nécessaire pour accomplir un effet. - Si la majeure partie du résultat ne tombe pas sous le contrôle ou l’influence du

programme ou du projet, il ne peut pas s’agir d’un produit.

Les produits sont habituellement désignés au moyen d’un substantif, qualifié par un participe passé qui en décrit le changement positif. Voici quelques exemples :

- Étude des liens entre l’environnement et la pauvreté achevée. - Forces de police et personnel de justice formés pour mieux comprendre les violences

à l’encontre des femmes. - Forum participatif national programmé pour débattre d’un projet de stratégie

nationale de lutte contre la pauvreté. - Rapport national sur le développement humain produit et diffusé.

Notre exemple précédent pourrait donner lieu à plusieurs produits en lien avec l’effet « réforme des politiques et des systèmes d’administration des élections afin de garantir des scrutins plus libres et plus équitables et de favoriser la participation parmi les groupes marginalisés ». Voici quelques exemples de produits :

- Campagne de plaidoyer visant à établir un consensus sur la nécessité de réformer le système et le droit électoraux élaborée et mise en application.

- Systèmes et procédures mis en oeuvre et compétences renforcées dans l’autorité nationale administrant les élections afin de parvenir à organiser des scrutins libres et équitables.

- Programme de formation sur l’utilisation d’une nouvelle technologie d’administration des élections conçu et mis en oeuvre pour l’autorité ou les responsables de l’administration des scrutins.

- Projet de loi révisé sur les droits des femmes et des populations autochtones à participer aux élections préparé.

- Mécanisme de résolution des conflits électoraux mis au point.

ÉNONCÉ DES EFFETS Les effets sont les changements effectifs ou recherchés dans les conditions du développement que les actions tentent de promouvoir. Les effets représentent les changements recherchés dans les conditions du développement qui résultent de l’action des pouvoirs publics et des autres parties prenantes, dont les organisations internationales de développement telles que le PNUD. Il s’agit de résultats à moyen terme, obtenus grâce aux produits et à la contribution de divers partenaires et protagonistes tiers. Les effets offrent une vision claire de ce qui a changé ou va changer, au niveau mondial, régional, national ou local, au cours d’une période donnée. Ils sont généralement liés aux changements en matière de performance des institutions ou de comportement des individus ou des groupes. Normalement, les effets ne peuvent pas être obtenus par une seule organisation, et ne font pas l’objet d’une supervision directe par un directeur de projet. ÉNONCÉ D’IMPACT L’impact désigne les changements effectifs ou escomptés dans le développement humain, mesures par le bien-être des individus. L’impact désigne, généralement les changements dans la vie des personnes. Le parachèvement des activités nous renseigne peu sur les changements dans les conditions du développement ou dans la vie des individus. Ce sont les résultats des activités qui sont significatifs. L’impact désigne les « grands » changements qui sont recherchés et représente la finalité sous-jacente du travail sur le développement. Au cours du processus de planification, il est important de replacer les actions ou les produits prévus dans le contexte de leur impact souhaité. Sans une vision claire de ce à quoi le projet ou le programme souhaite parvenir, il est souvent difficile de définir clairement les résultats. L’énonciation d’impact permet d’expliquer pourquoi le travail réalisé est important et peut constituer une source d’inspiration pour faire avancer les individus vers un avenir auquel ils contribuent par leurs activités. Comme pour les réalisations, il est préférable, pour énoncer l’impact, d’utiliser un substantif comme « amélioration », « renforcement », « augmentation », « renversement » ou « réduction ». Ces termes sont liés au contexte social, économique et politique dans lequel vivent les individus, que ce soit au niveau mondial, régional, national ou local. L’impact est normalement formulé de manière à traduire les changements directs et importants de ces aspects sur le long terme — comme la réduction de la pauvreté ou l’amélioration de la santé et du bien-être, des conditions environnementales ou de la gouvernance. INDICATEURS QUANTITATIFS ET QUALITATIFS Les indicateurs peuvent être soit quantitatifs soit qualitatifs. Les indicateurs quantitatifs sont des mesures statistiques qui évaluent les résultats en termes de :

- Nombre. - Pourcentage. - Taux (exemple : taux de natalité — naissances pour 1 000 habitants). - Ratio (exemple: ratio sexuel, nombre d’hommes par rapport à celui des femmes).

Les indicateurs qualitatifs reflètent ce que les individus pensent, leurs opinions, leurs perceptions et leurs attitudes à l’égard d’une situation ou d’un sujet. Ils peuvent signaler des changements dans la

sensibilité, la satisfaction, l’influence, la sensibilisation, la compréhension, les comportements, la qualité, la perception, le dialogue ou le sentiment de bien-être. Les indicateurs qualitatifs mesurent les résultats en termes de :

- Respect de… - Qualité de… - Mesure de… - Niveau de …

Dans l’exemple sur l’engagement des partenaires des pouvoirs publics, des sous indicateurs sont utilisés pour évaluer la qualité de la stratégie, « Des avantages ont-ils été tirés de la participation d’autres parties prenantes ? », la mesure dans laquelle les hauts fonctionnaires ont pris part et le niveau d’engagement, « Un budget a-t-il également été mis en place » ? Dans la mesure du possible, les indicateurs doivent être ventilés. Les moyennes ont tendance à dissimuler les disparités, et la reconnaissance de ces derniers est essentiel à l’élaboration des programmes pour traiter les besoins spécifiques de groupes tels que les femmes et les populations autochtones ou marginalisées. Les indicateurs peuvent notamment être ventilés par sexe, par âge ou par zone géographique. La clé d’un bon indicateur est sa crédibilité, non pas le volume des données ni la précision de la mesure. Des quantités importantes de données peuvent perturber la compréhension plutôt que d’attirer l’attention sur un élément en particulier, et les observations quantitatives ne sont pas par nature plus objectives que les mesures qualitatives. Le fait qu’un indicateur soit approprié dépend de la manière dont il est lié au résultat qu’il cherche à décrire. INDICATEURS SUPPLETIFS Parfois, les données correspondant aux indicateurs les mieux adaptés à un résultat ne sont pas disponibles. Les parties prenantes doivent alors recourir à des indicateurs supplétifs. Ceux-ci constituent un moyen moins direct de mesurer les progrès par rapport à un résultat. Par exemple, dans le cas de l’effet « amélioration de la capacité des autorités publiques locales à assurer un service de gestion des déchets solides de manière efficace et efficiente », les indicateurs directs suivants pourraient être utilisés :

- Nombre d’heures d’interruption de service (temps hors service) de la flotte de véhicules évacuant les déchets solides en raison de la maintenance ou d’autres problèmes.

- Évolution du pourcentage de foyers desservis chaque semaine. - Évolution du nombre de sites commerciaux desservis chaque semaine. - Pourcentage de prise en charge en temps voulu des déchets solides dans [préciser la

région] au cours des six derniers mois. Dans l’hypothèse où aucun système n’a été mis en place pour obtenir ces données, l’indicateur supplétif ou indirect suivant pourrait être utilisé : Un questionnaire permettant de connaître le pourcentage d’usagers satisfaits de la qualité et de la ponctualité des services fournis par le prestataire de gestion des déchets solides. (Il peut s’avérer plus aisé pour l’agence de réaliser cette enquête plutôt que de mettre en place les systèmes nécessaires pour collecter les données d’indicateurs plus directs). L’hypothèse retenue est que si le questionnaire révèle une hausse de la satisfaction des usagers, alors il est vraisemblable que certaines améliorations aient été apportées aux services. Ce n’est toutefois pas forcément le cas, voilà pourquoi il s’agit d’un indicateur supplétif, plutôt que d’une mesure directe de l’amélioration.

NIVEAUX D’INDICATEURS Différents types d’indicateurs sont nécessaires pour évaluer la progression en direction des résultats. Dans le cadre de la GAR. LES ETAPES DE PLANIFICATION ORIENTATION SUR LES APPROCHES DU DIALOGUE Au début du processus de planification, il est important que tous les participants partent du même pied. Ils doivent tous comprendre les éléments suivants :

- Pourquoi il est important de travailler ensemble - Pourquoi ils ont été sélectionnés pour prendre part à la planification

Les règles de la planification et la manière dont les parties prenantes doivent dialoguer, notamment dans les contextes de crise, où ces tribunes représentent parfois la première occasion pour les différentes parties d’entendre les points de vue et les objectifs de chacun en matière de développement. L’équipe de base de la planification doit encourager les participants à adopter les attitudes suivantes :

- Ne pas porter de jugement. Les parties prenantes ne doivent pas commencer le processus en ayant des préjugés et ne doivent pas tirer de conclusions hâtives. Il convient à l’inverse de se préparer à entendre des points de vue différents, avant d’en tirer des enseignements.

- Être ouvert à tous les points de vue. Lors de la planification, tous les points de vue doivent être également recevables, pas seulement ceux des personnes considérées comme importantes.

- La planification doit être menée de telle manière à ce que chacun (les hommes, les femmes et les individus marginalisés) se sente libre d’exprimer son opinion.

- Les parties prenantes n’ont ni « raison », ni « tort ». - Être créatif Les participants doivent comprendre que des problèmes qui durent

depuis longtemps ne peuvent vraisemblablement pas être résolus par des approches traditionnelles, dont un bon nombre a déjà été testé auparavant.

- Les parties prenantes doivent donc être ouvertes aux idées neuves, et notamment à celles qui peuvent sembler irréalisables ou irréalistes de prime abord.

LE DÉROULEMENT DE LA PLANIFICATION Le processus de planification a pour vocation d’aider les parties prenantes à concevoir des programmes ou des projets qui abordent les vraies difficultés et qui s’attaquent à leurs véritables causes. C’est pourquoi les participants doivent entreprendre une analyse approfondie des problèmes et de la situation avant de préparer des objectifs ou de procéder à la planification d’un programme ou d’un projet. 3é Partie CADRE STRATEGIQUE DU BON FONCTIONNEMENT DES ORGANISATIONS ____________________________________________________________ I- présentation des données I.1 DEFINITION DES CONCEPTS LIES A UNE ENQUETE I.1.1 LE RECENSEMENT

C’est une opération qui consiste à recueillir les données démographiques et seul se reportant à un moment donné à tous les habitants d’un territoire déterminé le plus souvent un pays ;il s’agit donc d’une photographie instantanée de la population ,il en résulte donc que le recensement fourni essentiellement des statistique sur l’état de la population total et sa répartition suivants différents caractères(âges, sexe, état matrimonial etc.), cette sources d’information constitue le seul moyen qui permet de déterminer la population ayant subie les événements démographiques : la naissance, les décès les migrations etc. L’étude de cette catégorie d’enquête permet de recueillir les données sur toute organisation socio économique. I.1.2 LE SONDAGE C’est une enquête partielle qui permet d’obtenir des informations sur les couches sociales sans avoir besoin d’interroger toute la population I.1.3 LE DENOMBREMENT Le dénombrement est le comptage des individus ou tout autre élément d’ensemble homogène « la population ». Lors d’une enquête on utilise certain terme tels que : I.1.4 ECHANTILLON Qui se défini comme une sous population I.2 PRESENTATION DES RESULTATS I.2.1 A BASE DES COMPTES RENDUS A) LE RAPPORT DES ACTIVITES Le rapport d’activité est une sorte de compte rendu d’une activité qui se formule de la manière suivante :

- L’introduction - Les activités réalisées - Les activités non réalisées - Les activités en cours - Les moyens de réalisation - Les points forts - Les difficultés rencontrées - Les recommandations - Et la conclusion -

B) LE PROCES VERBAL C’est une opération de reddition de compte sur une activité d’une manière détaillée, en élucidant point par point avec des différentes observations y compris une partie spécialement réservée aux retro- actions qui constituent l’ensemble des questions non résolues. I.2.2 A BASE DES GRAPHIQUES I.2.2.1 DEFINITION DES CONCEPTS ET CALCUL DES DONNEES A) LA FREQUENCE : Est le rapport en l’effectif partiel et l’effectif total (effectif partiel divisé par l’effectif total)

fi = ni : N avec i = 1, 2,3……….n B) L’AMPLITUDE : L’amplitude est la base de la barre d’un histogramme, elle s’obtient en faisant la différence entre la les borne B et A ai = ] B- A [

C) LA DENSITE : Est le rapport entre l’effectif et l’amplitude di = ni / ai

D) L’AIRE D’UNE BARRE D’HISTOGRAMME : Est la multiplication de l’amplitude à la densité A = ai X di

E) LA SOMME DES AIRES : Est la somme des petites aires et qui permet de déterminer la différence entre l’effectif de la population étudié à la population totale F) LE MODE : Est la valeur le plus dominant du caractère G) LA MEDIANE : Est la valeur qui divise l’effectif total en deux H) LA MOYENNE

i. La moyenne arithmétique ii. La moyenne géométrique

iii. La moyenne harmonique iv. La moyenne quadratique

i) LE VARIABLE :

Est la valeur prise par le caractère quantitatif J) LA MODALITE : Est la valeur prise par le caractère qualitatif K) LA DIMENSION : La dimension est le couple effectif et variable ou modalité L) LE CARACTERE QUALITATIF : N’est pas mesurable M) LE CARACTERE QUANTITATIF : Est mesurable

N) LE POURCENTAGE : Est la proportion pour cent % = (ni / N) 100 I.2.2.2 PRESENTATIONS DES GRAPHIQUES A) LE DIAGRAMME EN BATON Utilisé pour présenter une représentation statistique dans le cas d’un caractère qualitatif (valeur statistique distraite). B) L’HISTOGRAMME C’est un graphique utilisé pour représenter un caractère quantitatif (valeur statistique continue) C) LE GRAPHIQUES CIRCULAIRE C’est un graphique qui permet de représenter les donner sous forme de cercle.

D) LE POLYGONE FREQUENCES C’est un courbe qui permet de joindre le sommet des histogrammes pour le tracer on ajoute deux fausse classe à l’extrémité du graphique. Cette présentation se fait par le calcul des fréquences cumulées qui est égale à la somme de la fréquence précédente à la suivante ainsi de suite. E) LA COURBE CUMULATIVE Il s’agit de représenté les fréquences cumulées croissantes pour déterminer la proportion des individus qui est inferieure à une autre ainsi de suite. Cette présentation se fait par le calcul des effectifs cumulés qui est égale à la somme de l’effectif précédent au suivant ainsi de suite. Sachant que l’effectif est défini par ni et leur somme par N Et la fréquence par fi et leur somme par Fi = 1 F) LE DIAGRAMME DE LEXIS Il permet de présenter l’évolution du cycle de vie d’un individu Ligne de vie

G) LE PYRAMIDE DES AGES Il permet de faire la représentation d’une comparaison entre l’évolution féminine et masculine lors d’un cycle de vie Masculin Féminin I.2.2.3 LES INDICATEURS I.2.2.3.1 LES RAPPORTS INDICIELS A) LE RAPPORT DE MASCULINITE Le rapport de masculinité consiste à diviser l’effectif des hommes à celui des femmes. RM = Hi / Fi

B) LE RAPPORT DE FEMINITE Le rapport de féminité consiste à diviser l’effectif des femmes à celui des hommes. RF = Fi / Hi

C) LE RAPPORT DE DEPENDANCE C’est le rapport qui met en relation le nombre des jeunes et des personnes âgées [0 ; 17 ans] + [36 ; +ans [ RD = [18 ,35ans] En plus de ces indicateurs on peut toute fois retenir d’autre tels que : PIB, PIB/h, IDH, IPH etc. I.2.2.4 LES TAUX TAUX DE MORTALITE Nombre de décès T Mortalité= Population totale

TAUX DE NATALITE Nombre de naissance T Natalité= Population totale TAUX NUPTIALITE Nombre de mariage T nuptialités = Population totale TAUX DE MORTALITE INFANTILE Nombre de décès d’enfant de (0 à 1 ans) T M I = Population totale TAUX D’ACCROISSEMENT NATUREL Naissance - Décès TA N = Population totale TAUX DE MIGRATION Soldes migratoire T Migration = Population totale TAUX DE CROISSANCE I.2.2.5 L’ACCROISSEMENT A) INDICE D’ACCROISSEMENT Population de l’année t I A = Population de référence TAUX D’ACCROISSEMENT MOYEN ANNUEL Pn = P0 (1 + r) n

LE TEMPS DE DEROULEMENT Log 2 n = Log (1 + r) II CADRE STRATEGIQUE D’ANALYSE GENERALE ET DE BON FONCTIONNEMENT DES ACTIVITES 1 – LA CARTE DE LA LOCALITE La cartographie permet :

- D’identifier la localité

- De faire l’analyse générale de l’environnement

- D’identifier les sièges locaux des organisations 6- LES ACTIONS ET INFLUENCES ATTENDUS DES GROUPES DE MOBILISATIONS. SOCIALES ET LEUR RESPONSABLE. La définition du cadre stratégique permet formuler un plan stratégique convenable pour mobiliser davantage de ressources auprès des partenaires potentiels. 7- L’OBJECTIF COMPORTEMENTAL. L’étude de l’analyse communicationnelle permet de formuler les stratégies de communication en ressortissant un plan clairement défini sous forme d’interrogation suivante : qui ? , quoi, quand ?, comment ?et dans quelle mesure ? 8 - L’OBJECTIF COMMUNICATIONNEL. L’objectif communicationnel est formulé en référence des hypothèses soulevées pour contourner les obstacles tout en tenant comptes des interrogations suivantes : qui ? , quoi, quand ?, comment ?et dans quelle mesure 9 - LA LISTE DES CANAUX ET LES MESSAGES. Les canaux sont les supports et moyens utilisés pour transmettre un message exemple : la radio, les affiches etc. Le message d’autre part est une action de communication, il est formulé de la manière suivante :

• La cible • Un point d’exclamation suivi d’une ponctuation • Action positive ou négative • Les effets visés de l’action

10 - LE MICRO PLAN INTEGRE DE COMMUNICATION. C’est un outil qui permet de planifier les activités de communication suivant les trois stratégies : la communication, la mobilisation sociale, et le plaidoyer ensuite d’avoir une vue cohérente sur l’ensemble des activités de communication auxquelles seront influencés les obstacles identifiés.

11 - LE MICRO PLAN DE MISE EN ŒUVRE. C’est un outil qui permet de planifier les activités comme dans le calendrier d’activités mais cette fois ci, il est important de définir les indicateurs de l’activité, le cout et les moyens de vérification. En plus, nous distinguons d’autre outil tel que le cahier de rapport, la registre des organisations, la registre des partenaires, la fiche des présences

Objectif communicationnel

Participants concernés

activités Période d’exécution

lieu responsable Coût Indicateur (impact)

Moyens de vérification

III CADRE STRATEGIQUE D’APPUIS ET DE SOUTIEN Introduction : Les organisations nécessitent des ressources importantes. C’est les organismes, les communautés et le gouvernement, qui sont tenus de fournir un soutien durable au niveau national et sous régional ; une stratégie solide pour la mobilisation des ressources et l'engagement est nécessaire pour soutenir l'initiative. Afin de démontrer leur engagement de contribuer au développement, les partenaires techniques et financiers ainsi que d'autres sources de financement assumeront une partie des ressources financières nécessaires pour soutenir le programme. En l’effet vue la défaillance constatée chez la plus part des organisations n’arrivent pas à se prendre en charge, il est important que la lumière soit apportée sur la politique d’auto prise en charge des activités des organisations et que les appuis se repartissent de la manière suivante :

• Appui direct : c’est une forme d’appui qui résulte de l’action des organisations elles-mêmes pour financer leurs activités soit de couvrir toute les charges qui en résulte au sein de l’organisation, celui-ci résulte des cotisations, des activités génératrice de revenues etc. …

Les activités génératrices de revenus (entrepreneuriat) L’objectif est de pousser les individus à se prendre en charge et leurs organisations par la création des activités génératrices de revenus qui peuvent passer de l’informel au formel, contribuent à la croissance économique, réduisent le taux de chômage et de sous emploi et enfin améliorent leur niveau de vie. Exemple : comment ça se passe ? Les revendeurs des coupons téléphoniques après un constat fait sur leur terrain rendent comptent :

De leur forte existence sur le marché et presque 99% d’eux sont du secteur informel.

Et que rien ne garanti l’avenir dans ce qu’ils font en cas de faillite, la personne disparait immédiatement sur le marché.

Tout premièrement, ils décident de créer une association des revendeurs de coupons téléphoniques dont l’objectif est garantir leurs activités, vu les atouts et les risques constatés ils décident de relever le défis par la création d’une entreprise commerciale, visant comme option l’achat, la revente et le transfert des coupons et crédit. Un appel a été fait a un consultant qui à une bonne connaissance de la gestion axée sur les résultats d’élaborer le projet et d’accompagner la mise en œuvre dont le budget est de 10.000.000 FCFA, Arrivée à ce stade comment vas t’on faire pour avoir cette somme ? La réponse est simple, le consultant lors de l’élaboration de ce projet a tout mentionné, l’obtention de cette somme se fait par le lancement d’un appel à contribution le plus connu « action » bref c’est juste une activité qui consiste à vendre des actions avec un montant bien divisé et faible à tous les membres de l’association et autres personnes qui veulent devenir des actionnaires. en profit chaque actionnaire percevra un dividende. Les normes et les procédures sont réglementées avec les organes compétents et les transactions se feront en collaboration avec les institutions financières de la place. Un appel est lancé et un délai a été fixé, à la fin de cette période le montant fixé est retrouvé ; l’entreprise à été belle et bien créée dont les postes et les fonctions sont bien repartis entre les membres de cette association ;

Direction générale pour ceux qui ont acheté plus d’action

Objectif communicationnel

Participant concerné

Stratégie de communication

Canaux messages Facteurs visés (obstacle)

intervenant

Direction commerciale pour des membres de l’association ayant lés compétences au commerce et ayant subit une formation dans ce domaine

Les superviseurs Et les points de vente

A travers cette initiative les membres de cette associations se garantissent de toutes les charges et tous les risques avenir et peuvent maintenant contribuer réellement à la réduction du taux de chômage et de sous emploi, contribuent aussi à la hausse du niveau de l’économie nationale et de leur bien être (développement).

• Appui indirect : c’est un appui technique et financière offert par les partenaires techniques et financiers aux organisations bénéficiaires et qui se matérialise par des offres, de dons, de legs etc.

DEFINITION DES STRATEGIES Telle qu’elle est définie du plan international la communication fait parti des trois stratégies des approches méthodologique requise à l’information et l’éducation, en se référant ainsi :

1- LA COMMUNICATION : Un mot qui tire son origine du verbe communiquer, la communication est définie comme l’action possible d’informer ou de transmettre un message à un individu ou toute une communauté ; dans cette approche, elle est capitale et joue un rôle très pointu dans ce processus.

2- LA MOBILISATION SOCIALE :

Cette catégorie de stratégie consiste à mobiliser toutes les structures ou organisation socioprofessionnel pour leur implication dans la réalisation des activités.

3- LE PLAIDOYER :

La stratégie de plaidoyer consiste à plaider au près de personnes ressources physique ou morale pour leur appui à l’organisation.

ACTIVITES POSSIBLE A REALISER Les activités possibles à réaliser sont :

- Les activités d’IEC, d’écoute et d’orientation.

- Les activités culturelles, artistiques et sportives.

- Les activités de recherche, d’enquête et de découverte.

- Les activités génératrices de revenues.

- Les activités de formation et de renforcement des capacités.

- Les activités de la création d’emploi, d’insertion de réinsertion et d’entreprenariat.

- Les activités de production des supports éducatifs, d’information et de communication.

- Les activités d’œuvre humanitaire et communautaire.

MOBILISATION DES RESSOURCES LOCALES Les recommandations sont destinés à effectuer un plaidoyer au près du secteur privé, des communautés, fondations, des groupes religieux et en particulier et individus qui peuvent fournir un support durable. Compte tenu des contraintes de ressources des communautés, un cadre approprié pour attirer des financements du secteur privé et le soutien seront développés à travers l'organisation d'un Forum de partenariat du secteur privé. En dépit de cela les organisations de jeunesse avec leurs activités génératrice de revenu peuvent aussi contribuer à la mobilisation des ressources locales.

En effet la raison de les convaincre est seulement d’informer la population jeune sur leurs activités ces différents organes d’appuis au niveau locale peuvent être classifié selon leur taille et catégorie de la manière suivante :

1- Les institutions et entreprise du Secteur Public 2- institution et entreprise du Secteur privée

Hors de ces secteurs d’activités socio professionnelles nous pourrons ajouter les Media.

1- LA PRESSE ECRITE a- Presse b- publique c- Presse privée d- Presse internationale

2- LES CHAINES DE TELEVISION a- Télévision privée b- Télévision publique

3- LES RADIOS a- Les radios privées b- La radio publique

REPERTOIRE D’ACTIVITE : Celui ci est un outil qui permet d’avoir une vue générale sur l’ensemble de ses activités car ici les activités sont classées par volet d’activité. Qui se présente de la manière suivante : Activité à court terme Activité à moyen terme Activité à long terme Liste à élaborée

Liste à élaborée

Liste à élaborée

PLANNING D’ACTIVITE:

C’est outil qui permet de planifier les activités en fonction du jour, de semaine, du mois, de l’année ainsi de suite une fois l’activité répertoriée est planifiée dans le planning et sera détaillée dans le calendrier d’activité.

CALENDRIER D’ACTIVITE: C’est outils très capital car celui-ci lui permet de planifier ses activités en fonction de la date, d’heure, le lieu, le ou les responsables ensuite la partie observation

R : réalisée ; NR : non réalisée ; EC : encours ; RE : reportée LES SEANCES ANIMEES Elles sont nécessaires pour motiver et impliquer le personnel, membres ou bénéficiaire, elle permette de :

- Pousser les individus à faire de leur mieux en sollicitant leur avis en récompensant leurs compétences.

- Pousser les individus à développer leur potentialité intellectuelle et technique En effet pour bonne réalisation des séances animes, il nécessite au leader de développer les compétences suivantes :

- Le savoir communiquer en groupe

- L’écoute active

- Questionnement stratégique

- Les compétences émotionnelles

- Le non jugement

- Le non refus d’une idée avancée

- L’empathie

- La gestion du stress

- L’esprit critique

- La pensée créatrice

Exemples de séances animées :

- causeries éducatives ; - sensibilisations en masse ou porte par porte; - ateliers de formation ; - émissions et magazines radio - télévisées ; - suivis, évaluations et accompagnements techniques directs sur le terrain ; - élaborations des documents techniques et productions des supports de communications

(guide, dépliant, banderole, affiche, sketch, films, chanson etc.) ; - rencontres de discussion et de débat avec les groupes concernés au sein de leurs localités ; - séminaires ; - Conférences et exposés ; - Etudes pratiques au près de l’organisation ; - Réunions ; - Séances de plaidoyer ; - marches pacifiques ; - forums ; - festivals ; - tables rondes ; - enquêtes et recherches ; - visites échange d’expériences ; - assistances (morales, techniques, matérielles, humaines et financières) ; - travaux manuels ; - diffusions des messages ; - foires et expositions ; - rencontres sportives et culturelles ; - créations des activités génératrices de revenus ; - actions de collecte de fonds ou de cotisations ; - tantines ; - autres activités concrètes etc.

RECOMMANDATIONS POUR SON APPLICATION CONCRETE Une approche GAR se concentre sur les recommandations suivantes: • Clairement identifier les bénéficiaires du projet et conceptualiser un projet qui réponde à leurs besoins et à leurs priorités. • Clairement identifier les objectifs du projet • Clairement identifier des résultats réalistes à tous les niveaux de la chaîne des résultats • Identifier des indicateurs pour mesurer l’accomplissement des résultats • Contrôler les progrès réalisés vers l’accomplissement des résultats avec l’utilisation d’indicateurs Appropriés • Identifier les risques et mettre en œuvre une stratégie de gestion des risques

activités retenues Lundi mardi mercredi Jeudi Vendredi

Réunion x x x X sensibilisation x x

Débat x x x

total 2 2 1 3 1

Date heure Lieu activité responsable

Observation

R NR EC RE

/m / année 14 h 30 Terrain du sport sensibilisation claire

/m / année 9 h 30 siège Réunion Jonathan

• Augmenter la connaissance et améliorer les pratiques grâce aux leçons apprises • Diffuser de l’information sur les résultats obtenus et les ressources utilisées. AVANTAGES ET LIMITES AVANTAGES Les objectifs des projets sont définis de manière précise, rigoureuse et participative. Les parties prenantes doivent clarifier, dès le début du projet, leurs objectifs, buts et résultats escomptés. La pratique montre que quand toutes les parties prenantes sont impliquées dans le cycle de vie du projet, la qualité, l’efficacité et la durabilité du projet sont améliorées. La participation des parties prenantes accroît l’information disponible pour la conception et la planification du projet. Grâce à l’analyse de l’information collectée, la GAR permet de faire coïncider le projet avec la réalité du terrain et favorise une intervention susceptible d’être plus durable. En mettant l’accent sur la participation de toutes les parties prenantes, la GAR permet une meilleure appropriation du projet. Les partenaires sont plus motivés pour obtenir les résultats espérés, car ils ont collaboré à leur définition et se sont engagés dans le processus. Les risques potentiels sont identifiés et une stratégie de gestion des risques est créée. La GAR justifie l’utilisation du budget et permet une meilleure compréhension de l‘utilisation des fonds en répondant à la question « Quels résultats ont été obtenus avec le montant utilisé pour ce projet ? ». Il est loisible aux organisations d’adapter, en fonction de leurs particularités, la mise en œuvre de la méthode GAR. NR : La GAR n’est pas une approche totalement révolutionnaire puisqu’elle reprend en grande partie des principes déjà énoncés tant dans l’approche cadre logique que dans la gestion du cycle de projet, même si elle les met particulièrement en avant. Par contre, elle soulève les questions du risque interne dans la gestion des interventions, et des divergences de points de vue et perspectives des différents acteurs qui sont souvent négligées et met l’apprentissage au cœur du dispositif de gestion. LIMITES À l’instar, de la Gestion du Cycle de Projet, et du cadre logique, cette méthode présente toutes les limites des approches linéaires. Conçue pour les grandes entreprises et les services publics elle peut se révéler lourde et complexe pour de petites structures qui fonctionnent sur du bénévolat ou avec très peu de ressources humaines. Dans certains secteurs, comme les droits des individus, le plaidoyer et l’éducation au développement par exemple, les relations de causes à effets sont plus difficiles à déterminer. La définition d’indicateurs d’effets devient d’autant plus hasardeuse. Certains des principes de la GAR, comme la transparence et la participation peuvent être extrêmement difficiles à rencontrer dans des contextes très tendus ou conflictuels (post conflits). Le relatif manque d’expertise crée une difficulté à la mise en œuvre de la gestion axée sur les résultats. L’implication des parties prenantes prend du temps et des ressources que beaucoup de structures de petite taille ne sont pas forcément en mesure de fournir. Certaines parties prenantes sont susceptibles d’accaparer le processus pour favoriser leurs intérêts. 1.4. CONDITIONS D’UTILISATION La gestion axée sur les résultats est un processus de long terme.

Elle nécessite une initiation aux concepts de base. Le coût est variable selon la taille du projet et le degré d’attention accordé aux contributions locales. SIGLES ET ABREVIATIONS ACDI Agence canadienne de développement international BCP Bilan commun de pays CAD Comité d’aide au développement CRS Cadre de résultats stratégiques DANIDA Agence danoise de développement international FAO Organisation des Nations Unies pour l’alimentation et l’agriculture FENU Fonds d’équipement des Nations Unies FIDA Fonds international de développement agricole FNUAP Fonds des Nations Unies pour la population OCDE Organisation de coopération et de développement économiques OIT Organisation internationale du Travail ONG Organisations non gouvernementales PAM Programme alimentaire mondial PNUD Programme des Nations Unies pour le développement RAAR Rapport annuel axé sur les résultats RAP Rapport annuel de projet/programme SIDA Agence suédoise de développement international UNDAF Plan-cadre des Nations Unies pour l’aide au développement UNICEF Fonds des Nations Unies pour l’enfance UNOPS Bureau des Nations Unies pour les services d’appui aux projets USAID United States Agency for International Development Glossaire La plupart des termes et expressions apparaissant dans le présent Guide sont d’un usage courant dans le contexte du développement et de l’évaluation. Ils sont tous définis ici dans le cadre du suivi et de l’évaluation, encore qu’ils puissent avoir d’autres acceptions dans d’autres contextes. C’est ainsi que « mandat », par exemple, désigne toujours expressément le mandat d’une évaluation. Les définitions ont pour objet d’harmoniser la terminologie dans l’ensemble de la communauté du développement. Elles ont été élaborées par le Bureau de l’évaluation du PNUD ou extraites et inspirées des sources suivantes : Certaines définitions sont beaucoup plus détaillées dans le Glossaire que dans le texte, ce qui non seulement précise davantage les notions, mais aussi englobe des termes et expressions qui apparaissent dans la documentation de référence du présent Guide. Activités. Actions menées dans le contexte de la programmation qui sont nécessaires et suffisantes et par lesquelles des apports (financiers, humains, techniques et matériels) sont mis en œuvre pour donner des produits particuliers ou contribuer aux résultats, Les activités peuvent également être définies comme des «interventions de développement ».

Apport. Moyen mis en œuvre pour exécuter des activités de programme ou de projet, c’est-à-dire des ressources financières, humaines et matérielles. Appui conseil. Sensibilisation, conseils d’orientation et dialogue, communication et médiation d’information, partenariats ou compromis politique. Les conseillers du PNUD, le personnel chargé des programmes et les cadres des bureaux de pays sont les principaux fournisseurs d’assistance douce soit par le jeu des projets et programmes, soit de manière indépendante, de manière ponctuelle et à la demande. L’appui conseil est généralement offert en amont, au niveau où sont examinées, formulées et appliquées les politiques nationales ayant une incidence sur les résultats du développement humain, encore qu’elle puisse également être fournie en aval par le personnel chargé des projets. Attribution. Relation de cause à effet entre des changements observés (ou attendus) et une intervention donnée au regard des effets d’autres interventions ou de facteurs interférents. S’agissant de l’attribution de la réalisation d’effets, les évaluations visent à démontrer l’existence d’un lien crédible entre les produits et actions du PNUD en partenariat avec d’autres et le changement en matière de développement (effets). Audit. Examen ou évaluation documenté de la mesure dans laquelle une situation, procédure ou prestation fournie correspond à des normes ou critères, politiques et procédures prédéterminés. Doit constituer une activité d’assurance indépendante et objective conçue pour apporter une valeur ajoutée et une amélioration aux opérations de l’organisation. L’audit aide l’organisation à réaliser ses objectifs en évaluant et améliorant l’efficacité de la gestion des risques, des procédures de contrôle et d’administration selon une formule systématique et rigoureuse. Auto-évaluation. Évaluation effectuée par les gestionnaires d’un programme ou projet sur le terrain. Bénéficiaires. Particuliers ou institutions dont la situation est censée s’améliorer (groupe cible) ainsi que d’autres dont la situation pourrait s’améliorer. Renvoie aussi à un groupe limité de parties prenantes qui profiteront directement ou indirectement du projet. Bilan commun de pays. Procédure fondée sur un pays permettant d’examiner et d’étudier la situation du développement national et d’identifier les principaux problèmes aux fins de sensibilisation, dialogue d’intervention et préparation du plan-cadre d’aide au développement. Les résultats sont décrits dans un document de bilan commun de pays (BCP). Cadre de résultats stratégiques (CRS). Cette expression générique désigne l’hypothèse de développement englobant les résultats nécessaires à la réalisation d’un objectif stratégique, leurs relations de cause à effet ainsi que les hypothèses sous-jacentes. Ce cadre organise la mesure, l’analyse et la communication des résultats

de l’entité opérationnelle. Il sert également d’outil de gestion et est donc axé sur les résultats fondamentaux qui doivent être suivis afin d’indiquer le progrès. Il peut s’agir également des buts et objectifs globaux de l’approche du développement d’un pays donné sur la base de l’analyse des problèmes, assortie de l’énoncé des priorités. Pour le PNUD, le document qui décrit ses résultats concernant une entité opérationnelle du point de vue Guide du suivi et de l’évaluation axés sur les résultats des effets, produits, partenariats et indicateurs, avec des buts, buts subsidiaires et domaines stratégiques d’appui bien précis. Conclusion. Jugement raisonné fondé sur la synthèse de constatations empiriques ou d’énoncés factuels correspondant à une situation particulière. Exemple : le programme de recherche développement de l’Institut d’agronomie efficace sur le plan technique mais pèche dans ses relations avec les groupes cibles (Voir « constatation », qui diffère d’une conclusion.) Constatation. Énoncé factuel au sujet du programme ou projet sur la base d’éléments empiriques réunis au moyen d’activités de suivi et d’évaluation. Exemple : bien que ses premières applications expérimentales de la nouvelle technologie de prévention de l’érosion des sols ait été positive, l’action de l’Institut d’agronomie n’a suscité qu’une réaction peu enthousiaste auprès du groupe d’agriculteurs visés, qui sont mal informés au sujet des incidences financières de cette technologie. Voir « conclusion », qui a un sens différent de la constatation.) Critère. Point de référence ou norme permettant une comparaison des progrès ou réalisations comme par exemple ce qui a été accompli dans le passé, ce que des organisations comparables– partenaires du développement – réalisent, les objectifs recherchés ou les éléments budgétisés, ce qui aurait pu raisonnablement être réalisé étant donné les circonstances. Le critère désigne aussi un objectif intermédiaire permettant de mesurer les progrès à une période donnée. Déformation. Il s’agit de la déformation statistique. Représentation inexacte entraînant une erreur systématique dans un résultat de recherche. La déformation peut se traduire par une surestimation ou une sous-estimation de caractéristiques ou tendances. Elle peut être le fait d’information incomplète ou de méthodes de collecte de données erronées, et peut être délibérée ou non. Données de référence (ou de base). Données décrivant la situation sur laquelle doit porter un programme ou projet et qui servent de point de départ de la mesure de l’efficacité dudit programme ou projet. Une étude de référence donnerait la description de la situation préalable à la fourniture de l’aide, qui sert à déterminer les résultats et réalisations d’une activité donnée et constitue une importante référence d’évaluation. Données. Informations ou faits précis d’ordre quantitatif et qualitatif. Durabilité. Viabilité des résultats positifs d’un programme ou d’un projet après l’achèvement de la coopération technique canalisée au moyen dudit programme ou projet; durabilité statique – apport continu des mêmes avantages, amorcés par le programme ou projet achevé, aux mêmes groupes cibles; durabilité dynamique – application ou adaptation des résultats d’un programme ou projet à

un contexte différent ou un environnement en évolution par les groupes cibles initiaux ou d’autres groupes. Dans le cas d’un effet, indique si le changement positif apporté à la situation en matière de développement sera permanent. Effet. Modification effective ou recherchée de la situation de développement que les interventions du PNUD cherchent à soutenir. Correspond à un changement dans la situation en matière de développement entre l’achèvement des produits et la réalisation de l’impact. Exemples : amélioration du rendement des rizières, augmentation des revenus des agriculteurs. Efficacité du développement. La mesure dans laquelle une institution ou une intervention a produit le changement visé dans un pays ou l’existence d’un bénéficiaire. Elle dépend de plusieurs facteurs, qui vont de la qualité de la conception du projet à la pertinence et à la viabilité des résultats recherchés. Efficacité. La mesure dans laquelle un résultat de développement est réalisé au moyen des interventions. La mesure dans laquelle un programme ou projet réalise les résultats prévus, c’est à- dire les buts, effets et produits, et contribue aux effets. Efficience. Transformation optimale d’apports en produits. Enquête. Collecte systématique d’information auprès d’une population définie, généralement par le jeu d’entretiens ou de questionnaires appliqués à un échantillon d’unités de population (particuliers, bénéficiaires, adultes). Enseignement tiré. Leçon dégagée de l’expérience qui est applicable à une situation générale plutôt qu’à des conditions particulières. Exemple : un organisme s’occupant de recherche développement a besoin d’un centre d’information dynamique pour diffuser les résultats de ses programmes de recherche auprès de groupes cibles et susciter un retour d’information de la part de ces groupes au sujet de l’utilité de ses résultats de recherche-développement. Équipe d’évaluation. Groupe de spécialistes chargés de la planification détaillée et de la conduite d’une évaluation. L’équipe d’évaluation rédige le rapport d’évaluation. Évaluateur. Personne qui intervient à tous les stades de l’évaluation, de la définition du mandat et de la collecte et analyse des données à la formulation des recommandations et à la prise de mesures correctives ou à l’introduction d’améliorations. Évaluation à mi-parcours. Type d’évaluation effectuée au cours de l’exécution d’un projet ou programme. Elle vise essentiellement à évaluer les progrès accomplis, tirer les premières conclusions en vue de la gestion

du programme ou projet et formuler des recommandations pour la suite des opérations. Elle porte sur les questions opérationnelles ainsi que sur la performance et permet de dégager les premiers enseignements. Est parfois qualifiée d’évaluation continue. Évaluation conjointe. Évaluation à laquelle contribuent différents organismes donateurs ou partenaires. L’évaluation peut être plus ou moins commune, selon la mesure dans laquelle les différents partenaires collaborent à l’évaluation, mettent en commun leurs ressources d’évaluation et combinent l’information au sujet de l’évaluation. L’évaluation conjointe permet également de résoudre des problèmes d’attribution dans l’évaluation de l’efficacité de programmes et stratégies, de la complémentarité des actions soutenues par différents partenaires, de la qualité de la coordination de l’assistance, etc. Évaluation d’impact. Type d’évaluation axée sur l’impact ou les résultats globaux à plus long terme, intentionnels ou non, d’un programme ou effet. Par exemple, une évaluation d’impact pourrait montrer qu’une baisse du taux de mortalité infantile global d’une communauté donnée est la conséquence directe d’un programme de soins prénatals et postnatals de qualité et d’accouchement assurés par des spécialistes de la santé. Voir également « évaluation de l’impact au niveau du pays ». Évaluation de groupe. Évaluation d’un ensemble de projets ou programmes connexes. Une évaluation d’ensemble axée sur un effet de développement est également appelée « Évaluation d’effet ». Évaluation de l’impact au niveau du pays. Évaluation de la contribution globale du PNUD, y compris les interventions douces, dans un pays; de l’apport du PNUD qui a produit des résultats finals récents, quel que soit le cycle de programme donné au cours des cinq dernières années; et des interactions du PNUD avec les partenaires du développement dans la réalisation d’objectifs nationaux; par définition, cette évaluation est effectuée à posteriori. Voir aussi «évaluation d’impact ». Évaluation de la performance. Évaluation extérieure ou auto-évaluation par unités de programme, qui supposent le suivi d’effets, programmes, projets ou particuliers, des études, des rapports de fin d’année et de fin de projet, des évaluations institutionnelles ou études spéciales. Évaluation de projet. Évaluation d’un projet ou d’une intervention particulière en matière de développement visant à réaliser des objectifs désignés dans des délais déterminés et suivant un plan d’action établi. La base de l’évaluation devrait être incorporée au descriptif de projet. Dans le contexte du PNUD, il s’agit aussi des évaluations de programme décrites dans les documents d’appui aux programmes. Évaluation des effets. Évaluation couvrant un ensemble de projets, programmes et stratégies visant à réaliser un certain effet. Il s’agit d’évaluer comment et pourquoi les effets sont atteints ou ne le sont pas dans un contexte national donné ainsi que l’apport des produits du PNUD aux effets.

Sert également à préciser les facteurs sous-jacents de la réalisation ou non des effets; a souligné les effets involontaires – positifs et négatifs – des interventions; à recommande des mesures afin d’améliorer l’efficacité des futurs cycles de programmation et de tirer des enseignements. Évaluation externe. Évaluation effectuée par un ou plusieurs évaluateurs qui ne participent pas directement à la formulation, à l’exécution ou à la gestion de l’objet de l’évaluation. Effectuée normalement par des personnes n’appartenant pas aux organisations concernées. (Synonyme : « évaluation indépendante »). Évaluation finale. Évaluation effectuée une fois que l’intervention est en place depuis un certain temps ou vers la fin d’un projet ou programme afin de mesurer les résultats; indique l’efficacité et la pertinence des interventions et stratégies; indique les premiers signes d’impact; recommande les interventions à encourager ou à abandonner. Évaluation indépendante. Évaluation effectuée par des personnes distinctes de celles qui sont chargées de la gestion, de l’orientation ou de l’exécution du projet. Elle peut faire intervenir des groupes appartenant à l’organisation donatrice. La crédibilité d’une évaluation dépend en partie du degré d’indépendance avec lequel elle a été effectuée, c’est-à-dire du niveau d’autonomie, et de l’aptitude à réunir des informations, à mener des enquêtes et signaler les constatations en dehors de toute influence politique ou pression de l’organisation. Évaluation interne. Évaluation effectuée par les membres de l’organisation qui sont liés aux programmes, projets ou questions à évaluer. Voir également « auto-évaluation ». Évaluation participative. Étude et évaluation collective d’un programme ou projet par les parties prenantes et bénéficiaires. Les évaluations participatives supposent une réflexion, sont orientées vers l’action et cherchent à renforcer les capacités. Elles sont essentiellement axées sur les besoins en information des parties prenantes plutôt que sur le donateur, qui sert de médiateur. Évaluation rétrospective. Évaluation récapitulative d’une intervention effectuée généralement deux années au moins après son achèvement. Elle a pour objet d’étudier l’efficacité de l’intervention (programme ou projet) et de dégager des conclusions en vue d’interventions analogues. Évaluation stratégique. Évaluation d’une question particulière, bien souvent intersectorielle, ayant d’importantes incidences sur les grandes priorités en matière de développement de l’État et du PNUD et présentant des risques élevés pour les parties prenantes. Le moment de son exécution est d’autant plus important que la question soit urgente et soulève des risques élevés pour les parties prenantes, dont les avis à ce sujet sont contradictoires. Elle a pour objet de faire mieux comprendre le problème, de réduire les incertitudes liées aux différentes options possibles et de parvenir à un compromis acceptable par toutes les parties intéressées et d’aider les différentes parties prenantes

à se mettre d’accord sur le sens de certaines questions d’orientation, ce qui constitue une étape importante dans la formulation des politiques. Évaluation thématique. Évaluation de certains aspects ou de questions intersectorielles de différents types d’interventions. Il peut s’agir de l’évaluation groupée de projets ou de programmes concernant un thème particulier recoupant plusieurs secteurs ou zones géographiques. Analogue à une « évaluation stratégique ». Exemple : évaluation de l’exécution nationale, évaluation de la collaboration avec la société civile. Évaluation. Opération limitée dans le temps visant à évaluer systématiquement et objectivement la pertinence, la performance et le succès de programmes et projets en cours et achevés. L’évaluation peut également porter sur les effets ou d’autres questions de développement. Elle est opérée de manière sélective pour répondre à des questions précises afin d’orienter les décideurs ou responsables de programme et dégager des informations sur la validité des théories et hypothèses à la base de l’élaboration des programmes, les actions efficaces et les autres, et les raisons de cette efficacité ou inefficacité. L’évaluation a généralement pour objet de déterminer la pertinence, l’efficience, l’efficacité, l’impact et la viabilité. Elle permet de dégager des enseignements intersectoriels de l’expérience opérationnelle et d’établir s’il est nécessaire d’apporter des modifications au cadre de résultats stratégiques. L’évaluation devrait produire des informations crédibles et utiles, en permettant d’intégrer les enseignements tirés à la prise des décisions. Voir aussi « évaluation de projet » et « évaluation d’effet ». Fiabilité. Cohérence et qualité des données rassemblées grâce à l’application répétée d’un instrument scientifique ou d’une procédure de collecte des données dans des conditions identiques. Une fiabilité absolue des données d’évaluation est difficile à obtenir. Toutefois, grâce à des listes de contrôle et à la formation des évaluateurs, on peut améliorer à la fois la fiabilité et la validité des données. Suppose la collecte de données exhaustives et des questions d’évaluation bien conçues. Gestion axée sur les résultats (GAR). Stratégie ou méthode de gestion appliquée par une organisation pour veiller à ce que ses procédures, produits et services contribuent à la réalisation de résultats clairement définis. La gestion axée sur les résultats offre un cadre cohérent de planification et de gestion stratégique en améliorant l’apprentissage et la responsabilité. Il s’agit aussi d’une vaste stratégie de gestion visant à apporter d’importants changements dans le mode de fonctionnement des organismes, l’amélioration de la performance et la réalisation de résultats étant l’orientation centrale, par la définition de résultats réalistes, le suivi du progrès dans la réalisation des résultats escomptés, l’intégration des enseignements tirés dans les décisions de gestion et la communication d’information au sujet de la performance. Gestion de la performance. Création d’une demande de gestion concernant l’information sur la performance, et son exploitation et son application à une amélioration permanente. Recouvre la « mesure de la performance ».

Groupes cibles. Principaux bénéficiaires d’un programme ou projet, segments de la population qu’un programme ou projet cherche à atteindre afin de répondre à leurs besoins selon des considérations de sexe et sur la base de leurs caractéristiques socioéconomiques. Impact. Effet global et à long terme d’une intervention. Résultats d’un programme ou projet qui sont évalués en regard des objectifs de développement ou des buts à long terme dudit programme ou projet; changement dans une situation, prévu ou non, positif ou négatif, qu’un programme ou projet contribue à apporter. L’impact est le résultat à plus long terme ou résultat final attribuable à une intervention de développement, contrairement aux produits et aux effets, qui représentent les résultats plus immédiats de l’intervention. La notion d’impact est proche de celle d’« efficacité du développement ». Exemples : élévation du niveau de vie, amélioration de la sécurité alimentaire, accroissement des recettes d’exportation, hausse de l’épargne grâce à la baisse des importations. V Indicateur de performance. Caractéristique ou dimension particulière servant à mesurer les changements recherchés définis par un cadre de résultats d’une entité. Les indicateurs de performance servent à observer le progrès et à mesurer les résultats effectifs par rapport aux résultats escomptés. Ils permettent de déterminer si et dans quelle mesure une entité progresse dans la réalisation de ses objectifs au lieu de répondre au pourquoi concernant ces progrès. Les indicateurs de performance sont généralement exprimés sous une forme quantifiable et devraient être objectifs et mesurables (exemple : chiffres, pourcentages, notations et indices). Indicateur. Témoin de progrès (ou de l’absence de progrès) dans la réalisation d’objectifs; moyen de mesurer les réalisations effectives au regard des prévisions sur les plans de la quantité, de la qualité et de la rapidité. Il s’agit d’une variable quantitative ou qualitative qui permet d’évaluer de manière simple et fiable la réalisation, le changement ou la performance. Mandat. Définition des travaux et du calendrier à exécuter par l’équipe d’évaluation. Rappelle le contexte et précise la portée de l’évaluation, indique les principales raisons de l’évaluation et les questions posées. Récapitule les connaissances disponibles, ébauche une méthode d’évaluation et décrit la répartition des tâches et des responsabilités entre les participants à l’évaluation. Précise les qualifications requises des équipe ou particuliers ainsi que les critères à appliquer pour constituer une équipe d’évaluation. Médiation. Intervention d’un intermédiaire impartial, parfois dans des domaines sensibles. Peut prendre de nombreuses formes et concerner des domaines politiques, l’information et le partenariat. Relève de l’« appui conseil ». Meilleures pratiques. Pratiques de planification ou opérationnelles dont l’efficacité a été confirmée dans des conditions données. Les meilleures pratiques servent à démontrer ce qui est efficace et ce qui ne l’est pas et à

constituer et appliquer des connaissances au sujet des fonctionnements dans des situations et contextes différents. Voir aussi « enseignements tirés ». Mesure de la performance. Collecte, interprétation et communication de données servant aux indicateurs de performance mesurant à quel point les programmes ou projets fournissent des produits et contribuent à la réalisation de desseins supérieurs (buts et effets). Les mesures de la performance sont surtout utiles pour établir des comparaisons dans le temps ou entre entités exécutant des tâches analogues. Mécanisme d’évaluation de la performance des initiatives en matière de développement au regard des objectifs définis. Est également définie comme la mesure objective de la manière dont une entité réalise ses buts ou objectifs déclarés. Sure supplétive ou indicateur supplétif. Variable remplaçant une variable difficile à mesurer directement. Méthode du tableau synoptique. Méthode qui établit une relation logique entre les principaux éléments de la conception des programmes et projets et contribue à faire en sorte que l’intervention ait des chances de réaliser des résultats mesurables. On peut utiliser la « matrice du tableau synoptique » pour récapituler et assurer la cohérence des effets, produits, activités et apports, ainsi que pour déterminer d’importants risques ou hypothèses. Se définit également comme une méthode de planification et de gestion de programme axée sur les résultats. Cette méthode permet de déterminer les éléments stratégiques (apports, produits, effets, buts) d’un programme, leurs relations de cause à effet, ainsi que les éléments extérieurs pouvant déterminer la réussite ou l’échec du programme. Cette méthode suppose la mise en place d’indicateurs de performance pour suivre et évaluer la réalisation des buts des programmes. Partenariat. Collaboration entre institutions à la réalisation de buts et objectifs communs et convenus faisant appel aux forces individuelles et maximisant les synergies. Des partenariats efficaces, où l’apport de chaque partenaire est bien compris, sont au centre de la réalisation de résultats. Parties prenantes. Particuliers, groupes ou entités intéressés directement aux objectifs et à l’exécution d’un programme ou projet : communautés dont le programme cherche à modifier la situation; personnel de terrain exécutant des activités; responsables de projet et de programme qui supervisent l’exécution; donateurs et autres décideurs qui déterminent la conduite à tenir en ce qui concerne le programme; partisans, critiques et autres personnes qui jouent un rôle dans l’environnement du programme. Dans le cas de l’évaluation participative, les parties prenantes jouent un rôle de plus en plus actif dans l’évaluation en formulant les questions, en planifiant l’évaluation, en réunissant les données et en réglant les problèmes. Pertinence. Mesure dans laquelle les objectifs d’un programme ou projet demeurent valables tels qu’ils ont été prévus au départ ou modifiés ultérieurement à cause d’un changement de conditions dans le contexte immédiat et l’environnement extérieur de ce programme ou projet. S’agissant d’un effet, la mesure dans laquelle il répond aux priorités nationales fondamentales et bénéficie de l’appui des principaux partenaires. Plan de travail.

Récapitulation annuelle ou pluriannuelle de tâches, calendriers et responsabilités. Constitue un outil de suivi pour assurer la réalisation de produits et des progrès dans la production d’effets. Plan-cadre des Nations Unies pour l’aide au développement. Cadre de planification et de ressources pour les programmes et projets de pays des organismes du système des Nations Unies. Élaboré sur la base de l’analyse de l’évaluation commune de pays. Portée de l’évaluation. Centre d’intérêt d’une évaluation sur le plan des questions à examiner, des limites, des éléments à analyser et des éléments à exclure de l’analyse. Produits. Produits concrets (y compris les services) d’un programme ou projet qui sont nécessaires à la réalisation des objectifs de ce dernier. Les produits concernent l’achèvement (plutôt que l’exécution) d’activités et constituent le type de résultats sur lesquels les responsables ont une forte influence. Exemple : services de vulgarisation agricole offerts à des riziculteurs. Voir « résultats ». Rapport annuel axé sur les résultats (RAAR). Principal instrument de communication d’information sur la performance et les progrès dans la réalisation des résultats par les entités opérationnelles concernant l’éventail complet d’interventions du PNUD. Globalement, le RAAR offre au PNUD une évaluation complète des principaux résultats réalisés et un examen des ressources au niveau de l’organisation. Il a pour objet de servir de base au retour d’information et à un ajustement permanent. Rapport coût-efficacité. Relation entre les coûts (apports) et les résultats d’un projet. Un projet est d’un meilleur rapport coût-efficacité s’il réalise ses résultats au moindre coût par rapport à d’autres projets visant les mêmes résultats. Recommandation. Suggestion de mesures à prendre dans des conditions données, les exécutants étant désignés. Exemple : à titre de stratégie pour faire accepter les résultats de ses recherches par les utilisateurs visés, l’Institut d’agronomie devrait créer un centre d’échange d’information avec les utilisateurs visés. Grâce à un programme systématique d’échange d’information, l’Institut devrait communiquer aux utilisateurs des renseignements sur les nouvelles technologies en cours de développement et solliciter leurs vues sur la manière d’améliorer ces technologies. Renforcement des capacités. Opération par laquelle des particuliers, groupes, organismes et pays renforcent, améliorent et organisent leurs systèmes, ressources et connaissances apparaissant dans leur aptitude à remplir des fonctions, résoudre des problèmes et fixer et réaliser des objectifs, individuellement et collectivement. Responsabilité. Responsabilité liée à la justification des dépenses, décisions ou résultats de l’exercice du pouvoir et des fonctions officielles, y compris des fonctions déléguées à un groupe ou une personne. Dans le cas des responsables de programme, il s’agit de la responsabilité de démontrer aux parties prenantes qu’un programme est efficace et correspond aux résultats escomptés tout en répondant aux exigences juridiques et financières. Pour les organisations qui favorisent l’apprentissage, la

responsabilité peut aussi se mesurer à la manière dont les cadres utilisent les résultats du suivi et de l’évaluation. La responsabilité comporte également l’obligation de donner une image précise et juste de l’efficacité et des résultats des opérations. Elle concerne l’obligation qu’ont les partenaires du développement d’agir selon des attributions, rôles et prestations clairement définis et d’assurer un suivi, une évaluation et une information crédibles. Retour d’information. Organisation et conditionnement des informations pertinentes provenant d’activités de suivi et d’évaluation, diffusion de cette information auprès de ses destinataires et surtout exploitation de cette information en vue de la prise de décisions et de la promotion de l’apprentissage dans une organisation. En tant que produit, le retour d’information désigne l’information produite au moyen du suivi et de l’évaluation et communiquée aux parties intéressées. Peut comporter constatations, conclusions, recommandations et enseignements tirés de l’expérience. Sensibilisation. Plaidoyer en faveur de quelque chose ou de quelqu’un, représentation ou recommandation de quelque chose ou de quelqu’un. Le rôle de sensibilisation du PNUD consiste à favoriser le programme de développement humain aux échelons mondial, régional et national par le jeu d’éléments tels qu’allégement de la dette, égalité entre les sexes, élimination de la pauvreté, changement climatique et bonne gouvernance. Relève de l’« appui conseil ». Sources secondaires. Sources telles que rapports d’étape, rapports annuels, notes, études sectorielles et données de référence. Fournissent les données de base et de référence et les ressources nécessaires à l’évaluation. Suivi des effets. Collecte et analyse de données en vue de mesurer la performance d’un programme, projet, partenariat, réforme générale ou appui conseil pour ce qui est de la réalisation de effets de développement au niveau du pays. Un ensemble d’indicateurs définis est élaboré pour suivre régulièrement les principaux aspects de la performance. La performance reflète l’efficacité dans la transformation d’apports en produits, résultats et impacts. Suivi. Fonction continue visant essentiellement à donner aux responsables et principales parties prenantes un retour d’information régulier et de premières indications concernant les progrès ou l’absence de progrès dans la réalisation des effets visés. Il s’agit de suivre l’exécution ou la situation par rapport au projet ou attente sur la base de normes prédéterminées. Le suivi suppose généralement la collecte et l’analyse de données sur les procédures, stratégies et résultats de l’exécution ainsi que la recommandation de mesures correctives. Système de notation. Instrument permettant de former et de confirmer un jugement quant à la pertinence, à la performance et au succès d’un programme ou projet au moyen d’une échelle de codes numériques, alphabétiques ou descriptifs. Validité.

Précision de la mesure ou du test. Pour être valides, les évaluations doivent tenir compte de tous les facteurs pertinents, étant donné le contexte global de l’évaluation, et leur accorder le poids qu’il convient au cours de la formulation des conclusions et recommandations.