Guided’Echantillonnage

Robert Magnani

Food and Nutrition Technical Assistance ProjectAcademy for Educational Development1825 Connecticut Ave., NW,Washington, DC, 20009-5721Tel: 202-884-8077Fax: 202-884-8432Courrier électronique : fanta@aed.orgSite Web: http://www.fantaproject.org

Cette publication a bénéficié du soutienfourni par l’Office de la Santé et de laNutrition, Bureau des Programmesglobaux, Agence des Etats-Unis pour leDéveloppement international, auxtermes de l’Accord coopératif No. HRN-A-00-98-00046-00, Projet d’Assistancetechnique pour l’Alimentation et laNutrition (FANTA), accordé àl’Académie pour le Développement del’Education. Un soutien complémentairea été apporté par l’Office de Nourriturepour la Paix, Bureau de Réponsehumanitaire. Des versions précédentesdu guide ont été élaborées avec unfinancement du Projet de Suivi del’Alimentation et de la Nutrition(IMPACT) (Contrat No. DAN-5110-Q-00-0014-00, Commande 16), géré parl’International Science and TechnologyInstitute, Inc. (ISTI). Les opinionsexprimées ici incombent aux auteurs etne reflètent pas forcément les vues del’Agence des Etats-Unis pour leDéveloppement international.

Publiée en décembre 1997Publiée en français 2001

Des exemplaires du Guide peuventêtre obtenus auprès :

Food and Nutrition Technical AssistanceProject (FANTA)Academy for Educational Development1825 Connecticut Avenue, NW,Washington, DC 20009-5721Tél : 202-884 8000 Fax : 202-884 8432Courrier électronique : fanta@aed.orgSite Web : http://www.fantaproject.org

Table des matières

1. Objectif du Guide2. Définir les objectifs de mesure3. Déterminer les tailles nécessaires de l’échantillon4. Choisir l’échantillon5. Analyser les données

Figures3-1: Exemples d’information nécessaire pour déterminer la taillede l'échantillon, indicateurs génériques de l'alimentation infantileet juvénile au Titre II3-2: Valeurs de Zα et Zβ

3-3: Exemples de calculs de la taille de l’échantillon exprimésen tant que proportions3-4: Tailles de l’échantillon nécessaires pour les combinaisonschoisies de P1 et les changements ou différences entre groupesde comparaison devant être détectés (pour α = 0,95 et β = 0,80)3-5: Exemple de calcul de taille d’échantillon pour un indicateurexprimé comme moyenne3-6: Nombres typiques de ménages à contacter pour trouver unindividu de référence pour les indicateurs sanitaires génériquesdu Titre II (en supposant six personnes par ménage)3-7: Exemple de calcul de la taille de l'échantillon pour lesenquêtes de suivi pour des indicateurs exprimés en tant queproportions3-8: Exemple de calcul de la taille de l'échantillon pour lesenquêtes de suivi pour un indicateur exprimé en tant quemoyenne

4-1: Etapes de la sélection d’un échantillon systématiquealéatoire de grappes avec PPT4-2: Exemple - sélection d’un échantillon systématique aléatoirede grappes avec PPT4-3: Etapes de la sélection d’un échantillon systématiquealéatoire de grappes avec probabilité égale4-4: Exemple – sélection d’un échantillon systématique aléatoirede grappes avec probabilité égale4-5: Etapes d’utilisation de la méthode de segmentation pourchoisir les ménages de l'échantillon4-6: Exemple d’une grappe hypothétique qui a été divisée en sixsegments4-7: Carte d’une grappe d’échantillons hypothétiques montrantles points de départ possibles4-8: Exemple de la conception d’un échantillon et de la sélectionpour une zone de comparaison5-1: Procédures pour calculer les probabilités d'échantillonnagepour les éléments de l'échantillon (Pi) pour les plansd'échantillonnage par grappe deux stades5-2: Exemple de calcul des probabilités de sélection, poidsd'échantillonnage et poids d'échantillonnage standardisés –données hypothétiques

AnnexesAnnexe 1 : Liste des indicateurs génériques du Titre IIAnnexe 2 : Tailles de l’échantillon nécessaires pour lescombinaisons choisies de P1 et changements ou différencesentres groupes de comparaison devant être détectés(pour α = 0,95 et β = 0,90)

Remerciements

Le Guide a été rédigé par Robert Magnani, de l'Ecole de Santé publiqueet de Médecine tropicale de l'Université de Tulane, pour le projetIMPACT. Les auteurs tiennent à faire mention de Janet Rice, Universitéde Tulane, pour ses commentaires fort utiles sur les avant-projets.Eunyong Chung, de l’Office de la Santé et de la Nutrition du Bureauglobal de l’USAID, a apporté des connaissances précieuses et un soutienen général pour la mise au point du présent Guide. Le Bureau deNourriture pour la Paix a joué un rôle très important, encourageant etsoutenant l’élaboration du Guide. Bruce Cogill, Anne Swindale et PatrickDiskin, du Projet IMPACT, ont fourni de nombreux commentaires et uneassistance importante. Une mention toute spéciale doit être faite del’éditrice, Dorothy B. Wexler et de la conseillère au collationnement detexte, Stacy Swartwood. Les promoteurs collaborateurs ont joué un rôleessentiel au niveau de la mise au point de ce Guide. Ce Guide leur estconsacré.

A propos de cette série

Cette série de Guides d’Indicateurs génériques du Titre II a été mise aupoint par le Projet d’Assistance technique pour l’Alimentation et laNutrition (FANTA) et ses projets prédécesseurs (IMPACT,LINKAGES), dans le cadre du soutien USAID des Organismescollaborateurs pour la mise au point de systèmes de suivi et d’évaluationdevant être utilisés dans le cadre des programmes du Titre II. Ces guidesdoivent fournir la base technique pour les indicateurs et la méthoderecommandée pour collecter, analyser et notifier les indicateursgénériques mis au point en consultation avec les organisations bénévoleprivées (OBP) en 1995/1996.

Voici une liste des guides disponibles:Agricultural Productivity Indicators Measurement Guide par Patrick

DiskinAnthropometric Indicators Measurement Guide par Bruce CogillFood Security Indicators and Framework for use in the Monitoring and

Evaluation of Food Aid Programs par Frank Riely, Nancy Mock,Bruce Cogill, Laura Bailey et Eric Kenefick

Household Food Consumption Indicators Measurement Guide par AnneSwindale et Punam Ohri-Vachaspati

Infant and Child Feeding Indicators Measurement Guide par MaryLung'aho

Sampling Guide (Guide d’Echantillonnage) par Robert MagnaniWater and Sanitation Indicators Measurement Guide par Pat Billig

1

1. Objectif du Guide

L’échantillonnage a pour but de réduirele coût de la collecte de données sur unepopulation en réunissant une informationprovenant d’un sous-ensemble au lieu dela population entière. Les enquêtes parsondage sont souvent le moyen le plusfaisable de réunir les donnéesnécessaires pour l’évaluation desprogrammes du Titre II. Ce guidemontre comment choisir des échantillonsde communautés, de ménages et/oud’individus pour de telles enquêtes demanière à les utiliser de pair avec desindicateurs adéquats et des plans d’étuded’évaluation pour arriver à desconclusions valides quant à l’efficacitédes programmes au Titre II. Le guidesouligne l’utilisation des méthodesd’échantillonnage probabiliste, jugéesessentielles pour assurer l’objectivité desévaluations du programme. Desestimations des caractéristiques de lapopulation tirées des enquêtes sursondage faites en suivant les directivessuggérées représenteront probablementde manière approximative la« véritable » valeur de la populationdans les limites d’une marge d’erreurspécifiée avec une probabilité connue.

Le guide a été rédigé pour des lecteursdisposant d’une connaissance limitée enmatière d’échantillonnage. Toutefois,une connaissance fondamentale enstatistiques facilitera l’utilisation duguide. Le matériel est présenté étape parétape dans la séquence susceptible d’êtreadoptée lors de l’évaluation du Titre II.Quatre phases principales sont décrites :

1. Définir les objectifs de mesurede l'enquêteIci, il s’agit de ce que l’enquête elle-même espère accomplir. Cette phasetraite aussi bien la substance de l'étude –à savoir, quels sont les progrès qu’ungroupe cible a fait face aux objectifs duprojet – que de la question statistiqueliée au degré de précision des données.

2. Déterminer les conditions liéesà la taille de l'échantillonCela explique comment calculer lestailles d’échantillon après avoir décidéde ce qui est mesuré et du degré deprécision avec lequel cela doit êtremesuré. La méthode consiste en troisgrandes étapes. Premièrement, il fautdéterminer le nombre total d’éléments de

2

l’échantillon. Pour cela, des formulessont présentées afin d’identifier lenombre de personnes qu’il fautéchantillonner en fonction du critèresuivant : est-ce que les progrès doiventêtre mesurés au niveau des changementsde la proportion de la population avectelle caractéristique donnée ou deschangements de la moyenne d’unindicateur donné (par exemple, caloriestotales consommées par habitant et parjour). Deuxièmement, le nombre totald’éléments doit être converti en nombrede ménages qu’il faut contacter.Troisièmement, le nombre total deménages doit être traduit en unitéspratiques (grappes et sujets de cesgrappes) auxquelles rendra visitel’équipe de l’enquête.

3. Choisir l’échantillonIci, l’on définit l’échantillonnageprobabiliste et l’on explique pourquoi ilest recommandé. Ensuite, cette phaseexplique, étape par étape, les diversesmanières dont sont choisis les grappes etles éléments susmentionnés, en fonctiondes circonstances (surtout si l’on connaîtou non la taille de la grappe). Dessuggestions sont également faites pourtraiter les problèmes opérationnels.

4. Analyser les donnéesIci, l’on traite des questions statistiquesliées au calcul des poids et des erreurs

types qui se présentent suite à lacombinaison de méthodes utilisées pourchoisir les grappes et les éléments. Desformules sont présentées pour le calculde poids entrant dans diversescombinaisons classiques.

Ce guide est différent d’autres guidesd’échantillonnage destinés au personnelde terrain car il apporte de brèvesexplications sur le bien-fondé desdiverses procédures et pratiquesd’échantillonnage. En effet, on penseque le personnel de terrain sera mieuxéquipé pour adapter les procédures auxcirconstances locales s’il comprend lebien fondé sous-jacent et la raison d’êtrede ces procédures. Des exemples à titred’illustration des calculs et procéduressont donnés tout au long du guide.

Le guide a été rédigé pour traiter desquestions d’échantillonnage susceptiblesde se présenter lors des évaluations duprogramme du Titre II, mais aucundocument de ce type ne saurait anticiperentièrement toutes les nuances pouvantapparaître lors des applicationseffectives. Aussi, les utilisateurs duguide devraient-ils savoir à l’avancequ’ils devront, à l’occasion, consulterdes personnes ayant une expertise enmatière d’échantillonnage.

3

2. Définir les objectifs de mesure

La première étape de la conceptiond’une enquête consiste à définir lesobjectifs de mesure. C’estparticulièrement important quandl’enquête doit dégager les donnéesprimaires pour les évaluations desprogrammes. Quand les objectifs sontclairement spécifiés, les questionsadéquates peuvent être incluses auprotocole d’enquête et un pland’échantillonnage pertinent pourra êtreconçu pour ces protocoles. Quand ellessont définies de manière inadéquate,l’enquête et l’évaluation du programmerisquent de faire fausse route dès ledébut.

Pour définir les objectifs de mesure,il faut notamment répondre aux troisquestions suivantes:• Qu’est-ce qui doit être mesuré ?• Chez qui ?• Avec quel niveau de précision

nécessaire ?

Qu’est-ce qui doit être mesuré ?La réponse à la question « qu’est-ce quidoit être mesuré ? » est généralementposée en termes de variables ou

d’indicateurs.1 Les indicateursrecommandés pour les diversprogrammes du Titre II sont présentésdans d’autres guides du projet IMPACTet, par conséquent, ils ne sont pasexaminés de manière approfondie dansce rapport. Aux fins d’évaluation, ils serapportent aux types de résultats oud’effets que le programme souhaiteavoir : par exemple, réduction desniveaux d’enfants souffrant demalnutrition, âgés de six à 59 mois ouaugmentations des taux d’enfants allaitésexclusivement au sein de moins de sixmois.

Il convient de faire attention à deuxautres aspects de la question « qu’est-cequi doit être mesuré ? » : (1) est-ce queles changements dans le temps serontmesurés ou alors les changements ausein du groupe cible comparés à ungroupe/région témoin, et (2) quels sontles éventuels facteurs interférents

1 Dans l’idéal, ce qui est mesuré sera défini pardes « tableaux fictifs » pour le rapport final. Cestableaux indiqueront la manière dont les donnéesmesurées dans le cadre d’une enquête donnéeseront utilisées pour l’analyse.

4

pouvant se présenter lorsqu’on utilise ungroupe témoin ou une région témoin.

Le premier aspect (qu’il s’agisse demesurer les changements dans le tempsou les différences entre les groupes duprojet et les groupes témoins) estimportant parce que les conditions liéesà la taille de l'échantillon varieront demanière considérable suivant la formulechoisie (voir Chapitre 3 pour unediscussion plus approfondie).L’importance du second aspect résidedans le fait que tout facteur interférentpouvant biaiser les résultats de l'analysede données avec des groupes témoins oudes régions témoins doit être identifiédès le départ. Evidemment, tous lesefforts doivent être faits pour choisir unezone témoin qui est aussi analogue quepossible à la zone du programme. Mais,vu qu’il existera presque inévitablementcertaines différences, toute variable outout facteur dont on pense qu’il pourraitinfluencer les indicateurs de résultatpour l’évaluation doit être spécifié.Ainsi, il pourra être mesuré dans lesprotocoles d’enquête. Cet aspect estdiscuté plus dans le détail dans le Guidedu Suivi et de l’Evaluation du ProjetIMPACT.

Chez qui ?La question « chez qui ? » est la basepour définir (1) la population à laquelleon pourra extrapoler de manière valideles résultats de l’enquête, et (2) la portéedes opérations d’échantillonnage et detravail de terrain qui seront entreprises.Ici, plusieurs aspects doivent être pris encompte.

Domaines : Un domaine concerne unepopulation ou un sous-groupe spécifiquepour lequel on souhaite obtenir desestimations d’enquête séparées. Pour lesévaluations des projets du Titre II, lesdomaines regroupent généralement, soit

(1) la population générale de la zoneciblée par le projet, soit (2) la sous-population des bénéficiaires du projet.Lorsqu’on utilise des groupes ou desrégions témoins, cette sous-populationconstitue un domaine supplémentaire.

Les domaines doivent être définisdès le départ puisque la taille del’échantillon doit être déterminée sur labase par domaine (voir Chapitre 3). Parexemple, si l’on souhaite comparer denouvelles régions du projet àd’anciennes régions du projet, ces deuxgroupes devront être identifiés commedes domaines séparés. Cela garantira unetaille d’échantillon dans chaque groupesuffisante pour faire des comparaisonsvalides. Le mécanisme visant à diviser lapopulation étudiée en sous-groupes oudomaines séparés est appeléstratification.

Désigner une population ou un sous-groupe particulier présentant un intérêtpour l'étude en tant que domaine est laseule manière de vérifier que la taillede l’échantillon est suffisante pourmesurer de manière fiable leschangements dans le temps pour lessous-groupes ou les différences entreles groupes de comparaison.

Univers de l'enquête : L’universconcerne la population et/ou la zonegéographique pour laquelle desinférences ou déductions peuvent êtrefaites à partir des données de l’enquête.Dans ce guide, l’univers seranormalement la population de la zonegéographique couverte par le projet quiest en train d’être évaluée. S’il existe ungroupe témoin, son univers sera lapopulation définie géographiquement denon-bénéficiaires à partir desquels

5

l’échantillon témoin a été choisi. Si lesressources ne suffisent pas pour couvrirl’univers entier de l'enquête, un universpartiel pourra être utilisé – trois des cinqcirconscriptions couvertes par un projet,par exemple. Toutefois, cela limite lacapacité à généraliser les données del’enquête (et les résultats del’évaluation) à un univers plus petit.2

Unités de mesure et répondants : Lesunités de mesure sont les personnesauxquelles se réfèrent les données del'enquête et les répondants sont lespersonnes à partir desquellesl’information est obtenue. Les unités demesure sont généralement définies parles indicateurs. Les indicateurs desprogrammes du Titre II concernentgénéralement les ménages, à l’exceptiondes indicateurs sur l’alimentationinfantile où ce sont des nourrissons ouenfants de moins de 24 mois quiconstituent les unités. Répondants etunités de mesure peuvent être la mêmechose, mais pas forcément. Ils sont lamême chose pour des indicateurs pourlesquels les répondants doivent donnerdes informations sur eux-mêmes. Ilsdiffèrent quand l’information est obtenueà partir de ce que l’on appelle desrépondants indirects ou délégues. Parexemple, l’information sur lesindicateurs liés à l’alimentation infantile 2 La capacité à généraliser reste limitée, même siles circonscriptions sont choisies aléatoirement.Cela est dû au fait que la randomisation exige unnombre suffisamment important d’unitésd’échantillonnage pour dégager des estimationsnon biaisées. A cet effet, il est utile de choisir unéchantillon de circonscriptions qui« représentent » l’ensemble plus grand decirconscriptions si l’on peut démontrerempiriquement que les circonscriptions del'échantillon sont analogues du point de vuecaractéristiques clés et que l’exécution duprogramme ne favorise pas les circonscriptionschoisies pour l’évaluation.

est généralement obtenue auprès de lamère ou de la personne qui s’occupe del'enfant. Les indicateurs au niveauménage sont généralement mesurés enobtenant une information de la part d’uninformant qui connaît bien la situationdu ménage.

Les unités de mesure et lesrépondants pour chaque indicateurdoivent être identifiés dès le début de laconception de l’enquête, car ilsinfluencent la formulation du pland’échantillonnage ou plan de sondage etla qualité des données de l’enquêtecollectées.

Quel est le niveau de précisionnécessaire ?Le niveau ou degré de précisionnécessaire pour une enquête concernel’ordre de grandeur de l’erreur au niveaudes estimations de l'enquête jugétolérable pour telle ou telle activité. Lesenquêtes peuvent être conçues pourfournir des estimations très précises ouuniquement des approximationssommaires. Le degré différera enfonction des ressources disponibles etdes utilisations escomptées des donnéesde l’enquête.

Pour les enquêtes conçues pourmesurer le changement dans le temps oules différences entre des groupes decomparaison, la précision est spécifiéeen termes du plus petit changement oude la plus petite différence avec legroupe de comparaison qui peut êtremesuré de manière fiable. Ce dont ils’agit sera décidé par le concepteur del’enquête en fonction du niveau designification statistique et de puissance(voir Chapitre 3, notamment Sections 1et 3.6). Cela dépendra également desobjectifs du programme qui ont étéspécifiés pour un indicateur donné.

6

Pour les enquêtes conçues pourmesurer le changement dans le tempsou les différences entre les groupes decomparaison, la précision est spécifiéeen termes du plus petit changement oude la plus petite différence entre lesgroupes de comparaison qui peut êtremesuré de manière fiable.

La tâche consistant à spécifier laprécision de l’enquête pour lesévaluations du programme du Titre II estsimplifiée quand les objectifs du

programme sont stipulés en termesd’indicateurs objectivement vérifiables,avec des cibles de performance. Parexemple, un programme du Titre II auMozambique pour la période 1997-2001stipule une amélioration del’emmagasinage et de la transformationalimentaire dans les exploitationsagricoles d’ici 2001 et spécifie que cetteamélioration sera mesurée partiellementau niveau de l’éventuel accroissement de30% dans l’adoption de meilleurestechniques d’emmagasinage d’ici la findu projet.

7

3. Déterminer les tailles nécessairesde l’échantillon

1. Facteurs influençant lesdécisions liées à la taille del’échantillonLa taille de l’échantillon nécessaire pourune enquête donnée est déterminée parses objectifs de mesure. Pour lesenquêtes conçues pour mesurer soit deschangements au niveau des indicateursdans le temps, soit des différences auniveau des indicateurs entre les régionsdu projet et les régions témoins, cinqfacteurs déterminent la taille del'échantillon nécessaire pour unindicateur donné pour chaque séried’enquêtes et/ou groupe de comparaison.Les deux premiers facteurs concernentdes caractéristiques de population et lestrois derniers sont choisis par leconcepteur de l’enquête ou leresponsable de l’évaluation. Il s’agit desfacteurs suivants :• nombre d’unités de mesures au sein

de la population cible• niveau initial de l'indicateur• ordre de grandeur du changement ou

des différences entre les groupes decomparaison susceptible d’êtremesuré de manière fiable

• degré de confiance avec lequel onsouhaite pouvoir dire qu’unchangement observé ou unedifférence entre les groupes decomparaison, de l’ordre de grandeursusmentionné, n’aurait pas eu lieupar hasard (niveau de significationstatistique), et

• degré de confiance avec lequel onsouhaite pouvoir dire qu’unchangement effectif ou unedifférence effective, de l’ordre degrandeur susmentionné, pourra êtredétecté (puissance statistique).

Aux fins d’exemple, pour une évaluationconçue pour mesurer des changementsdans le temps (par exemple, uneconception prétest/post-test d’ungroupe), probablement que l’on souhaitemesurer une diminution d’un point depourcentage dans la proportion d’enfantsde six à 59 mois qui ont un poidsinsuffisant avec un degré de confiancede 95% et une puissance de 80%. Si40% des enfants, d’après les estimations,étaient d’un poids insuffisant au momentde l'enquête initiale, l’objectif serait de

8

mesurer un changement dans laprévalence des enfants d’un poidsinsuffisant, passant de 40% à 20% etd’avoir (1) un degré de confiance de95% montrant que la baisse ne se seraitpas produite par hasard et (2) un degréde confiance de 80% sachant que l’onpeut détecter un tel changement s’il aeffectivement eu lieu (puissance). Lescalculs liés à la taille de l'échantillonrépondent à deux questions :(1) Combien d’enfants âgés de six à 59mois (unité de mesure) seront-ilsnécessaires pour atteindre les objectifssusmentionnés ?, et (2) Combien deménages faudra-t-il choisir pour trouverce nombre d’enfants ?

Pour une évaluation uniquementpost-test, comparant les zones du projetet les zones témoins, l’on suppose que lamême différence – 20 points depourcentage – est souhaitée entre lesdeux pour un indicateur spécifié. Lataille de l'échantillon devra êtredéterminée pour être en mesure dedétecter de manière fiable une telledifférence entre les deux régions. Lemême principe s’applique à laconception prétest et post-test aveczones de traitement et zones témoins,sauf que la taille de l'échantillon devraêtre fixée pour vérifier une détectionfiable de la différence dans le degré dechangement.

2. Besoins d’information au départAvant de commencer à déterminer lataille de l’échantillon, une informationdoit être collectée concernant deuxaspects :• la composition des ménages, et• les niveaux ou taux escomptés ou

normaux des indicateurs devant êtremesurés.

La composition des ménages concerne laproportion du total des ménages pouvantavoir un individu ou des individus dansle sous-groupe en question. (L’utilisationde cette information est expliquée ci-après à la Section 3.1.2 de la page 16décrivant comment convertir le nombred’éléments nécessaires en nombre deménages qu’il faut contacter.) Parexemple, l’indicateur générique du TitreII « Pourcentage de nourrissons recevantdes aliments supplémentaires pendantdeux semaines après la diarrhée »exigera des estimations de la proportionde ménages susceptibles d’avoir desenfants de moins de 24 mois. La sourcehabituelle d’information pour lacomposition des ménages est lerecensement le plus récent de lapopulation. Dans l’idéal, l’on disposerade données pour la zone cible duprogramme devant être évaluée. Si teln’est pas le cas, l’on utilisera desdonnées pour le niveau suivantd’agrégation (par exemple, département,province ou région) ; et si ces donnéesne sont pas non plus disponibles, ilfaudra utiliser des données au niveaunational.

L’information sur les niveaux outaux escomptés des divers indicateursqui seront mesurés n’est pas aussi facileà obtenir. Par exemple, pour lepourcentage de nourrissons recevant desaliments supplémentaires après ladiarrhée, deux choses doivent êtredéterminées : (1) la proportion de cesenfants susceptibles d’avoir eu unépisode diarrhéique dans les deuxsemaines précédant l’enquête, et (2) laproportion susceptible d’avoir reçu desaliments supplémentaires suivant unépisode diarrhéique pendant la périodejuste avant l’enquête. Les sourcespossibles d’information sont les enquêtesprécédentes qui ont pu être faites dans le

9

pays ou dans un pays voisin, les donnéesdu Ministère de la Santé ou d’autresorganismes publics ou encore lesmeilleures estimations de personnesconnaissant bien la situation. La Section3.3 ci-après fournit des directives sur cequ’il faudrait faire si aucune sourcefiable d’information n’est disponible.

La Figure 3-1 fournit des exemplesdu type de données préliminaires sur lapopulation en question devant êtredisponibles avant de commencer letravail consistant à fixer la taille del’échantillon pour une enquête donnéedes indicateurs sur l’alimentation dunourrisson et de l’enfant du Titre II.

Figure 3-1 : Exemples d’information nécessaire pour déterminer lataille de l'échantillon, indicateurs génériques de l'alimentation infantileet juvénile au Titre II

A. Information sur la composition de la population :1. Nombre moyen de personnes par ménage2. Proportion de la population totale qui a :

a. Des enfants âgés de moins de 0-59 mois.b. Des enfants âgés de moins de 24 mois.c. Des nourrissons âgés de moins de six mois.d. Des nourrissons âgés de six à 10 mois.

B. Information sur les niveaux ou taux escomptés de la population cible :1. Proportion d’enfants âgés de six à 59 mois qui sont chroniquement.2. Proportion d’enfants âgés de six à 59 mois qui ont un poids

insuffisant.3. Proportion de nourrissons de moins de six mois qui ont été allaités

dans l’heure - huit heures suivant la naissance.4. Proportion de nourrissons de moins de six mois allaités uniquement.5. Proportion de nourrissons âgés de six à 10 mois qui reçoivent des

aliments complémentaires.6. Proportion d’enfants de moins de 24 mois qui ont souffert d’un

épisode diarrhéique pendant les deux semaines précédant l’enquête.7. Proportion d’enfants de moins de 24 mois qui ont souffert d’un

épisode diarrhéique pendant les deux semaines précédant l’enquêteet qui ont reçu une alimentation continue.

8. Proportion d’enfants de moins de 24 mois qui ont souffert d’unépisode diarrhéique pendant les deux semaines précédant l’enquêteet qui ont reçu des aliments supplémentaires.

10

3. Calculs de la taille del’échantillon

3.1 Calculer le nombre d’éléments del’échantillon et de ménages : Deuxétapes permettent de déterminer la taillede l’échantillon de l’enquête :1) calculer le nombre d’éléments del’échantillon nécessaires pour répondreaux conditions de mesure d’unindicateur donné, et2) calculer le nombre de ménages qu’ilfaudra contacter pour trouver le nombred’éléments nécessaires dans le cadre dela première étape.

Les formules de ces calculs sontprésentées aux Sections 3.1.1 et 3.1.2 ci-après.

3.1.1 Calculer le nombre d’élémentsde l’échantillon : Les indicateurspeuvent être exprimés comme uneproportion, une moyenne ou un total.Dans le premier cas, un indicateur peutêtre exprimé comme une proportion dela population, à l’exemple dupourcentage de nourrissons jusqu’à l’âgede six mois qui sont allaitésexclusivement ou qui sont rabougris(voir la liste des indicateurs génériquesde l’alimentation infantile et juvénile duTitre II donnée à la Figure 3-6). Dans lesecond cas, quand ils sont expriméscomme une moyenne ou un total, lesindicateurs peuvent être donnés entermes de la quantité d’un produit donné,d’un bien ou du nombre total depersonnes, par exemple, l’apportcalorique moyen par jour et par habitantdans une population donnée.

3.1.1.1 Indicateurs exprimés en tantque proportions: La formule suivante(Equation de Base 1) peut être utiliséepour calculer la taille de l'échantillonnécessaire pour les indicateurs exprimésen tant que pourcentage ou proportion.Notons que les tailles de l’échantillon

obtenues concernent chaque séried’enquêtes ou chaque groupe decomparaison.

Equation de Base 1 :Proportions

n = D [(Zα + Zβ)2 * (P1 (1 - P1) + P2 (1 - P2)) /(P2 - P1)2]

CLE :

n = taille minimale de l’échantillonnécessaire par série d’enquêtes ougroupe de comparaison.

D = effet de conception (dans leséquations suivantes, cela est supposé êtrela valeur implicite de 2 - voir Section3.4 ci-après).

P1 = le niveau estimé d’un indicateurmesuré en tant que proportion aumoment de la première enquête ou pourla zone témoin.

P2 = le niveau escompté de l’indicateursoit à une date future, soit pour la zonedu projet de sorte à ce que la quantité (P2- P1) soit l’ordre de grandeur duchangement que l’on souhaite qu’ildétecte.

Zα = le score-Z correspondant au degréde confiance que l’on souhaite avoirpour conclure qu’un changementobservé de la taille (P2 - P1) n’aurait paseu lieu par hasard (α – niveau designification statistique), et

Zβ = le score-Z correspondant au degréde confiance que l’on souhaite avoirpour dépister avec certitude unchangement de la taille (P2 - P1) si un tel

11

changement a effectivement eu lieu (β –puissance statistique).

Zα et Zβ ont des valeurs « standard » enfonction de la fiabilité souhaitée. Elles

sont fournies ci-après dans la Figure 3-2.Notons que plus le pourcentage estélevé, plus le programme peut être sûr demesurer des résultats exacts.

Figure 3-2 : Valeurs de Zα et Zβ

α (alpha) Zα β (beta) Zβ

0,90 1,282 0,80 0,8400,95 1,645 0,90 1,2820,975 1,960 0,95 1,6450,99 2,326 0,975 1,960

0,999 2,320

L’utilisation de la formule pourcalculer les indicateurs exprimés entant que proportions est indiquée ci-

après à la Figure 3-3. Des paramètresstandard Zα et Zβ pris de la Figure 3-2sont incorporés.

12

Figure 3-3 : Exemples de calculs de la taille de l’échantillon exprimésen tant que proportions

Exemple 1 : Supposons que l’on veut mesurer un accroissement de 10points de pourcentage dans la proportion de ménages démontrant uncomportement correct de lavage des mains. Supposons qu’au moment dela première enquête, environ 50% des ménages avaient probablement debonnes pratiques de lavage des mains. Dans ce cas, P1 = 0,50 et P2 =0,60. En utilisant les paramètres standard avec un niveau de significationde 95% (α) et une puissance de 80% (β), les valeurs de la Figure 3-2 de Zα

= 1,645 et Zβ = 0,840 sont choisies. En insérant ces valeurs dans la formuleci-dessus, l’on obtient le résultat suivant :

n = 2 [(1,645 + 0,840)2 * ((0,5)(0,5) + (0,6)(0,4))] / (0,6 - 0,5)2

= 2 [(6,175 * 0,49) / 0,102]= 2 [(3,02575) / 0,01] = 2 (302,575) = 605,15,

soit 606 ménages par série d’enquêtes.

Exemple 2 : Supposons qu’un programme d’alimentation des enfantscherche à accroître la proportion de nourrissons de moins de six moisrecevant uniquement le lait maternel de 20 points de pourcentage sur unepériode de 5 ans. Supposons qu’au départ, l’on pense qu’environ 60% desnourrissons de la population cible sont allaités exclusivement pendant sixmois. Par conséquent, P1 = 0,60 et P2 = 0,80. Vu que le programmesouhaite être certain de pouvoir détecter un accroissement de 20 points depourcentage si un tel accroissement a effectivement lieu, on choisit unepuissance de 90%, de pair avec le niveau de signification standard de 95%.Par conséquent, Zα = 1,645 et Zβ = 1,282. La taille de l’échantillonnécessaire est donc:

n = 2 [(1,645 + 1,282)2 * ((0,6)(0,4) + (0,8)(0,2))] / (0,8 - 0,6)2

= 2 [(8,567 * 0,40) / 0,202]= 2 [(3,4268) / 0,04] = 2 (86,67) = 171,34,

soit 172 nourrissons par série d’enquêtes.

La Figure 3-4 permet au concepteur del'enquête qui connaît l’ampleur duchangement et le niveau de précisionsouhaité de choisir les tailles del’échantillon sans devoir faire les calculsmontrés ci-dessus. Les tailles del’échantillon montrées ont été calculéesen utilisant la formule de base dans cette

section : les valeurs pour les niveauxinitiaux de l'indicateur (P1) se situentdans une fourchette allant de 0,10 à 0,50et les changements/différences au niveaud’un indicateur donné d’ampleurspécifiée (P2 - P1) se situent dans unefourchette allant de 0,05 à 0,30. Cetableau concerne des valeurs de α = 0,95

13

et β = 0,80. Un tableau comparable pourα = 0,95 et β = 0,90 se trouve en Annexe

2. La Section 3.5 fournit des directivessur la manière de choisir les paramètres.

Figure 3-4 : Tailles de l’échantillon nécessaires pour les combinaisons choisiesde P1 et les changements ou différences entre groupes de comparaison devantêtre détectés (pour α = 0,95 et β = 0,80)

Changement/différence devant être détecté (P2 - P1)

Augmentation Diminution

P1 0,05 0,10 0,15 0,20 0,25 0,30 0,05 0,10 0,15 0,20 0,25 0,30

0,10 1 074 309 152 93 63 45 679 111 21 • • •

0,15 1 420 389 185 110 73 51 1 074 216 70 23 3 •

0,20 1 717 457 213 124 81 56 1 420 309 114 49 21 7

0,25 1 964 513 235 134 86 60 1 717 389 152 73 37 19

0,30 2 161 556 251 142 90 62 1 964 457 185 93 51 29

0,35 2 310 587 262 147 92 62 2 161 513 213 110 63 38

0,40 2 408 605 268 148 92 62 2 310 556 235 124 73 45

0,45 2 458 611 268 147 90 60 2 408 587 251 134 81 51

0,50 2 458 605 262 142 86 56 2 458 605 262 142 86 56

0,55 2 408 587 251 134 81 51 2 458 611 268 147 90 60

0,60 2 310 556 235 124 73 45 2 408 605 268 148 92 62

0,65 2 161 513 213 110 63 38 2 310 587 262 147 92 62

0,70 1 964 457 185 93 51 29 2 161 556 251 142 90 62

0,75 1 717 389 152 73 37 19 1 964 513 235 134 86 60

0,80 1 420 309 114 49 21 7 1 717 457 213 124 81 56

0,85 1 074 216 70 23 3 • 1 420 389 185 110 73 51

0,90 679 111 21 • • • 1 074 309 152 93 63 45

3.1.1.2 Pour les indicateurs exprimés entant que moyennes ou totaux: La formulesuivante peut être utilisée pour calculerla taille de l’échantillon nécessaire pourdes indicateurs qui sont exprimés en tant

que moyennes ou totaux. La taille del’échantillon doit être calculée pourchaque série d’enquêtes ou groupe decomparaison.

14

Equation de Base 2 : Moyennesou totaux

n = D [(Zα + Zβ)2 * (et12 + et22) /(X2 - X1)2]

CLE :

n = taille minimale de l’échantillonnécessaire par série d’enquêtes ougroupe de comparaison.

D = effet de conception pour lesenquêtes à grappes (utiliser la valeurimplicite de 2, tel que discuté dans laSection 3.4).

X1 = le niveau estimé d’un indicateurau moment de la première enquête oupour la zone témoin.

X2 = le niveau escompté del’indicateur soit à une date future, soitpour la zone du projet pour que laquantité (X2 - X1) soit la taille del’ampleur du changement ou desdifférences entre les groupes decomparaison que l’on souhaite être enmesure de détecter.

et1 et et2 = écart type escompté pour lesindicateurs pour les séries respectivesd’enquête ou les groupes decomparaison étant comparés

Zα = le score-Z correspondant audegré de confiance que l’on souhaiteavoir pour conclure qu’un changementobservé de la taille (X2 - X1) n’aurait paseu lieu par hasard (significationstatistique), et

Zβ = le score-Z correspondant audegré de confiance que l’on souhaiteavoir pour dépister avec certitude unchangement de la taille (X2 - X1) si untel changement a effectivement eu lieu(puissance statistique).

La principale difficulté en utilisant laformule susmentionnée, c’est qu’elledemande des informations sur l’écarttype de l’indicateur utilisé pour le calculde la taille de l’échantillon. La solutionpréférée consiste à utiliser des valeursd’une enquête précédente réalisée dansle contexte dans lequel est mis en œuvrele programme qui fait l’objet del’évaluation. Si de telles données ne sontpas disponibles, l’on peut utiliser desdonnées d’une autre partie du pays oud’un pays voisin avec descaractéristiques analogues. De tellesdonnées sont souvent présentées dans lesrapports d’enquête.

La formule ci-dessus est appliquée àla Figure 3-5. Les valeurs types pour Zα

et Zβ fournies dans la Figure 3-2 sontutilisées.

15

Figure 3-5 : Exemple de calcul de taille d’échantillon pour un indicateurexprimé comme moyenne

Supposons que l’on souhaite mesurer les effets d’un programme de Titre IIsur la consommation quotidienne de calories par habitant. Au début duprogramme, l’on suppose qu’une moyenne de 1 700 calories par habitant etpar jour sont consommées par la population ciblée par le projet. Le but duprogramme est d’arriver à un accroissement de 20%, soit 340 calories parhabitant et par jour. Par conséquent, X1 = 1 700 et X2 = 2 040. Des donnéesd’une enquête récente faite dans une région voisine indiquent uneconsommation moyenne de calories par jour et par habitant de 1 892 et unécart type de 1 136.

En calculant la taille de l’échantillon nécessaire, l’on suppose un rapportconstant entre l’écart type et l’apport moyen de calories dans les deuxséries d’enquêtes. En utilisant les données du pays voisin, nous pouvonsarriver à un écart type approximatif en utilisant le ratio entre la moyenne dupays voisin et l’écart type et en l’appliquant aux moyennes estimées X1 et X2(1 700 et 2 040). Par conséquent, l’écart type estimé (et1) est calculé encalculant le ratio de la moyenne de la population de référence ou populationvoisine par rapport à l’écart type (1 892/1 136), soit 1,6655 et en l’appliquantà la moyenne X1 estimée : 1 700/1,6655 = 1 021. Le second écart type (et2)est calculé en appliquant le même ratio de la moyenne du pays voisin àl’écart type (1 892/1 136), soit 1,6655 et en l’appliquant à la moyenneestimée X2 : 2 040/1,6655 = 1 225.

En fonction des paramètres standard avec un niveau de signification de95% et une puissance de 80%, les valeurs de la Figure 3-2 de Zα = 1,645 etZβ = 0,840 sont choisies. En insérant ces valeurs à la formule ci-dessus, l’onarrive au résultat suivant :

n = 2[(1,645 + 0,840)2 * (10212 + 12252) / (2 040 - 1 700)2]= 2[(6,175)(2 543 066) / (340)2]= 2[15 705 432 / 115 600] = 2(135,843) = 272

soit 272 ménages par série d’enquêtes.

3.1.2 Déterminer le nombre de ménagesqui doivent être contactés : Les calculsci-dessus permettent au concepteur del’enquête de connaître le nombred’éléments de l’échantillon qui doiventêtre contactés pour mesurer leschangements/différences au niveau desindicateurs clés. Mais tous les ménages

n’auront pas un membre qui entre dansla catégorie indiquée dans l’indicateur(par exemple, des enfants de moins desix mois ou des enfants qui ont eu unépisode diarrhéique les deux semainesprécédentes), et il faudra donc contacterun nombre plus important de ménagespendant les travaux de terrain de

16

l’enquête que le nombre d’élémentsindiqués. Ensuite, l’étape suivanteconsiste à convertir la taille del’échantillon exprimée en termesd’éléments en taille de l’échantillonexprimée en termes de ménages. (Notonsque la procédure de calcul de la taille del’échantillon en deux étapes n’est pasnécessaire pour les indicateurs mesurésau niveau des ménages car, pardéfinition, les indicateurs au niveauménage peuvent être mesurés pourchaque ménage choisi dans unéchantillon donné.)

Par exemple, pour l’indicateur« Pourcentage de nourrissons/enfants demoins de 24 mois allaités pendant lapremière heure de la vie, » normalement6%-8% seulement de la populationciblée par le projet comprendra desnourrissons/enfants de moins de 24mois. (La fourchette reflète le niveau defécondité au sein de la population ; plusla fécondité est élevée, plus on aura uneproportion importante de nourrissons etd’enfants au sein de la population.) Parconséquent, au sein d’une population oùle nombre moyen de personnes parménage est de 6, l’on peut s’attendre àce que 36%-48% des ménagescomprennent des nourrissons/enfants demoins de 24 mois.

L’étape suivante consiste à convertircette information en nombre de ménagesqu’il faut contacter pour trouver lenombre d’éléments nécessaires.Supposons que dans ce cas, on adéterminé qu’il faudrait 300nourrissons/enfants de moins de 24 moispour obtenir l’indicateur susmentionnésur l’allaitement maternel. Supposons enoutre qu’il s’agit d’une population àfécondité élevée, alors le nombre deménages sera calculé de la manièresuivante : 300/(0,08 * 6), soit 300/0,48,égal à un total de n=625 ménages.

Notons également que, dans ladiscussion susmentionnée, l’on supposeque tous les sujets présentant lesconditions requises pour un indicateurtrouvé dans un ménage de l’échantillondoivent être inclus dans l’échantillon (àsavoir, tous les enfants âgés de six à 59mois). Une autre stratégie consisterait àéchantillonner uniquement un sujetprésentant les conditions requises parménage (quel que soit le nombre qu’onpeut y trouver). Toutefois, celademanderait que l’on contacte unnombre plus important de ménages, d’oùdes coûts plus élevés pour le travail deterrain de l’enquête. La stratégieconsistant à les compter tous simplifieégalement le calcul des poids del’échantillonnage car il ne faudra pascalculer une fraction d’échantillonnage àl’intérieur d’un ménage (voir Figure 5-1,D, pour la formule de ce calcul). Leproblème lorsqu’on choisit tous lessujets concernés au sein des ménages del’échantillon, c’est que les niveauxestimés d’erreur d’échantillonnage pourles estimations de l'enquête peuvent êtrebiaisés vers le bas suite au groupage engrappes au sein des ménages à moinsque l’on utilise des méthodes complexespour estimer les erreursd’échantillonnage. Du point de vuepratique, l’ampleur de ce biais estgénéralement petite et, à moins que l’onne dispose d’un statisticien et d’unlogiciel adéquat lors de l’étape del’analyse, il s’agit d’un risque qui estsouvent accepté dans le cadre desenquêtes (voir Chapitre 5, Section 3).

Parfois, il est pourtant nécessaire dene choisir qu’un sujet par ménage carl’échantillonnage de tous les sujetsprésentant les conditions requises aboutità des interviews qui sont trop longues.Seulement, les données détaillées sur laproportion de ménages qui comprennent

17

des sujets répondant aux critères pour lesdivers indicateurs sont rarement (voirjamais) disponibles, faisant qu’il estdifficile de déterminer à l’avance lenombre exact de ménages qu’il faudraitcontacter pour arriver à une tailled’échantillon souhaitée. Peut-être que lameilleure solution à ce niveau est decalculer le nombre de ménages qu’ilfaudra calculer, tel que décrit ci-dessus,et ensuite d’ajouter une marge desécurité de 20% à 25% de ménages en

plus pour compenser car, dans certainscas, certains sujets concernés au seind’un ménage ne sont pas choisis. Il s’agittoutefois de reconnaître que c’est uneapproximation rudimentaire.

La Figure 3-6 présente desindications sur les nombres typiques deménages qu’il faudra contacter pourtrouver une seule unité de mesure pourchaque indicateur sanitaire générique duTitre II.

Figure 3-6 : Nombres typiques de ménages à contacter pour trouverun individu de référence pour les indicateurs sanitaires génériques duTitre II (en supposant six personnes par ménage)

IndicateurIndividu deréférence

% de lapopulation1

Nb deménagesnécessaires1

% rabougris enfants 6-59 mois 14%-19% 1,2/0,9

% d’un poids insuffisant enfants 6-59 mois 14%-19% 1,2/0,9

% allaités dans les 8heures suivant lanaissance

nourrissons < 24mois

6%-8% 2,8/2,1

% allaités uniquement nourrissons < 6 mois 1,5%-2% 11,1/8,3

% recevant des alimentscomplémentaires

nourrissons 6-10mois

1%-1,5% 16,7/11,1

% ayant eu un épisodediarrhéique pendant les2 dernières semaines

enfants < 24 mois 6%-8% 2,8-2,1

% ayant eu un épisodediarrhéique qui reçoiventune alimentationcontinue

enfants < 24 moisavec épisodediarrhéique

1,5%-2%2 11,1/8,3

% ayant eu un épisodediarrhéique qui reçoiventdes alimentssupplémentaires

enfants < 24 moisavec épisodediarrhéique

1,5%-2%2 11,1/8,3

1. Les fourchettes indiquées concernent respectivement des populations à fécondité faible/élevée.2. Suppose une fréquence de 25% de la diarrhée dans les deux semaines précédentes. L’on peutremplacer avec les estimations locales.

18

3.2 Choisir des indicateurs pourdéterminer la taille de l’échantillon :Un certain nombre d’indicateurs serontmesurés dans le cadre d’une enquêteclassique d’une évaluation d’unprogramme du Titre II. Dans l’idéal, lesconditions pour chaque indicateur serontprises en compte lorsqu’on détermine lataille de l'échantillon nécessaire pour uneenquête donnée. Mais quand le nombred’indicateurs devant être mesurés estimportant, cela représente une lourdetâche.

Ce problème est généralement traitéde l’une des deux manières suivantes.Une option consiste à déterminer lesindicateurs qui risquent d’être les plusexigeants du point de vue taille del’échantillon et d’utiliser la taille del’échantillon nécessaire pour cetindicateur. De cette manière, on satisfaitaux conditions de tous les autresindicateurs. Dans la plupart des cas, ils’agira de l’indicateur dont l’unité demesure est celle trouvée le plus rarementau sein de la population cible. Parexemple, dans la Figure 3-6, il s’agira du« Pourcentage de nourrissons âgés de sixà 10 mois recevant des alimentscomplémentaires, » car seul 1% à 1,5%de la population cible sont desnourrissons dans cette fourchette d’âge.Le grand avantage de cette procédure,c’est qu’elle garantit automatiquementune taille d’échantillon adéquate pourtous les indicateurs devant être mesurés.L’inconvénient, c’est qu’une tailled’échantillon plus grande sera choisieque celle nécessaire pour certain ou ungrand nombre d’indicateurs.

La seconde approche consiste àidentifier un petit nombre d’indicateursdont on pense qu’ils sont les plusimportants aux fins d’évaluation duprogramme et de limiter les calculs de la

taille de l’échantillon à ces indicateurs.Cela garantira une taille d’échantillonadéquate pour les indicateurs clés. Leproblème, c’est que la taille risque de nepas être adéquate pour d’autresindicateurs qui sont plus exigeants dupoint de vue taille. Mais puisqu’on adéjà jugé qu’ils étaient d’importancesecondaire, cela peut constituer uncompromis raisonnable, surtout quand letemps et les ressources sont limitées.

Un autre compromis quand il fauttenir compte des aspects financiers etlogistiques consiste à calculer la taille del’échantillon pour les indicateurs clés etpour les indicateurs les plus exigeants dupoint de vue taille de l’échantillon etensuite, de choisir entre les deux la tailled’échantillon la plus grande qui estfaisable. Cette option garantit des taillesd’échantillon adéquates pour lesindicateurs clés et les meilleuresestimations possibles pour lesindicateurs plus exigeants au vu desressources disponibles. Cette approcheest souvent utilisée.

3.3 Choisir les valeurs initiales desindicateurs quand celles-ci ne sont pasconnues : La valeur initiale d’unindicateur exprimée en tant queproportion – à savoir P1 – provient dansl’idéal de l’information disponible grâceà d’autres enquêtes qui ont été faitesdans un contexte donné (tel qu’indiqué àla Section 2 ci-dessus, des enquêtesprécédentes ont peut-être été réaliséesdans la région ou dans un pays voisin ;les données du Ministère de la Santé oud’autres organismes publics ; ou quandde telles informations ne sont pasdisponibles, les opinions et estimationsprovenant de personnes connaissant bienla situation et reposant sur les meilleuressources disponibles). En choisissant une

19

valeur pour P1, il vaut mieux serapprocher de la valeur de 0,50. Laraison en est la suivante : la variance desindicateurs qui sont mesurés en tant queproportions atteignent leur maximumquand ils approchent de 0,50. Le plussûr, c’est de toujours choisir P1 = 0,50car cela garantira une taille d’échantillonadéquate qu’elle que soit la valeureffective de P1. Toutefois, celaentraînera également des échantillonsqui sont plus grands que nécessaire dansle cas où la valeur effective de P1 est trèsdifférente de 0,50. Aussi, l’approcherecommandée est de deviner au mieuxen fonction de l'information disponibleet de choisir la valeur de P1 avoisinant0,50. Par exemple, si l’on pense qu’unindicateur se situait dans la fourchette0,30-0,40 au moment de l'enquêteinitiale, on devrait choisir 0,40.

Pour les indicateurs exprimés en tantque moyennes ou totaux, les estimationssont nécessaires, non seulement pour lesdonnées initiales au moment de lapremière enquête ou de la zone témoin(X1), mais également pour l’écart typede X. L’écart type est le paramètrecrucial ici. Mais il n’existe pas de règleempirique dans le cas où des donnéesd’autres enquêtes ne sont pasdisponibles. Le meilleur conseil dans cecas est le suivant : être prudent et choisirune valeur pour l’écart type qui est unegrande proportion de la valeur de départsupposée d’un indicateur. Par exemple,des écarts types qui sont de 50% à 80%de l’estimation utilisée de X devraientêtre adéquats dans la plupart des cas.

3.4 Effets de conception : Les deuxéquations de base ci-dessus comprennent« D » pour l’effet de conception. Celapermet de corriger la perte de l’efficacitéde l’échantillonnage due à l’utilisationde grappes au lieu d’un seul

échantillonnage aléatoire (voir Chapitre4). De fait, il s’agit du facteur utilisépour augmenter la taille de l’échantillonpour une grappe donnée afin de produiredes estimations d’enquête avec la mêmeprécision qu’un échantillon aléatoiresimple. L’ordre de grandeur de Ddépend de deux facteurs : (1) le degréd’analogie ou d’homogénéité deséléments au sein des grappes, et (2) lenombre d’unités de mesure devant êtreprises auprès de chaque grappe.

Dans l’idéal, l’on pourra obtenir uneestimation de D pour les indicateursintéressant l'étude grâce à une enquêteprécédente dans un contexte donné. Celavous donnera une certaine idée del’analogie ou de l’homogénéité deséléments de la grappe. Si cela n’est paspossible, il faudra utiliser des valeurstypiques venant d’enquêtes réaliséesailleurs. Malheureusement, de tellesdirectives, souvent, ne sont pasdisponibles et, par conséquent, unevaleur implicite de 2 est généralementutilisée surtout pour les enquêtesanthropométriques et des vaccinations.En supposant que les tailles des grappessoient relativement petites (voir Section4 ci-après pour une discussion plusapprofondie des tailles des grappes),l’utilisation d’une valeur standard de D= 2 devrait compenser de manièreadéquate l’utilisation del’échantillonnage par grappe dans laplupart des cas.

3.5 Signification et puissance : Lasignification statistique (α) et lapuissance statistique (β) sont analoguesaux faux positifs et aux faux négatifs : lasignification statistique évite de conclureà tort qu’un changement a eu lieu, alorsque la puissance statistique évited’arriver à la conclusion erronée que rienne s’est passé suite au programme. Le

20

paramètre de la puissance, β, est le plusimportant des deux pour les évaluationsdu programme car il garantit qu’unprogramme n’est pas classé comme unéchec alors qu’en fait, il a eu un résultatpositif. A moins que les tailles del’échantillon suffisent pour détecter demanière fiable les changements ou lesdifférences entre les groupes decomparaison d’une taille spécifiée,l’utilité des enquêtes en tant qu’outild’évaluation du programme estcompromise. Une puissance insuffisantepeut mener à la conclusion erronée selonlaquelle il n’y a pas eu de changementsignificatif des indicateurs dans le tempsou des différences entre les groupes duprojet et les groupes témoins alors quede fait, il y a eu de réels changements oude réelles différences qui n’ont pas étédétectés à cause de la taille insuffisantede l'échantillon utilisée. Pour garantirune puissance suffisante, il faudraitutiliser une valeur minimale de β de 0,80et 0,90 est préférable si les ressources lepermettent.

Pour α, ou le niveau de signification,le standard est de 95% dans la plupartdes enquêtes. L’on suppose que c’estune proportion suffisante pour vérifierque tout changement observé n’a pas eulieu par hasard. Mais si les ressources nele permettent pas, ce paramètre pourraitêtre réduit à α = 0,90. Ce chiffre plusfaible ne comporte qu’un petit risquesupplémentaire de conclure à tort qu’unchangement a eu lieu ou que lesindicateurs sont différents pour lesgroupes du projet et les groupes témoins.L’on ne conseille pas d’aller en dessousde ce niveau de signification et aucunéquivalent pour un chiffre plus faiblen’est donné sur la Figure 3-2.

3.6 Tenir compte de la non-réponse :La non-réponse est chose courante dans

les enquêtes. L’on encourage certes defaire tous les efforts possibles pourminimiser le niveau de non-réponse(voir Chapitre 4), mais il n’existe pas delimites pratiques à ce que l’on peut faireà ce propos.

Afin de vérifier que les taillessouhaitées sont atteintes dans le cadredes enquêtes, il faut tenir compte de lanon-réponse lors du calcul de cette taillede l’échantillon. A cette fin, il fautgénéralement augmenter la taille del’échantillon par le biais d’un facteurd’assurance de non-réponse. Cela peutvarier quelque peu d’un contexte àl’autre, mais une marge de 10% devraits’avérer adéquate dans la plupart dessituations. Par conséquent, si la taille del’échantillon calculée pour une enquêtedemande 1 000 ménages et une marge desécurité de 10% pour la non-réponseincorporée à la conception de l'étude, lataille révisée de l’échantillon pourl’enquête sera de 1 100 ménages.

4. Déterminer le nombre degrappes et le nombre de sujetspar grappeUne fois déterminée la taille générale del'échantillon, l’étape finale consiste àfaire un plan de sondage pour déterminerle nombre de grappes et le nombre deménages par grappe qui devraient êtrechoisis. Trois aspects entrent en ligne decompte :• Le premier est l’ordre de grandeur de

l’effet de conception du sondage pargrappe (D). Plus le nombre deménages par grappe est petit, moinsl’effet de conception est prononcé.Cela est dû au fait que les unitésélémentaires au sein des grappestendent généralement à avoir uncertain degré d’homogénéitéconcernant les caractéristiquesgénérales et peut-être les

21

comportements. Alors que le nombrede ménages augmente par grappe, laprécision de l’échantillonnage seperd.

• Deuxièmement, le nombre deménages dans une grappe donnéeplace une limite sur la grandeuréventuelle de l’échantillon pargrappe. Le recensement ou autrematériel utilisé comme based’échantillonnage devrait êtreexaminé attentivement avant dedécider de la taille de l’échantillonpar grappe qui sera utilisée.

• Troisièmement, les ressourcesdisponibles pour réaliser l’enquêtesur le terrain dictent souvent ce quiest faisable. En effet, le transport etles indemnités journalières dupersonnel et des superviseurs sur leterrain constituent les coûts les plusimportants de l’enquête et ces coûtstendent à varier plus ou moinsdirectement en proportion avec lenombre de grappes devant êtrecouvertes. Par conséquent, les coûtsde terrain sont minimisés quand lenombre de grappes est petit.

Vu que les deux derniers aspects sontsusceptibles de varier énormément d’uneapplication et d’un contexte à l’autre,seules des directives générales sontdonnées ici. Vu sous l’angle de laprécision de l’échantillonnage, l’onpréfère les grappes plus petites auxgrappes plus grandes. Par conséquent,pour une taille d’échantillon fixée (parexemple, 600 ménages), un plan desondage de 30 grappes avec 20 ménagesdans chaque grappe sera préféré à unplan comportant 20 grappes et 30ménages, formule à nouveau préférée à10 grappes de 60 ménages. En général,une formule relativement sûre consiste àchoisir un maximum de 40-50 ménages

par grappe. Bien sûr, si les ressources nepermettent pas des grappes de cettetaille, la grappe peut être augmentée,mais il faut savoir que cela se fait audétriment de l’exactitude car le risqued’erreur d’échantillonnage sera plusgrand.

L’utilisation de 30 grappes dans lecadre des enquêtes auprès de lapopulation est une formule de plus enplus courante, mais de fait il n’existeaucune justification statistique montrantque 30 est un nombre minimum ou idéal.Il n’en sert pas moins de directivesommaire représentant un chiffreadéquat pour vérifier que leséchantillons des membres du groupecible sont suffisamment bien répandusdans les grappes pour que les estimationsde l’enquête ne soient pas tropinfluencées par deux ou trois grappes.

En utilisant 50 ménages comme lataille standard de l’échantillon pargrappe, le nombre de grappes estnormalement calculé en divisant la taillede l’échantillon par 50. Par exemple, sila taille d’un échantillon est de 2 000ménages, l’échantillon devrait êtrerépandu sur plus de 40 grappes de 50ménages chacune. Si la taille del'échantillon est trop petite (par exemple,1 000), les grappes seront insuffisantes(dans ce cas, 20) et la taille del'échantillon ne sera pas suffisammentdistribuée. Dans une telle situation, l’onconseille de prendre 34 grappes avec 30ménages (même si cela signifie que lataille de l'échantillon est dépassée d’unpetit chiffre).

Il vaut mieux que chaque grappecompte le même nombre d’éléments del'échantillon. En effet, cela signifie plusou moins la même charge de travail danschaque grappe, d’où un contrôleopérationnel plus simple sur les travauxde terrain de l’enquête. Une seconde

22

raison est d’éviter les biais d’estimationen aidant à garantir un échantillon auto-pondéré. Cet aspect est discuté plus endétail dans les Chapitres 4 et 5.

5. Taille de l'échantillonnécessaire pour les enquêtes desuiviLes méthodes permettant de déterminerla taille des échantillons pour lesenquêtes par sondage décrites ci-dessussont conçues pour tenir compte desconditions d’une série d’enquêtes desuivi entrant dans l’évaluation duprogramme. Mais dans certains cas, lataille de l'échantillon devra être élargielors de la seconde série. Tel estnotamment le cas quand la taille del'échantillon pour la première séried’enquêtes n’a pas tenu compte desconditions liées à la mesure duchangement dans le temps, par exemple,si on a utilisé la formule de taille del'échantillon pour une enquête uniquepour déterminer la taille de l'échantillonpour l’enquête initiale. Ou alors, uneformule adéquate pour la taille del'échantillon a été utilisée, mais lesniveaux des indicateurs observés dans lecadre de l'enquête initiale étaientdifférents de ceux escomptés lorsque lescalculs de la taille de l'échantillon ont étéfaits avant l’enquête. De manière plus

spécifique, dans les cas où l’indicateur aété mesuré comme une proportion, lavaleur observée de l'enquête initiale s’estavérée bien plus proche de 0,50 qu’on nel’avait pensé ; quand l’indicateur a étémesuré comme une moyenne ou un total,l’écart type de l’indicateur s’est avérébien plus grand que prévu. Dans cesdeux cas, la taille de l'échantillon utiliséepour l’enquête initiale serait trop petitepour répondre aux niveaux de précisionnécessaires pour l’évaluation si cettetaille est utilisée pour l’enquête de suivi.

Deux manières sont disponibles pourcalculer l’augmentation de la taille del'échantillon du suivi. La premièreconsiste à utiliser l’une des formulesexistantes, mais c’est problématique carces formules tiennent compte de lasignification statistique et non pas de lapuissance statistique. De fait, la solutionrecommandée est la suivante :(a) calculer une estimation révisée de lataille de l'échantillon nécessaire enutilisant l’Equation de Base 1 ou 2 entenant compte des résultats de l’enquêteinitiale et (b) compenser touteinsuffisance au niveau de la taille del'échantillon de l’enquête initiale enaugmentant davantage la taille del'échantillon pour l’enquête de suivi.Cette méthode en deux étapes estmontrée sur les Figures 3-7 et 3-8.

23

Figure 3-7 : Exemple de calcul de la taille de l'échantillon pour lesenquêtes de suivi pour des indicateurs exprimés en tant queproportions

Supposons que l’on cherche à mesurer un accroissement de 10 points depourcentage de la proportion de ménages adoptant un comportementcorrect du lavage des mains. Au moment de l’enquête initiale, l’on jugeaitqu’environ 30% des ménages avaient de bonnes pratiques de lavage desmains. Par conséquent, P1 et P2 ont été fixés, respectivement, à 0,30 et0,40. En utilisant la formulation pour les indicateurs exprimés en tant queproportions (Equation de Base 1) et en supposant des paramètres standardavec un niveau de signification de 95% et une puissance de 80%, une tailled’échantillon n = 556 est calculée.

Mais l’enquête initiale a révélé qu’une proportion bien plus importante deménages (50%) pratiquait déjà un comportement correct au niveau dulavage des mains. La procédure recommandée ci-dessus demande que l’onchange la taille de l'échantillon en utilisant les résultats de l’enquête initiale –par conséquent, P1 = 0,50, tel que suit :

n = D [(Zα + Zβ)2 * (P1 (1 - P1) + P2 (1 - P2)) /(P2 - P1)2]n = 2 [(1,645 + 0,840)2 * ((0,5)(0,5) + (0,6)(0,4))] / (0,6 - 0,5)2

= 2 [(6,175 * 0,49) / 0,102]= 2 [(3,02575) / 0,01] = 2 (302,575) = 605,15 soit 606 ménages par série d’enquêtes.

Pour compenser l’insuffisance au niveau de la taille de l’échantillon lors del’enquête initiale, la différence entre les estimations initiales et lesestimations revues de la taille de l'échantillon (dénotées, respectivement, n1et n2) est ajoutée à la taille de l'échantillon devant être utilisée pour l’enquêtede suivi. Par conséquent, la taille de l'échantillon pour l’enquête de suiviserait la suivante :

n = 606 + (n2-n1) = 606+ (606 - 556) = 606 + 50 = 656

24

Figure 3-8 : Exemple de calcul de la taille de l'échantillon pour lesenquêtes de suivi pour un indicateur exprimé en tant que moyenne

La Figure 3-5 a montré comment calculer la taille des échantillons pour desenquêtes initiales et de suivi visant à évaluer les effets d’un programme duTitre II sur la consommation de calories par jour et par habitant. Supposonsqu’à la place de la consommation moyenne escomptée de calories par jouret par habitant de X1 = 1 700 et écart type de et1 = 1 020, des valeurs de X1= 1 800 et et1 = 1 280 ont été observées dans le cadre de l'enquête initiale.Suivant la procédure recommandée, il faut recalculer la taille del'échantillon de la manière suivante (en utilisant des paramètres standardd’un niveau de signification de 95% et une puissance de 80% et enrecalculant et2 en utilisant le ratio de X1/et1 observé dans l’enquête initiale) :

n = D [(Zα + Zβ)2 * (et12 + et22) / (X2 - X1)2]n = 2[(1,645 + 0,840)2 * (1 2802 + 1 5362) / (2 160 - 1 800)2]

= 2[(6,175)(3 997 696) / (360)2]= 2[24 686 672 / 129 600] = 2(190,484) = 380,97,

soit 381 ménages par série d’enquêtes.

Pour compenser l’insuffisance de la taille de l'échantillon lors de l’enquêteinitiale, la différence entre les estimations initiales (n=272) et lesestimations revues de la taille de l'échantillon (dénotées, respectivement,n1 et n2) est ajoutée à la taille de l'échantillon devant être utilisée pourl’enquête de suivi. Par conséquent, la taille de l'échantillon pour l’enquêtede suivi serait la suivante :

n = 381 + (n2-n1) = 381 + (381 - 272) = 381 + 109 = 490

25

4. Choisir l’échantillon

1. Vue générale del’échantillonnage

1.1 Echantillonnage probabiliste/nonprobabiliste : Les méthodesd’échantillonnage sont rangées dansdeux catégories : les méthodes formellesou probabilistes et les méthodesinformelles ou non probabilistes.• Les méthodes d’échantillonnage

formelles reposent sur la théorie dusondage probabiliste. Deux chosessont nécessaires à ce propos :(1) chaque unité d’échantillonnagedoit avoir une probabilité desélection connue et différente dezéro, et (2) le facteur aléatoire est lefacteur contrôlant la sélection desunités de l’échantillonnage.L'échantillonnage tend également,dans la pratique, a être caractérisépar (1) l’utilisation de listes ou basesde sondage pour choisir l'échantillon,(2) des procédures de sélection del'échantillon clairement définies, et(3) la possibilité d’estimer l’erreurd’échantillonnage à partir desdonnées de l’enquête (discutée plus

dans le détail au Chapitre 5, Section3).

• Les méthodes d’échantillonnageinformelles comportent un certainnombre d’approches qui reposent surd’autres principes que ceux de laprobabilité. L’on cherche en généralà faire des déductions etgénéralisations à un groupe plusgrand de la population, mais lesméthodes de sélection tendent à êtreplus subjectives. Dans la plupart descas, l’on suppose que la personnechoisissant l'échantillon connaît bienles dimensions sous-jacentes duphénomène de l'étude et, parconséquent, choisira l'échantillon detelle manière que ces phénomènessont couverts adéquatement (à savoirsans biais). L’on espère quel'échantillon est suffisammentreprésentatif aux fins de l’enquête,mais on ne peut pas le savoir avec undegré mesurable de certitude. Leséchantillonnages sur quota etéchantillonnage dirigé (échantillonchoisi à dessein) sont deux exemplesde plusieurs formesd’échantillonnage informel ou non

26

probabiliste (voir ci-après, Sections3.2 et 3.5).

L’on recommande vivement lesméthodes d'échantillonnage probabilistepour les évaluations des programmes duTitre II en dépit de leurs coûtslégèrement plus élevés. Il est un fait queles deux types de méthodesd'échantillonnage peuvent produire lesmêmes résultats, mais vu qu’ils sefondent sur la théorie statistique, lesévaluations utilisant l'échantillonnageprobabiliste ont un degré plus élevé decrédibilité et peuvent être défendues plusaisément que celles reposant sur desméthodes d'échantillonnage informelplus vulnérables aux questionsconcernant le caractère représentatif del'échantillon face à la population ou lefait que les résultats peuvent être biaisés.

Les procédures d'échantillonnagedécrites dans ce guide se fondent toutessur les principes de la probabilité. Ellesont été adaptées pour tenir compte destypes de difficultés que l’on rencontresouvent dans les contextes de pays endéveloppement.

1.2 Sondage par grappe : Lesondage par grappe tend à être le typed'échantillonnage probabiliste le plusutilisé. Normalement, il est préféré àl'échantillonnage aléatoire simple, bienque cette méthode soit la méthoded'échantillonnage probabiliste la plusfacile et la plus connue.L'échantillonnage aléatoire, qui supposeque les unités sont choisiesindividuellement et directement par lebiais d’un processus aléatoire où chaqueunité a la même chance (probabilité)d’être choisie, demande des listescomplètes d’unités complémentaires (parexemple, ménages dans la région duprojet). Vu que ces éléments sont

rarement disponibles et généralementtrop chers pour être créés,l'échantillonnage aléatoire ne seraprobablement pas utilisé commeméthode d'échantillonnage unique pourles évaluations du Titre II. Par contre,l'échantillonnage par grappe limite laportée de la construction de la base del'échantillon et des travaux de terrainconnexes à un ensemble ou échantillonde zones géographiques devant êtrecouvertes et, par conséquent, permet decontrôler les coûts de terrain.

Une grappe est simplement uneagrégation d’unités d'échantillonnagerevêtant un intérêt pour une enquêteparticulière qui peuvent être définiessans ambiguïté et utilisées comme unitésd'échantillonnage à partir de laquelle unsous-échantillon plus petit peut êtrechoisi. Dans l’idéal, les grappesdevraient répondre à quatre critères.(1) Elles devraient avoir des limitesphysiques relativement claires pourfaciliter l’identification sur le terrain.(2) Elles devraient être situéesrelativement proches les unes des autres,sinon les coûts vont grimper, allantcontre l’objectif principal del'échantillonnage sur grappe. (3) Lesgrappes ne devraient pas comprendre untrop grand nombre de personnes ; celaaidera à minimiser le travail dedéveloppement des basesd'échantillonnage. (4) L’information surla taille de la grappe devrait êtredisponible en principe avant la sélectiondes échantillons. Cela permettrad’utiliser des procédures de sélection desgrappes conçues pour améliorerl’efficacité de l'échantillonnage ou lasélection de la probabilité-proportionnelle-à-la-taille (PPT) (voirSection 3.1 ci-après). (L’incapacitéd’obtenir des mesures sur la taille de lagrappe avant la sélection des

27

échantillons n’empêche pas l’utilisationde l'échantillonnage probabiliste.)

Le développement de la based'échantillonnage suppose normalementdeux étapes : (1) sélection d’unités depremier stade ou unités primaires et(2) sélection d’unités d'échantillonnageélémentaires au sein des unitésprimaires. Mais dans un grand nombred’applications, les villages et/ou les ruesde la ville/lots de maisons seront choisislors d’une première étape et unéchantillon de ménages de chacun lorsde la seconde étape. Dans certains cas,des individus des ménages devront êtrechoisis, ajoutant ainsi une troisièmeétape au processus.

Quand la population de l'unité del'échantillon est jugée trop large, lasélection d’unités d'échantillonnage depremier stade ou primaires peut se fairedans le cadre de deux étapes. Dans detels cas, la grappe choisie est divisée engrappes plus petites ou en deux grappes,l’une des grappes plus petites est choisiealéatoirement et le développement de labase d'échantillonnage et les opérationsd'échantillonnage sont réalisées avec lagrappe plus petite qui a été choisie. Leproblème ici, c’est qu’un biais peut seprésenter au niveau de la sélection de lagrappe plus petite.

2. Bases d'échantillonnageUne base d'échantillonnage est une listedes unités d'échantillonnage possibles.Pour les types d’enquêtes considérésdans ce chapitre, les basesd'échantillonnage sont des listes dezones d’énumération du recensementcorrespondant plus ou moins auxvillages et lots de maisons d’une ville, àpartir du dernier recensement de lapopulation. Quand de telles listesn’existent pas, une liste des villages etdes villes qui couvrent toute la

population ciblée par le projet suffira,mais il faudra probablement des étapessupplémentaires de sélection del'échantillon pour produire des unitéssuffisamment petites pour qu’elles soientpratiques pour les opérations de terrainde l’enquête.

Deux autres options sont disponiblesquand il n’existe pas une based'échantillonnage adéquate. L’uneconsiste à développer une base initialepour la région en question. Par exemple,si le projet ne dispose pas d’une liste devillages couvrant une province entière,un échantillon de circonscription de laprovince peut être compilé et une based'échantillonnage des villages peut êtreformulée uniquement dans lescirconscriptions de l'échantillon. Ce typed'échantillonnage par grappe à plusieursstades est souvent utilisé pourcompenser les inadéquations de la based'échantillonnage. Il faut souventdévelopper des bases d'échantillonnageou mettre à jour des travaux dans lecadre des enquêtes et il convient de lefaire de sorte à minimiser le temps et lescoûts.

La seconde option consiste à limiterl’enquête à la partie de l'univers del’enquête pour laquelle existe une based'échantillonnage. Toutefois, cela limitela capacité de généraliser les résultats del’évaluation à la partie de la région duprojet couverte par l’évaluation, d’oùl’introduction d’un biais. Cette option nesera choisie qu’en dernier recours.

3. Procédures de sélection del'échantillon pour desprogrammes avec des niveauxélevés de couverture générale dela populationDans certains cas, une proportionimportante de la population dans la zoneciblée par le projet devra être exposée à

28

l’intervention qui est évaluée (c’est-à-dire qu’elle recevra ou du moins, aural’occasion de recevoir les avantages duprojet). Par exemple, les programmesvisant à influencer les pratiquesd’alimentation infantile ciblentgénéralement la population généraled’une zone géographique choisie pourune intervention. Dans de tels cas, lesenquêtes auprès de la populationreprésentent un moyen valide de mesurerles effets du programme.

Des directives sont données ci-aprèssur la manière de choisir les échantillonsà chaque étape du processusd'échantillonnage : (1) choisir lesgrappes de l'échantillon, (2) choisir lesménages de l'échantillon, et (3) choisirles sujets individuels de l’enquête quandla nécessité se présente. Différentesvariantes sont décrites pour chaqueétape.

3.1 Procédure pour choisir lesgrappes de l'échantillon : Dans le cadredes projets avec couverture générale dela population, il y aura probablement untrop grand nombre de grappes figurantdans la base d'échantillonnage pourpermettre un échantillonnage complet.Par conséquent, une première étape serade réduire le nombre de grappes devantêtre choisies à un chiffre plus gérable. Laprocédure recommandée,l'échantillonnage systématique aléatoiresuppose que l’on choisit une grappe demanière aléatoire, puis la ith

grappe parla suite dans la série. (Ith concerne lenombre de chaque grappe choisie ; àsavoir, dans la Figure 4-2, la première,cinquième et huitième grappes sontchoisies). On peut le faire de deuxmanières, suivant l’informationdisponible sur la taille des grappes ausein de la population ciblée. Les deuxméthodes sont décrites ci-après.

Lorsque des mesures sontdisponibles de la taille de la grappe : Leplan de la grappe à deux stades, le plusefficace du point de vue statistique est lesuivant : (1) les grappes sont choisiesavec probabilité-proportionelle-à-la-taille (PPT) lors de la première étape dela sélection de l'échantillon et (2) unnombre constant de ménages est choiside chaque grappe lors de la secondeétape.

Le terme probabilité-proportionelle-à-la-taille (ou PPT) signifie que desgrappes plus grandes ont une chanceplus grande de sélection que les grappesplus petites. L’utilisation de la procédurede sélection PPT demande qu’une based'échantillonnage de grappes avec desmesures de taille soit disponible ou soitdéveloppée avant la sélection del'échantillon. Une mesure de la taille estsimplement un compte ou une estimationd’une variable susceptible d’être corréléeau nombre de sujets intéressant l’enquêteau sein d’une grappe donnée. Parexemple, la population totale d’unvillage et le nombre total de villagesauront probablement une étroitecorrélation avec le nombre denourrissons/enfants de la grappe et, parconséquent, représentent de bonnesmesures de la taille pour des enquêtes oules nourrissons/enfants seront des unitésde mesure importantes. Des comptesexacts ne sont pas nécessaires : uneapproximation ou des estimationssommaires suffisent. Toute inexactitudesera corrigée lors de la seconde étape dela sélection de l'échantillon quand desnombres spécifiques de ménages serontchoisis (voir Section 3.2 ci-après).

La Figure 4-1 indique les étapes de lasélection d’un échantillon de grappesutilisant l'échantillonnage systématique

29

avec probabilité proportionnelle à lataille. La Figure 4-2 applique ces étapes

à un exemple où l’objectif est de choisir40 grappes d’un total de 170 grappes.

Figure 4-1 : Etapes de la sélection d’un échantillon systématiquealéatoire de grappes avec PPT

(1) Préparer une liste des unités d’échantillonnage du premier stade (àsavoir, grappes) avec une mesure correspondante de la taille pourchacune (voir la colonne 2 de la Figure 4-2).

(2) En commençant en haut de la liste, calculer la mesure cumulative de lataille et marquer ces chiffres dans une colonne à côté de la mesure de lataille pour chaque unité (voir colonne 3).

(3) Calculer l’intervalle d’échantillonnage (IE) en divisant la mesurecumulative totale de la taille pour le domaine ou strate (M) par le nombreplanifié d’unités devant être choisies (a) – à savoir, IE = M/a.

(4) Choisir un nombre aléatoire (début aléatoire ou DA) entre 1 et (IE).Comparer ce nombre avec la colonne de la mesure cumulative de lataille. L’unité dans laquelle entre le chiffre (DA) de la mesure cumulativede la taille est la première unité de l'échantillon (voir colonne 4).

(5) Les unités subséquentes sont choisies en ajoutant l’intervalled'échantillonnage (IE) au nombre identifié à l’étape (4) ; à savoir DA +IE, DA + IE * 2, DA + IE * 3, etc. (voir colonne 4).

(6) Cette procédure est suivie jusqu’à ce que la liste soit épuisée. Lenombre résultant d’unités devrait être plus ou moins égal au nombreciblé de grappes.

30

Figure 4-2 : Exemple - sélection d’un échantillon systématiquealéatoire de grappes avec PPT

GrappeNo.

Taille –Nb deménages

Taillecumulative

Nbd’échantillonnages

Grappechoisie

001 120 120 73 X

002 105 225

003 132 357

004 96 453

005 110 563 503 X

006 102 665

007 165 839

008 98 937 934 X

009 115 1 052

. . .

. . .

. . .

170(dernier)

196 17 219 (M dans l’équation)

Taille cumulative totale 17 219

Nb planifié de grappes = 40 (a dans l’équation)Intervalle d'échantillonnage = 17 219/40 = 430,475L’échantillonnage commence entre 1 et 430,475 = 73Grappes choisies = 001, 005, 008, ....

Chaque fois que c’est possible, lesgrappes seront choisies avec probabilité-proportionnelle-à-la-taille dans les

enquêtes par sondage. Une des raisons,c’est que cette procédure estrelativement efficace du point de vue

31

précision de l’échantillonnage. Laseconde raison est la suivante: si unnombre égal d’éléments est choisi danschaque grappe lors de la seconde étapede la sélection de l'échantillon, le résultatfinal sera un échantillon où chaqueménage a la même probabilité généralede sélection ou auto-pondération. C’estun grand avantage lors de l'analyse dedonnées (voir Chapitre 5 pour unediscussion supplémentaire).

Quand les mesures de la taille desgrappes ne sont pas disponibles : Uneprocédure légèrement différente devrait

être utilisée quand les mesures de lataille des grappes ne sont pas disponiblesavant la sélection de l'échantillon. Dansle cadre de cette méthode, toutes lesgrappes auront la même chance ouprobabilité de sélection, ou probabilitéégale, plutôt qu’une probabilité étantreliée à leur taille. Les procédures pourchoisir un échantillon de grappes avecprobabilité égale sont décrites à la Figure4-3 et un exemple est donné à la Figure4-4. Dans l’exemple, l’objectif est ànouveau de choisir 40 grappes dans untotal de 170 grappes.

Figure 4-3 : Etapes de la sélection d’un échantillon systématiquealéatoire de grappes avec probabilité égale

(1) Préparer une liste numérotée de sites ou grappes, de préférencearrangés géographiquement (par exemple, par zones d’une ville).

(2) Calculer l’intervalle d’échantillonnage (IE) en divisant le nombre total ougrappes dans le domaine (groupe cible) (M) par le nombre de grappesdevant être choisies (a) – à savoir, IE = M/a.

(3) Choisir un nombre aléatoire (début aléatoire ou DA) entre 1 et (IE). Lagrappe de la liste numérotée correspondant à ce chiffre sera la premièregrappe de l’échantillon.

(4) Les unités subséquentes sont choisies en ajoutant l’intervalled'échantillonnage (IE) au nombre identifié à l’étape (3) ; à savoir DA +IE, DA + IE * 2, DA + IE * 3, etc.

(5) Cette procédure est suivie jusqu’à ce que la liste soit épuisée.

32

Figure 4-4 : Exemple – sélection d’un échantillon systématiquealéatoire de grappes avec probabilité égale

Grappe No. Sélection

001 Nb planifié de grappes = 40002 X Intervalle d’échantillonnage = 170/40 = 4,25003 Début d’échantillonnage entre 1 et 4,25 = 2004 Grappes choisies = 002, 006, 011, ....005006 X007008009010011 X . . .170 (dernière)

Notons qu’en choisissant les grappes de l’échantillon, il est important de garder les chiffresaprès la virgule dans l’intervalle d’échantillonnage. La règle est la suivante : quand la partiedécimale du nombre de sélection de l'échantillon est inférieure à 0,5, la grappe du numéroinférieur est choisie et, quand la partie décimale du nombre de sélection de l'échantillon est0,5 ou supérieure, c’est la grappe du numéro supérieur qui est choisie. Dans l’exemple ci-dessus, le nombre de sélection de l'échantillon pour la troisième grappe de l'échantillonétait 10,5 et, par conséquent, la grappe 011 a été choisie pour l'échantillon.

On suppose qu’un nombre fixe deménages doit être choisi dans chaquegrappe de l’échantillon. Mais dans cecas, vu que la probabilité de sélection dela grappe n’est pas basée sur le nombrede ménages que la grappe contient, laprocédure nous donne des éléments del'échantillon qui ont des probabilitésgénérales différentes de sélection. End’autres termes, l'échantillon n’est pasauto-pondéré. Cela complique lasituation pendant l’analyse (voirChapitre 5).

3.2 Procédures pour choisir lesménages de l’échantillon : Dans l’idéal,les ménages de l’échantillon serontchoisis en créant une liste ou une based’échantillonnage de tous les ménagessitués au sein de chaque grappe et enchoisissant un échantillon d’unités enutilisant soit un échantillonnage aléatoiresimple ou un échantillonnagesystématique. Mais la compilation detelles listes de ménages est probablementtrop chère et prend trop de temps. Pourcontourner cette difficulté, trois optionssont possibles et elles sont décrites ci-

33

après : segmentation et deux variantes dela méthode aléatoire-marche.

Méthodes de segmentation : Laméthode de segmentation consiste àdiviser les grappes de l’échantillon ensegments plus petits de taille plus oumoins égale en choisissant l’un auhasard dans chaque grappe et eninterviewant tous les ménages dusegment choisi. La taille du segment (àsavoir, le nombre de ménages danschaque segment) devrait être la mêmeque le nombre cible de ménages del’échantillon qui seront choisis pargrappe (voir la Section 4 dans le

Chapitre 3). Par exemple, si l’on adéterminé que 30 grappes seront choisiespour une enquête donnée et que 50ménages seront choisis par grappe (nousdonnant une taille de l'échantillon de 1500 ménages), la taille du segment ciblédans le cadre de la méthode desegmentation serait de 50 ménages.

La Figure 4-5 propose les étapes lorsde l’utilisation de la méthode desegmentation et la Figure 4-6 est unereprésentation graphique d’une grappehypothétique qui a été créée en utilisantla méthode de segmentation.

Figure 4-5 : Etapes d’utilisation de la méthode de segmentation pourchoisir les ménages de l'échantillon

(1) Calculer le nombre de segments devant être créés. Diviser le nombre deménages notés dans le dernier recensement par la taille du segmentciblé. Le résultat sera le nombre de segments qu’il faut créer sur leterrain. Par exemple, si le dernier recensement indique qu’il existait 250ménages dans la grappe et que la taille du segment ciblé est de 40ménages, il faudra créer six segments. (En faisant ce calcul, les chiffresdécimaux des segments devraient être arrondis au chiffre entier le plusproche.)

(2) Mettre à jour la carte des grappes. En utilisant une carte de la grappe,vérifier/mettre à jour les frontières externes de la grappe et indiquer toutecaractéristique interne pouvant être utile pour diviser la grappe ensegments facilement reconnaissables.

(3) Compter et indiquer sur la carte l’emplacement des ménages situésdans la grappe. Cela représente une opération rapide pour que lagrappe puisse être divisée en segments avec un nombre plus ou moinségal de ménages.

(4) En fonction de la carte des grappes, diviser la grappe en segments detaille égale. Le nombre de segments devant être utilisés est le nombredéterminé dans le cadre de l’Etape 1 ci-dessus.

(5) Choisir de manière aléatoire un segment.(6) Interviewer tous les ménages situés dans les frontières du segment

choisi aléatoirement.

34

Figure 4-6 : Exemple d’une grappe hypothétique qui a été divisée ensix segments

Source : Fonds des Nations Unies pour l’Enfance. 1995. MonitoringProgress Toward the Goals of the World Summit for Children: A PracticalHandbook for Multiple-Indicator Surveys. New York: UNICEF.

Les travaux de terrain pour une grappedonnée dans le cadre de la méthode desegmentation sont jugés terminés quandtous les ménages du segment choisi pourl’enquête ont été interviewés (quel quesoit le nombre de sujets de l'étudeeffectivement trouvés).

Méthode aléatoire-marche : Laméthode aléatoire-marche est utiliséedans le cadre des enquêtes sur grappesdu PEV (programme élargi devaccinations) et elle est donc assez bienconnue. La méthode suppose ladémarche suivante: (1) choisiraléatoirement un point de départ et unedirection de déplacement au sein d’unegrappe de l'échantillon, (2) réaliser uneinterview dans le ménage le plus proche,et (3) choisir continuellement le ménage

suivant le plus proche pour uneinterview jusqu’à ce que le nombre cibled’interviews soit atteint.

Cette approche peut être exécutée dedeux manières, la seule différence étantla disponibilité d’une carte, ce quidétermine la sélection du point dedépart. Un récapitulatif est fourni ci-après.

Choisir le point de départ avec unecarte portant des limites : Quand unecarte de la grappe de l'échantillon estdisponible, on peut choisir un certainnombre de points de départ possibles àdifférents endroits facilementidentifiables (voir Figure 4-7 pour unexemple) et à partir de là, un point dedépart peut être choisi aléatoirement.L’avantage, c’est que le personnel de

35

supervision peut choisir le point dedépart avant que ne commence le travailde terrain, réduisant tout risque de biaissusceptibles de se présenter quand les

points de départ sont choisis sur la basede l’aspect pratique et non pas du facteuraléatoire.

Figure 4-7 : Carte d’une grappe d’échantillons hypothétiques montrantles points de départ possibles

Source : Fonds des Nations Unies pour l’Enfance. 1995. MonitoringProgress Toward the Goals of the World Summit for Children: A PracticalHandbook for Multiple-Indicator Surveys. New York: UNICEF.

Choisir le point de départ en utilisant laméthode du PEV : Pour les enquêtes duPEV, l’on suppose qu’il n’existe pas decarte de la grappe et que le personnel deterrain choisira l’emplacement de départ.Pour cela, il va suivre des instructionsqui recommandent les étapes suivantes(1) se rendre à un endroit central de lagrappe et choisir une direction dedéplacement au hasard en faisant tournerune bouteille, (2) partir en ligne droitedans cette direction et compter tous lesménages jusqu’à la limite de la grappe,et (3) choisir aléatoirement un chiffreentre 1 et le nombre de ménagescomptés comme le point de départ del’enquête.

Aucune des variantes de la méthodealéatoire-marche ne demande unemesure de la taille des grappes de

l'échantillon, mais une estimation dunombre de ménages situés dans chaquegrappe de l'échantillon devrait êtreobtenue pour les évaluations duprogramme du Titre II quand l’une oul’autre des approches est utilisée. Celapermet de calculer les probabilitésd'échantillonnage (voir Chapitre 5 pourune discussion plus approfondie).Compter ou estimer le nombre deménages n’est pas très cher et nedemande pas trop de temps. Dans laplupart des cas, un informant localconnaissant bien les lieux peut fournir unchiffre raisonnable. Ou alors, un tourrapide de la grappe permet généralementd’arriver à un compte acceptable. Cetype de compte rapide est souvent utilisédans le sondage à grappes.

36

Si l’on utilise la méthode aléatoire-marche, un quota devra être choisi, parexemple, l’agent de terrain devracontinuer à contacter les ménagesjusqu’à ce qu’un nombre prédéterminéde sujets de l'étude (par exemple, lesenfants de moins de cinq ans) soientlocalisés. Le quota devrait être lenombre cible de ménages devant êtrechoisis par grappe plutôt que le nombredes sujets de l'étude nécessaires pour lesdifférents indicateurs (par exemple,enfants de moins de 24 mois, enfantsayant souffert d’un épisode diarrhéiqueles deux dernières semaines, etc.). Parexemple, si la taille de l'échantillonciblée par grappe est de 50 ménages, onadoptera plutôt la procédure aléatoire-marche jusqu’à ce que ce chiffre deménages soient interviewés. Les quotasde ménages sont suivis de préférenceaux quotas des sujets de l'étude car ilsera difficile de suivre ces derniersquand de multiples indicateurs serontmesurés. Tel que proposé ci-dessus, lesquotas ne sont pas fixés pour la méthodede segmentation car les travaux deterrain dans une grappe donnée sontjugés achevés quand tous les ménages dusegment ont été interviewés (quel quesoit le nombre de sujets de l'étudeeffectivement trouvés).

Les trois méthodes décrites ci-dessusvarient considérablement du point devue exposition au risque de biais. Laméthode de segmentation se rapprochele plus de la grappe conventionnelle àdeux étapes et, par conséquent, est moinssusceptible aux biais. Mais vu qu’il estnécessaire de faire une carte de lacommunauté pour utiliser la méthode,elle n’est pas toujours faisable dans tousles contextes. La meilleure méthodeensuite du point de vue biais est lavariante de la méthode aléatoire-marcheoù le ménage de départ de l'échantillon

est choisi à partir d’une carte avec deslimites. La méthode la moins préféréeest la méthode aléatoire-marche du PEV.

3.3 Procédure pour choisir des sujetsindividuels de l'enquête : Larecommandation générale pour la plupartdes enquêtes, c’est d’inclure àl'échantillon tous les sujets présentant lesconditions requises (par exemple, lesenfants dans certaines fourchettes d’âge)au sein des ménages de l'échantillon.Mais pour certains types d’enquêtes (parexemple, quand des balancesalimentaires sont utilisées) et dans descommunautés où des familles élargiesvivent ensemble, y compris toutes lesfemmes adultes et leurs enfants, laméthode prendrait trop de temps ets’avérerait trop chère. La procédurerecommandée dans un tel cas est dechoisir aléatoirement une femme adulteparmi celles trouvées dans un ménagedonné de l'échantillon et de terminerl’enquête uniquement pour cetterépondante et sa famille/enfants. Celaconstitue une troisième étape dans leprocessus de sélection de l'échantillon.

Quand un sujet parmi plusieurssujets possibles est choisi au sein d’unménage, le calcul des poids del'échantillon doit tenir compte de cela sil’on veut obtenir des estimationsd’enquête non biaisées. C’est unedémarche relativement simple :l’enquêteur doit uniquement noter sur leprotocole d’enquête le nombre derépondants éventuels présentant lesconditions requises dans chaque ménagede l'échantillon au sein duquel lerépondant effectif de l’enquête a étéchoisi aléatoirement. Cela permet decalculer la probabilité de la sélection durépondant effectif de l’enquête. Cetteprobabilité est ensuite intégrée au calculd’une probabilité globale de

37

l'échantillonnage (voir Chapitre 5,Figure 5-1[D]).

3.4 Traiter les problèmesopérationnels de l'échantillonnage : Des problèmes au niveau de l'exécutionpeuvent se présenter, même dans lecadre des enquêtes les mieux planifiées.Il s’agit généralement des problèmessuivants : grappes inaccessibles, non-réponse et nombre insuffisant deménages dans une grappe donnée.

Grappes inaccessibles : Parfois, ilest impossible d’arriver jusqu’à lagrappe de l'échantillon à cause dumauvais temps ou de routesimpraticables. Dans un tel cas, lameilleure approche consiste à remplacerla grappe avec une autre grappe choisiealéatoirement possédant descaractéristiques analogues. Par exemple,si la grappe en question est située àl’Extrême Nord de la zone du projet, ilfaudrait la remplacer avec une autregrappe dans la même région en général,mais une grappe qu’il est possibled’atteindre pendant la période destravaux de terrain de l’enquête. Pourminimiser le risque de biais, les grappesde remplacement devraient être choisiesparmi des grappes analogues. Le côtépratique ne devrait pas entrer en ligne decompte. Dans la mesure du possible, lepersonnel de supervision devrait prendredes décisions sur les grappes deremplacement.

Non- réponse de l’enquête : La non-réponse est un problème commun àtoutes les enquêtes. Généralement, lanon-réponse est due au fait que personnen’est présent dans les ménages del'échantillon ou quand les sujets del'enquête refusent d’être interviewés.Voici ce que l’on conseille de faire faceà ces problèmes :

• Personne à la maison : Quandpersonne ne répond dans un ménagechoisi de la grappe, il faudraitdemander aux voisins si (1) lamaison est habitée et, si tel est le cas,(2) l’heure à laquelle les habitantssont généralement chez eux. Si lamaison n’est pas habitée, aucuneautre action n’est nécessaire. Si elleest habitée, l’on pourra faire aumoins une autre visite et, peut-être,plusieurs autres visites (depréférence) à l’heure à laquelle lesvoisins ont indiqué que les habitantsétaient généralement chez eux.

• Refus : Quand les membres d’unménage cible refusent d’êtreinterviewés, au moins une visitedevra être faite, peut-être par unautre membre de l’équipe de terrainou par le superviseur de l'équipe.Toutefois, la priorité des revisitesdevrait être pour ceux qui n’étaientpas à la maison.

Un certain degré de non-réponses estgénéralement intégré au calcul de lataille de l'échantillon (voir Chapitre 3,Section 3.7), mais quand ce facteur seprésente, il peut biaiser les résultats del’enquête. Cela est dû au fait qu’il existesouvent des différences systématiquesentre les gens qui choisissent derépondre et ceux qui ne veulent pas etque ces différences peuvent être reflétéesdans les indicateurs qui sont mesurés. Lameilleure manière de traiter de tels biaispossibles dus à la non-réponse est deminimiser, dans la mesure du possible, lanon-réponse. Par conséquent, les plansopérationnels de terrain devraientprévoir un temps suffisant pour le suivides non-répondants. Vu qu’un certaindegré de non-réponse a déjà été anticipélors des calculs sur la taille del'échantillon, l’impact de la non-réponse

38

sur la taille finale de l'échantillon del’enquête devrait être, dans la plupart descas, tolérable, du moment que le niveaude non-réponse ne dépasse pas nettementle niveau escompté sur un nombreimportant de grappes.

La grappe a un nombre insuffisantde ménages pour répondre à la taille del'échantillon ciblée : Si les calculs de lataille de l'échantillon ont été effectuéscorrectement et si les tailles des grappesdans les bases d'échantillonnagedisponibles ont été prises en compte, ildevrait y avoir suffisamment de ménagespour répondre à la taille souhaitée del'échantillon. De plus, si une marge desécurité a été intégrée aux calculs de lataille de l'échantillon, tel querecommandé au Chapitre 3, on agénéralement compensé les effets sur lataille finale de l'échantillon de l’enquête.Dans le cas où cette situation seprésente, on recommandera aux équipesde terrain de ne pas choisir des ménagessupplémentaires des grappes voisines.Elles devraient plutôt chercher àminimiser le nombre de ménages à non-réponse et ensuite, passer à la prochainegrappe qui leur est assignée.

3.5 Procédure pour choisir leséchantillons dans les zones decomparaison : Généralement, lesgroupes de comparaison comprennent

des habitants d’une ou de plusieurscirconscriptions, municipalités ou autresunités administratives voisinescomportant des caractéristiquesanalogues à celles du programme évalué.Le processus de sélection comprendgénéralement deux étapes. La premièreconsiste à identifier des groupes quirépondent aux critères d’analogie. Lechoix devra être fait à dessein (à savoir,les caractéristiques du groupe doiventêtre définies à l’avance et la sélectiondoit s’effectuer en fonction des critèresconvenus), à moins que plusieurs régionsn’aient des profils analogues à la zonedu programme et, dans ce cas, le choixpeut être aléatoire. (Voir le Guide deSuivi et de l’Evaluation pour desconseils supplémentaires). Une foisdéfini l’univers de l'enquête pour la zonede comparaison, il reste à choisir unéchantillon de grappes et de ménagespour représenter la zone de comparaison.Les procédures d'échantillonnage sontidentiques à celles décrites ci-dessuspour les enquêtes auprès de la populationen général.

La Figure 4-8 est un exemple desdécisions d'échantillonnage pour ungroupe de comparaison.

39

Figure 4-8 : Exemple de la conception d’un échantillon et de lasélection pour une zone de comparaison

Supposons qu’un programme visant à améliorer la production et latransformation agricoles a été réalisé dans deux districts d’un pays. Unprétest/post-test avec groupe de comparaison est utilisé aux finsd’évaluation du programme. Pour la zone de comparaison, tous les districtsadjacents aux deux districts du projet sont jugés des candidats possibles.Deux sont éliminés car ils ont des caractéristiques socioéconomiquesdifférentes des districts du projet et un autre est éliminé car c’est la cibled’un programme comparable financé par un autre bailleur de fonds. Parmiles districts adjacents restant, les deux districts qui sont les plus similairesaux deux districts du projet sont choisis.

Dans chaque district du groupe de comparaison, un échantillon de 30grappes est choisi en utilisant une procédure de sélection systématique-aléatoire avec PPT, et 40 ménages sont choisis dans chaque grapped’échantillon, utilisant la méthode de segmentation dans deux sériesd’enquêtes : une enquête initiale et une enquête de suivi.

4. Procédures de sélection del’échantillon pour desprogrammes avec une couverturede population limitée

4.1 Le problème d’échantillonnage :Certains programmes du Titre II ont desniveaux assez limités de couverture de lapopulation. Par exemple, la populationbénéficiaire éventuelle d’un programmede crédit pour des mères célibatairesavec des enfants de moins de cinq anspourrait représenter moins de 5% desménages dans la zone géographiqueciblée pour un programme. Dans de telscas, il n’est pas possible de mesurerl’impact du programme au niveau de lapopulation générale. Il sera pratiquementimpossible de détecter les changementsdans les indicateurs à ce niveau, même sides changements de taille importante onteu lieu pour les bénéficiaires du projet.Par conséquent, l’évaluation duprogramme cherche souvent à évaluer

les changements des indicateursuniquement parmi les ménagesbénéficiaires. Trois stratégiesd'échantillonnage pour de tellessituations sont présentées ci-après :limiter l’univers de l'enquête, dépistageet utilisation des bases de listes.

4.2 Autres stratégiesl'échantillonnage :Limiter l’univers de l’enquête : Uneapproche convient quand lesbénéficiaires du projet sont trèsconcentrés dans certaines parties de larégion du projet (par exemple, dans lesmunicipalités ou villages spécifiques).Dans de tels cas, l’univers de l’enquêtepeut être limité à des zones d’impact duprogramme et la base d'échantillonnagese limitera à un sous-ensemble degrappes. Grâce à une telle restriction, lesstratégies d'échantillonnage décrites ci-dessus pourraient être utilisées sansmodification supplémentaire. Cette

40

approche ne pourrait pas s’appliquerdans la plupart des cas car lesbénéficiaires du programme sontgénéralement répartis sur l’ensemble dela région géographique ciblée par unprojet donné.

Dépistage :Quand les bénéficiairessont dispersés géographiquement surl’ensemble de la région du projet, uneapproche utilisée couramment consiste àintroduire une procédure de dépistage.Au début des travaux de terrain del’enquête, l’on demande à d’éventuelsménages de l'échantillon s’ils ontbénéficié du projet. (Des questions à ceteffet peuvent être rajoutées au début duquestionnaire.) Les agents de terrainréalisent l’interview de l’enquêteuniquement pour les ménages qui sontdes bénéficiaires du projet, laissant decôté les ménages qui ne sont pas desbénéficiaires. Ou alors, une petitequantité d’information pourrait êtreréunie auprès de ménages nonbénéficiaires pour faire descomparaisons entre bénéficiaires et non-bénéficiaires. Cette approche garantitque les ressources servent à réunir uneinformation sur les bénéficiaires duprojet.

Cette stratégie demande que l’onajoute des ménages à la taille del'échantillon ciblé. Par exemple, siseulement 20% des ménages dans unezone géographique ciblée doivent êtredes bénéficiaires du projet, un ménagesur cinq devra remplir les questionnaires.Dans ce cas, le nombre de ménages del'échantillon devra être augmenté cinqfois.

Prenons un exemple : supposons quela taille de l'échantillon nécessaire pourune enquête donnée est de n = 1 500ménages, et que le plan de sondageconsiste à avoir 30 grappes de 50ménages chacune. Si l’on pense que

seuls 20% des ménages dans la zoneciblée par le projet été des bénéficiairesde ce projet, alors il faudra contacter untotal de n = 7 500 (7 500 = 1 500 / 0,20)ménages. Si l’on veut garder l’objectifdes 30 grappes, cela nécessiterait quel’on contacte 250 ménages par grappe.Dans de nombreux cas, cela constitue lagrappe entière et, dans ce cas, lastratégie d'échantillonnage consiste àinterviewer tous les ménages desgrappes de l'échantillon. Mais dans denombreux contextes, les grappes dans lesbases d'échantillonnage disponibles (àsavoir, régions d’énumération durecensement ou autres unitésadministratives) sont plus petites que les250 ménages, demandant que l’onchoisisse un nombre plus grand degrappes. Par exemple, si la taillemoyenne des grappes dans un contextedonné est de 100 ménages, il seranécessaire de choisir un échantillon de75 grappes et de contacter tous lesménages situés dans ces grappes (7 500 /100 = 75 grappes).

Utilisation des bases de listes :Quand des listes de bénéficiaires duprogramme sont disponibles, ellesreprésentent une manière bien plusefficace de choisir un échantillon deménages bénéficiaires que la formule dudépistage. Deux approches sontpossibles ici. L’une consiste à choisir unéchantillon de ménages bénéficiaires enutilisant un échantillonnage aléatoiresimple ou systématique aléatoire.Toutefois, cela représente une opérationde terrain difficile du point de vuelogistique car les ménages del’échantillon peuvent être très dispersésdans un grand nombre de villages. Autresolution, les bénéficiaires de la listepeuvent être regroupésgéographiquement et l'échantillonnagesera réalisé avec les grappes de ménages

41

bénéficiaires qui en résultent. La base desondage subséquente avec ces grappespeut être traitée exactement de la mêmemanière qu’une base d'échantillonnagede grappes plus classiques (à savoir,zones d’énumération du recensement).Les procédures d'échantillonnage pourles enquêtes auprès de la populationdécrites ci-dessus peuvent ensuite êtreutilisées.

5. Questions de conception pourles enquêtes de suivi

5.1 Rétention ou remplacement desgrappes de l'échantillon : L’une desquestions clés de la conception d’uneenquête sur plusieurs séries utilisant unéchantillonnage sur grappes est de savoirs’il faut garder les mêmes grappes danschaque enquête ou choisir un nouveléchantillon. D’un point de vuestatistique, la stratégie préférée est degarder les mêmes grappes. En effet, lescaractéristiques et comportements desindividus dans les petites zonesgéographiques tendent à être corrélésdans le temps. L’effet de cettecorrélation est de diminuer la variabilitédes estimations de changement, facilitantainsi la tâche consistant à détecter lechangement réel. Le degré d’efficacitéainsi gagnée au niveau del’échantillonnage varie d’un endroit àl’autre et d’un indicateur à l’autre maison y gagnera toujours du point précisionde la mesure. Aussi la recommandationest-elle la suivante : il faut garder lemême échantillon de grappes tout enchoisissant un nouvel échantillon deménages dans chaque grappe en suivantles procédures susmentionnées.

Cette stratégie comporte un danger :la tentation d’octroyer les ressources duprogramme de manière disproportionnéeen faveur de régions dont on sait qu’elles

sont ciblées par l’évaluation duprogramme. Si le programme concentreses ressources de cette manière, cesrégions auront des résultats plus positifsque ceux notés sur toute la région duprogramme. Les responsables duprogramme doivent faire attention à nepas déformer l’octroi de ressources enfaveur des zones cibles de l’évaluation.Si les responsables de l’évaluationcraignent ce type de biais, le recours leplus facile consiste à choisir un nouveléchantillon de grappes pour l’enquête desuivi. Certes, cela diminue, dans unecertaine mesure, l’efficacité del'échantillonnage pour l’évaluation duprogramme, mais cela réduit égalementle risque du biais, considération plusimportante dans l’ordre plus grand deschoses.

5.2 Effets des changements au niveaude la méthodologie de l'enquête : Autreproblème : les effets réels du programmepeuvent être déformés ou subirl’interférence de changements dansd’autres facteurs, d’une série à l’autre.Les facteurs interférents peuvent êtredivisés grosso modo en deux catégories :externes et internes.

Les facteurs interférents externessont des changements des facteursopérant dans la population étudiée surlesquels les programmes et lesresponsables de l’évaluation n’ont peu,voire aucun contrôle. Les changementsau niveau de la composition de lapopulation suite aux flux migratoires,aux environnements économiqueschangeants, aux catastrophes naturelles,etc. sont des exemples de telschangements. Les évaluations tiennentgénéralement compte de tels facteurs enutilisant des groupes ou régions témoins,ce qui permet de séparer les effets réelsdu programme de ceux causés par des

42

facteurs hors programme et en utilisantdes méthodes statistiques à plusieursvariables lors de l’analyse de données.

Les facteurs interférents internessont des changements au niveau desfacteurs qui sont internes à l’évaluationdu programme et sur lesquels lepersonnel de terrain responsable de fairel’évaluation peut exercer un contrôle. Envoici des exemples : changements de ladéfinition de l’univers de l’enquête,formulation du questionnaire,méthodologie de l’échantillonnage etqualité ou caractère ponctuel (lié aucaractère saisonnier) des activités deterrain de l’enquête. Surtout quand onutilise des tailles relativement petites del’échantillon, les résultats de l’évaluationsont très sensibles à des changementsmême mineurs au niveau de laméthodologie et ou de l’exécution del’enquête. La leçon ici est la suivante : laméthodologie et l’exécution de l’enquêtedoivent rester aussi constantes quepossible.

5.3 Abandon au sein de l'échantillon :Parfois, il faudra changer de fond encomble les plans faits en vue d’utiliser lemême échantillon de grappes lors des

enquêtes initiales et de suivi à cause decatastrophes naturelles, de problèmes desécurité etc. Dans de tels cas, lameilleure chose à faire consiste à suivrela procédure recommandée pour desgrappes inaccessibles et de remplacer lagrappe pour laquelle il n’est pas possibled’obtenir des données par une autregrappe choisie aléatoirement et comptantles mêmes caractéristiques (voir Section3.4 ci-dessus). L’utilisation du choixaléatoire minimisera le risque du biais. Ilvaut mieux avoir des caractéristiquesanalogues pour essayer de limiter lavariabilité de l’échantillonnage entre lesséries des enquêtes. Le personnel desupervision devrait prendre des décisionsquant au choix des grappes deremplacement.

Toutefois, si la grappe estinaccessible temporairement quandl’enquête de suivi est programmée, ceuxqui réalisent l’enquête devrait attendreque la grappe soit à nouveau accessibleplutôt que choisir un remplacement dumoment que cela n’entraîne pas unretard inacceptable pour les travaux deterrain de l’enquête.

43

5. Analyser les données

1. Vue d’ensembleUne fois les données de l’enquête pourle suivi et/ou l’évaluation du programmeréunies et saisies dans une base dedonnées informatique, ce qu’il reste àfaire, c’est d’analyser les données. Pourcela, il faut calculer les diversindicateurs mesurés dans les enquêtes etévaluations de l’ampleur et de lasignification statistique des changementsdans le temps et/ou différences entre lesgroupes de comparaison. Des directivespour l’analyse des données desévaluations des programmes du Titre IIsont fournies dans le Guide du Suivi etde l’Evaluation. Dans cette section, nousnous concentrons sur deux questionsliées à l’analyse très influencées par lamanière dont est effectuél'échantillonnage : poids del'échantillonnage et calcul des erreurstypes des estimations des enquêtes.

2. Pondérer les donnéesSeul l’un des plans de sondage pargrappe décrit dans le chapitre précédentrésultera en échantillons auto-pondérés :c’est-à-dire que les grappes del'échantillon sont choisies avec uneprobabilité-proportionnelle-à-la-taille

(PPT) et la méthode de segmentation estutilisée pour choisir les ménages del'échantillon. Tous les autres aboutissentà des échantillons non auto-pondérés oudes échantillons où les ménages del'échantillon ont des probabilitésinégales de sélection. Cela doit êtrecompensé au stade de l'analyse desdonnées. Car sinon, cela entraîne unbiais d’estimation.

Les poids compensent lesprobabilités inégales de sélection. Laméthode standard pour corriger cesprobabilités inégales consiste à appliquerdes poids d'échantillonnage aux donnéesde l’enquête pendant l’analyse enmultipliant la valeur de l’indicateur parle poids. Le poids convenant pourchaque sujet de l'échantillon estsimplement la réciproque de laprobabilité de sélection de ce sujet oul’inverse de la probabilité.

Equation de Base 3 :

44

Proportions

Wi = 1/Pi

CLE :

Wi = poids d’échantillonnage pour leséléments de la ith grappe ; et

Pi = probabilité de sélection pour leséléments de la ith grappe.

Les probabilités de sélection (Pi) doiventêtre calculées pour déterminer les poidsde l’échantillonnage. La formuledépendra de la variante utilisée pour leplan de sondage par grappe de deux (outrois) stades. La Figure 4-1 montre lescalculs des probabilitésd'échantillonnage pour quatre

combinaisons possibles : (A) PPT(premier stade)/segmentation (secondstade); (B) PPT/aléatoire-marche ; (C)probabilité égale/aléatoire-marche ; et(D) PPT/segmentation, mais avec unrépondant. (Les options non montréessont les suivantes : probabilitéégale/segmentée ; probabilitéégale/aléatoire-marche, mais avec unrépondant ; et probabilitéégale/segmentation, mais avec unrépondant. Les analystes peuvent adapterles options à leurs cas.) Le calcul del’exemple A (probabilité-proportionnelle-à-la-taille/segmentation)ne sera jamais nécessaire car, tel quedémontré, cette conception aboutit à unéchantillon auto-pondéré.

45

Figure 5-1 : Procédures pour calculer les probabilitésd'échantillonnage pour les éléments de l'échantillon (Pi) pour lesplans d'échantillonnage par grappe à deux stades

A. PPT au premier stade, méthode de segmentation au secondstade :

Pi = (m * Mi/M) * 1/Si = m * C/M

CLEm = nombre de grappes d’échantillons choisiesMi = mesure de la taille pour la ith grappeM = mesure totale de la taille pour l’univers de l’enquête

(M = Σ Mi)Si = nombre de segments créés dans la ith grappeC = taille standard du segment (constante)

Notons que ce plan entraînant un échantillon auto-pondéré, l’applicationde poids d'échantillonnage pendant l’analyse n’est pas nécessaire.

B. PPT au premier stade, nombre constant d’éléments choisisau second stade en utilisant une méthode aléatoire-marche :

Pi = (m * Mi/M) * k/Ni

CLEm = nombre de grappes d’échantillons choisiesMi = mesure de la taille pour la ith grappeM = mesure totale de la taille pour l’univers de l’enquête

(M = Σ Mi)k = nombre constant de ménages choisis par grappeNi = nombre total de ménages dans la ith grappe, à savoir Mi

mis à jour sur le terrain avec compte estimé ou effectifde ménages

C. Probabilité égale au premier stade, nombre constantd’éléments choisis lors du second stade en utilisant laméthode aléatoire-marche :

Pi = (1/m) * (k/Ni)

CLEm = nombre de grappes d’échantillons choisiesk = nombre constant de ménages choisis par grappeNi = nombre total de ménages dans la ith grappe

46

D. Conception (B) ci-dessus, mais avec un répondant (parexemple, femme adulte) choisi par ménage de l'échantillon

Pi = (m * Mi/M) * (k/Ni) * 1/Rij

CLEm = nombre de grappes d’échantillons choisiesMi = mesure de la taille pour la ith grappeM = mesure totale de la taille pour l’univers de l’enquête

(M = Σ Mi)k = nombre constant de ménages choisis par grappeNi = nombre total de ménages dans la ith grappeRij = nombre total de répondants présentant les conditions

requises dans le jth ménage

Un problème se présentera quand despoids d'échantillonnage seront appliquésà l’analyse de données effectuée avecdes logiciels types (par exemple, Epi-Info, SPSS). L’application de poids auxlogiciels standard va augmenter lenombre de cas de l'échantillon et, parconséquent, implique une taille plusgrande de l'échantillon que celle utiliséedans la réalité.3 Par conséquent, les testsstatistiques des différences etchangements dans le temps se fonderontsur des tailles incorrectes de l'échantillonet des conclusions erronées quant auxeffets des programmes peuvent enrésulter. Par exemple, des changementsou des différences entre les groupes decomparaison qui n’étaient passtatistiquement significatifs sur la basede la taille de l'échantillon effectifsembleront significatifs en fonction dunombre pondéré de cas.

Pour compenser cela, on utilisesouvent des poids standardisés. Les

3 Quand la valeur d’une variable ou d’unindicateur est multipliée par le poids del'échantillon, le résultat concerne l’apparencevoulant que la taille est plus grande qu’elle nel’est en fait.

poids standardisés assignent un poids àchaque observation de l'échantillon quireflètent sa probabilité relative desélection par rapport à d’autresobservations de l'échantillon, mais quine changent pas la taille générale del'échantillon de l’enquête. Les poidsstandardisés (wi') pour les éléments del'échantillon de la ith grappe sont calculésde la manière suivante :

wi' = wi ni / Σ wi ni

Vu que chaque élément dans une grappedonnée comporte la même probabilité desélection, chacun recevra également lemême poids standardisé. La Figure 5-2illustre le calcul des poids standardisésen utilisant des données d’enquêteshypothétiques.

Pour utiliser les poidsd'échantillonnage standardisés lors del’analyse de données, il faut inclure unevariable de poids appropriée dans lefichier des données d’enquête qui serontanalysées. Les poids standardiséspeuvent être calculés soit manuellement,soit avec un tableur, et saisis comme unevariable lors de la saisie de données. Ou

47

alors, les probabilités de sélection dupremier et du second stade peuvent êtresaisies et les poids calculés en utilisant

les commandes appropriées SPSS ouEpi-Info.

Figure 5-2 : Exemple de calcul des probabilités de sélection, poidsd'échantillonnage et poids d'échantillonnage standardisés – donnéeshypothétiques

Dans cet exemple, les calculs des poids standardisés sont montrés pour lescinq premières grappes d’un échantillon de grappe choisie d’une enquêtehypothétique.

CLE

ni = le nombre d’éléments d’enquête choisis dans la grappe i (qui estde 50 puisqu’un nombre constant d’élément a été choisi pargrappe)

Pi = probabilité générale de sélection pour les éléments del'échantillon dans la grappe i

wi = poids d’échantillonnage pour les éléments de l’échantillon de lagrappe i

wi' = poids d’échantillonnage standardisé pour les éléments del’échantillon de la grappe i

GrappeNo. ni Pi wi wini wi'

1 50 0,033 30,30 1515,00 0,0167 2 50 0,022 45,45 2272,50 0,0251 3 50 0,030 33,33 1666,50 0,0184 4 50 0,043 23,26 1163,00 0,0125 5 50 0,023 43,48 2174,00 0,0240 . . .

Total 2 500 90 526,28

3. Estimer les erreurs typesTester la signification statistique destendances ou changements observésdemande que l’on estime l’ampleur del'erreur d'échantillonnage associée auxestimations d’enquête appelées

couramment les erreurs types.L’estimation de l'erreur type peut êtrecomplexe suivant le plan de sondageutilisé pour collecter les données. Plusles plans de sondage deviennentcomplexes (par exemple, stratification,

48

sondage par grappe et multiple stades dela sélection de l'échantillon), plus lesprocédures pour estimer les erreurs typesdeviennent compliquées. L’estimationdes erreurs types pour de tels plansn’entre pas dans la portée desévaluations des programmes du Titre IIet ne peuvent pas être exécutées sansl’assistance d’un statisticien.

Malheureusement, les logicielsstatistiques standard tels que SPSS etEpi-Info n’apportent pas une solutionadéquate à ce problème. Les deuxlogiciels estiment les erreurs types deschangements observés et/ou différencesdans les groupes de comparaison parrapport aux indicateurs et effectuent destests statistiques adéquats, mais leserreurs types produites par ces deuxlogiciels supposent qu’unéchantillonnage aléatoire simple a étéutilisé pour réunir les données del’enquête. Vu qu’il est très probablequ’un échantillonnage par grappe a étéutilisé dans le cadre des enquêtes servantà l’évaluation des programmes du TitreII, les erreurs types estimées produitespar ces logiciels seront généralementsous-estimées. Le résultat est le suivant :certains changements ou certaines

tendances sont jugés des changementsréels ou des tendances réelles alors quede fait, les changements sont trop petitspour être statistiquement significatifs.Une des options serait de compenserpour la sous-estimation escomptée deserreurs types en rétrécissant les critèresutilisés pour juger de la significationstatistique à moins de créer des logicielsplus sophistiqués pour traiter duproblème. Par exemple, au lieu d’utiliserp<0,05 comme le point seuil pour jugerqu’un changement ou une différenceobservé dans un indicateur estsignificatif, on pourrait utiliser p<0,04ou même p<0,03. Ainsi, on risque moinsde juger incorrectement qu’unchangement observé est significatif sansajouter toutefois la complexité desanalyses statistiques des données del’enquête ou de devoir utiliser un logicielque le personne ne connaît pas. Mais, enfin de compte, quand des analysesintensives des données d’évaluation d’unprogramme sont nécessaires, il faututiliser des logiciels qui sont capables detenir compte de plans d'échantillonnagecomplexes (par exemple, STATA ouSUDAAN).

49

Annexe 1 : Liste des indicateurs génériques du Titre II

Catégorie Niveau Indicateur% d’enfants rabougris 20-59 mois (taille/âge score-Z)% d’enfants rabougris par groupe d’âge (taille/âge score-Z)% de nourrissons allaités dans les 8 heures suivant la naissance% de nourrissons de moins de 6 mois allaités uniquement% de nourrissons 6-10 mois recevant des aliments complémentaires% de nourrissons alimentés continuellement pendant la diarrhée

Impact

% de nourrissons recevant des aliments complémentaires pendant les 2 semaines après la diarrhée% d’enfants concernés dans le suivi/promotion de la croissance% d’enfants vaccinés pour la rougeole à 12 mois% de communautés avec une organisation sanitaire communautaire

Santé, nutrition et SMI

Suivi annuel

% d’enfants dans le programme de promotion de la croissance qui ont pris du poids ces 3 derniersmois

Impact % de nourrissons souffrant ces 2 dernières semainesLitres d’eau de ménage utilisés par personne% de la population avec bon comportement de lavage des mains% de ménages ayant accès à un assainissement adéquat (également suivi annuel)% de ménages avec accès à une eau potable toute l’année

Eau etassainissement

Suivi annuel% de structures eau/assainissement entretenues par la communauté

Impact % de ménages consommant une nourriture avec le minimum de vitamines/protéines recommandéesNombre de repas/goûters mangés chaque jour

Consommationalimentaire des

ménages Nombre d’aliments différents/groupes alimentaires mangés

Impact Rendement annuel des cultures cibléesEcart de rendement (effectif versus potentiel)Variabilité de rendement dans des conditions différentesValeur de la production agricole par ménage vulnérableMois de provisions de céréales des ménages% de cultures perdues à cause des ravageurs ou de l'environnementRendement annuel des cultures cibléesNombre d’hectares où ont été adoptées les pratiques améliorées

Productivitéagricole

Suivi annuel

Nombre d’installation de stockage construites et utilisées

Impact Erosion des sols imputéeFertilité des sols imputéeRendements ou variabilité des rendements (également suivi annuel)Nombre d’hectares où sont utilisées les pratiques GRN

Gestion desressourcesnaturelles

Suivi annuelEnsemencement/taux de survie

Impact Marge de prix des intrants agricoles entre les régionsDisponibilité des principaux intrants agricolesCoûts des transports des aliments de base par saisonVolume des produits agricoles transportés par les ménages au marchéVolume du trafic de véhicules, par type de véhiculeKilomètres de routes rénovées entre exploitation agricole et marché

Routes FFW/CFW

Suivi annuelMesures annuelles choisies des indicateurs d’impact

50

Annexe 2

Tailles de l’échantillon nécessaires pour les combinaisons choisies de P1 etchangements ou différences entres groupes de comparaison devant être détectés (pourα = 0,95 et β = 0,90)

Changement/différence devant être détecté (P1-P2)

Augmentation Diminution

P1 0,05 0,10 0,15 0,20 0,25 0,30 0,05 0,10 0,15 0,20 0,25 0,30

0,10 1491 428 211 129 87 63 942 154 29 • • •

0,15 1970 540 257 152 101 71 1491 300 97 32 5 •

0,20 2382 634 295 171 112 78 1970 428 158 69 29 10

0,25 2724 711 326 186 120 83 2382 540 211 101 51 26

0,30 2999 771 348 197 125 86 2724 634 257 129 71 40

0,35 3204 814 364 203 128 87 2999 711 295 152 87 52

0,40 3341 840 371 206 128 86 3204 771 326 171 101 63

0,45 3410 848 371 203 125 83 3341 814 348 186 112 71

0,50 3410 840 364 197 120 78 3410 840 364 197 120 78

0,55 3341 814 348 186 112 71 3410 848 371 203 125 83

0,60 3204 771 326 171 101 63 3341 840 371 206 128 86

0,65 2999 711 295 152 87 52 3204 814 364 203 128 87

0,70 2724 634 257 129 71 40 2999 771 348 197 125 86

0,75 2382 540 211 101 51 26 2724 711 326 186 120 83

0,80 1970 428 158 69 29 10 2382 634 295 171 112 78

0,85 1491 300 97 32 5 • 1970 540 257 152 101 71

0,90 942 154 29 • • • 1491 428 211 129 87 63

51

Quelle est la confiance et la puissance pour les sous-groupes ?

Problème : Taille de l’échantillon, n, calculée sur la base d’un groupe cible(par exemple, enfants de moins de 23 mois), mais quelle est la confiance(α) et la puissance (β) pour les autres sous-groupes (par exemples,enfants 12-23 mois) ?

Hypothèses : α = 0,95 ; β = 0,8 ;L’ampleur de la différence, p2 - p1, est la même pour les deux

sous-groupes

Pour tout sous-groupe plus grand (n est plus grand) que le groupeoriginal, la puissance et la signification seront plus importantes etacceptables par définition.

Si le sous-groupe a n, les valeurs approximatives sont les suivantes :

Ratio des tailles de l'échantillon α β0,9 (10% plus petite) 0,937 0,7760,8 0,920 0,7480,75 0,911 0,7320,6 0,871 0,6780,5 (moitié aussi grande) 0,834 0,6340,33 (un tiers) 0,740 0,5400,25 (un quart) 0,673 0,4780,20 (un cinquième) 0,619 0,4330,17 (un sixième) 0,576 0,3990,14 (un septième) 0,541 0,3720,13 (un huitième) 0,513 0,3490,10 (un dixième) 0,465 0,314

La puissance et la signification sont trop approximatifs pour arriver à desolides conclusions pour les sous-groupes si le ratio des tailles del'échantillon est de moitié ou moins.