Évaluation du programme de surveillance de la qualité de...
Post on 12-Sep-2018
213 Views
Preview:
TRANSCRIPT
21/05/2012
1
Évaluation du Programme de surveillance de la
qualité de l’eau potable dans les communautés
Marie I. Fabienne Cléophat-Jolicoeur
Maude Dionne
Marie-Hélène Gilbert
Marie-Claude Jean
Cheick Bady Diallo
14 mai 2012
Plan de la présentation
La M4C Consulting
Objet de l’évaluation Principales composantes du programme
Modèle logique
Devis et plan d’évaluation Matrice d’évaluation
Méthodologie
Considérations d’ordre pratique Assurance qualité
Éthique
Difficultés anticipées et solutions envisagées
Planification budgétaire
Échéancier de réalisation
Conclusion
2
21/05/2012
2
M4C Consulting
Équipe de professeurs/consultants rattachés à plusieurs
facultés de l’Université Laval, Québec, Canada
Diversité de compétences et d’expériences en évaluation
Santé publique, santé environnementale, politiques publiques,
médecine, santé des populations autochtones
Diverses origines
Canada, Haïti et Mali
Évaluateurs accrédités SCÉ et membres SQÉP
Promouvoir l’évaluation en utilisant la richesse de la diversité!
3
Objet de l’évaluation
Programme de surveillance de la qualité
de l’eau potable dans les communautés
4
21/05/2012
3
Clientèle ciblée
Communautés des Premières Nations
canadiennes vivant au sud du 60e
parallèle
5
Composantes du programme
Répercussions sur la santé : 1,7 million de décès annuel à
l’échelle planétaire lié aux problèmes de consommation d’eau
(Ashbolt, 2004)
Objectifs:
Implanter des activités de surveillance de la qualité de l’eau
potable dans les Premières Nations
Conseiller sur les moyens de faire face aux préoccupations
d’approvisionnement en eau potable dans les Premières Nations
Promouvoir l’importance de la qualité de l’eau auprès des
Premières Nations
Sensibiliser le public des Premières Nations aux problématiques
liées à la qualité de l’eau
Programme financé par Santé Canada 6
21/05/2012
4
Modèle logique
7
Objectifs de l’évaluation
Comprendre le fonctionnement du programme sur le terrain
Comprendre les pratiques de gestion de l’eau potable qui
sont déployées
Relever les répercussions du programme sur la qualité de
l’eau dans les communautés
Établir l’utilité et la pertinence du programme pour les
communautés
8
21/05/2012
5
Le comité d’évaluation
9
1 représentant de Santé Canada
1 représentant de l’Assemblée des Premières
Nations
M4C Consulting
7 représentants de AHM
(1/province)
L’approche évaluative combinée
10
Approche stratégique d’une évaluation utile et utilisée
Dynamique
Adaptative
Intégrée
Approche sensible à la culture (culturally responsive evaluation)
Impact de la culture et du contexte
Appréciation de la diversité
21/05/2012
6
Matrice d’évaluation
Proposition à valider avec le comité d’évaluation
Visée formative avec évaluation des premiers effets
Accompagnement dans la compréhension du
programme, de son déroulement et des effets
Accompagnement pour l’amélioration du programme
11
Matrice d’évaluation (suite)
Questions principales d’évaluation: 1. Quelle est la pertinence du programme de surveillance de la
qualité de l’eau potable dans les communautés au regard des besoins du milieu et des attentes de Santé Canada?
2. Comment se déroule la mise en œuvre du programme de surveillance de la qualité de l’eau potable dans les communautés dans les différents milieux et selon les différents acteurs?
3. Quelle est l’efficacité opérationnelle du programme de surveillance de la qualité de l’eau potable dans les communautés?
4. Quels sont les effets du programmes sur la qualité de l’eau dans les communautés ainsi que sur les pratiques de gestion de l’eau potable?
12
21/05/2012
7
Matrice d’évaluation (suite)
Questions d’évaluation complémentaires suggérées:
Est-ce que le programme de surveillance de la qualité de
l’eau potable dans les communautés est efficient selon les
besoins, les ressources et les actions accomplies?
Quels sont les effets sur la santé de la population du
programme de surveillance de la qualité de l’eau potable
dans les communautés?
13
Matrice d’évaluation (suite)
Question 1 Principaux indicateurs Collecte de données
Quelle est la pertinence du programme de surveillance de la qualité de l’eau potable dans les communautés au regard des besoins du milieu et des attentes de Santé Canada?
•Niveau de connaissance du chef et du conseil sur la qualité de l’eau •Besoins exprimés par les communautés et par Santé Canada •Types et nombre de services requis par les communautés
Populations cibles: •Chefs et conseils •Santé Canada •AHM •DS, IR, ISC, RSC Méthodes et outils: •Entrevues individuelles •Documents pertinents
14
21/05/2012
8
Matrice d’évaluation (suite)
Question 2 Principaux indicateurs Collecte de données
Comment se déroule la mise en œuvre du programme de surveillance de la qualité de l’eau potable dans les communautés dans les différents milieux et selon les différents acteurs ?
•Nombre d’activités d’éducation et de sensibilisation dans les communautés •Facteurs facilitants et barrières à la mise en œuvre du programme •Perception des facteurs internes et externes influents •Taux de satisfaction des parties prenantes
Populations cibles: •AHM •Chefs et conseils •Santé Canada •RSC •IR •DS Méthodes et outils: •Entrevues individuelles •Documents pertinents •Banques de données •Observation
15
Matrice d’évaluation (suite)
Question 3 Principaux indicateurs Collecte de données
Quelle est l’efficacité opérationnelle du programme de surveillance de la qualité de l’eau potable dans les communautés?
•Stratégies de communication mise en place entre les acteurs •Nombre d’échantillons envoyés •Fréquence d’envoie des échantillons •Taux de roulement des CCQEP en poste
Populations cibles: •AHM •Chefs et conseils •Santé Canada
Méthodes et outils: •Entrevues individuelles •Banques de données
16
21/05/2012
9
Matrice d’évaluation (suite)
Question 4 Principaux indicateurs Collecte de données
Quels sont les effets du programmes sur la qualité de l’eau dans les communautés ainsi que sur les pratiques de gestion de l’eau potable?
•Nombre et taux d’échantillons d’eau potable •Nombre d’avis d’eau contaminé dans les communautés •Nombre d’activités de gestion de l’eau dans les communautés
Populations cibles: •Santé Canada •AHM Méthodes et outils: •Entrevues individuelles •Banques de données
17
Méthodologie : Une approche mixte participative et rigoureuse pour répondre à vos besoins!
Entrevues individuelles
Observation sur le terrain
Documents du
programme
Données quantitatives
18
Validation des données par la triangulation et le
retour vers les parties prenantes
Outils fidèles et prétestés
Variables choisies en fonction de la littérature et du terrain
Indicateurs mesurables et
utiles
21/05/2012
10
Une évaluation en 3 étapes!
Conception
Évaluation de l’implantation et de la mise en œuvre
Évaluation des effets
19
Collecte de données
Évaluation
Étape 1
conception
Analyse documentaire et des bases de données
Documents du programme
Enquête préliminaire
Étape 2
Évaluation de l’implantation
Données de base
+
Études de cas
Observation
Étape 3
Évaluation des effets
Données de base
+
Étude de cas
Données de suivi
20
21/05/2012
11
Collecte de données (suite) Méthode Étape 1: Conception du programme
Méthodes
Réalisation
Justification
Avantages Inconvénients
Analyse
documentaire
•Revue de la littérature
(programmes similaires et leurs
évaluations)
•Informations
valides et actuelles
•Coût faible
•Capacité de
synthèse
•Temps requis
Analyse des
bases de
données
•Données : démographiques, sanitaires,
registres
•Accessible
•Beaucoup
informations
•Coût faible
•Pas toujours
précis et à jour
•Limitation
quantitative
Documents
du
programme
•Rapports de réunions
•Cadre de référence
•Documents administratifs et financiers
•Suivi de gestion
•Suivi du personnel
•Informations
valides sur la
conception du
programme
•Coût faible
•Rapide
•Capacité de
synthèse
•Pas toujours
précis et à jour
•Accessibilité 21
Collecte de données (suite) Méthode:
Étude de cas
Étape 2 : Évaluation de l’implantation
et de la mise en œuvre
Réalisation Justification
Avantages Inconvénients
Entrevues
individuelles
Population cible:
•Chef et conseils
•CCQEP
•Infirmière responsable (IR) et en
santé communautaire (ISC)
•Agent d’hygiène du milieu
(AHM)
Outils
•Récit de vie (story telling),
guides d’entrevue semi-
structurée
Où, quand, comment:
•Face à face / Téléphonique
•Selon disponibilités
•Engagement et
participation des
acteurs dans
l’évaluation
•Explorer des pistes
inusitées ou sensibles
•Dégager des éléments
d’une stratégie
d’amélioration
•Permet de nuancer
l’information déjà
recueillie
•Représentativité
•Nombre élevé de
rencontres
•Recruter
participants
22
21/05/2012
12
Collecte de données (suite)
Méthode
Étude de cas
Étape 2 : Évaluation de l’implantation et de la mise en oeuvre
Méthodes Réalisation
Justification
Avantages Inconvénients
Observation
sur le
terrain
Population cible:
•La communauté
•CCQEP
Lors de:
•Lieu de travail
•Milieu de vie
Outil
•Journal de bord , photos
•Données sur
l’environnement
physique et social
•Étudier les
comportements
•Renseignements pas
accessibles autrement
•Expériences vécues
des participants
•Variétés des données
•Subjectivité
•Temps élevé
•Désirabilité
sociale
23
Collecte de données (suite)
Étape 3: Évaluation des effets
Méthodes Réalisation Justification
Avantages Inconvénients
Données de
suivi
Données de surveillance
Rapports de fonctionnement et
autres
À comparer avec les données de
base
•Accessible
• Informations
standardisées
•Coût faible
•Pas toujours précis
et à jour
Étude de cas
Entrevues individuelles
•Engagement et
participation des
acteurs dans
l’évaluation
•Permet de nuancer
l’information déjà
recueillie
•Représentativité
•Nombre élevé de
rencontres
•Recruter
participants
24
21/05/2012
13
Analyses des données
Qualitatives : logiciel NVivo
Quantitative : logiciel SPSS
Analyses statistiques descriptives
Statistiques inférentielles
Validation interjuges et de contenu avec le comité
d’évaluation
25
Notre assurance qualité
Personnel qualifié et expérimenté
Évaluateurs accrédités par la SCÉ
Validation des données et des résultats
Validation des données et des analyses avec le comité
d’évaluation
Triangulation des données
Respect des normes d’évaluation de la SCÉ (janvier 2012)
Normes d'utilité, de faisabilité, de convenance, de précision et de
responsabilité en évaluation
26
21/05/2012
14
Éthique
Respect des lignes directrices de la SCÉ en matière
d’éthique
Compétence
Imputabilité
Intégrité
Respect des règles d’éthique de la recherche au Canada
Consentement des participants
Accessibilité aux documents et aux données
Difficultés anticipées…
… Solutions envisagées
Quoi? Moyen de surveillance et
de contrôle des risques.
Pour? Éliminer le risque, réduire
sa probabilité d’occurrence ou bien
réduire son impact
Comment? Plan de prévention
pour les actions préventives et plan
de secours pour les actions
curatives.
28
21/05/2012
15
Difficultés anticipées…
… Solutions envisagées
29
Difficultés
Importance
des
difficultés
Probabilité
de survenue Solutions
Différences culturelles Barrière de langage Difficulté à recruter des traducteurs
Élevée Élevée
Partenariat avec des représentants de santé communautaire (RSC) Favoriser les rencontres face-à-face (miser sur l’écoute, horaire flexible, traducteur). Utilisation de technique innovante pour rencontre avec CCQEP: récit de vie (story telling).
Faible niveau d’éducation des participants
Faible Élevée Rencontres face-à-face, travail avec les RSC
Difficulté à rejoindre les CCQEP
Élevée Modérée
Partenariat avec les AHM, RSC et comité d’évaluation. Flexibilité dans les lieux des rencontres (maison, milieu de travail ou autres).
Difficultés anticipées…
… Solutions envisagées
30
Difficultés
Importance
des
difficultés
Probabilité
de survenue Solutions
Éthiques Consentement: barrière de langue, compréhension écrite (faible niveau de scolarité)
Élevée Faible Lecture des consentements avec des interprètes (Représentants en santé communautaire - RSC)
Mise en œuvre Large territoire géographique
Élevée Élevée Utilisation de technique innovante: SKYPE et visioconférence
Politiques Plusieurs parties prenantes provenant de divers institutions impliquées
Modérée Modérée Comité d’évaluation et approche participative
21/05/2012
16
Difficultés anticipées…
… Solutions envisagées
31
Difficulté Importance de
la difficulté
Probabilité de
survenue Solution
Échéancier serré 80 jours
Modérée Modérée
Utilisation de SKYPE ou visioconférence pour les rencontres avec le comité d’évaluation et avec les AHM
Contraintes budgétaires 50 000$ + 15 000$ frais de déplacement
Modérée Modérée Déplacement dans 7 communautés (étude de cas-sites)
Dépôt des rapports
et plan de diffusion
32
Mois 1 Mois 2
Mois 3 Mois 4
Rencontre comité d’évaluation Validation des outils Identification des cas
Liens avec les communautés Accès aux données
Dépôt rapports d’étape (2)
Dépôt rapport final et rencontre comité d’évaluation
21/05/2012
17
33
Dépôt des rapports
et plan de diffusion
Diffusion des résultats
Suivi avec le comité d’évaluation en continue et rapport
d’étape
Rapport exécutif aux parties prenantes
Résumé 1 page pour diffusion dans les communautés (cas-
sites)
Présentation du rapport exécutif en format PowerPoint avec
le comité d’évaluation et les parties prenantes
Échéancier et budget
34
Activités Étape 1 (mois 1)
Étape 2 (mois 2 & 3)
Étape 3 (mois 4)
Coût $
Développement et validation des outils de collectes
X 3000
Collecte de données dans les communautés (déplacement & hébergement)
X 21000
Analyse des données X X X 12000
Écriture des rapports et présentation des résultats
X 6000
Gestion de projet 8000
Total 50 000
21/05/2012
18
35
Promouvoir l’évaluation en utilisant la richesse de la diversité!
m4cconsulting@ulaval.ca
1-888-656-2131
Remerciements
36
Notre entraîneure Marie Gervais
Membres du jury
Comité organisateur du concours
top related