joyeux no‚l - la société québécoise d'évaluation de ... · dans les limites de mes...
TRANSCRIPT
Société québécoise d'évaluation de programme
affiliée à la Société canadienne d'évaluation Décembre 2001/Vol. 14 n° 3
]Éçxâå aɧÄ
décembre 2001
2
Bonjour à vous tous et toutes! Le temps des Fêtes est là et la nouvelle éditiondu bulletin aussi. Contrairement aux années passées, je ne serai plus desvôtres par l’intermédiaire du bulletin. Au fil des ans, nous avons travailléà faire de la SQÉP une association vivante. J’ai contribué petit à petit etdans les limites de mes moyens à ce que l’on se dote d’un organismeintéressant.
Le bulletin nous donne l’occasion de prendre des nouvelles et de participerà la vie associative de la SQÉP. Sa publication serait impossible sans lacollaboration de certaines personnes. Je tiens à souligner le travail accomplipar Sigrid Choquette, Monique Comeau, Natalie Dubois et tout le conseild’administration.
Je ne sais pas si vous connaissez vraiment la SQÉP. Si vous croyez que laSQÉP est une de ces organisations où tout est fait par une armée depersonnel de soutien, eh bien! Détrompez -vous! Ce sont les bénévoles et une«merveilleuse» secrétaire qui assure la survie de l’organisation. L’implicationdes membres reste toujours un grand défi. Alors si vous souhaitez vousimpliquer dans une organisation dirigée et soutenue par des bénévoles quiont à cœur la promotion de l’évaluation de programme, la SQÉP estl’organisme tout indiqué.
En terminant, je tiens à vous souhaiter «Bon temps des fêtes, santé etbonheur …».
• La SQÉP a besoin d’agrandir le
cercle de ses bénévoles................................ 3
• Les dimensions internationales de
l’action de la SQÉP....................................... 4
• Votre conseil d’administration 2002........ 5
• Plaidoyer pour une gestion par
résultats significative.................................. 7
• Une présence québécoise aux
3e Journées françaises de l’évaluation.... 9
• Le dernier colloque de la SQÉP................ 10
• Un regard critique sur nos publications. 14
• Évaluation du 10e Colloque de la SQÉP.. 17
• Pour des textes non sexistes!..................... 18
• Prix Reconnaissance.................................... 20
Direction :Martin St-Georges
Martin St-Georges :
1650, rue Papineau, #4
Montréal (Québec) H2K 4H9
Tél. : (514) 525-7635
Courriel : [email protected]
Au bout du fil
Secrétariat :
199, boul. Valcartier Loretteville
(Québec) G2A 2M8
Tél. / Télécopieur : (418) 847-9850
Courriel : [email protected]
Collaboratrices etcollaborateurs :
Jean-René Bibeau
Isabelle Brunet
Isabelle Doucet
Julie Fortin
Hélène Johnson
Patrick Moran
Guy Nantel
Gerard Richard Paraschiv
Pierre Simard
Jean Turgeon
Équipe permanente :
Sigrid Choquette
Monique Comeau
Nathalie Dubois
Jacques Gagnon
Martin St-Georges
Tirage : 350
Ce bulletin est publié par uneéquipe de bénévoles de la SQÉP.
décembre 2001
de ses membres «ordinaires» pour pouvoir continuer deprogresser sans que la charge de travail de chacun et chacunene devienne trop lourde.
Concrètement, cela signifie que nous devrons trouver les moyensde maintenir la quantité et la qualité des services auxquels lesmembres ont droit. Par exemple, voici quelques idées de moyenstraduits en gestes concrets que vous pourriez poser :
faire connaître la SQÉP et ses activités en communiquantl’information dans votre milieu;écrire un article pour le bulletin;faire la révision linguistique de divers textes ou leurtraduction;contribuer à la mise à jour et au développement du siteWeb;donner un coup de main à l’accueil et à la logistique lors del’organisation d’un colloque ou d’activités de formation;accepter d’être conférencier ou conférencière et faire dessuggestions de thèmes ou de formateurs et formatricesintéressants;élaborer et analyser les fiches d’évaluation utilisées lors decolloques et d’autres activités;rechercher des commanditaires et des prix de présence,proposer des innovations, etc.
Si la participation dans l’un ou l’autre des groupes de travail missur pied par le CA pour réaliser son plan d’action vous intéresse,n’hésitez pas à nous le faire savoir. Faites-nous profiter de votreréseau de contacts et de votre expertise. Bref, il y en a pour tousles talents et tous les goûts! L’action bénévole est gratifiante enplus de permettre d’acquérir de nouvelles compétences, d’élargirle cercle de ses relations et de créer de nouveaux liens d’amitié.Pour connaître quels sont les dossiers prioritaires de la prochaineannée, on peut consulter le plan d’action qui sera bientôt déposésur le site de la SQÉP. Les personnes intéressées à collaborer àl’un ou l’autre des sous-comités peuvent communiquer avecSigrid Choquette, au secrétariat de la SQÉP, ou encore avecn’importe quel membre du conseil d’administration dont voustrouverez également les coordonnées sur notre site(www.sqep.ca).
Au terme de l’année internationale des bénévoles 2001 auQuébec, je saisis l’occasion pour lancer un message à chacun desmembres de notre association :
Un sincère merci à ceux et celles qui ont déjà offert leurcollaboration à la SQÉP et une invitation aux autres à joindreles rangs des membres actifs!
3
On peut affirmer que la SQÉP a le vent dans les voiles et qu’iln’y a pas de tourmentes à l’horizon. Par conséquent, aucunchangement de cap majeur n’est prévu dans le plan d’action dela SQÉP pour l’année 2001-2002. Prendre aujourd’hui la barrepour que la SQÉP atteigne les résultats escomptés doit êtreperçu à la fois comme un privilège et comme un beau défi.
Un privilège, parce le bilan des dernières années est richecomme en fait foi le Rapport du président présenté par PatrickMoran lors de notre dernière assemblée générale. En effet, il ya fait état d’une situation historique exceptionnelle sur plusieursplans : le plus grand nombre de membres que la Société aitconnu depuis sa création, une situation financière permettantde mettre en place de nouveaux projets, un nombre record departicipants et de participantes au colloque annuel…
Le conseil d’administration se donne comme objectif de répéterles succès passés et d’augmenter la vitesse de croisière enaccroissant le membership en quantité (d’au moins 10 % - cible:365) et en qualité (place aux jeunes et aux organisationstraditionnellement moins présentes). Pour ce faire, des effortsdevront être consentis pour améliorer la visibilité et la capacitéd’action de la SQÉP d’abord au Québec, mais également sur lascène internationale, en recherchant les opportunités de créerdes liens avec d’autres associations d’évaluateurs etd’évaluatrices, en particulier dans les pays de la francophonie.Le plan d’action pour l’année 2001-2002 sera discuté lors de laprochaine réunion du Conseil d’administration le 14 décembreprochain. Une fois adopté, il sera diffusé par l’entremise denotre site Web.
Bien que l’intérêt pour la SQÉP s’inscrive sans doute dans lafoulée des retombées du virage vers la gestion par résultats, ilimporte de reconnaître que la satisfaction face aux diversservices aux membres ne tombe pas du ciel! Le succès est le fruitd’un engagement bénévole soutenu, non seulement de la partdes membres du conseil d’administration mais également de lapart de gens comme vous qui offrent généreusement leur appuià la SQÉP dans le cadre de l’une ou l’autre de ses réalisations.
La gestion harmonieuse de la croissance constituera l’essentieldu beau défi à relever cette année. «L’équipage» officiellementdésigné, entendons ici les membres élus au conseild’administration, risque d’être épuisé si d’autres personnes nelui prêtent pas main forte! En effet, le nombre de membrescomposant le conseil d’administration est toujours de onze et les«heureux» élus doivent servir un nombre de membres qui a plusque triplé au cours des dernières années. La SQÉP doit donccompter sur le dynamisme et l’engagement d’une bonne partie
par Hélène Johnson, présidente de la SQÉP
décembre 2001
4
que quelques-uns, qui, de plus enplus, exigent que les projetsd’investissement qu’ils financentfassent l’objet d’évaluation. Sur leplan technique enfin, le dévelop-pement rapide des moyens decommunication, dont notammentl’internet, a facilité la diffusion del’expertise et des connaissances enmatière d’évaluation.
La SQÉP n’est pas demeurée àl’écart de cette tendance. Dès sacréation, il y a maintenant plus dedix ans, ses membres ont pu profiterdes relations développées par la SCÉavec les autres sociétés d’évaluationexistantes en participant à descongrès organisés conjointementavec les sociétés américaines. Parailleurs, des membres de la SQÉP,sur un plan plus individuel, ont puétablir des contacts à l’étranger dansle cadre de leur travail. Ainsi, Jean-René Bibeau, ancien président de laSQÉP et de la SCÉ, a profité de sonpassage de deux ans au siège del’Unesco à Paris au milieu desannées 1990 pour nouer desrelations avec des intervenants etintervenantes en évaluation dumonde entier. De son côté, Marie-Hélène Adrien, membre du CA de laSQÉP de 1997 à 2001, a acquis unevaste expérience sur le planinternational depuis de nombreusesannées avec la firme Universalia deMontréal, expérience dont elle aentretenu les membres de la SQÉPlors d’une conférence prononcée àl’Université Laval au mois de juinde cette année.
Plus récemment, des contactsétablis avec la Société françaised’évaluation se sont traduits par la
participation de trois membres dela SQÉP aux 3e Journées françaisesde l’évaluation à Issy-les-Mou-lineaux, près de Paris, du 13 au 15juin dernier. Il s’agissait de MmeHélène Johnson, alors vice-présidente de la SQÉP, de M. Jean-René Bibeau, président-sortant dela SCÉ, qui a présenté une com-munication intitulée : Cibler lesrésultats qui comptent pour lescitoyens - le liant nécessaire pourévaluer territorialement, et de M.Jean Turgeon, professeur à l’Écolenationale d’administration pu-blique, qui a présenté une commu-nication intitulée : L’évaluation desactions sociales et médico-sociales :quelques exemples québécois. (Voirà ce sujet l’article d’Hélène Johnsondans le présent numéro du Bulletin).Les contacts avec la SFÉ se sontpoursuivis lors du dernier colloquede la SQÉP tenu à Montréal le 2novembre dernier, alors que M.Denys Baïlle, membre du Bureaude la SFÉ depuis juin 2000, aprésenté deux communications.
Parallèlement à ces contacts d’ordrebilatéral, des initiatives en vue debâtir une coopération internationaleen évaluation se poursuivent. Surce plan, une première rencontretenue à la Barbade en février 2000a réuni des représentants etreprésentantes de 16 associationsnationales. Cette rencontre a aboutià la formation d’un groupe de travailchargé de produire un énoncé deprincipe sur les modalités decoopération entre les Sociétésd’évaluation du monde entier, aveccomme but la création d’une orga-
es motsmondialisation, globalisation etinternationalisation sont aux lèvresde tout le monde aujourd’hui. Lemonde de l’évaluation n’échappe pasà cette tendance. Bien sûr, leséchanges entre les évaluateurs etévaluatrices des différents pays etles contacts entre les sociétésd’évaluation qui les regroupent nedatent pas d’hier. Dès les annéessoixante, quand les premiers écritssur l’évaluation sont apparus et lespremières sociétés d’évaluation ontété mises sur pied, les échanges etles contacts ont rapidement suivi.Pendant longtemps cependant, leséchanges sur le plan institutionnelont été relativement restreints,puisque, pour l’essentiel, les sociétésd’évaluation étaient limitées àl’Amérique du Nord (États-Unis etCanada) et l’Australie.
Ce n’est que dans les dix dernièresannées que la mise sur pied desociétés d’évaluation a pris un essorconsidérable à travers le monde,non seulement en Europe mais aussien Amérique latine, en Afrique, enAsie et même en Russie.
Plusieurs facteurs expliquent cephénomène. Il faut, en premier lieu,y voir l’effet de plus de quarante ansde développement de la théorie etde la pratique d’évaluation deprogramme, d’abord aux États-Uniset ensuite au Canada et en Aus-tralie. À cela s’ajoute l’impact desinterventions d’organismes inter-nationaux comme la CommunautéEuropéenne, la Banque Mondialeet l’Unesco, pour n’en mentionner Suite à la page 8
décembre 2001
5
Hélène Johnson relève le défi de laprésidence de la SQÉP après avoirassumé les fonctions de vice-présidente depuis deux ans. À titrede membre du CA, Hélène s’estparticulièrement intéressée audossier de la formation continue età celui de l’organisation du colloqueannuel. Elle a obtenu un Ph.D. enmesure et évaluation de l’UniversitéLaval en 1992, après avoir exercécomme nutritionniste en santécommunautaire et en recherche.Actuellement en poste à l’UniversitéLaval comme conseillère enévaluation de programme, ellecontinue d’assumer la présidencedu Groupe Johnson & Roy inc., unefirme privée regroupant desconsultants et des consultantesspécialisés en mesure et évaluationœuvrant principalement auprèsd’organismes publics, parapublicset communautaires.
Angèle Bilodeau œuvre en rechercheévaluative dans le champ de la santépublique depuis 20 ans. Détentriced’un PhD en sciences humainesappliquées de l’Université deMontréal, elle est chercheure àl’Institut de santé publique duQuébec et à la Direction de la santépublique de Montréal-Centre. Elleest aussi chercheure associée àl’Institut de recherche pour ledéveloppement social des jeunes.Ses champs actuels de recherchesont ceux de la planificationpublique et des collaborations inter-organisationnelles, intersecto-rielles, public – communautaire,dans l’élaboration et la réalisationdes programmes publics. Au cours
de sa carrière, elle s’est intéressée àdifférents champs d’action, tels ceuxde la promotion de la santé en milieude travail ou de la violence faite auxfemmes. Ses intérêts théoriquessont ceux des nouveaux courants ensociologie des organisations, centréssur la construction de l’accord entreles acteurs et sur l’innovation.
Jim Cullen détient une maîtrise del’Université Concordia et un brevetd’enseignement de l’UniversitéMcGill. Il a également étudié àl’Université de Chicago et àl’Université de Montréal. Il a œuvréau Conseil des ministres del’Éducation, Canada (CMEC),organisme qui regroupe lesministres de l’Éducation desprovinces et des territoires. Il y futcoordonnateur de l’enseignementprimaire et secondaire et coor-donnateur du programme d’indica-teurs de rendement scolaire (PIRS).Actuellement adjoint à la sous-ministre adjointe aux Services à lacommunauté anglophone, duministère de l’Éducation du Québec,monsieur Cullen est chargé dudossier de la recherche et de laplanification. Membre de la SQÉPdepuis quelques années, il a été unparticipant actif aux dernierscongrès de la SCÉ à Vancouver et àOttawa. Membre de l’AmericanEducational Research Association,il entend promouvoir l’implantationde la SQÉP dans le domaine del’éducation. Il a présidé le Colloque‘98 de la SQÉP à Saint-Hyacinthe,coprésidé le Comité organisateurdu Congrès 2000 de la SCÉ ainsique le Colloque 2001 de la SQÉP àMontréal.
Nathalie réalise actuellement sondoctorat à l’École nationaled’administration publique enévaluation des programmes publics.À titre de professionnelle enrecherche, elle participe àl’élaboration de l’évaluation desprogrammes de troisième cycle decette institution et travaille au seind’un groupe de recherche s’intéres-sant à l’intervention étatique dansle domaine des nouvelles tech-nologies de reproduction. Depuisquelques années, elle enseigne lesméthodologies de recherche etl’analyse des politiques publiques àl’ÉNAP. Auparavant, elle a œuvréen recherche et évaluation pendanttrois années à la Régie régionale dela santé et des services sociaux desLaurentides. Nathalie a aussiréalisé différentes évaluations entant que consultante autonome. Elleveut maintenant consacrer sesefforts à l’avancement de l’évalua-tion dans le secteur public. Elle acoprésidé le Colloque 2001 de laSQÉP à Montréal.
Détenteur d’une maîtrise enéconomie, Jacques Gagnon atravaillé de nombreuses années auxministères des Ressources natu-relles, de l’Environnement et desAffaires municipales en tantqu’évaluateur, économiste etplanificateur. Il travaille main-tenant à son propre compte. Ils’intéresse à l’évaluation desprogrammes et des organisations, àla gestion par résultats, aux
Suite à la page 6
décembre 2001
6
indicateurs de performance ettableaux de bord, aux sondagesauprès de la clientèle et à l’éva-luation économique. Il est membredu conseil d’administration de laSQÉP depuis 11 ans dans lequel iloccupe notamment les fonctions detrésorier et responsable du site Web.Son expérience le conduit à sup-porter les opérations de la SQÉP àtous les niveaux. Il reconnaît laSQÉP comme l’agent promoteur del’évaluation au Québec qui défendses intérêts auprès des décideur-e-s et des employeur-e-s et quidéveloppe la formation de sesmembres et le réseautage.
Madame Gauthier détient undiplôme de maîtrise en économiquede l’Université McGill. Elle atravaillé comme agente de recherchedans divers organismes gouverne-mentaux notamment, l’Office deplanification et de développementdu Québec, le Conseil du statut dela femme et le Conseil des affairessociales. Dans le cadre de sesfonctions, elle a eu l’occasion decollaborer aux travaux de l’Institutde la santé et de la recherchemédicale en France et de SantéQuébec. Elle a commencé à œuvreren évaluation en 1989 à la Régie del’assurance-maladie du Québec. Elley a, entre autres, développé avec uncomité interdisciplinaire un indica-teur de la qualité de la phar-macothérapie des personnes âgées .Par la suite, elle a été embauchéepar la Direction de l’évaluation duministère de la Santé et des Servicessociaux. Ses travaux ont surtout étéaxés sur l’utilisation des résultatsde la recherche évaluative dansl’organisation des services de santémentale et dans la définition dedifférents programmes de médica-ments. Depuis 1999, elle est à l’em-
ploi du ministère de la Culture etdes Communications. Elle s’occupede l’évaluation des ententes dedéveloppement culturel et del’évaluation de la politiqueministérielle en arts de la scène.
Consultante autonome en éva-luation de programme et enrecherche sociale appliquée,madame Kishchuk est détentriced’un doctorat en psychologie sociale.Elle était anciennement vice-présidente, région du Québec desAssociés de recherche Ekos (1996-1998), responsable de l’unitéOrganisation et évaluation desservices préventifs de la Directionde la santé publique de Montréal-Centre (1992-1996) et coordonnatri-ce de la recherche au Départementde santé communautaire de l’Hô-pital général de Montréal (1988-1992). Elle est professeure accré-ditée au Département de médecinesociale et préventive de l’Universitéde Montréal, professeure associéeau Département d’épidémiologie etde biostatistique de l’UniversitéMcGill et membre du Comité derédaction de la Revue canadienned’évaluation de programme. Activedepuis de nombreuses années ausein de la SCÉ dans le dossier desnormes en évaluation de pro-gramme, elle a également animédes ateliers de perfectionnementdans le cadre des programmes dedéveloppement professionnel de laSCÉ et la SQÉP. Elle est membredu Conseil d'administration depuisquelques années. Elle a coprésidé leComité organisateur du Congrès2000 de la SCÉ.
Depuis 1993, Sylvie Lefrançois agità titre de consultante en gestion
auprès de ministères et d'orga-nismes publics. Elle est cofondatriceet présidente de Sogémap inc., unesociété conseil en gestion deprogrammes publics. MadameLefrançois détient une maîtrise enadministration publique, spéciali-sée en évaluation de programme.Sa connaissance de l'administrationpublique lui confère une expertiseparticulière dans le fonctionnementde l'appareil gouvernemental.Parmi ses intérêts de recherche,mentionnons l'utilisation de tech-niques spécialisées permettant lamesure des résultats, l'analyse durendement des programmes gouver-nementaux et l'élaboration detableaux de bord de gestion. Elleparticipe à l'élaboration et audéveloppement de la fonctionévaluative dans plusieurs minis-tères. De plus, elle enseigne lesméthodes d'évaluation à l'Écolenationale d'administration publi-que.
Richard Marceau est professeur àl’École nationale d’administrationpublique depuis 1984. Il estégalement professeur invité àl’Institut national de la recherchescientifique et membre du Conseilscientifique de l’Institut Écono-mique de Montréal. Il détient undoctorat en science politique del’Université Laval, une maîtrise ensciences de l’eau de l’INRS et unbaccalauréat en physique del’Université Laval. MonsieurMarceau est un analyste de poli-tiques publiques et un évaluateurde programmes qui a, en particulier,publié dans les secteurs de l’envi-ronnement et de l’éducation. Il a, deplus, réalisé des évaluations deprogrammes dans de nombreux au-
Votre conseil d’administration 2002 (suite)
Suite à la page 8
décembre 2001
7
Ces trois mots «gestion parrésultats» sont sur toutes les lèvres,telle une litanie sans cessegrandissante qui rallie de plus enplus d’adeptes. Nos politiciens etnos politiciennes prêchent la bonnenouvelle et nos administrateurspublics tentent, au nom d’uneimputabilité souvent floue maiscombien à la mode, de rendre comptede leurs actions. Ainsi, le discoursest à la gestion par résultats. Maisqu’en est-il dans la pratique? Nosgestionnaires se sont-ils véritable-ment engagés dans ce virage obligé?
La gestion par résultats n’est, niplus ni moins, qu’une évaluation dela performance en fonction d’objec-tifs préétablis et à l’aide d’indica-teurs de mesure pertinents. Elleimplique moins de contrôle surl’allocation des ressources et sur lesprocessus et donc plus de flexibilitédans le choix des moyens à mettreen œuvre. Le contrôle des résultatstend donc à conférer une plus grandemarge de manœuvre aux ges-tionnaires. L’important, ce n’est pasla façon dont on fait les choses, maisplutôt l’atteinte des résultatsescomptés. Là où le bât blesse, c’estlorsqu’on s’attarde à cette notion derésultats.
Plaidoyer pour une gestion parrésultats significative
Julie Fortin (1) et Pierre Simard (2)
École nationale d’administration publique (ÉNAP)
des fonds publics. Mais elles nepermettent pas de rendre véritable-ment compte de la finalité del’intervention. En ce sens, lesobjectifs qui guident la gestion parrésultats devraient être directementreliés à la mission des organisationset, par le fait même, aux citoyens etaux citoyennes, puisque les orga-nisations publiques sont au servicede la population.
Dans ce contexte, l’expertise quepossèdent les évaluateurs et lesévaluatrices de programmes devraitêtre mise à profit pour aider lesorganisations publiques à prendrele virage d’une gestion par résultatssignificative, c’est-à-dire quipermette de mesurer les impactsdes interventions mises en œuvre.Si plusieurs organisations ont déjàamorcé le virage, il reste énor-mément de travail à faire poursystématiser l’exercice et ainsifavoriser le développement d’une«culture» de la gestion par résultats,culture qui aurait grand intérêt às’inspirer des méthodes et techni-ques développées dans le champ del’évaluation de programme. En cesens, l’utilisation d’une approcheparticipative pourrait sans aucundoute être bénéfique. En effet, cesont les gestionnaires – et non lesévaluateurs et les évaluatrices –qui détiennent la responsabilité degérer en fonction des résultats.Aussi, une participation active auprocessus de définition desrésultats, des indicateurs, desméthodes, etc. pourrait permettreaux gestionnaires de développer le«réflexe» d’une mesure des résultatssignificative.
En évaluation de programme, lesrésultats attendus correspondentaux effets et répercussions ou, end’autres mots, aux impacts d’unprogramme. Cette mesure d’impact,qui constitue sans doute la tâche laplus délicate de l’évaluateur, doitpermettre d’établir un lien decausalité entre le programme et lesmodifications d’une situationdonnée. La mesure de l’impact d’unprogramme est donc directementliée à sa raison d’être : a-t-on modifiéla situation problématique qui étaità l’origine de la conception duprogramme?
Or, la gestion par résultatspratiquée dans nos organisationspubliques se limite souvent àdocumenter des indicateurs d’ex-trants, que certains qualifient de«résultats court terme» ou encored’«outputs». Ces indicateurs setraduisent souvent par des mesuresreliées aux coûts et aux délais (3).Par exemple, la durée de séjour despatients à l’hôpital est-elle uneindication de la qualité des soins?Le taux de diplômation d’une écolenous renseigne-t-elle sur l’étenduedes connaissances acquises par lesélèves? Certes, ces mesures sontimportantes pour réaliser un suivide gestion adéquat et assurer latransparence nécessaire à la gestion
(1) Julie Fortin est chargée de cours et étudiante au doctorat à l’École nationaled’administration publique. Elle agit également comme consultante en mesure etévaluation auprès d’organismes publics.
(2) Pierre Simard est professeur titulaire à l’École nationale d’administrationpublique. Il est spécialisé en évaluation des programmes publics, notammentdans le secteur du développement régional et de la santé.
(3) Paul G. Thomas (1998). « La nature changeante de l’imputabilité », dans Guy B.Peters et Donald J. Savoie (dirs.), Réformer le secteur public : où en sommes-nous?, Toronto, Centre canadien de gestion, p. 263-295.
décembre 2001
8
nisation internationale regroupantla communauté des évaluateurs etévaluatrices. La SQÉP suit avecintérêt les travaux de ce groupeinformel qui bénéficie de l’aidefinancière de la Fondation Kelloggdes États-Unis.
L’objectif primordial poursuivi parla SQÉP dans son action inter-nationale doit être la recherched’une valeur ajoutée pour ses
Les dimensions internationales de l’action de la SQÉP (suite)
membres. Cette valeur ajoutéepourrait prendre plusieurs formes,dont un meilleur accès à des sourcesd’information et d’expertise, deséchanges avec des collègues d’autressociétés ainsi que l’ouverture auxemplois sur le plan international.Étant donné que la majorité desmembres de la SQÉP sontd’expression française, il seraitnormal que la SQÉP essaie deprivilégier des actions qui profitent
à ses membres francophones. End’autres termes, pour atteindre cetobjectif d’une valeur ajoutée pourses membres, la SQÉP devrait viserune ouverture la plus large possiblesur le plan interculturel et inter-national, tout en adoptant uneattitude largement proactive en cequi a trait aux démarches qui visentune coopération accrue entre lessociétés d’évaluation francophone.
Votre conseil d’administration 2002 (suite)
tres secteurs d’intervention publi-que pour des ministères fédéraux etprovinciaux ainsi que pour leVérificateur général du Québec.
Après des études en génie, d’aborddans son pays natal, l’Irlande, etensuite en Grande-Bretagne, enAllemagne et finalement à l’U-niversité Queen’s en Ontario,Patrick a travaillé au gouvernementde l’Ontario avant de s’établir auQuébec en 1965. Sa carrière augouvernement du Québec l’a amenédu ministère des Finances, enpassant par le ministère desTransports, jusqu’au Secrétariat duConseil du trésor. Patrick s’intéresseà l’évaluation de programme depuisfort longtemps. Cet intérêt s’estexprimé de multiples façons : il aparticipé à l’implantation dusystème PPB, dans lequel l’éva-luation de programme occupe uneplace stratégique; il a été res-ponsable de l’évaluation despolitiques administratives duConseil du trésor; il a développé lapremière politique gouvernemen-tale en matière d’évaluation de
programme; il a organisé le premiercolloque sur l’évaluation au Québecen 1987; il a rédigé de nombreuxarticles et prononcé des allocutionsqui avaient pour sujet l’évaluationde programme. Depuis, 1996, il estconsultant autonome en planifi-cation stratégique et en évaluationde programme. Patrick a étémembre du Conseil d’adminis-tration de la SCÉ dans les années1980. Il a été élu membre du CA dela SQÉP en 1996 et président lorsdes assemblées générales de 1999et 2000.
Simon Thibault, consultant etanalyste de politiques, a acquis uneexpérience de travail internationaledans plusieurs régions du mondetelles que l’Amérique centrale, l’Asiecentrale, l’Asie du sud-est, l’Afriquede l’Ouest, la Russie et le Caucase.Au cours des dernières années,Simon a réalisé plusieurs mandatsen évaluation et suivi deprogrammes pour des institutionsmultilatérales (ONU, OMC, etc.),
des Banques de développement(BM, BDI) et des ONG inter-nationales.
Avant de se joindre à Universalia,Simon a travaillé pour l’unitéd’évaluation de l’Institut de laBanque mondiale à Washington,D.C., où il a mené des recherches etdes missions de terrain auKazakhstan et en RépubliqueKirghiz. Il a également travaillécomme consultant et analyste depolitiques au siège de l’Organisationdes États Américains (OEA), àWashington, D.C., où il a participéà l’organisation d’une réunionministérielle entre les étatsmembres de l’OEA, en coordonnantnotamment des sessions de stratégieet de planification de politiques.Simon a aussi travaillé au Mexiqueet en Inde sur des projets reliés à labonne gouvernance, à la résolutionde conflits et au suivi d’élections. Iltravaille à présent avec les clientsd’Universalia en développementinternational. Il parle courammentfrançais, anglais et espagnol. Il vientd’être élu membre du conseild’administration de la SQÉP.
décembre 2001
Une présence québécoise aux 3e Journées françaisesde l’évaluation : réflexions et retombées concrètes...
Jean Turgeon, Jean-René Bibeau et Hélène JohnsonLa «délégation québécoise»
a Société française del’évaluation (SFÉ) est
encore une jeune organisation qui anéanmoins réussi à rassembler enquelques années plus de 300adhérents. Son troisième colloqueannuel s’est déroulé dans unebanlieue située au sud de Paris,plus précisément dans les Hauts-de-Seine, à Issy-les-Moulineux, du13 juin (ateliers pré-session) au 15juin 2001. Le thème retenu pour cesjournées, L’évaluation des politiquespubliques à l’épreuve des territoires,a rallié les présentateurs et lesprésentatrices dans le sens que laplupart des exposés mettaient enévidence le fait que la «territo-rialisation» de l’évaluation exige uneremise de pouvoir aux acteursrégionaux.
Nous avons pu observer desdivergences et des parallèles entreles pratiques françaises et qué-bécoises. Parmi les différences,mentionnons la présence deplusieurs politiciens et politiciennesà titre de conférenciers et confé-rencières à un colloque réunissantdes évaluateurs, phénomène plutôtinhabituel au Québec et au Canada.Cette tendance peut s’expliquer parle fait qu’en France, l’accent ait étémis pendant longtemps surl’évaluation des politiques publiquesplutôt que sur les programmes,comme c’est le cas dans les autrespays, et que l’évaluation ait étéplacée sous la gouverne duCommissariat général du plan. Enmême temps, ironiquement, cettefaçon de faire a retardé la prise enmain des programmes régionaux etlocaux par les évaluateurs et lesévaluatrices français.
Du côté des similitudes, le langagede l’évaluation en France nous estapparu très semblable au nôtre. Àplusieurs reprises, malgré laprésence d’une délégation depoliticiens et de politiciennes aucolloque, les présentateurs et lesprésentatrices ont souligné le faitque le politique regarde souventl’évaluation par dessus l’épaule…Le problème associé au manque deformation adéquate en évaluation aété souligné et a suscité un intérêtparticulier pour des échangesfranco-québécois futurs. Toutcomme la tendance actuelle auQuébec et ailleurs au Canada, lesFrançais admettent généralementl’idée que l’évaluateur ou l’évalua-trice doit se pencher sur un ensemblede questions englobant tout à la foisla raison d’être des politiques (bienqu’ici l’on parle davantage deprogrammes), leur formulation etnon seulement leur mise en œuvreet que l’absence de données(indicateurs fiables d’effets, entreautres) est au cœur de nombreusesdifficultés.
Par ailleurs, un bon nombre deconsultants et de consultantes ontpris la parole dans les ateliers, cesderniers portant égalementplusieurs chapeaux, dont souventcelui de maître de conférence dansl’une ou l’autre des universitésfrançaises. Dans l’ensemble, il estaussi apparu clair que lesévaluateurs et les évaluatricesfrançais demeurent très hésitantsà intégrer dans leurs responsabilitéscelles de tirer des conclusions et defaire des recommandations. Cela aété mis en évidence lors d’une tableronde en plénière où l’on a opposé
explicitement, en ce sens, l’approchetraditionnelle canadienne, que l’ona qualifié de mature, et celle de laFrance. Traditionnellement,l’évaluateur ou l’évaluatrice fran-çais remet un rapport sur les faits,se garde bien de faire des recom-mandations et laissent aux politi-ciens et aux politiciennes le rôle,voire le risque, de tirer desconclusions.
L’apport québécois au colloque s’estconcrétisé par une communicationde Jean Turgeon, professeur àl’ÉNAP, lors d’un atelier surl’évaluation des actions sociales etmédico-sociales, et l’allocutioncolorée sur le thème des Résultatsqui comptent pour le citoyen,présentée par Jean-René Bibeau,ancien président de la Sociétécanadienne d’évaluation, conféren-cier au panel de clôture. Lesréactions de la part de plusieursparticipants et participantes por-tent à croire que nous leur avonsapporté une vision dynamique del’évaluation, centrée sur le citoyenou la citoyenne client plutôt que surl’appareil interne de production desadministrations publiques. Cetaspect est aussi ressorti dans lesdébats à plusieurs reprises. Cetteréaction se comprend car l’objetprincipal de la démarche d’éva-luation en France, hormis l’étudemacro de politiques publiques quiprennent souvent plus l’allured’audits généraux, demeure encorela performance des organisations etl’efficience interne. En effet, trèspeu d’efforts portent sur l’efficacitéexterne et les impacts sur les
Suite à la page 12
9
décembre 2001
10
En novembre dernier, la Société québécoise d’évaluation de programmedemandait à deux étudiants et à une étudiante inscrits à la maîtrise enévaluation des programmes de l’École nationale d’administration publiquede nous livrer le fruit de leurs observations. Plus précisément, les membresdu comité organisateur et du bulletin ont sollicité la participation des futursdiplômés sur les points suivants : la rigueur théorique des présentations,l’utilisation pratique des connaissances partagées ainsi que leurs réflexionspersonnelles sur l’événement. Cet exercice permet de compléter l’évaluationformelle du colloque qui vous est présentée dans ce numéro du bulletin. Enespérant que le bulletin élargisse cette contribution des jeunes dans ledomaine de l’évaluation des politiques et des programmes publiques.
❄ ❄ ❄ ❄ ❄ ❄ ❄
Colloque 2001 sur la gestion par résultats etl’approche participative.
Comment ça se passe chez vous?
Isabelle Doucet (4)
Si nous regardons dans le dictionnaire, un colloque se définit comme étantun débat entre plusieurs personnes sur des questions de doctrine. Or, undébat est l’action d’examiner une question entre interlocuteurs etinterlocutrices qui ont des positions contradictoires. Quant à la doctrine,elle correspond à un ensemble de notions qu’on affirme être vraies et parlesquelles on prétend fournir une interprétation des faits, orienter oudiriger l’action. Alors, ma question est la suivante : est-ce que nous avonsvraiment assisté à un colloque le 2 novembre dernier? Examinons ledéroulement de la journée pour répondre à cette question.
D’abord, le colloque a débuté avec le panel d’ouverture où trois facettesintéressantes de la problématique ont été présentées : Pierre A. Bélanger,du Secrétariat du Conseil du trésor, nous a fait part de la nouvelle loi surl’administration publique, surtout axée sur les résultats. Mireille Tremblay,de la Fédération québécoise des Centres de réadaptation pour les personnesprésentant une déficience intellectuelle, a démontré la difficulté de jumelerla gestion par résultats et l’évaluation participative en raison de leursracines idéologiques et de leurs objectifs propres. Céline Mercier, professeure
Le dernier colloque de la SQÉP :deux auditeurs et une auditricenous donnent leurs impressions
Martin St-Georges, éditeur du bulletinNathalie Dubois, coprésidente du
10e Colloque annuel de la SQÉP
Suite à la page 11
(4) Isabelle Doucet détient un baccalauréat en Relations industrielles. Elle termine actuellementune maîtrise en administration publique à l’ÉNAP, concentration mesure et évaluation del'intervention gouvernementale.
à l’Université McGill, a terminé letout en présentant l’aspect de laparticipation démocratique desévaluations. Ce panel d’ouverture adonné le ton à la journée, en offrantaux participants et aux participan-tes des présentations complètes etargumentées.
Ensuite, les ateliers ont pris place.Les conférenciers et les conférenciè-res invités ont présenté à tour derôle leurs conceptions théoriqueset/ou leurs évaluations empiriques.Ces dernières ont permis de jeterun regard sur la problématique sousdifférents angles. D’abord, l’uned’elles a identifié les éléments quinuisent ou qui facilitent les relationsentre les évaluateurs et lesévaluatrices et les parties pre-nantes. Une autre s’est attardéespécifiquement sur la relation entreles évaluateurs ou les évaluatriceset les gestionnaires, le premier étantresponsable de l’évaluation par-ticipative et l’autres, de la gestionpar résultats. Finalement, uneévaluation empirique a démontréla nécessité de jumeler ces deuxapproches lors d’une démarched’agrément. Trois évaluationsempiriques, trois interprétations defaits, trois doctrines qui peuventeffectivement nous influencer dansnotre travail et orienter notre action.
décembre 2001
Le dernier colloque de la SQÉP (suite)
Suite à la page 12
PanellistesPierre Bélanger Mireille Tremblay Céline Mercier
Bien que la doctrine ait été amenéelors du colloque, la réalisation dudébat semble plus nébuleuse.Nécessaire voire indispensable, ledébat permet aux personnesprésentes de soulever des argu-ments en faveur ou en défaveur dujumelage de l’évaluation partici-pative et de la gestion par résultatsafin que de façon ultime on puisseprouver, contrebalancer ou mêmecontredire ce qui a été avancé parles évaluations empiriques. En fait,peu de temps a été consacré auxéchanges entre les présentateurs etles présentatrices et les participantset les participantes, en raisonnotamment de la longueur decertains exposés et de la taille desgroupes, ce qui n’a pas donné lieu àune discussion de ce genre.Pourtant, avec la diversité desparticipants et des participantes quiprovenaient des milieux commu-nautaires, universitaires, desministères et organismes gouverne-mentaux ainsi que des firmesprivées, il aurait été intéressantd’examiner la thématique sousplusieurs points de vue.
Alors, pour reprendre la questionposée au départ : avons-nous vrai-ment assisté à un colloque? Oui etnon. Oui, parce que la doctrine étaitau rendez-vous et nous avons eudroit à des présentations qui ontinterprété des faits qui peuvent nousorienter dans l’action. Non, parceque la question concernant lapossibilité de jumeler ou nonl’évaluation participative et lagestion par résultats n’a pas faitl’objet d’un débat. Mais, malgré toutce qui précède, nous devons nousrappeler qu’un colloque signifiebeaucoup plus que sa définition,puisqu’il donne avant tout la chanceà ceux et à celles qui exercent lamême profession de se rencontrer,de créer des liens et de s’entraidermaintenant et à l’avenir, simple-ment parce qu’ils sont tousconcernés par les nouvelles ten-dances en gestion et en évaluation,tous confrontés aux mêmes défis, ceque le colloque 2001 aura entreautres permis de réaliser. À l’anprochain!
❄ ❄ ❄ ❄ ❄ ❄ ❄
La démocratisation del’évaluation : jusqu’où
faut-il aller?
Guy Nantel (5)
Le 2 novembre dernier nous avonsété conviés au 10e colloque de laSQÉP ayant pour thème « La gestionpar résultats et l’évaluationparticipative : approches parallèlesou convergentes?». À titre d’étudianten dernière année à la maîtrise enévaluation de programme del’ÉNAP, je vous propose un brefretour sur quelques concepts-clésprésentés lors de ce colloque ainsiqu’une réflexion personnelle.
11
(5) Guy Nantel détient un baccalauréat enadministration publique des affaires del’UQAM. Il termine actuellement àl’ÉNAP sa maîtrise en administrationpublique, plus précisément en mesure etévaluation de l’intervention publique.Pour tout commentaire : [email protected].
décembre 2001
12
De la théorie…..
L’approche participative de l’éva-luation se veut un processus quipermet l’implication des différentsacteurs et actrices dans les diffé-rentes étapes de l’évaluationfavorisant ainsi l’appréciation desprogrammes. Cette démocratisationde la démarche permet l’expressiondes participants et des participantesfaisant en sorte que leurs préoc-cupations soient maintenantentendues et reconnues dans ladémarche d’évaluation. La gestionparticipative s’articule principale-ment autour d’un processus itératifde négociations qui se traduit par laréalisation d’une démarche d’éva-luation.
À première vue, il peut semblerpérilleux d’effectuer le rappro-chement entre la gestion partici-pative et la gestion par résultats
compte tenu de la finalité distinctede chacune. La gestion participativepermet aux individus de se déve-lopper et à l’évaluateur ou l’éva-luatrice d’agir comme animateur et«facilitateur» alors que la gestionpar résultats permet plutôt auprogramme de se développer en cesens qu’il existe une réellepréoccupation d’orienter les effortsen fonction des impacts escomptés.Ainsi, l’ajustement en ce quiconcerne l’objet de l’évaluation, s’ily a lieu, pourra s’effectuer en fonc-tion des résultats rencontrés.
…à la pratique
Toutefois, des expériences citées enexemple lors d’ateliers démontrentla possible convergence entre lesdeux approches de gestion. En effet,le souci d’intégrer les différentespréoccupations des participants etdes participantes dans l’évaluation,
confère à la gestion participativeune meilleure adéquation entre lespréoccupations des acteurs et desactrices et l’utilisation des résultats.De plus, une évaluation réaliséesur le plan international dans unenvironnement fort différent dunôtre a aussi permis de constaterles avantages que procurent laconciliation entre les deux modesde gestion.
L’évaluation : entre l’évolutionet la réflexion
Avec l’intégration de la gestionparticipative au sein de la démarched’évaluation, le rôle de l’évaluateuret de l’évaluatrice de même que lafaçon de procéder se voient modifiés.Au-delà des modifications, uneréflexion s’impose également en cequi concerne les conséquencespossibles de ce virage.
Le dernier colloque de la SQÉP (suite)
Une présence québécoise aux 3e Journées françaises del’évaluation : réflexions et retombées concrètes (suite)
populations. À cet égard, lesinterventions que nous avons faitesont apporté une perspectivenouvelle, que plusieurs auditeurset auditrices attendaient d’ailleursavec impatience.
Au plan de la logistique, men-tionnons l’application de la plupartdes conférenciers et des confé-rencières à produire un texte. Laremise d’une «brique» de 10 cmd’épaisseur était traumatisantepour...le bras et l’épaule qui devaitle trimbaler durant ces journées.La durée des périodes de pause etde repas (de nature gastronomique)nous ont permis de créer des liens
avec de nombreux évaluateurs etévaluatrices français qui rêvent tousde pouvoir assister au colloque de laSQÉP, un de ces jours ! D’ailleurs,lors du récent colloque de la SQÉP,nous avons eu le privilège d’ac-cueillir comme conférencier mon-sieur Denys Baïlle, membre duBureau de direction de la Sociétéfrançaise de l’évaluation
Le rapprochement entre les mem-bres de nos deux associations a étémanifeste lors d’une soirée amicalequi s’est déroulée à l’intérieur degaleries souterraines creusées àmême une colline d’où l’on extrayaitde la craie, transformées par la suite
en caves à vin. Notre présence aucolloque a donc permis de créer etde raffermir de nombreux contactsen plus de formuler des projetstangibles de collaboration entre laSQÉP et la SFÉ : liens entre nossites Web, participation dereprésentants et de représentantesà nos colloques respectifs, orga-nisation d’activités conjointes,échanges d’étudiants et d’étudianteset de stagiaires, formation d’équipesmixtes d’évaluateurs et d’évalua-trices, etc. Il est à noter à cet égardque la SFÉ souhaite entretenir unlien privilégié avec la SQÉP, enparallèle du lien qu’elle entretientavec la SCÉ.
Suite à la page 13
décembre 2001
Dans un premier temps, ledécloisonnement du rôle del’évaluateur et de l’évaluatriceprocure une plus grande latitude decelui-ci envers les différents acteurset actrices concernés par l’évalua-tion. Négociateur, animateur,conciliateur sont les rôles qui ferontdésormais partie de ses compétenceset de ses habiletés. Par contre, ces«nouveaux» rôles impliquentégalement une part de risque. Eneffet, la non maîtrise de ces habiletéspourrait détourner la démarched’évaluation vers des avenuesautres que celles désirées parl’évaluation et ainsi nuire à lacrédibilité et à la validité desrésultats obtenus. Un acteur ou uneactrice qui excelle dans lanégociation pourrait par exemples’approprier l’évaluation dans soncontenu et la diriger dans le sensqui lui conviendra. Bref, il ne fautpas perdre de vue la finalité de ladémarche d’évaluation : porter unjugement éclairé et objectif.
Par ailleurs, la démarche démocra-tique que permet l’approcheparticipative consistant à l’implica-tion des participants et des par-ticipantes dans le processusd’évaluation puise sa force dans lefait que ces derniers adhèrent plusfacilement au processus d’évalua-tion. Par conséquent, les résultatsqui ressortiront de l’évaluation demême que les recommandationsseront plus à même d’être pris enconsidération par les principauxintéressés. Encore une fois,l’implication des participants et desparticipantes à différentes étapesde la démarche peut éventuellementnuire à la rigueur de la méthodologieutilisée, faire dévier le processus etconduire à une méthodologieinadéquate qui viendra possible-ment biaiser les résultats.
Sans tomber dans la dictature, lesévaluateurs et les évaluatricesdevraient-ils limiter la participationà quelques aspects de la démarcheafin de ne pas invalider les résultats?Existe-t-il un risque à une tropgrande participation et négociation?
❄ ❄ ❄ ❄ ❄ ❄ ❄
Un regard critique sur le10e Colloque de la SQÉP
Gerard Richard Paraschiv (6)
J’ai participé avec un optimismeindescriptible à toutes les activitésproposées par le 10e Colloque annuelde la Société québécoise d’évaluationde programme. Le thème du colloques’inscrit dans les grandes orien-tations du nouveau cadre de gestionpar résultats. Il comportait deuxparties importantes. La premièrepartie était composée par laconférence d’ouverture qui avaitcomme thème «L’évaluation miseen contexte : participation etrésultats» tandis que la deuxièmeétait constituée d’ateliers. Je doisdire que la première partie s’estdémarquée par sa rigueur théori-que.
Après la première pause, j’aiparticipé à l’atelier où Pierre Voyer,professeur à l’ÉNAP et Marie-Hélène Jobin, professeure aux HEC,ont présenté une évaluationparticipative réalisée au ministèrede l’Éducation. Pendant cet atelier,
les deux professeurs ont bien montréle parcours et les implicationsinhérentes à une évaluation deprogramme. Ensuite, BradleyCousins, professeur à l’Universitéd’Ottawa, a plaidé en faveur desavantages de l’approche participa-tive.
Après le dîner, j’ai assisté à un autreatelier animé par Nathalie Dubois,étudiante au doctorat à l’ÉNAP etpar Céline Poissant et Bernard-Simon Leclerc, agents de recherchesociosanitaires en évaluation à laRégie régionale de la santé et desservices sociaux de Lanaudière.Pendant la première présentation,Nathalie Dubois a soumis àl’attention de l’auditoire un thèmefort intéressant qui concerne tousles évaluateurs et les évaluatricesde programmes publics, c’est-à-direl’adéquation entre l’approcheparticipative et la gestion parrésultats. Elle a très bien présentéles principales limites de l’approcheparticipative dans le contexte de lamodernisation étatique en sedemandant si une telle approchepermettait une adéquation entreles attentes des acteurs et desactrices impliqués dans le processusd’évaluation et les résultats del’évaluation. La rhétorique deNathalie Dubois a été d’unesouplesse et d’une persuasionremarquables. Elle s’est demandési le «ménage» entre l’évaluationparticipative et la gestion parrésultats peut être satisfaisant etcela, principalement au plan desattentes et des exigences de ces deuxmondes contigus. Par la suite, CélinePoissant et Bernard-Simon Leclercont présenté les principalesorientations en matière d’évaluation
Le dernier colloque de la SQÉP (suite)
(6) L’auteur de cet article possède unbaccalauréat en sciences sociales del’Université de Bucarest (Roumanie).Présentement, il finit sa maîtrise enmesure et évaluation de l’interventionpublique à l’ÉNAP de Montréal. Au coursde sa maîtrise, il a planifié plusieursévaluations de programmes publics. Suite à la page 18
13
décembre 2001
14
Un regard critique sur nos publications
Depuis quelques minutes, je fixe l’écran de mon ordinateur. Je songe… J’ose espérer un avenirprometteur pour cette chronique. Je souhaite que son contenu demeure fidèle à l’ensemble descourants théoriques discutés en évaluation, qu’il présente une perspective empirique pertinente,qu’il soit vêtu d’un soupçon d’analyse critique et d’une large dose de respect. Pour atteindre cesobjectifs, j’ai besoin d’être en relation avec vous, les lecteurs et les lectrices, les membres del’association. Je crois fermement que si le Bulletin de la SQÉP me permet de présenter mon étudecritique d’un document, il doit aussi permettre aux lecteurs et aux lectrices de s’exprimer parl’entremise de cette même chronique. Je vous propose donc un «marché». Je m’engage à rédigerles prochains articles en respectant ces grands objectifs, mais en échange, j’aimerais connaîtrevotre opinion, vos commentaires et suggestions quant à cette chronique. Votre participation peutprendre différentes formes : lettre d’opinion, commentaires quant à la forme ou au contenu,réponse à ma critique, etc. Votre collaboration peut être un conseil chuchoté (lettre non publiée)ou un débat d’idées sur «notre tribune» (article ou lettre publiée). Allez, j’attends impatiemmentde vos nouvelles!
❄ ❄ ❄ ❄ ❄ ❄ ❄
Dans le dernier numéro du bulletin, je sollicitais la collaboration de mes collègues pour la rédactionde cette chronique. Cette invitation à été gentiment acceptée par madame Isabelle Brunet qui m’aproposé, malgré les courts délais, de participer à ce numéro du bulletin.
Satisfaites du travail découlant de notre collaboration, nous vous présentons deux études critiquesd’un guide d’évaluation en trois volumes qui a été rédigé dans le cadre du Programme d’actioncommunautaire pour les enfants (PACE). Le premier article étudie le document sous une lentillethéorique et méthodologique (article de Nathalie Dubois) alors que le second article analysel’ouvrage selon sa pertinence et son efficacité pour la pratique en évaluation de programme (articled’Isabelle Brunet). Plus précisément, le document a entre autres objectifs de «fournir aux groupesœuvrant dans le cadre du PACE un soutien qui corresponde le plus possible autant à leurs besoinsqu’à leurs possibilités concrètes de poursuivre des activités d’évaluation» (p. iv). Brièvement, lepremier volume vise à clarifier les principales idées, questions ou notions en cause lorsqu’il estquestion d’évaluation; le deuxième vise à outiller les organismes qui souhaitent évaluer leur actiondans le but d’améliorer la qualité des programmes qu’ils offrent alors que le troisième présente defaçon relativement détaillée le contenu de certains «guide d’évaluation» déjà développés qu’onpourra se procurer au besoin.
Bonne lecture … et j’attends toujours de vos nouvelles …
Nathalie [email protected]
Référence : TARD, Caroline, Hector OUELLET et André BEAUDOIN (1997). L’évaluation de l’action desorganismes dans le cadre du programme d’action communautaire pour les enfants (PACE), Centre de recherchesur les services communautaires, Faculté des sciences sociales, Université Laval, Sainte-Foy, 3 volumes.
décembre 2001
15
Un regard critique sur...
Bien que le guide d’évaluation de l’action des organismes dans le cadredu programme d’action communautaire pour les enfants (PACE)regroupe trois documents, l’analyse présentée dans cet article seconcentre sur le contenu des deux premiers manuels correspondantaux principales contributions théoriques et méthodologiques du guide.Plus précisément, le premier ouvrage, intitulé «Manuel d’introduction»,vise à clarifier les principales idées, questions ou notions de l’évaluationalors que le deuxième document, intitulé «Les outils d’évaluation pourl’amélioration de la qualité des programmes», outille les organismessouhaitant évaluer leur action. L’étude critique est constituée de troisperspectives d’analyse. Tout d’abord, elle aborde l’ouvrage selon saforme, sa structure et son organisation. Ensuite, elle s’intéresse aucontenu théorique de l’ouvrage, soit la présentation des concepts et desidées de la discipline. Finalement, elle fait ressortir les forces et lesfaiblesses de la démarche méthodologique proposée par le guide.
D’un point de vue technique, j’ai dû lire la table des matières ainsi quele contenu du guide à plusieurs reprises afin de bien comprendre ladémarche d’évaluation proposée. J’estime qu’une organisation«temporelle» de l’ouvrage en thèmes et sous-thèmes aurait favorisé lacommunication des connaissances ; par exemple, le guide devraitprésenter la préparation du plan d’évaluation (section 7) avant deprésenter les types d’évaluation, les stratégies de mesure et les outilsde collecte et d’analyse des données (sections 3 à 6). Cette organisationpermettrait de visualiser les étapes à réaliser et ainsi diriger le lecteurou la lectrice (évaluateur ou évaluatrice débutants) à l’aide de repèrespermettant de se situer en cours d’évaluation. La deuxième lacunetechnique de l’ouvrage est liée à l’utilisation de termes souventconfondants en évaluation de programme mais pour lesquels aucunedéfinition n’est apportée. Permettez-moi d’illustrer mes propos par unexemple. Dans le premier manuel, on présente quatre types d’évaluation(l’évaluation des besoins, l’évaluation du processus, l’évaluation deseffets et l’évaluation des impacts) alors dans le deuxième documentseulement trois types sont présentées (l’évaluation des besoins,l’évaluation du processus et l’évaluation des résultats). Dans une tellesituation, un évaluateur ou une évaluatrice novice est en droit de sequestionner quant à ce qui distingue les effets, les impacts et lesrésultats. De plus, ces éléments, ne sont pas clairement définis ourépertoriés dans le lexique. Une fois ces deux grandes difficultéssurmontées, on peut apprécier la qualité des informations transmisespar les tableaux synthèses et les multiples exemples permettant demieux saisir la démarche proposée.
le plan théoriquepar Nathalie Dubois (7)
le plan pratiquepar Isabelle Brunet (8)
Suite à la page 16
(7) Nathalie Dubois est candidate au doctorat de l’Écolenationale d’administration publique en analyse etmanagement des politiques publiques. La thèse de doctoratde madame Dubois porte sur l’évaluation du Programmequébécois de dépistage du cancer du sein. À la suite del’obtention de sa maîtrise en administration publiquespécialisée en évaluation des programmes publics, madameDubois a travaillé dans nos organisations publiques àtitre de professionnelle et consultante en évaluation.
Le regard que j’expose ici est basé sur les expériences vécues avec mescollègues du Groupe DBSF auprès des membres d’une demi-douzained’organismes. Ces organismes ont fait appel à nos conseils pourplanifier et mener l’évaluation de leurs initiatives respectives financéesdans le cadre du PACE sur la base des manuels en question. Ma volontéconsiste à situer les attentes des lecteurs et des lectrices face aucontenu de ces manuels et à améliorer ainsi l’usage qu’ils en font.Certaines des observations présentées ici sont donc à considérercomme des «conseils d’utilisation».
Une intention pertinente et bien reçue mais qui ne semble pass’être concrétisée. D’emblée, j’appuie l’intention des auteurs desoutenir les organismes dans leurs activités d’évaluation liées auPACE. Aussi intéressés qu’ils soient par l’évaluation, les membres deces organismes, comme bien des gestionnaires de programme, sesentent le plus souvent démunis face à l’exercice et l’entreprennentparfois, malgré eux, de façon approximative et peu satisfaisante. Cetteintention des auteurs a d’ailleurs créé certaines attentes chez lesprincipaux concernés auxquelles les manuels n’ont cependantapparemment pas répondu. La confusion et le sentiment d’insécuritéface à l’évaluation ont clairement été exprimés par ceux et celles quivenaient pourtant de prendre connaissance du contenu des manuels.
Des manuels confondants pour des organismes en quête d’unmodèle simple. Bien que les manuels regroupent des pistes essentiellesà l’exercice d’évaluation, force m’a été de constater que les utilisateurset les utilisatrices rencontrés s’y sont perdus. Incapables de faire unlien significatif entre leurs pratiques courantes et les éléments présentésdans les manuels, les responsables se retrouvent dans une situation deconfusion. Certains se reconnaîtront peut-être ici. Attention auxnovices de l’évaluation : ces manuels ne constituent pas un guide pourvous accompagner si vous êtes égarés et cherchez à vous situer face àl’exercice d’évaluation. Ils ne vous seront pas utiles si vous êtes un deces nombreux gestionnaires de programme en quête d’un modèlesimple adapté à vos pratiques pour planifier, entreprendre uneévaluation et utiliser ses résultats.
Les composantes pouvant former ce modèle sont pourtant abordées,mais dans une foulée de questions sans structure apparente et àtravers des définitions qui présentent parfois certaines lacunesthéoriques et pratiques. Ces lacunes qui se transposent tant sur le fondque sur la forme des manuels plongent rapidement l’évaluateur
(8) Isabelle Brunet est diplômée de L’ÉNAP en évaluation desprogrammes publics, professionnelle en évaluation desprogrammes et associée au groupe DBSF. Depuis quelquesannées, madame Brunet a développé une connaissance dela pratique dans nos organisations publiques etparapubliques. Cette expertise lui permet de porter unregad critique sur la qualité et la pertinence des différentsguides d’évaluation.
décembre 2001
D’un point de vue théorique, le guide m’a fait réagir à quelques reprises,mais je dois avouer que mes réactions se sont tempérées lors de maseconde lecture. À ce moment, j’ai compris que les inexactitudesrelevées sont principalement dues à la rapidité avec laquelle deséléments complexes sont traités dans l’ouvrage. Ainsi, pour donnerquelques exemples, j’utiliserai la présentation des deux courants depensée en évaluation de programme : l’approche quantitative etl’approche qualitative (section 8). Tout d’abord, le guide présente lesdeux approches sans démontrer leur complémentarité pourtantclairement annoncée dans le titre. Cette démonstration aurait étépossible si les différentes utilisations des termes «quantitatif et qualitatif»avaient été présentées. Ainsi, on devrait préciser que les méthodologiesquantitatives/qualitatives et les outils quantitatifs/qualitatifs ne sontpas exclusifs à l’une ou l’autre des approches évaluatives (niveauépistémologique) et que se sont ces échanges qui permettent lacomplémentarité des deux approches. Le second problème théoriquecorrespond à la présentation ambiguë des deux approches évaluatives.Le guide ne réussit pas à faire ressortir les caractéristiques quidistinguent réellement l’approche quantitative et qualitative. Ainsi,les auteurs mentionnent que l’évaluation quantitative «cherche à voirsi les objectifs du programme ont été réalisés et tente d’établir lesrelations entre les activités du programme et les changements produitschez les participants» (p. 53). Ensuite, on précise que l’approchequalitative «aborde le programme dans sa globalité en s’intéressantsurtout à la façon dont il se réalise réellement (…) comment les chosesse passent» (p. 54). Finalement, le guide prétend que «non seulementl’approche qualitative permet-elle de faire une description détaillée duprogramme ou de certaines activités, mais elle conduit à porter unjugement sur le programme selon les critères d’évaluation» (p. 55). À lalecture de ces phrases, dois-je déduire que l’évaluation qualitative nemesure pas l’atteinte des objectifs ou qu’elle ne relie pas le programmeet les changements observés ? Ou encore que l’évaluation quantitativen’évalue pas le processus (intrants, activités, extrants) du programmeou pire encore, qu’elle ne porte aucun jugement sur le programme?
D’un point de vue méthodologique, je suis généralement en accord avecle contenu présenté dans ce guide, mais j’aimerais tout de mêmerevenir sur certains éléments. Tout d’abord, il est mentionné que toutorganisme désirant implanter un nouveau programme devrait procéderà l’étude de la situation, des objectifs et des conditions à remplir. Cetteproposition est légitime, mais il faut surtout insister sur la nécessité deproduire des documents écrits permettant de conserver les informationsqui autrement disparaissent en raison des changements de poste, del’évolution de la situation, des changements organisationnels, etc.Ensuite, j’estime que trois éléments essentiels ne sont pas abordés dansl’évaluation des besoins : la justification de l’intervention, la cible del’action et le moyen d’intervention privilégié. Cette lacune expliquepeut-être l’importance accordée à l’étude des objectifs (normes ouprédictions quant aux changements souhaités de la cible) plutôt qu’àl’effet (impact) réel du programme (changements de la cible). L’étudede l’atteinte des objectifs est intéressante mais elle ne peut remplacerl’analyse de la cible qui permet d’évaluer l’ensemble des impacts(attendus et non attendus). Finalement, l’évaluation des impacts est
inexpérimenté dans une confusion encore plus grande que celle qu’ilpouvait ressentir avant de lire les manuels.
Un des aspects confondants à considérer est le fait que les auteurs nemettent pas en évidence l’aspect rétroactif perpétuel de l’évaluation.L’illustration du cycle de vie d’un programme et des liens qui existententre ses différentes phases saurait situer le lecteur et la lectrice. Enl’absence d’une telle référence pour celui ou celle qui s’y connaît peu,l’évaluation apparaît facilement comme une activité détachée de ce quiest entendu dans la planification et de ce qui se produit concrètementà travers la mise en œuvre du programme.
Aussi, les auteurs soulèvent avec raison l’importance d’être en présenced’un programme structuré, défini en totalité et entrepris selon un planétabli avant de procéder à une évaluation. Dans le même sens, ilsinsistent aussi sur la nécessité de comparer «ce qui se produit» avec «cequi est prévu». Toutefois, attention! La structure du cadre logiqueprésenté à cet effet n’est pas adaptée à l’exercice. Tandis que lesquestions d’évaluation portent sur les ressources, les activités, lesclientèles, les objectifs, le partenariat et l’échéancier, la structure ducadre logique présenté pour définir le programme réfère au détail desactivités ainsi qu’aux objectifs et aux indicateurs qui y sont liés.
Ces façons différentes d’aborder le programme selon qu’on le considèredu point de vue de la planification ou de l’évaluation présententd’importants problèmes. Cela amène l’évaluateur ou l’évaluatrice àporter un jugement sur des éléments qui n’auraient pas été pris enconsidération dans le cadre de la planification et conséquemment, àinterpréter ce qui est observé sans référence précise relativement à cequi était prévu. L’utilité d’un tel exercice d’évaluation s’avèreévidemment douteuse, permettant difficilement d’éclairer les décideurssur les suites à donner au programme.
Il importe aussi d’insister sur le fait qu’en plus de ne pas concorder avecl’ensemble des composantes à évaluer, la structure du cadre logiqueproposé est confondante en elle-même. Sa logique est difficile à percevoir.Ses éléments se confondent les uns aux autres mêlant tant la notion deprocessus à celle d’indicateur que la notion d’activité à celle departicipation. La présentation de définitions distinguant si peu leséléments à observer les uns des autres constitue une contrainte à lacollecte, au traitement et à l’interprétation des données relatives àl’évaluation. Celui qui en a la responsabilité risque alors de procéder defaçon aléatoire, ne sachant pas exactement ce qu’il questionne.
Un autre aspect problématique des manuels est l’absence de référencesqui inciteraient les organismes à situer leur programme par rapport àleur mission et aux intentions définies dans le PACE au plan national.Sans ces références, on risque de voir se définir des plans d’action et desrapports d’évaluation sans renvoi aux visées initiales, plaçant ainsi lesorganismes devant la difficulté de comprendre, de constater et de fairevaloir l’apport spécifique de leur action à leur mission et aux objectifspoursuivis par le PACE.
16
Suite à la page 19
Un regard critique sur...le plan théorique
par Nathalie Dubois (7)
le plan pratiquepar Isabelle Brunet (8)
décembre 2001
17
Évaluation du 10e Colloquede la Société québécoise d’évaluation de programmetenu à l’ÉNAP-Montréal le 2 novembre 2001
par Jacques Gagnon
e dernier colloque de la SQÉPtenu à l’ÉNAP-Montréal le 2novembre 2001 proposait aux
évaluateurs et évaluatrices de programmed’explorer les relations entre la gestion parrésultats et l’évaluation participative. À lalumière des expériences vécues par lesparticipants et les participantes au colloque,on désirait examiner les implications de cesdeux courants en ce qui concerne les choixcritiques auxquels les évaluateurs et lesévaluatrices, leurs clients de même que leurspartenaires doivent faire face.
Profil des répondants etdes répondantes
Cent cinquante-cinq personnes ont assisté auColloque, ce qui en fait un succès de foule sansprécédent dans les annales de la SQÉP.Quarante personnes ont rempli la fiched’évaluation :
• 26 étaient des membres réguliers de laSQÉP, 3 des membres étudiants et 11des non-membres.
• 9 qualifiaient leur expérience enévaluation de débutant, 19d’intermédiaire et 10 d’avancée.
Mesure de la satisfaction
Les aspects évalués portaient sur lesconditions matérielles (inscription et accueil,endroit et repas), sur le contenu desconférences d’ouverture et des ateliers et sur
la cérémonie du Prix Reconnaissance. Untaux de satisfaction général permettaitd’apprécier tout le colloque (rapport qualité /coût).
L’échelle de satisfaction comprenait quatredegrés pour forcer un choix de réponses (de 1à 4), du moins satisfaisant au plus satisfaisant.
Enfin, deux questions ouvertes terminaientla fiche, à savoir des commentaires générauxet des suggestions pour l’organisation duprochain colloque.
Le taux de satisfaction a été calculé selon laméthode de l’indice pondéré, afin de tenircompte de l’étendue des scores et de refléterdans un seul chiffre le pourcentage accordé.
Pour les principaux aspects, les résultatsobtenus sont présentés au tableau suivant.
Comme on peut le voir, les conditionsmatérielles ont été jugées adéquates sur lesdifférents aspects, l’inscription et l’accueil àraison de 85 %, l’endroit (l’ÉNAP-Montréal) à79 % et le dîner à 71 %.
La cérémonie de remise du PrixReconnaissance a été jugée un peu moinsfavorable (67 %), quelques personnesmentionnant que le moment de la cérémonieaurait dû être durant le repas comme par lesannées passées.
Le taux de satisfaction général (rapportqualité / coût) est élevé avec 81 %, ce quipermet de qualifier le Colloque 2001 de laSQÉP de réussite.
Commentaires généraux
• Beaucoup de participants et participantesont mentionné le peu de temps pour desquestions et la perte de dynamisme del’assemblée qui s’est ensuivi aussi bienpour les conférences d’ouverture que pourles ateliers.
• Les problèmes techniques au niveau dela projection électronique durant lesconférences d’ouverture ont aussi étémentionnés.
• Dans l’ensemble, la bonne qualité desprésentations a été soulignée, de mêmeque celle de l’organisation.
Suggestions pour un prochaincolloque
• Évaluation d’impact
• Utilité des résultats de l’évaluation
• Rôle de l’État dans l’évaluation despolitiques
• Tenir le colloque sur 1 ou 2 jours
Aspects Nombre de participant-es selon leur réponse Taux de satisfaction
Inscription et accueil
Endroit
Repas
Prix Reconnaissance
Rapport qualité/coût
1 2 3 4
0 0 12 3
0 1 14 25
0 2 8 18
0 1 7 7
0 0 14 23
P
85 %
79 %
71 %
67 %
81 %
décembre 2001
Le dernier colloque de la SQÉP (suite)
à la RRSSS de Lanaudière. Pendantleur présentation, ils ont montrépourquoi et comment l’approcheparticipative a été appliquée. Cettedernière présentation était fortintéressante, mais sa longueur anui au caractère pédagogique del’atelier : le temps pour lesdiscussions et les questions estdevenu limité.
Le colloque de la SQÉP devaitpermettre d’ouvrir le débat sur lesimplications du nouveau cadre degestion inspiré par la philosophiede gestion par résultats. Également,il devait permettre le débat en cequi concerne les avantages et leslimites de l’approche participative,tout en mettant en relief les attentesdes acteurs et des actrices impliquésdans le processus d’évaluation.Durant ce colloque, les présen-tations ont été très intéressantes,mais il y manquait l’essence de cetterencontre annuelle, c’est-à-dire ledébat sur le thème annoncé, soit
«L’évaluation participative et lagestion par résultats». Person-nellement, je m’attendais à parti-ciper à un débat plus rigoureux etplus dynamique sur le sujet annon-cé. À mon avis, le temps destiné à lapériode de questions et de dis-cussions était très limité à cause dela longueur des présentations.
De plus, les ateliers devaientapporter des éléments de réponse àplusieurs questions liées à desexpériences acquises ou à des mé-thodes de pratique particulièresdans le domaine de l’évaluation afind’ouvrir le débat sur le thèmeannoncé. Pendant les ateliers, jeme suis rapidement rendu compteque certains présentateurs etprésentatrices ont exposé desévaluations qui les ont « séduits » enoubliant complètement la théma-tique du colloque. Également, j’aieu l’impression que quelquesprésentations pouvaient se com-parer à certains cours magistraux
où le professeur oublie de donneraux étudiants et aux étudiantesl’occasion de réagir. Il est regrettableque la participation de l’auditoireait été réduite en raison d’un tropgrand nombre de participants et departicipantes par atelier, cettesituation rendant difficile lesréactions spontanées et authenti-ques.
Pendant ce colloque, j’ai prisconscience que certains élémentssont presque irréconciliables entrel’approche participative et lanouvelle philosophie de gestion parrésultats. J’ai aussi mesuré lesavantages et les limites del’approche participative. Malgré lesquelques «bémols» exprimés, le 10e
colloque de la SQÉP constitue unecontribution importante à laréflexion de ceux et celles qui ontchoisi cette profession sur l’avenirde l’évaluation de programme etsur l’intégration dans la pratiquedes thèmes abordés au colloque.
Les lecteurs et les lectrices dubulletin se rendront certainementcompte que tous les articles sontgratifiés de noms de fonction écritsau masculin et au féminin, en touteslettres. La visibilité des femmes, enplus d’être un cheval de bataillepersonnel, est une réalité prise encompte dans les guides de rédactiondu Gouvernement du Québec quinous incitent à adopter cettehabitude non sexiste depuis plus de
dix années… Si vous voulez vous ymettre ou si vous avez le goût devérifier si vous le faites selon lesrègles de l’art, je vous suggèrequelques documents très simples àconsulter.
Dumais, H. (1988) Pour un genre àpart entière : guide pour la rédactionde textes non sexistes , Québec :Publications du Québec, 36 p.
Office de la langue française (1991)Au féminin : guide de féminisationdes titres de fonction et des textes,Québec : Gouvernement du Québec,34 p.
Larivière, L.-L. (2000) Pourquoi enfinir avec la féminisation lin-guistique ou à la recherche des motsperdus, Montréal : Boréal, 145 p.
Pour des textes non sexistes!par Monique Comeau,votre «humaniste» de service à la révision des articles
décembre 2001
très peu développée et la démarche proposée demeure confuse etsemble complexe à réaliser alors qu’en réalité, elle représente la pierreangulaire de notre discipline.
Mon bilan : La faiblesse du document ne se situe pas au niveau desconnaissances en évaluation des auteurs, mais elle découle plutôt del’ampleur de la tâche à accomplir. Le guide propose une démarched’évaluation se voulant simple à réaliser, mais l’évaluation est unediscipline complexe et multidimensionnelle. Ce constat apparaîtclairement à la lecture des critères d’un programme «évaluable»(section 9). Personnellement, je crois que toute intervention publiqueou privée doit être évaluée mais que l’évaluation est plus difficile si leprogramme n’est pas clairement articulé (premier critère d’unprogramme évaluable selon les auteurs), s’il n’a pas des objectifsprécis (deuxième critère) et s’il n’existe pas de liens logiques entre leprogramme, les objectifs et les effets attendus (troisième critère).Notre défi n’est-il pas là, de développer une stratégie de mesured’impact fiable peu importe le programme à l’étude?
Dans le même sens, les auteurs soutiennent à quelques reprises quel’évaluation des impacts est complexe et que les organismes disposentrarement des ressources et des compétences nécessaires à sa réalisation.De mon point de vue, les membres des organismes qui entreprennentune initiative pour laquelle ils reçoivent une subvention dans le cadredu PACE sont aussi bien positionnés pour planifier et entreprendreleur action qu’ils peuvent l’être au moment de l’évaluer sur la base deschangements qu’elle entraîne. Il ne s’agirait donc pas de les distancerde la mesure des changements que connaît la situation problématiqueà l’origine de leur action en en remettant la responsabilité à quelqu’und’autre. Il s’agirait plutôt de clarifier la notion même d’impact laquelleest définie de façon assez floue dans le manuel et de développer uneméthode leur permettant de l’aborder sur la base de leurs compétenceslesquelles pourraient être appuyées, au besoin, par celles d’experts. Onverrait alors probablement apparaître des programmes présentantune cible et des objectifs plus précis et réalistes, c’est-à-dire desprogrammes dont l’évaluation d’impact leur serait maintenantdavantage envisageable.
19
sur le plan pratique (suite)
Pour terminer sur les aspects confondants des manuels, il importe desouligner que leur forme présente une difficulté au plan pratique.Retrouver un thème ayant retenu l’attention antérieurement constitueun défi dans la plupart des cas. La table des matières, tout comme ladivision du texte, s’avère très peu utile pour orienter la lecture. Elle nerenvoie qu’aux grands titres, alors que le texte est divisé end’innombrables petits chapitres qui suivent une hiérarchie dont leraisonnement est souvent difficile à saisir. Pour celui ou celle quiconcentre ses efforts à la compréhension des concepts et des principesliés au processus d’évaluation, la structure du texte ne devrait pasconstituer un tel obstacle.
Plusieurs pistes pratiques et inspirantes. Plusieurs idées fortpertinentes présentées dans les manuels peuvent être retenues commedes pistes intéressantes et pratiques pour celui ou celle qui envisageune évaluation. Voici celles qui apparaissent les plus importantes :
L’idée de formuler les objectifs du programme de façon à ce qu’ilsreflètent l’état de la situation désirée est à retenir et à mettre enpratique. Cette formulation constitue une excellente façon d’éviterde confondre «objectif» et «activité» et facilite l’identification desindicateurs.Le regroupement des questions relatives à l’évaluation d’unprogramme sous les thèmes du «fonctionnement» et des «résultats»oriente clairement l’exercice d’évaluation facilitant tant le choix desquestions spécifiques que l’interprétation des données et la mise enrapport.L’idée de considérer la place de l’évaluation formative tant en avalqu’en amont de l’évaluation sommative est à retenir et à mettre enapplication. Entreprise en amont, elle sera utile pour articuler leprogramme et détecter les lacunes sur le plan de sa logique interne.Entreprise en aval, elle permettra d’expliquer et de justifier les
résultats observés, et indiquera les composantes du plan d’action surlesquelles il importe d’apporter des modifications.L’insistance des auteurs à planifier et à réaliser une évaluation surla base d’une comparaison entre «ce que l’on observe» et »ce qui estprévu» est à retenir. C’est effectivement à travers ce rapport au pland’action que l’évaluation remplit son rôle formatif.Dans le même sens, on doit retenir l’insistance des auteurs àdocumenter la situation problématique sur laquelle on souhaiteintervenir, sans quoi il ne serait pas possible de conclure sur lesimpacts du programme mis en œuvre.Les différents «angles d’évaluation» suggérés par les auteursprésentent de bonnes pistes pour l’identification des sourcesd’information. Leur combinaison peut constituer un bon moyen devalider et de compléter l’information collectée de part et d’autre.L’encouragement des auteurs à dépasser le débat qui opposel’approche qualitative et quantitative présente une sourced’inspiration tout à fait rassurante pour les membres des organismesqui se sentent souvent coincés par l’une ou l’autre des approches. Lareconnaissance qu’il faille aller vers une approche mixte et intégréeest à considérer comme une solution libératrice.
Ce que l’évaluateur et l’évaluatrice novices retiendront de leur lecture.De cette confusion et de cette insécurité qu’a pu ressentir l’évaluateurinexpérimenté à la suite de la lecture des manuels ressort tout de mêmeune leçon importante : l’évaluation d’un programme est un exercicedélicat et complexe qui nécessite une excellente planification.Conséquemment, l’évaluateur ou l’évaluatrice comprend qu’il est dansson intérêt de savoir où il veut aller et comment il compte s’y rendreavant de s’aventurer, sans quoi l’évaluation ne le mènera nulle part oudu moins pas très loin. Il a aussi compris qu’il n’identifiera pas sadestination, ni ne trouvera son chemin dans ces manuels. Peut-ilcompter sur les trois ouvrages proposés par les auteurs ? Il s’agit d’unequestion qui mériterait bien d’être explorée une prochaine fois.
Un regard critique sur...le plan théorique
par Nathalie Dubois (7)
le plan pratiquepar Isabelle Brunet (8)
décembre 2001
Cette année encore, pour la sixième fois depuis 1996,
la Société québécoise d’évaluation de programme a décerné son
Prix Reconnaissanceà une personnalité du monde de
l’évaluation de programme.
En lui remettant son Prix d’excellence, la SQÉP reconnaît
et salue la contribution d’André Viel à l’essor de l’évaluation
de programme dans l’administration publique québécoise.
ctàÜ|v~ `ÉÜtÇ? ÑÜ°á|wxÇà@áÉÜàtÇà xà
TÇwÜ° i|xÄ? Ü°v|Ñ|xÇwt|Üx