ÉCOLE NATIONALE D’ADMINISTRATION PUBLIQUE

RAPPORT DE STAGE EN ÉVALUATION DE PROGRAMMES AU MINISTÈRE DU TOURISME

TRAVAIL PRÉSENTÉ À MONSIEUR PIER-ANDRÉ BOUCHARD ST-AMANT

COMME EXIGENCE FINALE DE L’ACTIVITÉ D’INTÉGRATION ENP7969-S - STAGE

PAR BENOIT LAPIERRE

MAI 2018

ii

Table des matières Introduction …………………………………………………….………………...…………1 1. Description de l’organisation et du mandat confié à l’étudiant ………………………… 3 1.1 Contexte du mandat ……………………………………………….…………………… 3 1.2 Le mandat et ses livrables ………………………………………………...…...………. 4 1.3 Présentation de l’organisation …………………………………..……………...……… 5 2. Recension des écrits ……………………………………………..………..…………….. 9 2.1 Concepts et mission de l’évaluation de programme………………………....………… 9 2.2 La collecte de données ……………………………………………………..………… 17 2.3 L’inférence causale …………………………………………………………….…….. 20 2.4 L’évaluation de programme et la vérification interne ………………………...……… 22 3. Méthodologie de recherche et d’intervention …………………………….…………… 23 3.1 Analyse documentaire des documents administratifs et légaux ……………………… 25 3.2 Consultation interne ………………………………………………………..………… 26 3.3 Consultation externe ……………………………………………………….….……… 27 4. Résultats ………………………………………………………………………..……… 27 4.1 Mandat d’élaboration d’un cadre de suivi et d’évaluation préliminaire……………… 27 4.2 Cadre de suivi et d’évaluation préliminaire …………………………………..……… 29 4.3 Mise à jour Plan triennal 2017-2020 ………………………………………..…...…… 36 5. Recommandations ……………………………………………………………..….…… 38 Conclusion …………………………………………………………………..……….…… 42 Bibliographie ………………………………………………………………………...…… 43

iii

Abréviations et acronymes ADN49 Aide au développement touristique au nord du 49e parallèle

ATR Association touristique régionale

ATS Association touristique sectorielle

BDCRM Bureau des Dossiers Corporatifs et des Ressources Matérielles

DGSG Direction Générale des Services à la Gestion

DIS Direction des interventions sectorielles

DPIA Direction des politiques et de l'intelligence d'affaires

DPIR Direction des programmes et des interventions régionales

DSC Déclaration de services aux citoyens

GRAEP Groupe des responsables en analyse et évaluation de programme

EPRT Entente de partenariat régional en tourisme

ENAP École Nationale d’Administration Publique

LAP Loi sur l’Administration Publique

MAP Maîtrise en Administration Publique

MO Ministères et organismes

MTO Ministère du Tourisme

PADAT Programme d’appui au développement des attraits touristiques

PAFFET Programme d’aide financière aux festivals et événements touristiques

PrDIT Programme de développement de l’industrie touristique

PSDPT Programme de soutien au développement et à la promotion touristique

PSSDT Programme de soutien aux stratégies de développement touristique

PTE Plan triennal en évaluation

SCT Secrétariat du Conseil du trésor

iv

Remerciements Je tiens tout d’abord à remercier mon épouse Evgeniia et ma fille Vitalia qui m’ont toujours

offert un soutien indéfectible et qui ont su m’insuffler le courage nécessaire tout au long

des cinq années qu’a duré mon retour aux études. Rien de tout cela n’aurait été possible

sans elles.

Je remercie également M. Sylvain Bernier, directeur général des services à la gestion, pour

m’avoir offert ma chance et pour m’avoir accueilli dans son équipe. Sa bienveillance et son

soutien ont permis de rendre cette expérience des plus enrichissantes, tant sur le plan

personnel que professionnel.

J’adresse également mes remerciements à Mme Carmen Méndez qui a su m’encadrer et me

conseiller dans ma fonction de conseiller en évaluation de programmes. J’ai

particulièrement apprécié le niveau de confiance et d’autonomie qu’elle m’a offert pour la

conduite de mes dossiers, ce qui a permis d’accroître considérablement ma capacité de

travail à titre d’évaluateur de programmes.

Je porte aussi mes remerciements à Pr Pier-André Bouchard-St-Amant pour avoir apporté

son aide lors de ce stage et qui a su me guider tout au long de celui-ci. Son appui lors des

difficultés rencontrées lors de mon stage a permis de boucler cette maîtrise avec succès.

Finalement, je tiens à remercier mes parents, Réjean Lapierre et Louise Caron, qui ont su

m’inculquer le sens du travail bien fait et qui m’ont toujours offert leur appui dans mes

choix de vie, ainsi que mes frères Bruno et Simon pour leur soutien continu depuis notre

plus tendre enfance.

1

Introduction Le contexte dans lequel la fonction publique évolue et les attentes envers celle-ci évoluent

également. De l’administration publique de type « bureaucratie wébérienne », les impératifs

économiques et l’évolution des attentes des décideurs politiques ainsi que des citoyens ont

mené la fonction publique à évoluer, revoir ses pratiques et à instaurer progressivement un

nouveau modèle de gestion appelé « New Public Management » (Nouvelle gestion

publique)1. Ce nouveau modèle amena dans son sillage la notion de gestion par résultats

ainsi que la fonction d’évaluation de programmes qui en découle. Par ailleurs, le

gouvernement du Québec concentre ses efforts pour « favoriser une utilisation accrue des

évaluations à des fins notamment de planification, d’amélioration des programmes et de

reddition de compte »2.

Ce rapport a pour but de présenter le travail réalisé dans le cadre d’un stage visant

l’obtention d’un diplôme de maîtrise en administration publique (MAP) de l’École

nationale d’administration publique du Québec (ÉNAP).

Ce stage s’est échelonné du 11 décembre 2017 au 30 mars 2018 et a permis à l’étudiant de

cumuler une expérience de travail pratique de 525 heures à titre d’évaluateur de

programme. Cette formation pratique s’est faite au sein du Bureau des dossiers corporatifs

et des ressources matérielles (BDCRM), lequel est rattaché à la Direction générale des

services à la gestion (DGSG) du ministère du Tourisme (MTO). Ce stage fut sous la

direction de M. Sylvain Bernier, directeur général, et son encadrement fut réalisé par Mme

Carmen Méndez, responsable de la vérification interne et de l’évaluation de programme au

MTO ainsi que de Pr Pier-André Bouchard St-Amant, professeur à l’ÉNAP.

1 François-Xavier Merrien, La Nouvelle Gestion publique : un concept mythique, Lien social et Politiques, 1999, p. 95. 2 Secrétariat du Conseil du Trésor, Directive concernant l’évaluation de programme dans les ministères et les organismes (Consultée le 20 décembre 2017) [En ligne] https://www.tresor.gouv.qc.ca/cadredegestion/ actualites/detail-de-la-nouvelle/directive-concernant-levaluation-de-programme-dans-les-ministeres-et-les-organismes/index.html

2

Lors de son immersion en milieu de travail, l’étudiant a agi à titre de conseiller en

évaluation de programme en collaborant à divers mandats de la direction du MTO. Plus

spécifiquement, les principales réalisations du stagiaire ont été d’élaborer une série de

cadres de suivi et d’évaluation préliminaires, ainsi que les mandats s’y rattachant, sur

différents programmes du ministère. Ces cadres préliminaires ont pour principal objectif

d’entamer le processus d’évaluation en prévoyant le type, la collecte et la source des

données qui serviront au suivi des programmes en plus de déterminer les aspects évaluatifs

qui seront abordés lors de l’évaluation des programmes. Autrement dit, il s’agit de plans

d’action détaillés permettant la planification des futures évaluations. De leur côté, les

mandats sont des documents destinés à l’administration interne du ministère qui ont pour

but de décrire et assigner une charge de travail à une direction particulière. Dans le cadre

d’un mandat d’élaboration d’un cadre de suivi et d’évaluation préliminaire, le document

énumère et décrit sommairement les principales composantes du programme qui sera

évalué en plus de donner une idée de la portée de la future évaluation.

Lors de son intervention au MTO, le stagiaire a eu pour instruction de rédiger ces

documents pour mettre en marche le processus de suivi et d’évaluation préliminaire de la

Stratégie touristique québécoise au nord du 49e parallèle, du Programme d’aides aux

associations touristiques sectorielles ainsi que du Programme d’aides financières aux

festivals et événements touristiques. Ces travaux ont permis à l’étudiant de parfaire ses

habiletés pratiques et théoriques acquises lors de sa formation académique en plus de les

adapter à la réalité de la fonction publique québécoise.

Dans le cadre de ce rapport, il sera d’abord fait une description de l’organisation où le stage

s’est déroulé en mentionnant son rôle, sa mission, sa vision ainsi que le rôle que l’étudiant a

joué au sein de l’organisation. Par la suite, une recension des écrits sera partagée afin de

présenter les concepts et connaissances théoriques qui ont été utilisés lors du stage. Ensuite,

la méthodologie utilisée pour l’intervention sera présentée en détail. Viendra ensuite la

diffusion des résultats ainsi qu’une présentation des recommandations suggérées par le

3

stagiaire. Le rapport se terminera par une synthèse de la démarche qui prendra la forme

d’une conclusion.

1. Description de l’organisation et du mandat confié à l’étudiant

Cette section a pour but de présenter le contexte entourant le stage. Elle offrira d’abord un

bref historique de la fonction évaluative au sein du MTO ainsi qu’une description du

mandat et des livrables demandés à l’étudiant pour ensuite faire une présentation de

l’organisation hôte, le ministère du Tourisme, et finira sur la description de la direction

dans laquelle les activités du stage se sont déroulées.

1.1 Contexte du mandat

Après quelques changements administratifs qui ont eu lieu au cours des années, la charge

évaluative est attribuée depuis février 2017 à la DGSG, via le BDCRM, qui s’est

maintenant vu attribuer la responsabilité de l’encadrement et de la réalisation des travaux

d’évaluation au sein du ministère. Ces travaux sont chapeautés par Mme Méndez qui est

aussi responsable de la coordination de la vérification interne. À ce jour, l’organisation ne

dispose pas encore de ressources permanentes dédiées spécifiquement à l’évaluation de

programmes. Cette fonction a été réalisée par l’étudiant, sous la supervision de Mme

Méndez. Un consultant externe, M. Johann Jacob, professionnel de recherche à l’Université

Laval, était là pour appuyer le stagiaire, au besoin, dans ses fonctions.

Les différents livrables du stage s’inscrivent en continuité de l’application de la Directive

concernant l’évaluation de programme dans les ministères et organismes. Suite à la

transmission au Secrétariat du Conseil du Trésor (SCT) d’un plan pluriannuel d’évaluation

de programmes en octobre 2017, la livraison de plusieurs cadres de suivi et d’évaluation

préliminaires, ainsi que les mandats s’y rattachant, était prévue lors de la période de stage

de l’étudiant. Concrètement, le stage consistait à s’assurer du respect de l’échéancier établi

par le plan triennal d’évaluation de programme. Cette feuille de route, qui a été adoptée au

début de l’année 2017, spécifie les programmes qui devront être évalués à court et moyen

4

terme, le type de livrable exigé par le SCT ainsi que sa date de remise. Il s’agit du plan

d’action encadrant la fonction évaluative au MTO pour les trois prochaines années.

1.2 Le mandat et ses livrables La portée du mandat, émanant de la DGSG, était définie comme suit dans l’offre de stage :

« La personne titulaire du stage aura comme mandat de poursuivre l’élaboration d’un plan

d’action annuel et pluriannuel en évaluation de programmes. Elle veillera également à

l’élaboration ou à la mise à jour d’outils de mesure et d’évaluation déjà existants en plus de

contribuer à l’établissement d’objectifs d’évaluation. De plus, elle devra être familière avec

les méthodes courantes de collecte de données. Enfin, elle sera aussi appelée à effectuer la

cartographie de processus ». Dans les faits, cette description de tâches devait initialement

mener à la réalisation des travaux suivants :

• Poursuivre et finaliser l’élaboration et l’écriture des cadres de suivi et d’évaluation

préliminaires de quatre des cinq stratégies touristiques constituant le Programme de

soutien aux stratégies de développement touristique (PSSDT).

• Élaborer et livrer le cadre de suivi et d’évaluation préliminaire, ainsi que le mandat

s’y rattachant, du Programme d'aide financière aux associations touristiques

sectorielles (ATS) et du Programme d’aide stratégique aux projets touristiques.

Pour mieux répondre aux besoins du MTO et en accord avec le stagiaire, les livrables ont

sensiblement changé suite à une restructuration et la reconduction de plusieurs programmes

durant le stage de l’étudiant. En effet, le programme d’Aide au développement touristique

au nord du 49e parallèle (AND49) est devenu le volet 5 du PSSDT et devait donc se doter

d’un cadre de suivi et d’évaluation préliminaire à une date se rapprochant de celui des

quatre autres volets. De plus, le Programme d’aide aux festivals et événements touristiques

(PAFFET), initialement supporté par un décret, s’est vu reconduit pour une période de trois

ans via un cadre normatif du SCT, ce qui changea son ordre de priorité dans l’échéancier du

processus d’évaluation.

5

À terme, le stage aura permis de livrer les documents suivants :

• Une mise à jour du plan triennal d’évaluation de programmes 2017-2018 à 2019-

2020;

• Les cadres de suivi et d’évaluations préliminaires de toutes les stratégies du PSSDT;

• Le cadre de suivi et d’évaluation préliminaire du Programme d’aide aux ATS;

• Les mandats d’élaboration du cadre de suivi et d’évaluation préliminaire du PSSDT

volet 5, du Programme d’aide aux ATS et du PAFFET.

1.3 Présentation de l’organisation

Le ministère du Tourisme du Québec a la responsabilité de développer le tourisme au

Québec et de soutenir les acteurs de l’industrie dans leurs activités qui visent leur

développement. L’organisation est régie par sa Déclaration de services aux citoyens qui

énonce la mission de l’organisme, sa vision ainsi que ses orientations et ses valeurs.

Mission

La Déclaration de services aux citoyens du MTO stipule que « [l]e ministère du Tourisme a

pour mission de soutenir le développement et la promotion du tourisme au Québec, en

favorisant la concertation et le partenariat des intervenants associés à ce développement et à

cette promotion, et ce, dans une perspective de création d'emplois, de prospérité

économique et de développement durable »3.

Vision

Toujours selon la Déclaration de services aux citoyens, la vision de l’organisation se

formule comme suit : « En cohérence avec la vision gouvernementale québécoise en

matière de développement économique, le ministère du Tourisme se veut une organisation

compétente, performante et mobilisée qui contribue à la réussite économique d’une

3 Ministère du tourisme. Déclaration de services aux citoyens. (Consultée le 20 février 2018) [En ligne] http://www.tourisme.gouv.qc.ca/publications/media/document/publications-administratives/declaration-services-citoyens.pdftour

6

industrie touristique innovante, concurrentielle et créatrice de richesse dans une perspective

de développement durable »4.

Orientations

Les orientations de l’organisation sont également spécifiées dans cette même déclaration et

celles-ci visent à « [a]ssurer une mise en marché touristique efficace du Québec. Favoriser

un environnement propice à l’investissement en tourisme. Faire du Québec une destination

d’excellence en matière d’accueil et d’hébergement touristiques. Miser sur une intelligence

d’affaires collective. Améliorer la gouvernance et la performance organisationnelle »5.

Valeurs organisationnelles

Les valeurs du ministère du Tourisme, qui guident et encadrent les actions

organisationnelles, sont :

• « le respect – le ministère du Tourisme traite avec égard le personnel de

l’organisation, les clientèles touristiques et les intervenants de l’industrie

touristique avec lesquels il est en relation;

• la créativité – le Ministère trouve des idées nouvelles ou des solutions originales

qui conduiront à la mise en œuvre de choix utiles, fiables et novateurs;

• l’excellence – le Ministère recherche l’amélioration de sa performance sur une base

permanente;

• la collaboration – le Ministère coopère avec l’industrie touristique et les

populations locales et régionales dans la réalisation de projets par la mise en

commun de moyens et de ressources »6.

4 Ibid. 5 Ibid. 6 Ibid.

7

L’orientation des actions vers l’atteinte des résultats de l’organisation tire son origine de la

mission ainsi que de la vision de l’organisation (Mazouz, Leclerc, & Tardif, 2008). Elles

sont le socle de chaque organisation et d’elles découle toute la logique d’intervention des

ministères et organismes (MO). Ces informations sont rendues publiques via la Déclaration

de services aux citoyens du MTO7. Cette déclaration stipule l’engagement de l’organisation

envers la population en matière de qualité et de prestation de services. Ce document est

obligatoire en vertu de l’application de la Loi sur l’administration publique (LAP) (A 6.01)

et constitue l’un des mécanismes de mise en œuvre d’une gestion axée sur les résultats8.

La Direction Générale des Services à la Gestion (DGSG)

La DGSG relève directement du sous-ministre et coordonne l’ensemble des activités

administratives du MTO en ce qui a trait à la gestion des ressources humaines, financières,

matérielles et informationnelles en plus de l’appui technique et organisationnel touchant ces

domaines aux gestionnaires des différentes directions du ministère. Le BDCRM, quant à

lui, fut mis en place en juin 2017 et a, entre autres choses, la responsabilité d’élaborer,

coordonner et réaliser la fonction d’évaluation de programmes pour l’ensemble du MTO

conformément aux demandes gouvernementales. Les activités BDCRM relèvent

directement du directeur général de la DGSG et contribuent à coordonner les activités des

directions des ressources humaines, financières et informationnelles. Dans la ligne

hiérarchique, le BDRCM se trouve donc entre la direction générale et les autres directions

spécialisées nommées plus tôt. Le schéma suivant vient imager l’organigramme

hiérarchique qui a cours au ministère.

7 Ibid. 8 Gouvernement du Québec, Loi sur l’Administration Publique, (Consultée le 3 mars 2018) [En ligne] http://legisquebec.gouv.qc.ca/fr/ShowDoc/cs/A-6.01

8

Image : Organigramme du ministère du Tourisme9

9 Ministère du Tourisme, Organigramme (Consultée le 20 février 2018) [En ligne] http://www.tourisme.gouv.qc.ca/publications/media/document/publications-administratives/orgTQ.pdf

9

2. Recension des écrits Cette recension des écrits a pour but de mettre en lumière les différentes notions, concepts

et connaissances théoriques reliés au domaine de l’évaluation de programmes qui ont été

utilisés par le stagiaire afin de mener à terme la série de mandats qui lui ont été confiés.

Il sera tout d’abord question de poser et définir les différents concepts fondamentaux

entourant la notion de programme et de son évaluation. Par la suite, l’analyse se portera

plus précisément sur les défis et enjeux liés à l’évaluation des programmes de

développement touristique. Ensuite, nous nous intéresserons aux différents outils de

collecte de données et à l’importance de l’inférence causale pour terminer avec les

différences et points communs entre l’évaluation de programmes et de vérification interne.

2.1 Concepts et mission de l’évaluation de programmes La littérature étudiée pour la rédaction de ce rapport de stage nous a permis de constater

qu’il n’y a pas de définition commune au concept de programme et de son évaluation. En

effet, même si les définitions semblent se recouper et qu’elle offre, grosso modo, une image

commune des tenants et aboutissants de ce que devrait être une évaluation de programme,

chaque auteur consulté semble décrire le concept à sa manière.

Pour le gouvernement du Québec, un programme désigne un ensemble « cohérent et

structuré d’objectifs, d’activités et de ressources humaines, financières, matérielles et

informationnelles, regroupés pour offrir des produits et des services particuliers qui

satisfassent les besoins ciblés d’une population prédéterminée »10. De son côté, Dumaine va

plus loin en soulignant le fait que le concept de programme est en mutation compte tenu de

la naissance de nouvelles problématiques comme la mondialisation, les changements

climatiques, les avancées technologiques ou l’évolution du rôle de l’État qui font en sorte

que la notion de classique de « programme » n’aurait plus lieu d’être. Pour appuyer ses

10 Secrétariat du Conseil du Trésor, Évaluation de programme document destiné aux dirigeants et dirigeants de ministères et d’organismes, p. 6.

10

dires, l’auteur met de l’avant le fait que le rôle traditionnel des gouvernements était d’offrir

un appui financier à une tierce partie qui avait ensuite le mandat de livrer certains résultats.

Or, l’évolution de l’État fait en sorte qu’il est de plus en plus amené à être directement

pourvoyeur de services, ses réglementations sortent davantage du cadre régalien, etc.11.

Pour rendre compte de cette évolution, la définition englobante du concept de programme

de Nancy Porteous semble apporter quelques précisions sur ces transformations. En effet,

selon l’auteure, un programme peut maintenant prendre :

[…] un sens assez large qui peut inclure les projets, les politiques ou d’autres types d’initiative tels que les interventions, les projets pilotes, les événements, les processus, les campagnes et les services. Un programme peut-être très vaste ou très restreint, ou encore se situer quelque part entre ces deux extrêmes. Fondamentalement, un programme consiste en une série d’activités appuyées par un ensemble de ressources et visant à atteindre des résultats spécifiques au sein d’un groupe cible défini12.

Comme pour le concept de programme, la notion d’évaluation de programme ne jouit pas

d’une définition universelle qui fait consensus. Bien que ces définitions se rejoignent et se

recoupent parfois, aucune d’entre elles ne fixe les mêmes limites ou les mêmes finalités.

Pour le Conseil du Trésor québécois, l’évaluation de programme se limite à « une démarche

rigoureuse et systématique de collecte et d’analyse de données probantes sur les

programmes »13 alors que pour Dumaine, l’évaluation de programme touche maintenant

l’évaluation des processus internes, mais aussi la mise en œuvre des programmes, sa

méthodologie, etc.14 Malgré ces différences, l’Organisation de coopération et de

développement économique a, dans sa définition, cerné certaines caractéristiques

communes à l’évaluation de programme : « ce sont des appréciations analytiques

11 François Dumaine, Je me souviens… de t’avoir trop longtemps cherché, The Canadian Journal of Program Evaluation, p. 98-100. 12 Nancy L. Porteous, La construction du modèle logique d’un programme, p. 89. 13 Secrétariat du Conseil du Trésor, Évaluation de programme (Consultée le 1er mai 2018) [En ligne] https://www.tresor.gouv.qc.ca/cadredegestion/gestion-axee-sur-les-resultats/au-cours-du-cycle-mesurer-et -sameliorer/evaluation-de-programme/index.html 14 François Dumaine, Je me souviens… Op. Cit. p. 100.

11

systématiques concernant les principaux aspects d’un programme et de sa valeur, et qui

s’attachent à fournir des conclusions fiables et utilisables »15. Plus près de nous, la Société

canadienne d’évaluation définit l’évaluation comme « l'appréciation systématique de la

conception, de la mise en œuvre ou des résultats d'une initiative pour des fins

d'apprentissage ou de prise de décision »16.

Dans le domaine académique, Jody Fitzpatrick donne la définition suivante pour décrire

l’évaluation de programmes:

[…] un processus d’enquête permettant de recueillir des données probantes qui sont ensuite synthétisées dans le but de générer des conclusions sur la situation actuelle, l’envergure, le mérite, la valeur, la signification ou la qualité d’un programme, d’un produit, d’une personne, d’une politique, d’une proposition ou d’un plan. Ces conclusions englobent à la fois des perspectives empiriques (démontrant que le cas est réel) et normatives (portant un jugement sur la valeur d’un objet). La production d’un jugement constitue l’élément clé qui permet de distinguer cette activité des autres types d’enquête, tels que la recherche fondamentale en science, l’épidémiologie clinique, l’investigation journalistique ou le sondage d’opinion17.

Toutes ces définitions ont contribué à forger la définition de la fonction évaluative au sein

du MTO et c’est en gardant cette définition en tête que le stagiaire a mené son intervention.

Ainsi, dans le cadre du stage :

[…] [l]’évaluation de programme consiste à évaluer les résultats des aides financières, qu’il s’agisse d’un programme normé, d’un financement d’organisme, d’une mesure fiscale, d’un projet ou d’une politique. L’évaluation vise à produire des connaissances sur les résultats des programmes, dans le but d’apprécier leur pertinence, leur efficacité et leurs impacts. Les objectifs consistent à aider les décideurs à améliorer les programmes et à permettre aux citoyens d’en apprécier la valeur.

15 Secrétariat du Conseil du Trésor, Évaluation de programme… Op. Cit p. 6. 16 Société canadienne de l’évaluation, Qu'est-ce que l'évaluation?, (Consultée le 10 mars 2018) [En ligne] https://evaluationcanada.ca/fr/quest-ce-que-levaluation 17 Jody Fitzpatrick, L’évaluation de programme : quelques considérations de premier plan, p.16.

12

L’évaluation contribue ainsi à rationaliser la prise de décision et à rendre plus efficace la dépense publique18.

L’évaluation de programmes peut poursuivre l’atteinte de plusieurs objectifs. Bien que le

MTO porte son attention sur la pertinence, l’efficacité et les impacts de ses interventions, le

sujet d’étude d’une évaluation de programme peut être plus large. Ainsi, pour le Secrétariat

du Conseil du Trésor, une évaluation de programme peut examiner les aspects suivants :

[…] la raison d’être du programme, sur sa conformité avec le besoin exprimé ou sur les problèmes reconnus à l’origine; les possibilités d’action : l’évaluation est centrée sur les objectifs initiaux et la nature du programme à offrir; l’implantation : l’évaluation s’intéresse au fonctionnement d’un programme, à sa dynamique et aux facteurs, tant internes qu’externes, qui influent sur sa mise en œuvre; les résultats et les effets : l’évaluation porte sur l’atteinte des objectifs, les effets et l’impact intentionnel ou non sur la population ; le rendement : l’évaluation détermine si le coût des ressources investies justifie les bénéfices résultant du programme19.

L’évaluation de programmes au sein de la fonction publique québécoise a pour but de

produire de l’information utile et crédible afin d’aider les décideurs à la prise de décision et

fournit donc « une rétroaction utile aux décideurs tout au long du cycle de gestion axée sur

les résultats »20. Elle permet de baser la décision sur des données tangibles en éliminant les

jugements de valeur et d’améliorer les processus. Autrement dit, les renseignements

recueillis permettent :

[…] la possibilité de mettre en place des moyens d’intervention ou des mécanismes de prestations de services plus rentables. L’évaluation de programme met l’accent sur ce qui fonctionne réellement, sur ce qui ne fonctionne pas et sur les moyens de trouver de nouvelles façons d’atteindre les objectifs du gouvernement à moindres coûts, avec la préoccupation constante de parvenir aux résultats attendus21.

18 Ministère du Tourisme, Guide de l’évaluation des programmes du ministère p. 18. 19 Secrétariat du Conseil du Trésor, Évaluation de programme… Op. Cit. p. 7. 20 Secrétariat du Conseil du Trésor, Guide sur la gestion axée sur les résultats, p. 40. 21 Secrétariat du Conseil du Trésor, Évaluation de programme… Op. Cit. p. 6.

13

Le besoin d’information fiable et crédible pour la prise de décision fait également partie des

préoccupations du gouvernement fédéral lorsqu’il est question de mettre en place un

processus évaluatif. Celui-ci vise notamment à « recueillir de l’information, de façon

permanente et régulière, pour constater comment fonctionne un programme, une orientation

stratégique ou une stratégie »22. Pour Ottawa, l’évaluation du rendement est une

préoccupation centrale du processus d’évaluation de programmes. En fait, le processus

évaluatif doit :

[…] fournir au moment voulu des constatations et des conclusions à la fois pertinentes, fiables et objectives sur le rendement du programme, grâce à des méthodes valides et fiables de collecte et d’analyse des données. Idéalement, les évaluations devraient présenter les constatations et les conclusions de façon claire et équilibrée, tout en précisant leur degré de fiabilité23.

Au sein du ministère du Tourisme, la notion de collecte d’informations crédibles est aussi

un élément central qui motive la décision de mettre en place un processus d’évaluation de

programme. En fait, la fonction évaluative a pour mission de :

[…] contribuer à l’accomplissement du mandat du Ministère en fournissant au sous-ministre, au(x) sous-ministre(s) adjoint(s), aux directeur(s) général(aux) et aux gestionnaires, de l’information avérée, crédible et objective sur la pertinence et la performance des programmes d’aide financière et sur les éventuelles améliorations à apporter en vue d’obtenir de meilleurs résultats, et ce, de façon continue24.

Pour que la fonction d’évaluation de programmes s’implante adéquatement au sein d’une

organisation et qu’elle apporte les résultats escomptés, certaines actions doivent être

22 Secrétariat du Conseil du Trésor du Canada, Pour soutenir des évaluations efficaces : Guide d'élaboration de stratégies de mesure du rendement, (Consultée le 3 mars 2018) [En ligne] https://www.canada.ca/fr/ secretariat-conseil-tresor/services/verifications-evaluations/centre-excellence-en-evaluation/guide-elaborat ion-strategies-mesure-rendement.html 23 Secrétariat du Conseil du Trésor du Canada, Méthode d’évaluation des programmes : Mesure et attribution des résultats des programmes (Consultée le 20 mars 2018) [En ligne] https://www.tbs-sct.gc.ca/cee/pubs/meth/pem-mep-fra.pdf p.1. 24 Ministère du Tourisme, Guide de l’évaluation… Op. Cit. p. 6.

14

entreprises tout le long de la ligne hiérarchique de l’organisation. Ces conditions gagnantes

sont, notamment :

[…] un appui ferme du sous-ministre ou du dirigeant d’organisme; un leadership exercé par l’équipe d’évaluation de programme à tous les niveaux de la chaîne hiérarchique; une compréhension partagée de la portée de l’évaluation entre le sous-ministre ou le dirigeant d’organisme et le coordonnateur, l’évaluateur et les gestionnaires, dès l’acceptation du mandat; une démarche d’évaluation effectuée par du personnel possédant l’habileté, les connaissances et l’expertise nécessaires; une détermination des ressources nécessaires à l’évaluation de programme dès l’affectation du budget; un arrimage entre l’évaluation de programme et la démarche de gestion axée sur les résultats; une définition d’objectifs clairs et d’indicateurs mesurables en fonction de l’atteinte des résultats escomptés dès l’élaboration d’un nouveau programme; un cadre d’évaluation et un système d’information adéquats qui assureront la qualité de l’évaluation; une stratégie et une méthode appropriées à l’environnement du programme25.

2.1.1 L’évaluation des programmes touristiques

Selon l’Organisation mondiale du tourisme, le tourisme se définit comme :

[u]n phénomène social, culturel et économique qui implique le déplacement de personnes vers des pays ou des endroits situés en dehors de leur environnement habituel à des fins personnelles ou professionnelles ou pour affaires. Ces personnes sont appelées des visiteurs (et peuvent être des touristes ou des excursionnistes, des résidents ou des non-résidents) et le tourisme se rapporte à leurs activités, qui supposent pour certaines des dépenses touristiques26.

Comme tous les secteurs économiques, le domaine du tourisme évolue dans un contexte qui

lui est propre et qui diffère selon la région où l’activité s’exerce. Il en va de même avec les

programmes destinés à soutenir ces activités ainsi que de l’évaluation de ceux-ci. La portée,

les attentes ou le ratio coût/bénéfice d’un programme visant à promouvoir le tourisme rural

à l’échelle régionale ne seront pas les mêmes qu’un programme destiné soutenir des

25 Secrétariat du Conseil du Trésor, Évaluation de programme… Op. Cit. p. 16. 26 Chaire de tourisme Transat, Les entreprises touristiques au cœur du développement économique, (Consultée le 1er mai 2018) [En ligne], https://chairedetourisme.uqam.ca/upload/files/cahier_symposium _electronique_FR_v4.pdf p. 19.

15

événements majeurs aux visées nationales voire internationales27. Malgré ces différences, il

existe une série de procédés et d’enjeux qui semblent, selon la littérature, être communs à

l’ensemble du domaine touristique.

L’un des défis liés à l’évaluation de programmes touristiques tient au fait que la structure

organisationnelle du tourisme d’un pays dépend du rôle et de l’importance que le tourisme

tient dans le développement socio-économique de celui-ci, mais aussi des priorités

identifiées par les décideurs publics28. Par exemple, le tourisme est parfois lié, selon les

pays, au ministère s’occupant de la culture, du sport, de l’économie ou, comme au Québec,

le tourisme peut constituer un ministère à part entière. Autrement dit, même si les enjeux

politiques influencent à un moment ou à un autre la plupart des sphères d’activités

gouvernementales, il semble que les objectifs, les produits, les régions et les bénéficiaires

ciblés par les programmes gouvernementaux de développement touristique sont plus

souvent motivés par des raisons politiques que par des impératifs économiques que d’autres

secteurs29. De plus, une autre particularité du secteur touristique est qu’il s’agit d’un secteur

façonné et profondément interdépendant de son milieu. En fait, le tourisme est :

[…] enraciné dans le tissu social et économique des structures existantes et en fait parties. Que ces structures soient des zones urbaines ou rurales ou des territoires protégés, il existe généralement un grand nombre de dispositions, politiques et réglementations qui ont façonné les caractéristiques sociales, culturelles, économiques et environnementales du lieu et, indirectement, la valeur touristique et la compétitivité de la destination associée30.

En outre, les programmes visant à promouvoir le tourisme dépendent souvent de la

coordination avec différents ministères, pensons seulement aux transports, pour que ses

mesures soient pleinement efficaces. Il incombe donc à l’évaluateur de mieux comprendre

27 Aliza Fleischer et Daniel Felsentein, Support for rural tourisme : Does it make a difference?, 2000, p. 1011. 28 Zuzanna Gajdošíková, Reegineering of tourism organization structure : The case of Slovakia, 2016, p. 406. 29 Dražen Vrhovski, Government subsidies efficiency analysis in the tourism sector in Croatia, 2014, p. 169. 30 Peter Haxton, Tour d’horizon des politiques efficaces pour la croissance du tourisme, 2015, p. 32.

16

les interactions, synergies et dynamiques spécifiques à cette combinaison de facteurs afin

de mesurer la portée réelle des programmes de développement touristique.

Ainsi, les indicateurs destinés à évaluer ces programmes doivent, aider à la compréhension

des défis de compétitivité et avoir une vision globale du secteur, suivre ses progrès dans le

temps et anticiper les risques, donner une idée des rendements des investissements et

permettre de comparer ses performances par rapport à la concurrence à travers le temps31.

Pour ce faire, l’Organisation de coopération et de développement économique (OCDE)

élaborer pour ses membres une série d’indicateurs permettant de mesurer les effets et les

impacts des leurs programmes de développement touristique.

Tableau : Liste des indicateurs de base, supplémentaires et à développer32

31 Alain Dupeyras et Neil MacCallum, Indicateurs de la compétitivité du tourisme, 2013, p. 12. 32 Ibid. p. 17.

17

2.2 La collecte de données

Comme nous venons de le constater, un enjeu important qui est en lien avec l’évaluation de

programmes est la capacité de l’évaluateur à collecter des données fiables et crédibles qui

seront disponibles au moment voulu. Selon le Secrétariat du Conseil du Trésor du Canada,

« [l]a nature des données dépendra elle-même de la méthode d’évaluation adoptée, des

indicateurs utilisés pour obtenir les résultats des programmes et du type d’analyse à faire

»33.

Les données utilisées aux fins des évaluations peuvent être de nature primaire ou

secondaire. Dans le cas de données primaires, il s’agit de données « issues de la collecte

d’information réalisée afin de répondre aux besoins spécifiques d’une étude ou d’une

évaluation »34, tandis que les données secondaires sont « colligées à d’autres fins que celle

des travaux ou de l’évaluation en cours »35. À titre d’exemple, les données colligées par

Statistique Canada ou par l’Institut de la statistique du Québec font partie des données

secondaires qui ont été utilisées lors du stage.

En ce qui concerne les données secondaires, un des défis est le fait que l’évaluateur n’a pas

eu le contrôle sur la méthode de collecte utilisée, mais doit tout de même en évaluer la

validité et la fiabilité. C’est pourquoi il peut être opportun de remonter à la source de celle-

ci afin d’augmenter la crédibilité des données36. Bien que le problème ne s’applique pas, ou

peu, aux données recueillies par Statistique Canada ou l’Institut de la statistique du Québec,

l’enjeu peut être réel lorsqu’il est question de données collectées par les ATS ou ATR. En

effet, même si ces données peuvent être des plus utiles, elles sont collectées par des

organisations qui ont un intérêt dans la poursuite des programmes de subventions. Cette

situation de juge et partie fait en sorte que l’évaluateur doit redoubler de prudence lors de 33 Secrétariat du Conseil du Trésor du Canada, Méthodes d’évaluation de programmes… Op. Cit. p. 62. 34 Secrétariat du Conseil du Trésor, Glossaire des termes usuels en mesure de performance et en évaluation (Consultée le 1er mars 2018) [En ligne] https://www.tresor.gouv.qc.ca/fileadmin/PDF/publications/glossaire _termes_usuels.pdf p. 6. 35 Ibid. 36 Secrétariat du Conseil du Trésor du Canada, Méthodes d’évaluation de programmes… Op. Cit. p. 67.

18

l’analyse et l’interprétation de ces données. L’enjeu est d’autant plus important que dans le

domaine du tourisme, « [o]utre le décompte des entrées des visiteurs aux frontières,

pratiquement toutes les autres données du tourisme reposent sur le témoignage des visiteurs

lors d’enquêtes effectuées par sondages »37.

Les principaux outils de collecte de données utilisés lors de l’évaluation de programme est

la cherche documentaire, l’étude de dossier, l’observation directe et l’étude de cas au

moyen d’enquêtes et de sondage. Chacune de ces méthodes offre leurs avantages.

La recherche documentaire permet de recenser les connaissances spécifiques à un domaine

et permet de s’informer au préalable sur le domaine d’activité du programme qui devra être

évalué. De plus, cette méthode de collecte de données permet aussi de prendre

connaissance de certaines particularités du secteur d’activités. Par exemple la recherche

peut avoir démontré que l’intervention prévue par le programme est plus efficace sur

certains individus que sur d’autres, ce qui permettra de mettre en perspective les résultats

de l’évaluation. De plus la recherche documentaire peut

[…] mettre en lumière des difficultés méthodologiques particulières et indiquer à l’évaluateur des techniques et des moyens de les contourner. Dans certains cas, les recherches antérieures fournissent directement des réponses aux questions d’évaluation, ce qui permet d’éviter un travail de collecte de données inutile. On peut aussi trouver des sources de données secondaires utilisables dans les études antérieures, ce qui réduit le besoin de recueillir des données primaires38.

C’est sans compter le fait que cette méthode de collecte de données peut également donner

des pistes d’hypothèse à vérifier ou orienter la formulation des questions qui serviront à

l’évaluation. En fait, ce dépouillement des écrits est «un moyen relativement économique et

efficace de recueillir des données pertinentes, et il est souvent rentable. Il doit toujours se

faire au cours de l’étude préparatoire à l’évaluation»39.

37 Chaire de tourisme Transat, Les entreprises touristiques au cœur … Op. Cit p. 32. 38 Secrétariat du Conseil du Trésor du Canada, Méthodes d’évaluation de programmes… Op. Cit. p. 66. 39 Ibid.

19

Bien que plus coûteuse que la recherche documentaire, l’observation directe d’un

phénomène est une autre source de données qui peut être très utile lors de l’évaluation de

programme et peut même être essentielle pour comprendre le fonctionnement d’un

programme40. Elle permet, entre autres, de décrire le contexte dans lequel un programme

évolue, mais aussi de colliger des données qui n’ont pas été prévues avec d’autres

instruments de collecte et qui auraient été impossibles d’apprécier sans avoir été sur le

terrain. Cette technique permet aussi de mettre en perspective les données recueillies au

moyen d’entrevues en permettant de remettre dans son contexte les commentaires amassés.

De plus, la technique « permet à l’évaluateur de saisir des détails qui risquent d’échapper

aux membres du personnel, ou de constater des éléments qu’ils hésitent à soulever au cours

d’une entrevue »41. Toutefois, l’observateur doit être conscient que sa présence peut

interférer avec le comportement normal de la situation qu’il souhaite observer. En effet,

certains individus peuvent adopter un comportement fort différent lorsqu’ils se savent

observés.

L’étude de cas trouve également sa place comme méthode de collecte de données dans un

contexte d’évaluation de programme lorsqu’il est, pour des raisons budgétaires ou

pratiques, impossible de constituer un échantillon suffisamment important pour pouvoir

effectuer le travail. La technique peut également se justifier lorsque l’on veut étudier

certains cas en profondeur afin de recueillir des données détaillées. L’enjeu sera alors de

bien sélectionner les cas qui feront partir de l’échantillon étant donné leur nombre restreint.

Une sélection de cas pas, ou peu, représentatifs de la population étudiée n’offrira que peu

d’informations sur celle-ci et les résultats obtenus ne pourront malheureusement pas être

généralisés à l’ensemble des bénéficiaires du programme.

Inversement, le choix de certains cas atypiques permettra de faire une analyse détaillée

d’une situation où le programme n’a pas eu l’effet escompté sur une certaine frange de la

40 Ibid. p. 72. 41 Ibid. p. 73.

20

population. L’étude de cas nous donnera alors une grande quantité d’informations sur un

nombre restreint d’individus, ce qu’une analyse statistique conventionnelle sera incapable

de faire. Il peut donc être judicieux, lorsque cela est possible, de combiner cette technique

avec une collecte de données plus traditionnelle afin de bénéficier des avantages des

deux42.

2.3 L’inférence causale

Malgré des méthodes de collecte de données sophistiquées ayant respecté un processus

méthodologique reconnu, il peut toujours y avoir un doute sur la validité des résultats

obtenus. En effet, pouvoir affirmer que les résultats observés sont directement imputables

aux actions du programme évalué ne va pas toujours de soi. Contrairement aux sciences

exactes, l’évaluateur dispose rarement d’un groupe témoin servant d’hypothèse nulle afin

de valider ses résultats. C’est particulièrement le cas dans le domaine des nouveaux

festivals et événements ou dans le cas d’un lancement de programme43. Autrement dit :

[…] pour bien comprendre les résultats causés par un programme, nous devons savoir ce qui serait arrivé sans l'exécution d'un programme. Cette notion est la clé des inférences causales. Autrement dit, si l’on conclut qu’un programme a produit ou causé un certain résultat, cela signifie que, s’il n’avait pas existé, le résultat ne se serait pas concrétisé44.

Pour pallier au problème lié à l’absence de groupe témoin ayant pour but de valider

l’inférence statistique, certaines techniques peuvent être utilisées. La plus simple est de

toujours privilégier l’hypothèse nulle, c’est-à-dire de commencer l’analyse en partant de

l’idée que l’intervention n’a pas eu de résultat. Cette façon de faire contribue à éviter les

biais que l’évaluateur peut entretenir par rapport au programme qu’il évalue. Si, malgré

cette précaution, nous pouvons constater une évolution significative des données, il peut

42 Ibid. p. 83-84. 43 Gouvernement du Canada, Évaluation du Programme des manifestations touristiques de renom, (Consultée le 1er mai 2018) [En ligne], https://www.ic.gc.ca/eic/site/ae-ve.nsf/fra/h_03423.html 44 Secrétariat du Conseil du Trésor du Canada, Méthodes d’évaluation de programmes… Op. Cit. p. 13.

21

être raisonnable de penser qu’un élément extérieur, possiblement le programme, a influé sur

les résultats.

Néanmoins, avant d’attribuer les résultats au seul fait du programme, il est nécessaire de

chercher et d’éliminer toutes les autres raisons plausibles qui auraient pu causer le résultat

observé45. Par exemple, l’évolution peut venir d’un élément extérieur ou d’une

combinaison facteurs qui ne sont pas directement lié à l’intervention que l’on veut mesurer.

À titre d’exemple, une croissance économique vigoureuse ou un taux de change favorable

peuvent dynamiser un secteur économique, dans notre cas le tourisme, sans que l’évolution

des données ne soit totalement imputable aux interventions gouvernementales.

Pour mieux connaître les résultats des interventions, la méthode différences de différences

permet de préciser la mesure. L’objectif de la méthode est de comparer deux groupes, soit

un groupe ayant bénéficié de l’intervention avec un groupe n’ayant pas bénéficié de celle-ci

et de mesurer l’évolution des données avant et après une action46. Cette méthode permet

alors d’éliminer les différences systématiques entre les deux groupes en plus de permettre

d’éliminer l’évolution temporelle, supposée identique en l’absence de mesure, entre les

deux mêmes groupes47. L’écart mesuré entre les deux résultats peut ensuite être

raisonnablement attribué au programme que l’évaluateur veut juger.

Malgré ces méthodes, il existe toujours des cas où l’inférence causale peut être compliquée,

voire impossible, à déterminer. Il s’agit des programmes que l’on doit « considérer comme

partie intégrante du cadre à l’intérieur duquel notre société et notre économie fonctionnent.

Ils tendent à exister dans des contextes où l’État assume le rôle d’intervenant principal »48

ou dans le cas de programme permanent, déjà établi depuis une longue période et dont

l’envergure est trop grande pour appliquer les méthodes d’évaluation classiques.

45 Ibid. p. 17. 46 Themba G. Chirwa, Program evaluation of agricultural input subsidies in Malawi using treatment effets, Munich Personal RePEe Archive, 2010, p. 14. 47 Pauline Givord, Méthodes économétriques pour l’évaluation de politiques publiques, 2010, p. 10. 48 Secrétariat du Conseil du Trésor du Canada, Méthodes d’évaluation de programmes… Op. Cit. p. 14.

22

En définitive, bien qu’il puisse être relativement facile de mesurer l’évolution d’une

situation, en trouver les causes et définir ses proportions est plus délicat. Comme nous

l’avons vu, il existe une série de cas où il peut être difficile de directement lier l’évolution

d’une situation à un programme donné. Dans ces cas, le rôle de l’évaluateur sera, autant que

faire se peut, de réduire les doutes quant à l’inférence causale des résultats afin d’apprécier

la portée réelle des programmes.

2.4 Évaluation de programmes et vérification interne Il peut être difficile de tracer une ligne de démarcation entre les tâches et objectifs

respectifs dévolus à l’évaluation de programmes et la vérification interne. En effet, les deux

fonctions sont intimement liées et sont parfois regroupées au sein de la même unité

administrative comme c’est le cas au MTO. Néanmoins, il est possible de les départager sur

certains aspects. Ainsi l’évaluateur de programme cherche d’abord à « poser un jugement

sur la pertinence et l’impact des programmes mis en place, ainsi que sur l’atteinte des

objectifs établis »4950. De son côté, la personne chargée d’effectuer les fonctions de

vérification interne s’intéresse davantage à « l’évaluation des risques de l’organisation et à

l’analyse des contrôles nécessaire pour les gérer, de même qu’à l’examen de la pertinence

et de la fiabilité de l’information de gestion disponible, ou encore, de l’économie, de

l’efficience et de l’efficacité des opérations »51.

Les deux fonctions agissent souvent conjointement, c’est le cas au ministère du Tourisme,

et sont complémentaires. Celles-ci sont principalement utilisées afin d’augmenter la

crédibilité de la reddition de comptes effectuée et offre chacune leurs avantages. La

vérification interne permet de renforcer l’exercice du contrôle des processus tandis que

l’évaluation de programme « appuie les choix de gestion à l’égard des programmes réalisés 49 William Reid, Promoting accountabilité and continual improvement : a review of the respective roles of performance measurement, auditing, evaluation, and reporting, 1999, p. 93. 50 Secrétariat du Conseil du Trésor, Évaluation de programme… Op. Cit. p. 8. 51 Ibid.

23

et des activités. Les dirigeants et dirigeantes des ministères et des organismes ont tout

avantage à utiliser ces fonctions comme outils de gestion »52. Les travaux effectués par la

fonction évaluative permettent également de soutenir « les efforts des gestionnaires pour les

suivis et rapports à faire sur les rendements réels, et pour aider les décisionnaires à

apprécier de façon objective les résultats des divers programmes ou politiques »53. De plus,

une distinction peut également être faite entre les fonctions d’évaluation de programme et

les fonctions liées à la planification stratégique. En fait :

[…] [l]a planification stratégique définie notamment les orientations qu’une organisation souhaite prendre, compte tenu des enjeux auxquels elle doit faire face. Les orientations peuvent se traduire par la modification, le maintien ou la mise en œuvre d’un nouveau programme. L’évaluation de programme permet d’apprécier la pertinence et de mesurer l’impact réel d’un programme par rapport à ce qui était souhaité. Les résultats de l’évaluation de programme peuvent même entraîner la modification des orientations stratégiques ou, à tout le moins, des axes d’intervention54.

Pour synthétiser cette revue de la littérature, rappelons que la notion de programme est un concept

en évolution et que l’évaluation de ceux-ci dépend essentiellement du contexte dans lequel il

évolue. Concernant l’évaluation des programmes touristiques, ceux-ci présentent des défis

supplémentaires compte tenu des contraintes liées à la collecte de données primaires, de son

contexte davantage politisé, des difficultés à identifier des groupes témoins et des enjeux liés à

l’inférence causale à cause de la coordination du tourisme entre différents programmes et

ministères.

3. Méthodologie de recherche et d’intervention Pour mener à bien ses mandats, le stagiaire a principalement utilisé un processus de

recherche de type enquête afin de recueillir les informations nécessaires pour effectuer ses

livrables. L’enquête est :

52 Ibid p. 9. 53 Gouvernement du Canada, Vérification interne et évaluation des programmes, (Consultée le 15 mars 2018) [En ligne], https://www.canada.ca/fr/agence-revenu/programmes/a-propos-agence-revenu-canada-arc/verification-interne-evaluation-programmes.html 54 Secrétariat du Conseil du Trésor, Évaluation de programme… Op. Cit. p. 8.

24

[…] une activité organisée et méthodique de collecte de données sur des caractéristiques d’intérêt d’une partie ou de la totalité des unités d’une population à l’aide de concepts, de méthodes et de procédures bien définis. Elle est suivie d’un exercice de compilation permettant de présenter les données recueillies sous une forme récapitulative utile55.

L’élaboration et la rédaction de cadres de suivi et d’évaluation préliminaires ont été la

principale activité de l’étudiant lors de son stage et représentent la majorité de ses livrables.

Lors de son processus d’enquête, le stagiaire a pu compter sur l’aide des conseillers de la

Direction générale de l'encadrement gouvernemental des fonctions d'évaluation de

programmes et de vérification interne lorsque nécessaire et il a suivi les directives dictées

dans le document Cadre de suivi et d’évaluation préliminaire : Instructions destinées aux

ministères et organismes, un document destiné au personnel responsable de rédiger les

cadres de suivi et d’évaluation préliminaire.

La première étape, lors de l’élaboration d’un cadre de suivi et d’évaluation préliminaire,

consiste à une recherche et analyse documentaire suivi d’un vaste processus de consultation

incluant les différents acteurs liés au programme. Ce processus de collecte de donnée a été

le même, peu importe le programme évalué. Il s’agit d’abord de bien comprendre le

programme à évaluer afin d’apprécier le rôle des parties prenantes et prendre conscience de

la portée de l’intervention gouvernementale.

Pour rédiger les sections « Contexte » et « Descriptions du programme », un processus de

recherche documentaire et de consultation fut mis en place. La recherche et l’analyse

documentaire se sont faites essentiellement via la documentation destinée au public, les

formulaires et documents de reddition de compte ainsi que les divers documents internes du

ministère. À la suite de ce processus, une ronde de consultation était entreprise auprès du

personnel de différentes directions du ministère afin de valider l’information ou pour

55 Statistique Canada, Méthodes et pratiques d’enquêtes, 2010, p. 1.

25

obtenir certaines précisions. Ce processus de consultation permettait également de faire

connaître la fonction évaluative au-delà des gestionnaires et de réduire les craintes ou les

résistances inhérentes aux activités liées à l’évaluation de programme en créant un lien de

confiance avec le personnel des programmes visés. Cette première rencontre permettait

aussi de créer un contact direct auprès de personnes-clés pour la suite des choses.

Pour les sections «Suivi de programme » et « Stratégie globale d’évaluation », la première

tâche a été d’abord de catégoriser les différents effets prévus par le programme selon s’il

s’agissait d’un effet à court, moyen ou long terme. Par la suite, un lien entre l’effet et les

indicateurs de performance déjà prévus au programme via un processus de collecte de

données était fait. Dans plusieurs cas, des effets prévus par le programme n’avaient pas

d’indicateurs prédéfinis, le processus de recherche consistait alors à identifier un ou des

indicateurs pertinents via des sources externes et de s’assurer de la qualité et de la longévité

du processus de collecte des données.

3.1 Recherches et analyses documentaires Cette démarche consistait, dans un premier temps, à identifier et compiler les données utiles

à l’élaboration des différents livrables via l’analyse des différents documents administratifs

et légaux déjà répertoriés par le ministère. Dans un second temps, plusieurs recherches

documentaires ont été faites afin de pallier le manque d’informations. Une série de banques

de données, d’études et de documents internes ou externes ont été consultés afin de mener à

terme les différents livrables, notamment le Plan de développement de l’industrie

touristique (PDIT) et le Plan d’action 2016-2020 s’y rattachant, les guides de présentation

des cadres de suivi et d’évaluation préliminaires et finaux, les rapports d’évaluation

d’anciens programmes du ministère ainsi que les cadres normatifs des différents

programmes à évaluer.

Du côté des banques de données, nous avons mis à contribution les données collectées par

le ministère du Tourisme et de l’Institut de la statistique du Québec, les banques de données

26

de Statistique Canada et de Destination Canada ainsi que de l’Organisation mondiale du

tourisme. Une série d’études et de données provenant des associations touristiques

sectorielles et régionales (ATS et ATR) ont également été analysées afin d’avoir de

l’information sur des produits touristiques spécifiques ou des données correspondant à une

région touristique en particulier lorsqu’un programme ciblait certaines régions.

3.2 Consultation interne L’approche collaborative fut mise de l’avant tout au long de l’intervention. En effet, les

différentes unités administratives du ministère du Tourisme ont été mises à contribution

tout au long du stage. Cette approche a permis de faciliter le processus de collecte de

données ainsi que le processus de rédaction. L’approche collaborative a également permis

de réduire les craintes et de lisser les résistances liées à l’implantation de processus

d’évaluation de programme au sein du ministère.

Concrètement, le processus de consultation interne mis en place lors de l’élaboration des

cadres de suivi et d’évaluation préliminaire a pris la forme d’une consultation Top-Down,

Bottom-Up. Tout d’abord, les gestionnaires des différentes directions (Direction des

politiques et de l’intelligence d’affaires (DPIA), Direction des interventions sectorielles

(DIS), et Direction des programmes et des interventions régionales (DPIR)) ont été

rencontrés afin de présenter le stagiaire et de les informer quant à la nature des travaux qu’il

allait effectuer au ministère. Ces premières rencontres ont permis de bien cerner le secteur

d’activités de chacun et d’ouvrir des canaux de communication directs avec certaines

personnes ressources facilitant la mise en œuvre des mandats en plus de faciliter le

processus de collecte de données. Par la suite, l’essentiel du travail d’élaboration des cadres

de suivi a été réalisé avec les unités administratives de différentes directions afin de bien

comprendre les enjeux liés aux programmes, d’identifier des indicateurs pertinents et de

s’assurer de la disponibilité des données le temps venu. Après la phase de rédaction des

cadres préliminaires, le processus d’approbation empruntait le chemin inverse, c’est-à-dire

27

que le document recevait l’aval des employés de première ligne pour se faire approuver par

la haute direction en bout de chaîne.

3.3 Consultation externe

Cette méthode a été utilisée dans le but d’élargir le champ des connaissances liées à

l’évaluation de programmes, s’inspirer des autres ministères et organismes et de s’assurer

que les documents remis respectent les exigences du Secrétariat du Conseil du Trésor. Dans

cette optique, des rencontres ont été faites avec le personnel du Groupe des responsables en

analyse et évaluation de programme (GRAEP) et de la Direction générale de l'encadrement

gouvernemental des fonctions d'évaluation de programmes et de vérification interne. Ces

rencontres ont permis d’éclaircir les exigences et les limites des différents mandats en plus

de connaître les exigences du SCT de manière explicite. De plus, elles ont permis de faire

un certain étalonnage et de tirer parti de l’expérience des ministères où la fonction

évaluative est déjà bien mise en place.

4. Résultats La méthodologie expliquée dans la section précédente a permis de produire l’essentiel des

livrables prévus lors du stage. Cette section a donc pour but de mettre en lumière les

contributions du stagiaire à ceux-ci et de souligner les défis qui ont été relevés par

l’étudiant lors de son séjour au sein du ministère du Tourisme.

4.1 Mandat d’élaboration d’un cadre de suivi et d’évaluation préliminaire Chacun de ces documents respecte la même structure et débute avec la section « Origine du

mandat » qui établit le cadre légal dans lequel évoluera le processus d’évaluation. Nous

retrouvons également un bref historique des documents légaux qui viennent supporter le

programme le cas échéant. Pour réaliser cette section, des recherches et des analyses

documentaires ont été nécessaires afin de comprendre l’évolution du programme en

question. En effet, la plupart des programmes de subventions du MTO ont une certaine

longévité et leur structure ainsi que leur logique d’intervention demeure sensiblement les

28

mêmes malgré un changement d’appellation ou des changements à la marge quant à

l’admissibilité des promoteurs. L’enjeu est donc de dresser un fil conducteur entre la

version actuelle du programme avec ses prédécesseurs. Les documents utilisés dans la

rédaction de cette section ont été essentiellement des cadres normatifs et des décrets

ministériels. Ces documents légaux réservés exclusivement à l’usage interne du ministère

ont permis d’obtenir une grande partie de l’information nécessaire à l’élaboration des

mandats en plus de servir de base légale pour motiver les travaux d’évaluation.

Comme son nom l’indique, la section « Contexte et enjeux » explique l’origine politique du

programme, soit les besoins que le programme vise à combler ou la problématique devant

être réglée par le biais de l’intervention gouvernementale. La collecte de données

nécessaires à l’élaboration de cette section consistait surtout à une consultation des

personnes responsables du programme en question et de l’analyse des documents destinés

au public. Par exemple, une analyse de marché incluant l’ensemble des intervenants

touristiques a permis de démontrer que le tourisme hivernal est un secteur où le Québec se

démarque de l’offre touristique internationale. Ce constat a motivé la création de la

stratégie touristique hivernale du ministère.

Par la suite, les sections suivantes énoncent l’objectif du mandat, soit la rédaction d’un

cadre de suivi et d’évaluation préliminaire, la description de la forme que le document

prendra en prenant soin d’énumérer et expliquer chacune des sections ainsi que les

questions d’évaluation retenues par le SCT et les différentes directions du ministère qui

reflètent leur besoin d’informations. Si les questions d’évaluations du SCT demeuraient

sensiblement les mêmes, peu importe les programmes, la consultation et les discussions

avec les différents intervenants du MTO ont permis de diversifier l’étendue des enjeux. En

effet, l’ajout de certaines questions liées à l’efficacité ou à l’efficience des programmes ont

comme origine la volonté de certains cadres d’utiliser les résultats comme levier pour

consolider leur financement ou pour étendre leur champ d’intervention lors d’une

éventuelle reconduction de programme. Pour chacun des mandats, les questions

29

d’évaluation ont ciblé les enjeux de pertinence du programme, sa mise en œuvre ou son

fonctionnement selon le cas, les effets, l’efficacité et l’efficience des interventions.

Le mandat retrouve ensuite une section échéancier qui s’inspire des délais qui ont été

nécessaires lors des évaluations précédentes et des suggestions du SCT, l’identification des

clients du livrable, soit le sous-ministre et le directeur du programme en question, et des

responsables de la livraison du futur livrable, le stagiaire, ainsi que l’énoncé de la mise sur

pied d’un comité consultatif. Idéalement, le comité consultatif réunira les gestionnaires des

différentes directions liées aux programmes (DIS, DPIR), d’un expert des milieux

touristiques concernés qui sera choisi à l’extérieur du ministère, d’un représentant de la

clientèle ciblée (promoteur, ATS, ATR) ainsi que toutes autres parties prenantes concernées

par l’évaluation, par exemple un représentant de la DPIA qui est chargée de collecter et de

valider certaines données au nom du ministère.

4.2 Cadre de suivi et d’évaluation préliminaire La rédaction d’un cadre de suivi et d’évaluation préliminaire prend la forme exigée par le

SCT et contient les sections suivantes : mise en contexte, description du programme et

logique d’intervention, cadre de gestion interministériel (si pertinent), suivi du programme

et stratégie globale d’évaluation.

Si la section « Mise en contexte » était globalement une répétition de la section éponyme

présente dans le mandat, la section « Description du programme » était sensiblement plus

étoffée. Il était question d’expliquer la raison d’être du programme, ses objectifs, la nature

de l’intervention, ses intrants et ses activités de production en plus de fournir un cadre

logique du programme afin de faciliter la compréhension de la logique d’intervention.

Ici, un autre travail de recherche et d’analyse était fait afin de déterminer l’origine du

programme en ce qui a trait à sa raison d’être. Par exemple, la décision de miser sur le

tourisme hivernal, événementiel, de nature et d’aventure, etc. venait des conclusions de la

30

table mixte regroupant les différents acteurs touristiques québécois ayant eu lieu afin de

déterminer les éléments de l’offre touristique québécoise où le Québec pouvait se

démarquer à l’international et qui continuaient d’offrir des perspectives de croissance

intéressantes. Par la suite, le Département des politiques et de l’intelligence d’affaire du

ministère a déterminé les produits touristiques qui devaient être priorisés dans chacune des

stratégies. Il en va de même par rapport à la décision de miser sur les infrastructures, une

analyse de la DPIA est venue à la conclusion que le meilleur effet de levier pour développer

l’industrie touristique serait de renforcer ou actualiser le parc d’infrastructures touristiques

québécois.

Cette information est venue teinter tout le reste de l’intervention du stagiaire étant donné

que les objectifs, les cibles, les bénéficiaires, les formulaires et le processus de reddition de

compte des différents volets du PSSDT étaient orientés vers cet objectif d’édification

d’attraits. Les indicateurs de suivi potentiellement recueillis par le ministère se

rapprochaient donc plus de ceux que l’on peut trouver au ministère des Transports qu’aux

indicateurs proposés par la littérature concernant l’évaluation de programme touristique.

Ces indicateurs « purement » touristiques ont donc dû être obtenus par d’autres moyens,

soit de la consultation externe, ce qui sera expliqué plus loin dans le rapport.

Dans le cas du programme d’aide aux ATS, c’est la Loi sur le ministère du Tourisme

(RLRQ, chapitre M31.2) qui permet au MTO de déléguer certaines fonctions à des tierces

parties via un processus de reconnaissance. C’est ainsi que la décision a été prise de

reconnaître certaines ATS ayant la capacité de développer leurs produits touristiques

sectoriels en exerçant un leadership dans leur secteur. La même procédure soutient

également le processus de reconnaissance des ATR, l’autre forme de partenariat privilégiée

par le ministère avec les acteurs privés.

La sous-section « Objectifs de l’intervention », quant à elle, a pour but d’énoncer les

objectifs du programme et de les classifier en terme d’effet à court, moyen et long terme.

31

Ces effets se retranscriront en termes d’indicateurs aux fins de l’évaluation de programme.

Dans la plupart des cas, les objectifs du programme étaient clairement définis et il était

simple de les traduire en termes d’effets. Néanmoins, nous avons pu noter que certains

objectifs étaient sensiblement identiques et qu’il serait difficile, voire impossible, de les

traduire en termes d’effets distincts, par exemple l’objectif de développement des produits

touristiques et l’objectif de renforcement de l’offre touristique. Dans ces cas, la décision a

été prise de fusionner les objectifs afin d’en sortir un effet unique qui serait plus facilement

évaluable pour la suite des choses.

Dans d’autres cas, le défi était de donner un sens clair à un objectif dans le but de définir un

indicateur à la fin du processus. Ici, l’exemple vient du PrDIT – ATS qui a, parmi ses effets

à moyen terme, l’objectif de « Miser sur les synergies ». Dans le but d’opérationnaliser cet

objectif, une rencontre avec les responsables du programme a été faite afin d’identifier une

action de la part du ministère qui serait susceptible de donner du sens à l’objectif. Suite à la

consultation, il a été décidé que la façon que nous allions mesurer la capacité du ministère à

miser sur les synergies allait se traduire par le nombre d’ententes ATS signées au cours de

la vie du programme.

Ce genre de défis a eu le mérite de sensibiliser les personnes responsables de l’élaboration

des programmes à porter une attention particulière à la formulation des objectifs des

programmes et de prendre en compte, malgré la raison politique des énoncés,

l’opérationnalisation des objectifs lors du processus d’évaluation des programmes. Cette

prise de conscience facilitera probablement l’évaluation des futurs programmes.

De son côté, la sous-section «Nature de l’intervention» n’a pas amené de défis particuliers,

elle consistait essentiellement à décrire l’action du ministère dans le cadre du programme et

une simple lecture du cadre normatif ou des documents corporatifs suffisait pour obtenir

l’information. La tâche consistait aussi à décrire le type d’intervention privilégié par le

gouvernement, laquelle prenait le plus souvent du temps une forme financière soit en prêts,

32

garanties de prêts ou subventions et d’en définir les modalités de paiement ainsi que le type

de projet admissible. Néanmoins, ces dernières informations devaient être accompagnées

d’une justification auprès du SCT. Le processus de consultation auprès des responsables

des programmes a permis d’apprendre que les prêts ou les garanties de prêts étaient le type

d’intervention privilégié compte tenu du contrôle qu’elle offrait. En effet, une garantie de

prêt peut être conditionnelle à certains livrables ou à une reddition de compte. Toutefois,

une subvention versée en majorité à la signature de l’entente offre beaucoup moins de

contrôle au gouvernement pour superviser les travaux ou incite moins le promoteur à se

plier à un processus de divulgation d’informations, essentiellement pour l’évaluation de

programme, lorsque l’argent a déjà été versé.

Ensuite, lorsqu’il était question du partage des rôles et responsabilités des acteurs

permettant le bon fonctionnement du programme, les choses pouvaient se complexifier. En

effet, les rôles et responsabilités n’étaient pas toujours explicitement décrire dans les

documents et il a fallu, dans certains cas, procéder à un processus d’entrevus avec les

acteurs pour s’assurer de bien comprendre la fonction de chacun afin de déterminer

l’imputabilité de toutes les parties prenantes. Finalement, la sous-section «Intrants et

activités de production» était composée des différentes ressources dont le programme

dispose pour arriver à ses fins. Les ressources dont les programmes jouissent peuvent être

financières, humaines, matérielles ou informationnelles.

Le cadre logique, quant à lui, est seulement une simplification des éléments recensés plus

tôt de façon imagée afin de permettre aux personnes n’étant pas au fait du programme, soit

le personnel du SCT devant superviser plusieurs programmes de plusieurs ministères

différents, de le comprendre en un coup d’œil et de comprendre sa logique d’intervention.

Ce schéma permet également de comprendre comment les intrants et les activités du

ministère se transforment en extrants menant aux différents effets du programme.

Ces avec la section «Suivi du programme» que nous touchons réellement au cœur des

enjeux liés à l’évaluation de programme. En effet c’est dans cette section que nous

33

sélectionnons les indicateurs, les données de référence ainsi que les cibles qui serviront à

évaluer les différents programmes du ministère pour ensuite les catégories selon le type

d’évaluation (effet, efficacité, efficience, fonctionnement ou mise en œuvre et pertinence).

Après avoir divisé les effets en court, moyen et long terme, il a fallu faire un lien entre

l’effet et les indicateurs de performance déjà prévus au programme via un processus de

collecte de données déjà planifié. Il s’agissait essentiellement d’une collecte d’informations

quant à l’évolution du chiffre d’affaires, du nombre d’emplois et de l’achalandage des

compagnies touristiques bénéficiant d’une aide gouvernementale. Or, cette collecte de

données déjà planifiée par le ministère n’a jamais été suffisante pour répondre au besoin

d’un seul programme et il a fallu identifier les besoins d’informations restant à combler via

un processus de collecte n’étant pas spécifiquement mis en place en vue de l’évaluation du

programme. Une recherche menée auprès des banques de données de la DPIA, de l’Institut

de la statistique du Québec ou de Statistique Canada a permis de réduire le nombre d’effets

ne bénéficiant pas d’au moins un indicateur de suivi et d’offrir des indicateurs

supplémentaires à certains effets permettant ainsi de renforcer la crédibilité de l’évolution

observée tout en évitant une charge de travail ou un coût supplémentaire. Pour les effets

toujours orphelin suite à ce processus, nous avons dû nous résoudre à nous tourner auprès

de sources secondaires dont la validé n’était pas garantie pour une entité gouvernementale.

Dans le cas où l’effet touchait un secteur spécifique d’activité, par exemple le

développement de produits touristiques jugés prioritaires, les banques de données des

associations touristiques sectorielles pouvaient également être mises à contribution. La

sollicitation de l’Association des stations de ski du Québec a été particulièrement utile lors

de la phase de collecte de données. En plus de fournir une kyrielle de données pertinentes

permettant de juger de l’évolution du secteur et d’aiguiller le stagiaire vers des indicateurs

de remplacement permettant de cibler spécifiquement l’achalandage touristique.

Par exemple, un bon moyen de mesurer indirectement l’achalandage touristique des stations

de ski est de comptabiliser les ventes d’accès à la journée ou à la semaine. Ce genre d’achat

34

est beaucoup plus fréquent chez les touristes ou les excursionnistes et permet d’apprécier

davantage l’évolution de la clientèle touristique que le nombre de jours/ski global qui prend

en compte une large partie de clientèle locale. Une rencontre avec les intervenants de

l’Association de motoneige a permis le même constat : le nombre de cartes d’accès annuel

aux sentiers de motoneige englobe une grande partie de locaux tandis que les cartes d’accès

journalières ou hebdomadaires permettent d’apprécier davantage l’évolution de

l’achalandage touristique du secteur.

Ce genre de rencontres a également permis d’identifier plusieurs facteurs qui pouvaient

permettre de renforcer l’inférence causale entre le programme et l’évolution des données en

fournissant, par exemple, des outils statistiques permettant de prendre en compte les effets

de la météo sur l’achalandage. D’autres données collectées auprès des ATS permettront

également de remettre l’évolution des données dans leurs contextes.

Finalement, si la recherche de données n’était pas concluante, la décision d’utiliser des

indicateurs provenant des fiches de demande d’aide financière (par exemple le nombre de

projets financés) a été prise même si ce genre d’indicateur offre plus d’information sur les

extrants du programme que sur ses effets. Cette stratégie était prise en dernier recours et

était en accord avec le SCT. Toutefois, le problème lié à l’inférence causale était d’autant

plus présent dans ce genre de situation. En effet, en plus de ne pas pouvoir mettre en

perspective l’évolution des données recueillies auprès du promoteur, rien ne permet

d’affirmer que celui-ci n’aurait pas fait le même genre d’investissement sans le programme.

Le promoteur aurait tout aussi bien pu faire le même genre d’investissement sans une aide

gouvernement, voire un investissement répondant encore mieux à ses besoins s’il n’avait

pas certaines contraintes gouvernementales liées à la nature du projet financé. Dans le but

de pallier ce problème lié à l’incertitude de la relation cause à effet et dans l’optique

d’augmenter les sources de données collectées la décision a été prise de lancer un processus

de sondage, à la fin de vie du programme, pour questionner les bénéficiaires de celui-ci sur

l’évolution des retombées touristiques et l’intervention gouvernementale. En plus de

35

permettre de renforcer l’inférence causale, le processus de sondage permettra de

questionner les promoteurs sur la pertinence et le fonctionnement du programme afin de

bonifier l’évaluation.

Quant à l’établissement de la donnée de référence et des cibles à atteindre, lorsque celles-ci

n’étaient pas déterminées par le cadre normatif, la décision a été prise d’en établir, dans la

mesure du possible, par voie de consensus entre les acteurs. La donnée de référence choisie

était, dans la plupart des cas, l’année de création du programme à évaluer ou une moyenne

des trois années précédant sa création afin d’éviter de comparer les effets du programme

avec seulement une année exceptionnellement bonne ou mauvaise. Pour ce qui est des

cibles, si celle-ci n’était pas clairement identifiée dans les cadres normatifs, le consensus a

été que de spécifier si le programme visait une évolution à la hausse ou à la baisse de la

donnée. Le stagiaire a bien essayé d’arrimer les cibles sur les prévisions faites par

Destination Canada ou l’Organisation mondiale du Tourisme, mais les résistances auprès

des parties prenantes ont fait avorter le projet. Néanmoins, il sera possible, dans la plupart

des cas, de comparer les résultats des bénéficiaires des programmes, des régions ou des

produits visés par le programme avec d’autres régions ou produits n’ayant pas bénéficié

d’aides gouvernementales afin d’apprécier les effets de celles-ci.

L’option de comparer les résultats avec l’ensemble du Québec ou du Canada est aussi une

avenue envisagée dans les cas où les programmes ne visent pas de région ou de produits

spécifiques. Le but étant de démontrer l’inférence causale entre les interventions du

programme et les effets observés. En mettant en perspective les résultats d’un promoteur,

d’une région ou d’un secteur touristique ayant bénéficié de l’intervention du MTO avec des

populations ayant évolué sans cette intervention cela nous permettra de prendre en compte

les résultats réels du programme. Une augmentation de 10% est déjà moins spectaculaire si

le reste du secteur non subventionné a fait 9%. Inversement,ne pas atteindre une cible de

3% est moins décevant si le voisin connaît, quant à lui, une décroissance. Donc, en plus de

permettre d’établir l’inférence causale entre l’évolution des données et le programme, ce

36

genre de comparaison permet également de mettre l’évolution des données dans un

contexte qui permettent son appréciation.

Une fois ce travail de recherche et de sélection d’indicateurs terminé, la dernière étape du

plan de suivi de programme a été de spécifier la source des données, la fréquence de la

collection ainsi que la responsabilité de celle-ci dans les tableaux de suivi. Cette dernière

étape n’était qu’une formalité étant donné que le processus de recherche effectué en amont

permettait d’avoir l’information sous la main.

La dernière section d’un cadre de suivi et d’évaluation préliminaire, « Stratégie globale

d’évaluation », comme le nom l’indique, sert essentiellement à jeter les bases de

l’évaluation à venir. Dans cette section, les informations suivantes se doivent d’être

présentes : la date des différents livrables à venir, les aspects évaluatifs qui seront traités et

comment ceux-ci s’articuleront entre eux, comment ces évaluations permettront de

répondre aux besoins d’informations de l’organisation et du SCT et, finalement, une

explication sommaire de la manière que l’évaluation sera faite selon l’aspect évaluatif.

Étant donné que la majeure partie du travail a été faite en amont, grâce au tableau de suivi

des indicateurs expliqué précédemment, le principal défi dans cette partie du cadre de suivi

et d’évaluation préliminaire a été de déterminer un échéancier réaliste de chacune des

phases de l’évaluation ainsi que d’expliquer et articuler le processus de sondage auprès des

bénéficiaires du programme. En effet, dans le but de bonifier la collecte de données en

incluant directement les bénéficiaires des programmes dans le processus, la décision a été

prise de réaliser un sondage afin de les questionner sur la pertinence, le fonctionnement et

les effets du programme pour élargir les pistes de réflexion. Le processus permettra aussi de

renforcer l’inférence causale en questionnant les bénéficiaires des interventions

gouvernementales sur la partie des effets qui sont directement imputables au programme.

4.3 Mise à jour du plan triennal 2017-2020

37

Comme nous l’avons mentionné précédemment, la nature des livrables a sensiblement

changé au cours du stage auquel l’étudiant a pris part. La cause principale de ces

changements a été la reconduction ou modification de deux programmes, soit l’ajout de la

Stratégie touristique québécoise au nord du 49e parallèle qui est devenu le volet 5 du

Programme de soutien aux stratégies de développement touristique et la reconduction du

Programme d’aide financière aux festivals et aux événements touristiques par un cadre

normatif alors que le programme était soutenu jusqu’alors par un décret.

Ces deux modifications ont apporté leurs lots de changement en terme organisationnel,

mais également en ce qui a trait à la planification des programmes à évaluer. En effet, le

fait qu’un programme soit fusionné à un groupe de programme ou qu’un programme

jouisse d’un cadre normatif implique que les modalités de reddition de comptes et

d’évaluation changent.

Dans le cas de la Stratégie touristique au nord du 49e parallèle, le changement impliquait

que le processus d’évaluation, et donc la livraison du cadre de suivi et d’évaluation

préliminaire, devait se faire beaucoup plus tôt que prévu afin d’être synchronisé avec les

quatre autres volets du PSSDT. La date convenue entre les parties a été celle du 28 février

2018 plutôt que la date du 30 septembre 2018 initialement prévue. Dans le cas du

Programme d’aide aux festivals et aux événements touristiques, la date du 31 octobre 2018

a été retenue.

Afin de rendre possible l’ajout de ces deux évaluations dans le plan triennal d’évaluation,

tout en respectant les échéanciers prévus et les ressources disponibles, une analyse des

programmes déjà prévus au plan ainsi que des critères de sélection des programmes

prioritaires à évaluer a été faite. L’analyse a démontré que le volet Aide stratégique aux

projets touristiques du PrDIT pouvait être soustrait du plan triennal d’évaluation en

invoquant le faible montant des ressources financières en jeu ainsi que la faible activité du

programme au cours des dernières années. En effet, le volet est en fin de parcours et la

38

décision a déjà été prise de ne pas reconduire ce volet, du moins dans sa forme actuelle. La

décision a donc été prise, en accord avec les acteurs du milieu, de ne pas entreprendre ce

processus d’évaluation prévu pour mars 2018 afin de libérer des ressources pour

l’évaluation des nouveaux programmes.

5. Recommandations Ce séjour au sein de ministère du Tourisme a permis d’apprécier l’ampleur des efforts faits

par celui-ci afin de mettre en place un processus d’évaluation efficace et efficient.

Néanmoins, certaines mesures devraient être prises afin de s’assurer que le développement

de la fonction évaluative au MTO suive son court. Plusieurs défis sont également à

anticiper afin de s’assurer que le ministère puisse gérer la charge de travail émanant de la

fonction évaluative et ainsi pouvoir se conformer aux exigences du Secrétariat du Conseil

du Trésor.

Lors de son stage, l’étudiant a pu noter certaines actions qui seraient utiles afin de

développer la fonction évaluative à l’intérieur du ministère. Ces recommandations

apporteront un regard extérieur sur les pratiques du MTO en matière d’évaluation de

programmes, ce qui permettra d’explorer de nouvelles avenues afin de permettre le

renforcement de la fonction et de ses processus. L’importance des enjeux soulevés ainsi que

l’effet de levier des recommandations sont variables et la priorisation de celles-ci est laissée

à la discrétion du ministère en fonction de sa capacité d’action et des ressources

disponibles.

A Poursuivre les efforts de promotion et de vulgarisation de la fonction évaluative auprès du personnel impliqué.

Bien que certaines actions aient déjà été entreprises pour mieux faire connaître les enjeux

liés à l’évaluation de programmes, plusieurs efforts restent à faire afin que le personnel

évaluateur puisse atteindre son plein potentiel. Lors de son stage, l’étudiant a rencontré

39

plusieurs résistances de la part du personnel. Ces résistances ont pris des formes diverses,

par exemple de la passivité par rapport aux demandes d’informations faites par le stagiaire,

ou dans certains cas, une sur implication de certains acteurs lors du processus dans le but,

présumé, de modifier les critères d’évaluation à leur avantage.

La raison de ces résistances est, de l’avis du stagiaire, lié au fait que la finalité de

l’évaluation de programme n’est pas tout à fait comprise par l’ensemble des acteurs du

ministère. Certains perçoivent le processus comme un mécanisme de contrôle visant à

surveiller le travail des individus ou visant essentiellement à motiver des coupes au sein des

programmes alors que d’autres perçoivent seulement le processus d’évaluation comme une

façon de satisfaire aux directives du Secrétariat du Conseil du Trésor. Néanmoins, peu de

personnes perçoivent la plus-value que peut apporter l’évaluation de programme dans le

cadre de leur activité, par exemple l’évolution des façons de faire, la justification d’une

reconduction de programme ou l’augmentation de ressources allouées à certains

programmes pour ne nommer que ces quelques avantages.

Pour y parvenir, le processus de promotion devrait multiplier les séances d’informations

afin de mieux faire connaître la fonction et s’assurer d’obtenir l’appui des différentes

directions. Cet appui devrait être plus présent et affiché davantage par la DGSG afin de

donner du poids et de la crédibilité aux demandes faites par le personnel lié à l’évaluation

de programmes.

B Mettre davantage à contribution les ressources évaluatives lors de l’élaboration de nouveaux programmes tant sur l’aspect des objectifs, résultats et cibles, mais aussi dans l’élaboration des outils de collecte de données reliés aux programmes. Cette recommandation est un peu liée à la précédente dans le sens où la fonction évaluative

n’est pas pleinement comprise par l’ensemble des acteurs. En effet, lors de son stage,

l’étudiant a eu l’occasion de constater que l’élaboration ou la reconduction des programmes

continuait à se faire sans mettre à contribution l’expertise de personnel évaluatif. Par

40

exemple, certains objectifs des programmes n’étaient pas évaluables ou l’étaient

difficilement, certains indicateurs sélectionnés ne bénéficiaient pas d’outils de collecte de

données adéquats, d’autres indicateurs continuent d’être mis de l’avant alors que

l’expérience démontre que leur collecte est difficile, etc. À titre d’exemple, le chiffre

d’affaires est demandé dans la plupart des processus de reddition de comptes faits par les

bénéficiaires de programme. Or, il s’agit d’une donnée stratégique que les promoteurs

refusent de transmettre facilement. Cette inadéquation entre la volonté du ministère et la

réalité du terrain alourdit les processus et rend difficile la mise en œuvre des évaluations.

C Mettre en place un guide de rédaction du document à l’intention des nouveaux employés et stagiaires. La mise en place d’un guide de rédaction uniforme pour l’ensemble des communications

interne ou externe du MTO permettrait aux nouveaux employés et aux stagiaires de

produire des documents conformes aux coutumes du ministère dès le début. Pour le

moment, les nouveaux membres du personnel reçoivent ces directives qu’après le dépôt de

leur premier livrable, lorsque le personnel administratif vérifie la mise en page du

document. Il s’en suit une perte de temps pour le nouvel employé ainsi que pour le

personnel administratif qui serait facilement évitable par la mise en place d’un guide de

rédaction.

D Augmenter les partenariats entre le MTO, la SCT et les autres ministères. Augmenter le nombre de rencontres entre le personnel lié à la fonction évaluative du

ministère du Tourisme, le Secrétariat du Conseil du Trésor et le personnel évaluatif d’autres

ministères permettrait d’optimiser les pratiques de chacun par le partage des connaissances

en plus de favoriser une synergie entre ceux-ci. Bien que le Groupe des responsables en

analyse et en évaluation de programme (GRAEP) rempli en partie cette mission

d’optimisation des processus et des partages de connaissances, celui-ci mériterait de

41

pousser son action encore plus loin en multipliant ses activités de promotion et de partage

d’expertise.

E Avoir au moins deux personnes dédiées à l’évaluation de programme. Compte tenu de la charge de travail présente et à venir, nous recommandons fortement au

MTO de se doter d’au moins une personne dédiée à la fonction d’évaluation de

programmes à temps plein ainsi qu’une autre personne dédiée à la fonction d’évaluation de

programme à temps partiel, voir à temps plein. En effet, le ministère ne compte pas moins

de 53 programmes56 à son actif et le plan triennal 2017-2020 ne prévoit que neuf

évaluations. Celles-ci sont toutes au niveau de l’amorçage, soit à la phase d’élaboration des

cadres de suivi et d’évaluation préliminaires. Comme le montre le graphique qui suit, il

s’agit d’une des phases les moins exigeantes en termes de temps et d’effort. La phase qui

s’en vient, soit la collecte de données, leur analyse et la rédaction des rapports d’évaluation

sera trop chargée pour les ressources dont le ministère dispose en ce moment. Il faut donc

prévoir des ressources supplémentaires si celui-ci désire respecter les échéanciers qu’il s’est

fixés. Nous proposons donc au ministère de se doter d’une deuxième personne dédiée à

l’évaluation de programme à temps plein qui permettra de pallier les besoins lorsque la

charge de travail sera plus intense et qui permettra d’augmenter le nombre d’évaluation

prévue.

Figure : Charge de travail lié à l’évaluation 57

56 Ministère du Tourisme, Plan pluriannuel d’évaluation de programme, 2017. 57 Ministère du Tourisme, Guide de l’évaluation de programme du ministère, 2016.

42

Conclusion L’immersion du stagiaire en milieu de travail a été des plus bénéfiques sur plusieurs

aspects. D’abord, l’expérience lui a permet de confronter ses connaissances théoriques déjà

acquises à la réalité du terrain. De plus, le stage a également permis l’acquisition de

nouvelles connaissances concernant les enjeux liés à l’évaluation de programmes, mais

aussi par rapport aux réalités du travail au sein de la fonction publique québécoise.

Au cours de son intervention d’une durée de 15 semaines au ministère du Tourisme, la

stagiaire aura produit et livré les documents suivants :

• Une mise à jour du plan triennal d’évaluation de programmes 2017-2018 à 2019-

2020;

• Les cadres de suivi et d’évaluations préliminaires des volets 1 à 5 du PSSDT;

• Le cadre de suivi et d’évaluation préliminaire du Programme d’aide aux ATS;

• Les mandats d’élaboration du cadre de suivi et d’évaluation préliminaire du PSSDT

volet 5, du Programme d’aide aux ATS et du PAFFET.

Ces différents livrables auront permis au MTO de poursuivre ses efforts de mise en œuvre

de la fonction évaluative au sein de l’organisation en plus d’avoir permis de répondre aux

attentes du Secrétariat du Conseil du Trésor. L’élaboration des mandats d’évaluation aura

43

permis de mobiliser les différentes directions du ministère autour de la mission de la

fonction évaluative, tandis que l’approbation des différents cadres de suivi et d’évaluation

préliminaires aura permis de créer les premières actions concrètes en vue de réaliser ces

mandats évaluatifs. Finalement, la mise en jour du plan triennal d’évaluation permettra de

prendre en compte la nouvelle réalité du ministère en préservant un échéancier clair et des

dates de livraisons réalistes. Bien que certains efforts soient toujours nécessaires afin de

s’assurer du bon fonctionnement de la mission évaluative au sein du MTO, ces différents

livrables auront permis à l’organisation de cheminer dans la bonne voie pour la réaliser.

Bibliographie CHAIRE DE TOURISME TRANSAT (2012). Les entreprises touristiques au cœur du développement économique, (Consultée le 1er mai 2018) [En ligne] https:// chairedetourisme.uqam.ca/upload/files/cahier_symposium_electronique_FR _v4.pdf CHIRWA, Themba G. (2010), «Program evaluation of agricultural input subsidies in Malawi using treatment effets : Methods and practicability based on propensity scores», Munich Personal RePEe Archive, 42 p. DUMAINE, François (2012). «Je me souviens… de t’avoir trop longtemps cherché», The Canadian Journal of Program Evaluation, Vol. 25, No 3, p. 95-102. DUPEYRAS, Alain et Neil MACCULLUM (2013). «Indicateurs de la compétitivité du tourisme : Document d’orientation», Étude de l’OCDE sur le tourisme, 2013/02, p. 1-64. FITZPATRICK, Jody (2012). L’évaluation de programme : Quelques considérations de premier plan, (Consultée le 20 décembre 2017) [En ligne] http://extranet.puq.ca/ media/produits/documents/1949_D3548-FP.pdf FLEISCHER, Aliza et Daniel FELSENSTEIN (2000). «Support for rural tourism : Does it make a difference?», Annuals of Tourism Research, Vol. 27, No 4. p. 1007-1024. FORGET, André (2009). Guide de présentation des travaux universitaires, ENAP, 25 p. GAJDOŠÍKOVÁ, Zuzanna (2016). «Reengineering of tourism organization structure : The cas of Slovakia», Procedia Social and Behavioral Sciences, p. 405-412. GIVORD, Pauline (2010). Méthodes économétriques pour l’évaluation de politiques publiques, Direction des Études et Synthèses Économiques, 79 p. GOUVERNEMENT DU CANADA (2015). Évaluation de la Politique sur l'évaluation de 2009, (Consultée le 15 mars 2018) [En ligne] https://www.canada.ca/fr/secretariat- conseil-tresor/services/verifications-evaluations/centre-excellence-en- evaluation/evaluation-politique-evaluation-2009.html

44

GOUVERNEMENT DU CANADA (2016). Directive sur la fonction d'évaluation, (Consultée le 17 février 2018) [En ligne] https://www.tbs-sct.gc.ca/pol/doc- fra.aspx?id=15681 GOUVERNEMENT DU CANADA (2018). Vérification interne et évaluation des programmes, (Consultée le 15 mars 2018) [En ligne] https://www.canada.ca/fr/ agence-revenu/programmes/a-propos-agence-revenu-canada-arc/verification- interne-evaluation-programmes.html GOUVERNEMENT DU CANADA (2011). Évaluation du Programme des manifestations touristiques de renom, (Consultée le 1er mai 2018) [En ligne] https://www.ic.gc.ca /eic/site/ae-ve.nsf/fra/h_03423.html GOUVERNEMENT DU QUÉBEC (2017). Loi sur l’Administration Publique, (Consultée le 3 mars 2018) [En ligne] http://legisquebec.gouv.qc.ca/fr/ShowDoc/cs/A-6.01 HAXTON, Peter (2015). «Tour d’horizon des politiques efficaces pour la croissance du tourisme», Étude de l’OCDE sur le tourisme, 2015/01. p. 1-82. MAZOUZ, B., LECLERC, J., & TARDIF, M. (2008). La gestion intégrée par résultats concevoir et gérer autrement la performance dans l'administration publique. Québec: Presses de l'Université du Québec. MERRIEN, François-Xavier (1999). «La Nouvelle Gestion publique : un concept mythique», Lien social et Politiques, No 41, p. 95-103. MINISTÈRE DU TOURISME (2018). Organigramme, (Consultée le 20 février 2018) [En ligne] http://www.tourisme.gouv.qc.ca/publications/media/document/publications- administratives/orgTQ.pdf MINISTÈRE DU TOURISME (2017). Cadre de référence ministériel en évaluation de programme. MINISTÈRE DU TOURISME (2017). Plan pluriannuel d’évaluation de programme 2017- 2020. MINISTÈRE DU TOURISME (2018) Déclaration de services aux citoyens. (Consultée le 20 février 2018) [En ligne] http://www.tourisme.gouv.qc.ca/publications/ media/document/publications-administratives/declaration-services-citoyens.pdf MINISTÈRE DU TOURISME (2016). Guide de l’évaluation des programmes du ministère. PORTEOUS, Nancy (2016). La construction du modèle logique d’un programme, (Consultée le 13 décembre 2017) [En ligne] http://cmapspublic3.ihmc.us/ rid=1P2V7DS2D-1MR3C13-B9/Ridde%20et%20Dagenais_chapitre %205_modele%20logique.pdf REID, William (1999). «Promoting accountability and continual improvement : a review of respective roles of performance measurement auditing evaluation, and reporting», The Canandian Journal of Program Evaluation, vol. 14, no 2, p. 85-104. SECRÉTARIAT DU CONSEIL DU TRÉSOR DU CANADA (2014). Méthode d'évaluation des programmes : Mesure et attribution des résultats des programmes, troisième édition. (Consultée le 1er mars 2018) [En ligne] https://www.tbs- sct.gc.ca/cee/pubs/meth/pem-mep-fra.pdf SECRÉTARIAT DU CONSEIL DU TRÉSOR DU CANADA (1984). Principes pour l'évaluation des programmes par les ministères et organismes fédéraux, (Consultée

45

le 20 mars 2018) [En ligne] https://www.tbs-sct.gc.ca/cee/pubs/principles- principes1984-fra.asp SECRÉTARIAT DU CONSEIL DU TRÉSOR DU CANADA (2016). Normes d'évaluation pour le gouvernement du Canada, (Consultée le 15 mars 2018) [En ligne] http://www.tbs-sct.gc.ca/pol/doc-fra.aspx?id=15688 SECRÉTARIAT DU CONSEIL DU TRÉSOR DU CANADA (2016). Directive sur les résultats, (Consultée le 15 mars 2018) [En ligne] https://www.tbs-sct.gc.ca/pol/doc- fra.aspx?id=31306 SECRÉTARIAT DU CONSEIL DU TRÉSOR DU CANADA. (2010). Pour soutenir des évaluations efficaces : Guide d'élaboration de stratégies de mesure du rendement, (Consultée le 3 mars 2018) [En ligne] https://www.canada.ca/fr/secretariat-conseil- tresor/services/verifications-evaluations/centre-excellence-en-evaluation/guide- elaboration-strategies-mesure-rendement.html SECRÉTARIAT DU CONSEIL DU TRÉSOR DU QUÉBEC (2002). L'évaluation de programme: Document réservé aux dirigeants et dirigeantes de ministères et d'organisme. Québec: Gouvernement du Québec. SECRÉTARIAT DU CONSEIL DU TRÉSOR DU QUÉBEC (2018). Évaluation de programme, (Consultée le 1er mai 2018) [En ligne], https://www.tresor.gouv.qc.ca/ cadredegestion/gestion-axee-sur-les-resultats/au-cours-du-cycle-mesurer-et- sameliorer/evaluation-de-programme/index.html SECRÉTARIAT DU CONSEIL DU TRÉSOR DU QUÉBEC (2012). Glossaire des termes usuels en mesure de performance et en évaluation, (Consultée le 1er mars 2018) [En ligne] https://www.tresor.gouv.qc.ca/fileadmin/PDF/publications/glossaire _termes_usuels.pdf SECRÉTARIAT DU CONSEIL DU TRÉSOR DU QUÉBEC (2017). Cadre de suivi et d’évaluation préliminaire : Instructions destinées aux ministères et organismes, 16p. SECRÉTARIAT DU CONSEIL DU TRÉSOR DU QUÉBEC (2017). Plan pluriannuel d’évaluation : Instructions destinées aux ministères et organismes, 10 p. SECRÉTARIAT DU CONSEIL DU TRÉSOR DU QUÉBEC (2014). Directive concernant l’évaluation de programme dans les ministères et les organismes, (Consultée le 20 décembre 2017) [En ligne] https://www.tresor.gouv.qc.ca/cadredegestion /actualites/detail-de-la-nouvelle/directive-concernant-levaluation-de-programme- dans-les-ministeres-et-les-organismes/index.html SECRÉTARIAT DU CONSEIL DU TRÉSOR DU QUÉBEC (2014). Guide sur la gestion axée sur les résultats (Consultée le 20 mars 2018) [En ligne] https://www.tresor.gouv.qc.ca/cadredegestion/fileadmin/documents/publications/sct /GuideGestionAxeeResultat.pdf SOCIÉTÉ CANADIENNE DE L’ÉVALUATION (2018). Qu'est-ce que l'évaluation?, (Consultée le 10 mars 2018) [En ligne] https://evaluationcanada.ca/fr/quest-ce-que- levaluation STATISTIQUE CANADA (2010). Méthodes et pratiques d’enquête, 422 p. VRHOVSKI, Dražen (2014). «Government subsidies effeciency analysis in the tourism sector in Croatia», Trends in Tourism and Hospitality Industry, p. 161-173.

46

ANNEXE MANDAT D’ÉLABORATION D’UN CADRE DE SUIVI ET D’ÉVALUATION PRÉLIMINAIRE

PROGRAMME D’AIDE FINANCIÈRE AUX FESTIVALS ET AUX ÉVÉNEMENTS TOURISTIQUES

1. ORIGINE DU MANDAT

Le 6 février 2018, le Conseil du trésor approuve les modifications apportées au Programme d’aide financière aux festivals et aux événements touristiques ainsi que son cadre normatif (CT 218548). Il précise qu’à échéance, le 31 mars 2021, une évaluation de programme, basée entre autres sur l’atteinte les résultats visés, sera réalisée. Afin de planifier cette future évaluation, il convient de transmettre un cadre de suivi et d’évaluation préliminaire au Secrétariat du Conseil du trésor (SCT) au plus tard le 31 octobre 2018.

Le cadre de suivi et d’évaluation préliminaire répond aux exigences de la Directive concernant l’évaluation de programmes dans les ministères et organismes (SCT, 19 février 2014) qui prévoit que ce document soit produit pour toute demande d’autorisation d’un nouveau programme.

Conformément au plan pluriannuel en matière d’évaluation de programme 2017-2020, la Direction Générale des Services à la Gestion (DGSG) a été mandatée par les autorités du ministère du Tourisme pour réaliser le cadre de suivi et d’évaluation préliminaire du Programme d’aide financière aux festivals et aux événements touristiques.

Ce document sera préalablement approuvé par le sous-ministre et transmis au SCT au moins quinze jours avant le début des travaux d’évaluation, tel que précisé dans la directive.

2. CONTEXTE ET ENJEUX Le Programme d’aide financière aux festivals et aux événements touristiques vise entre autres à soutenir la mise en œuvre du plan de développement de l’industrie touristique 2012-2020 (PDIT) et du Plan d’action 2016-2020 qui visent à « faire du tourisme une industrie performante, innovante et durable qui exerce un effet de levier sur le développement économique du Québec en offrant une destination originale et incontournable aux clientèles internationale, canadienne et québécoise ». Pour y parvenir, le programme oriente ses actions vers le développement et le renforcement de l’offre touristique québécoise afin de faire du tourisme lié aux festivals et aux événements une industrie concurrentielle, durable, innovante et attractive pour les visiteurs du Québec et pour ceux des marchés extérieurs. Les festivals et événements touristiques font partie de l’image de marque du Québec à titre de composante importante de son offre touristique et sont un vecteur de développement économique pour toutes les régions. Il importe donc de consolider et de stimuler cette industrie touristique performante afin de tirer profit de sa croissance internationale afin d’attirer davantage de visiteurs hors Québec et de retenir la clientèle québécoise au Québec. Les festivals et événements présentent donc des opportunités pour l’atteinte de ces objectifs puisque, en plus d’être un produit d’appel important auprès des clientèles internationales notamment pour les régions de la Capitale-Nationale et de la métropole, ils sont également une vitrine exceptionnelle pour le rayonnement du Québec à l’international et contribuent significativement à animer toutes les régions du Québec au bénéfice de toutes les clientèles. Dans ce contexte, ce programme vise à pallier les enjeux liés au financement notamment quant à la stabilité et la prévisibilité de l’aide accordée à cette industrie en plus de soutenir son émergence, sa croissance et son innovation. Plus précisément, les objectifs poursuivis par ce programme sont : 1) Positionner la destination québécoise sur la scène nationale et internationale en favorisant le développement des festivals et événements touristiques, 2) Stimuler l’économie des régions par l’augmentation du nombre de visiteurs et l’accroissement des recettes touristiques.

3. OBJECTIFS DU MANDAT Le présent mandat consiste à élaborer un cadre de suivi et d’évaluation préliminaire qui répond aux exigences de la Directive concernant l’évaluation de programme dans les ministères et organismes. L’élaboration du document a comme objectif principal de prévoir le type et la source de données qui alimentera le suivi des programmes et par la suite les évaluations envisagées. Les indicateurs de suivi déterminés serviront de base aux évaluations prévues. De fait, le cadre précise les questions et les enjeux de l’évaluation et identifie les démarches et les stratégies d’évaluation qui devront être entreprises. Il détaille les principaux besoins en matière d’informations et de données à collecter, de manière à assurer leur disponibilité en temps opportun.

4. CADRE DE SUIVI ET D’ÉVALUATION PRÉLIMINAIRE En réponse aux consignes du SCT, le modèle de cadre de suivi et d’évaluation proposé par le MTO contiendra les renseignements suivants :

1) La mise en contexte, la description du programme et sa logique d’intervention incluant une représentation du modèle logique;

2) Le suivi du programme décrivant les indicateurs et les cibles retenus, les sources de données, la fréquence et la responsabilité de la collecte;

3) La stratégie globale d’évaluation comprenant les principales étapes et les méthodes utilisées.

5. QUESTIONS ET SOURCES D’ÉVALUATION Tel que précisé dans le cadre normatif, l’évaluation du Programme d’aide financière aux festivals et aux événements touristiques sera basée, entre autres, sur les résultats visés afin de comparer les résultats obtenus à la situation initiale. Par conséquent, les évaluations envisagées des enjeux de pertinence, de fonctionnement, des effets, de l’efficacité et d’efficience. Évaluation de la pertinence Les données recueillies et les analyses réalisées sur les besoins et le contexte justifient-elles que le gouvernement continue d’intervenir dans ce secteur? Existe-t-il des chevauchements avec d’autres programmes qui visent des objectifs comparables? Évaluation du fonctionnement Dans quelle mesure les activités et les processus de l’aide financière aux projets correspondent-ils à la planification initiale? Quelles sont les forces à préserver et les faiblesses à améliorer en matière de fonctionnement du programme? Évaluation des effets Dans quelle mesure les résultats visés par le Programme d’aide financière aux festivals et aux événements touristiques sont-ils atteints? Les données suivantes seront recueillies auprès des bénéficiaires :

- Progression de la provenance ou de la provenance et de l’achalandage; - Progression du chiffre d’affaires du promoteur; - Impact économique.

Dans quelle mesure le Programme d’aide financière aux festivals et aux événements touristiques contribue-t-il à l’atteinte des objectifs du PDIT et du plan d’action 2016-2020? Les données suivantes seront colligées par le MTO :

- le taux d’occupation moyen des établissements d’hébergement touristiques; - la fréquentation régionale et la provenance des touristes; - le nombre d’emplois liés au tourisme; - les recettes touristiques du Québec.

Évaluation de l’efficacité Dans quelle mesure les objectifs visés par le Programme d’aide financière aux festivals et aux événements touristiques sont-ils atteints? Les objectifs spécifiques aux volets du programme sont : Volet 1 :

- Attirer une part importante de la population locale et un nombre important, en fonction des critères du programme, de visiteurs;

- Animer la destination touristique en encourageant les activités gratuites destinées au grand public et en favorisant le déploiement d’activités sur de multiples sites;

- Renforcer le positionnement de la destination en soutenant des leaders nationaux, voire internationaux, dans leur domaine qui diffuse une programmation et une expérience de calibre international.

Volet 2 :

- Contribuer à animer les régions et à augmenter le nombre de visiteurs. - Encourager la relève des festivals et événements pour assurer la pérennité de l’industrie

événementielle dans toutes les régions et maintenir la position et les avantages concurrentiels du Québec dans le domaine.

Volet 3 :

- Accueillir des manifestations internationales ponctuelles qui contribuent à la visibilité de la destination auprès des clientèles touristiques internationales;

- Appuyer le développement de nouvelles activités permettant de générer des recettes touristiques additionnelles.

Évaluation de l’efficience Quel est le rendement des investissements en termes de recettes touristiques, d’emplois et de visiteurs? Quel est l’effet levier du financement ? Pour répondre aux questions d’évaluation, les quatre sources d’information suivantes ont été retenues :

1. Les documents administratifs et de gestion 2. Les bases de données statistiques existantes 3. Les promoteurs (bénéficiaires) du projet 4. Le personnel du MTO (gestionnaires et professionnels impliqués) 5. Les experts du milieu

6. ÉCHÉANCIER PRÉVU

Responsable Étapes de la réalisation Février 2018 Mars 2018 Avril 2018 Mai 2018 Juin 2018

DGSG Rédaction du mandat J1

DGSG Dépôt du mandat au SM aux fins d’approbation J15

SM Approbation du mandat par le SM J30

Unité administrative

Transmission au DGSG des documents sur le

programme et des données afférentes et détermination de la personne-ressource

(15 jours)

J45

DGSG

Rédaction du projet de cadre de suivi et d’évaluation

préliminaire du programme (30 jours)

J75

DGSG

Rédaction de la version finale du cadre de suivi et

d’évaluation préliminaire (20 jours)

J95

SM & CT

Dépôt pour approbation du cadre de suivi et d’évaluation préliminaire du programme

par SM (15 jours)

J110

SCT

Dépôt pour approbation du cadre de suivi et d’évaluation préliminaire du programme

par le SCT (15 jours)

J125

7. CLIENTS

M. François Côté, directeur des programmes et de l’intervention régionale M. Patrick Dubé, Sous-ministre

8. COMITÉ CONSULTATIF

Le comité consultatif sera mis en place lors de l’approbation du présent mandat. Idéalement, il sera composé du responsable de la gestion du programme, du responsable de l’évaluation, d’un expert du milieu ainsi que d’autres parties prenantes directement concernées par l’évaluation.

9. RESPONSABLES DU PROCESSUS D’ÉLABORATION DU CADRE S&E PRÉLIMINAIRE

Mme Carmen Méndez, responsable de la vérification interne et de l’évaluation de programme, Direction Générale des Services à la Gestion (DGSG) M. Benoit Lapierre, conseiller en évaluation de programme, Stagiaire, Direction Générale des Services à la Gestion (DGSG)

MANDAT D’ÉLABORATION D’UN CADRE DE SUIVI ET D’ÉVALUATION PRÉLIMINAIRE PROGRAMME DE DÉVELOPPEMENT DE L’INDUSTRIE TOURISTIQUE (PrDIT)

PROGRAMME D’AIDE FINANCIÈRE AUX ASSOCIATIONS TOURISTIQUES SECTORIELLES (ATS)

1. ORIGINE DU MANDAT

Le 7 mai 2013, le Conseil du trésor approuvait le Programme de développement de l’industrie touristique (PrDIT) ainsi que son cadre normatif (CT 212558). Le cadre normatif précise qu’à échéance, soit après l’année financière 2017-2018, une reddition de comptes sera faite sur la base du cadre d’évaluation mentionné au point 5. Afin de planifier cette future évaluation, il convient de transmettre un cadre de suivi et d’évaluation préliminaire au Secrétariat du Conseil du trésor (SCT) au plus tard le 31 mai 2018. Le cadre de suivi et d’évaluation préliminaire répond aux exigences de la Directive concernant l’évaluation de programmes dans les ministères et organismes (SCT, 19 février 2014) qui prévoit que ce document soit produit pour toute demande d’autorisation d’un nouveau programme. Conformément au plan pluriannuel en matière d’évaluation de programme 2017-2020, la Direction Générale des Services à la Gestion (DGSG) a été mandatée par les autorités du ministère du Tourisme pour réaliser le cadre de suivi et d’évaluation préliminaire du PrDIT axe 1 – Aide à la gouvernance et à la concertation : Programme d’aide financière aux associations touristiques sectorielles (ATS) Ce document sera préalablement approuvé par le sous-ministre et transmis au SCT au moins quinze jours avant le début des travaux d’évaluation, tel que précisé dans la directive.

2. CONTEXTE ET ENJEUX Le PrDIT a succédé au Programme de soutien au développement et à la promotion touristique (PSDPT) et constitue le principal programme ministériel d’aide financière destiné aux intervenants et partenaires de l’industrie touristique québécoise. Le PrDIT s’inscrit dans le virage initié lors des travaux du Comité de performance de l’industrie touristique et de la Table stratégique d’échanges qui ont donné lieu au Plan de développement de l’industrie touristique (PDIT) 2012-2020 : un itinéraire vers la croissance. Le PrDIT doit assurer la transition nécessaire pour soutenir l’industrie touristique dans les actions entreprises et les accompagner pour réaliser les objectifs déterminés par le PDIT. Dans cette optique, le Programme d’aide financière aux associations touristiques sectorielles (ATS) fut mis en place afin de répondre aux besoins créés par l’axe d’intervention 1 – Aide à la gouvernance et à la concertation mentionné par le PrDIT. Ce programme vise à offrir un soutien aux ATS pour qu’elles puissent jouer un rôle actif en matière de développement, d’entrepreneuriat et de mise en marché. Les principales responsabilités qui leur sont conférées à l’intérieur du programme sont : 1) l’acquisition et la diffusion de connaissances stratégiques liées au secteur d’activités de l’ATS ou à son produit, au profil de clientèles et de marchés vs leur produit et aux grandes tendances qui s’y dessinent. 2) l’accompagnement conseil auprès des entreprises touristiques de leur secteur pour favoriser le développement de produits touristiques originaux et la consolidation d’une offre intégrée à travers différents partenariats. 3) la mise en marché hors Québec des produits et des attraits touristiques en conformité avec les orientations du MTO.

3. OBJECTIFS DU MANDAT Le présent mandat consiste à élaborer un cadre de suivi et d’évaluation préliminaire qui répond aux exigences de la Directive concernant l’évaluation de programme dans les ministères et organismes.

L’élaboration du document a comme objectif principal de prévoir le type et la source de données qui alimentera le suivi des programmes et par la suite les évaluations envisagées. Les indicateurs de suivi déterminés serviront de base aux évaluations prévues. De fait, le cadre précise les questions et les enjeux de l’évaluation et identifie les démarches et les stratégies d’évaluation qui devront être entreprises. Il détaille les principaux besoins en matière d’informations et de données à collecter, de manière à assurer leur disponibilité en temps opportun.

4. CADRE DE SUIVI ET D’ÉVALUATION PRÉLIMINAIRE En réponse aux consignes du SCT, le modèle de cadre de suivi et d’évaluation proposé par le MTO contiendra les renseignements suivants :

4) La mise en contexte, la description du programme et sa logique d’intervention incluant une représentation du modèle logique;

5) Le suivi du programme décrivant les indicateurs et les cibles retenus, les sources de données, la fréquence et la responsabilité de la collecte;

6) La stratégie globale d’évaluation comprenant les principales étapes et les méthodes utilisées.

5. QUESTIONS ET SOURCES D’ÉVALUATION Tel que précisé dans le plan triennal d’évaluation 2017-2020 et en concordance avec le cadre normatif ainsi que le Cadre de référence en matière d’évaluation de programme de TQ de l’époque, les évaluations envisagées traiteront des enjeux de pertinence, de fonctionnement, des effets, de l’efficacité et d’efficience. Évaluation de la pertinence Les données recueillies et les analyses réalisées sur les besoins et le contexte justifient-elles que le gouvernement continue d’intervenir dans ce secteur? Existe-t-il des chevauchements avec d’autres programmes qui visent des objectifs comparables? Évaluation du fonctionnement Dans quelle mesure les activités et les processus de l’aide financière aux ATS correspondent-ils à la planification initiale? Quelles sont les forces à préserver et les faiblesses à améliorer en matière de fonctionnement du programme? Évaluation des effets Dans quelle mesure les résultats visés par le PrDIT axe 1 – Aide à la gouvernance et à la concertation : Programme d’aide financière aux associations touristiques sectorielles (ATS) sont-ils atteints? Les données suivantes seront recueillies auprès des bénéficiaires :

- L’achalandage touristique du Québec - Les recettes touristiques du Québec; - Le nombre d’emplois directement créés ou maintenus.

Évaluation de l’efficacité Dans quelle mesure les objectifs visés par le PrDIT axe 1 – Aide à la gouvernance et à la concertation : Programme d’aide financière aux associations touristiques sectorielles (ATS) sont-ils atteints? Les objectifs spécifiques du programme sont :

- Positionner le Québec comme destination touristique pour les voyages d’agrément et d’affaires; - Créer des conditions favorables au partenariat, à la concertation, à l’émergence, à la structuration

et à la mise en marché hors Québec des produits et des services touristiques - Rehausser le nombre, la qualité et la notoriété des produits, des services et des attraits

touristiques; - Accroître les recettes touristiques et la création d’emplois.

Évaluation de l’efficience Quel est le rendement des investissements en termes de recettes touristiques, d’emplois et de notoriété? Quel est l’effet levier du financement ? Pour répondre aux questions d’évaluation, les quatre sources d’information suivantes ont été retenues :

6. Les documents administratifs et de gestion 7. Les bases de données statistiques existantes 8. Les promoteurs (bénéficiaires) du projet 9. Le personnel du MTO (gestionnaires et professionnels impliqués) 10. Les experts du milieu

6. ÉCHÉANCIER PRÉVU Responsable Étapes de la réalisation Mars 2018 Avril 2018 Mai 2018 Juin 2018 Juillet 2018

DGSG Rédaction du mandat J1

DGSG Dépôt du mandat au SM aux fins d’approbation J15

SM Approbation du mandat par le SM J30

Unité administrative

Transmission au DGSG des documents sur le programme et

des données afférentes et détermination de la personne-

ressource (15 jours)

J45

DGSG

Rédaction du projet de cadre de suivi et d’évaluation

préliminaire du programme (30 jours)

J75

DGSG

Rédaction de la version finale du cadre de suivi et

d’évaluation préliminaire (20 jours)

J95

SM & CT

Dépôt pour approbation du cadre de suivi et d’évaluation

préliminaire du programme par SM (15 jours)

J110

SCT

Dépôt pour approbation du cadre de suivi et d’évaluation

préliminaire du programme par le SCT (15 jours)

J125

7. CLIENTS M. Éric Julien, Directeur des interventions sectorielles M. Patrick Dubé, Sous-ministre

8. COMITÉ CONSULTATIF Le comité consultatif sera mis en place lors de l’approbation du présent mandat. Idéalement, il sera composé du responsable de la gestion du programme, du responsable de l’évaluation, d’un expert du milieu ainsi que d’autres parties prenantes directement concernées par l’évaluation.

9. RESPONSABLES DU PROCESSUS D’ÉLABORATION DU CADRE DE S&E PRÉLIMINAIRE Mme Carmen Méndez, responsable de la vérification interne et de l’évaluation de programme, Direction Générale des Services à la Gestion (DGSG) M. Benoit Lapierre, conseiller en évaluation de programme, Stagiaire, Direction Générale des Services à la Gestion (DGSG)

MANDAT D’ÉLABORATION D’UN CADRE DE SUIVI ET D’ÉVALUATION PRÉLIMINAIRE PROGRAMME DE SOUTIEN AUX STRATÉGIES DE DÉVELOPPEMENT TOURISTIQUE

VOLET 5 : APPUI À LA STRATÉGIE TOURISTIQUE QUÉBÉCOISE AU NORD DU 49E PARALLÈLE

10. ORIGINE DU MANDAT

Le 12 décembre 2017, le Conseil du trésor approuve les modifications apportées au Programme de Soutien aux Stratégies de Développement Touristique (PSSDT) et son cadre normatif (CT 218413). Il précise qu’à échéance, le 31 mars 2020, une évaluation de programme, basée entre autres sur l’atteinte les résultats visés, sera réalisée. Afin de planifier cette future évaluation, il convient de transmettre un cadre de suivi et d’évaluation préliminaire au Secrétariat du Conseil du trésor (SCT) au plus tard le 28 février 2018.

Le cadre de suivi et d’évaluation préliminaire répond aux exigences de la Directive concernant l’évaluation de programmes dans les ministères et organismes (SCT, 19 février 2014) qui prévoit que ce document soit produit pour toute demande d’autorisation d’un nouveau programme.

Conformément au plan pluriannuel en matière d’évaluation de programme 2017-2020, la Direction Générale des Services à la Gestion (DGSG) a été mandatée par les autorités du ministère du Tourisme pour réaliser le cadre de suivi et d’évaluation préliminaire du PSSDT volet 5 - Appui à la stratégie touristique québécoise au nord du 49e parallèle.

Ce document sera préalablement approuvé par le sous-ministre et transmis au SCT au moins quinze jours avant le début des travaux d’évaluation, tel que précisé dans la directive.

11. CONTEXTE ET ENJEUX Le PSSDT vise à soutenir la mise en œuvre du plan de développement de l’industrie touristique 2012-2020 (PDIT), des stratégies sectorielles de développement touristique et du plan d’action 2016-2020. Pour y parvenir, le programme oriente ses actions vers le développement et le renforcement de l’offre touristique québécoise afin de faire du tourisme une industrie concurrentielle, durable, innovante et attractive pour les visiteurs du Québec et pour ceux des marchés extérieurs. Le PSSDT volet 5 - Appui à la stratégie touristique québécoise au nord du 49e parallèle s’inscrit dans cette vision. En effet, il existe un intérêt croissant de la part d’un segment ciblé de la clientèle internationale, notamment européenne, pour le Nord québécois. Compte tenu du potentiel que représente le tourisme international dans ce secteur et en raison de ce que le Québec peut offrir comme expérience à ses visiteurs, ainsi que le potentiel de développement que le tourisme peut apporter aux régions concernées, le développement touristique du Nord québécois fait partie des composantes qui contribueront à l’atteinte des cibles établies au PDIT. Dans ce contexte, ce volet vise à faire du nord du 49e parallèle une destination de tourisme durable de classe mondiale qui procure une expérience touristique authentique, exceptionnelle et sécuritaire, alliant la cohabitation des peuples nordiques et le respect de la nature, dans une perspective de développement entrepreneurial et d’enrichissement collectif. Plus précisément, les objectifs poursuivis par ce volet sont : 1) accroître la capacité et la qualité de l’hébergement, 2) diversifier les activités des pourvoiries afin d’attirer une nouvelle clientèle, 3) augmenter les infrastructures et attraits touristiques, 4) augmenter l’achalandage en soutenant la structuration de l’offre, 5) accroître le développement et le renforcement de l’expertise en région.

12. OBJECTIFS DU MANDAT Le présent mandat consiste à élaborer un cadre de suivi et d’évaluation préliminaire qui répond aux exigences de la Directive concernant l’évaluation de programme dans les ministères et organismes. L’élaboration du document a comme objectif principal de prévoir le type et la source de données qui alimentera le suivi des programmes et par la suite les évaluations envisagées. Les indicateurs de suivi déterminés serviront de base aux évaluations prévues. De fait, le cadre précise les questions et les enjeux de l’évaluation et identifie les démarches et les stratégies d’évaluation qui devront être entreprises. Il détaille les principaux besoins en matière d’informations et de données à collecter, de manière à assurer leur disponibilité en temps opportun.

13. CADRE DE SUIVI ET D’ÉVALUATION PRÉLIMINAIRE En réponse aux consignes du SCT, le modèle de cadre de suivi et d’évaluation proposé par le MTO contiendra les renseignements suivants :

7) La mise en contexte, la description du programme et sa logique d’intervention incluant une représentation du modèle logique;

8) Le suivi du programme décrivant les indicateurs et les cibles retenus, les sources de données, la fréquence et la responsabilité de la collecte;

9) La stratégie globale d’évaluation comprenant les principales étapes et les méthodes utilisées.

14. QUESTIONS ET SOURCES D’ÉVALUATION Tel que précisé dans le cadre normatif, l’évaluation du PSSDT volet 5 sera basée, entre autres, sur les résultats visés afin de comparer les résultats obtenus à la situation initiale. Par conséquent, les évaluations envisagées des enjeux de pertinence, de fonctionnement, des effets, de l’efficacité et d’efficience. Évaluation de la pertinence Les données recueillies et les analyses réalisées sur les besoins et le contexte justifient-t-elles que le gouvernement continue d’intervenir dans ce secteur? Existe-t-il des chevauchements avec d’autres programmes qui visent des objectifs comparables? Évaluation du fonctionnement Dans quelle mesure les activités et les processus de l’aide financière aux projets correspondent-ils à la planification initiale? Quelles sont les forces à préserver et les faiblesses à améliorer en matière de fonctionnement du programme? Évaluation des effets Dans quelle mesure les résultats visés par le PSSDT volet 5 sont-ils atteints? Les données suivantes seront recueillies auprès des bénéficiaires :

- la progression de l’achalandage; - la progression du chiffre d’affaires du promoteur; - la progression des emplois créés.

Dans quelle mesure le PSSDT volet 5 contribue-t-il à l’atteinte des objectifs du PDIT et du plan d’action 2016-2020? Les données suivantes seront colligées par le MTO :

- le taux d’occupation moyen des établissements d’hébergement touristiques; - la fréquentation régionale et la provenance des touristes; - le nombre d’emplois liés au tourisme; - les recettes touristiques du Québec.

Évaluation de l’efficacité Dans quelle mesure les objectifs visés par le PSSDT volet 5 sont-ils atteints? Les objectifs spécifiques du programme sont :

- Accroître la capacité et la qualité de l’hébergement, - Diversifier les activités des pourvoiries afin d’attirer une nouvelle clientèle, - Augmenter les infrastructures et attraits touristiques, - Augmenter l’achalandage en soutenant la structuration de l’offre, - Accroître le développement et le renforcement de l’expertise en région.

Évaluation de l’efficience Quel est le rendement des investissements en termes de recettes touristiques, d’emplois et de visiteurs? Quel est l’effet levier du financement ? Pour répondre aux questions d’évaluation, les quatre sources d’information suivantes ont été retenues :

11. Les documents administratifs et de gestion 12. Les bases de données statistiques existantes 13. Les promoteurs (bénéficiaires) du projet 14. Le personnel du MTO (gestionnaires et professionnels impliqués) 15. Les experts du milieu

15. ÉCHÉANCIER PRÉVU

Responsable Étapes de la réalisation Janvier 2018

Février 2018 Mars 2018 Avril 2018 Mai 2018

DGSG Rédaction du mandat J1

DGSG Dépôt du mandat au SM aux fins d’approbation J15

SM Approbation du mandat par le SM J30

Unité administrative

Transmission au DGSG des documents sur le

programme et des données afférentes et détermination de la personne-ressource

(15 jours)

J45

DGSG Rédaction du projet de cadre de suivi et d’évaluation

J75

préliminaire du programme (30 jours)

DGSG

Rédaction de la version finale du cadre de suivi et

d’évaluation préliminaire (20 jours)

J95

SM & CT

Dépôt pour approbation du cadre de suivi et d’évaluation préliminaire du programme

par SM (15 jours)

J110

SCT

Dépôt pour approbation du cadre de suivi et d’évaluation préliminaire du programme

par le SCT (15 jours)

J125

16. CLIENTS

M. François Côté, directeur des programmes et de l’intervention régionale M. Patrick Dubé, Sous-ministre

17. COMITÉ CONSULTATIF

Le comité consultatif sera mis en place lors de l’approbation du présent mandat. Idéalement, il sera composé du responsable de la gestion du programme, du responsable de l’évaluation, d’un expert du milieu ainsi que d’autres parties prenantes directement concernées par l’évaluation.

18. RESPONSABLES DU PROCESSUS D’ÉLABORATION DU CADRE S&E PRÉLIMINAIRE

Mme Carmen Méndez, responsable de la vérification interne et de l’évaluation de programme, Direction Générale des Services à la Gestion (DGSG) M. Benoit Lapierre, conseiller en évaluation de programme, Stagiaire, Direction Générale des Services à la Gestion (DGSG)

MINIS TÈ R E DU TOUR IS ME

P R OG R AMME DE S OUT IE N AUX S T R AT É G IE S DE DÉ V E L OP P E ME NT T OUR IS T IQUE

(PSSDT)

V OL E T 1 : AP P UI À L A S T R AT É G IE DE MIS E E N V AL E UR DU T OUR IS ME HIV E R NAL

(SMVTH)

C ADR E DE S UIV I E T D’É V A L UAT ION P R É L IMINAIR E

Préparé par : Direction générale des services à la gestion Févier 2018

TABLE DES MATIÈRES

1 CONTEXTE ........................................................................................................................................ 1

2 DESCRIPTION DU PROGRAMME ....................................................................................................... 1

2.1 RAISON D’ÊTRE ..................................................................................................................... 3

2.2 OBJECTIFS ............................................................................................................................. 3

2.3 LOGIQUE D’INTERVENTION .................................................................................................. 4

3 SUIVI DU PROGRAMME ................................................................................................................... 6

3.1 CHOIX DES INDICATEURS ET DES CIBLES ............................................................................... 7

3.1.1 Le choix des indicateurs ............................................................................................................. 7

4 STRATÉGIE GLOBALE D’ÉVALUATION ............................................................................................. 12

5 CONSIDÉRATIONS ÉTHIQUES ......................................................................................................... 14

6 APPROBATION DES RESPONSABLES ............................................................................................... 14

1

1 CONTEXTE Le 12 décembre 2017, le Conseil du trésor (CT) approuve les modifications apportées au Programme de soutien aux Stratégies de développement touristique (PSSDT) et son cadre normatif (CT 218413). Il précise qu’à échéance, le 31 mars 2020, une évaluation de programmes, basée entre autres sur l’atteinte des résultats visés, sera réalisée. Afin de planifier cette future évaluation, il convient de transmettre un cadre de suivi et d’évaluation préliminaire au Secrétariat du Conseil du trésor (SCT) au plus tard le 31 janvier 2018. Le cadre de suivi et d’évaluation préliminaire répond aux exigences de la Directive concernant l’évaluation de programmes dans les ministères et organismes (SCT, 19 février 2014) qui prévoit que ce document soit produit pour toute demande d’autorisation d’un nouveau programme. Conformément au plan annuel en matière d’évaluation de programmes 2017-2018, la Direction générale des services à la gestion a été mandatée par les autorités du ministère du Tourisme (MTO) pour réaliser le cadre de suivi et d’évaluation préliminaire du PSSDT volet 1 - Appui à la Stratégie de mise en valeur du tourisme hivernal (SMVTH). Ce document sera préalablement approuvé par le sous-ministre et transmis au SCT quinze jours avant le début des travaux d’évaluation, tel que précisé dans la directive. Le cadre de suivi et d’évaluation préliminaire a pour intention de décrire le programme, de proposer un plan de suivi des principaux indicateurs en plus de développer une stratégie globale d’évaluation. Cette stratégie permet de planifier et de détailler une démarche qui rendra compte de la pertinence et du fonctionnement du programme en plus d’en estimer la performance globale. La structure du présent document répond au gabarit proposé par le SCT et contient les renseignements suivants :

• La description du programme incluant sa raison d’être, ses objectifs et sa logique d’intervention;

• Le suivi du programme décrivant les indicateurs retenus, les sources de données, la fréquence et la responsabilité de la collecte;

• La stratégie globale d’évaluation comprenant les principales étapes et méthodes utilisées.

2 DESCRIPTION DU PROGRAMME Le PSSDT vise le renforcement et le développement de l’offre touristique québécoise afin de faire du « tourisme une industrie concurrentielle, durable, innovante et attractive pour les visiteurs du Québec et ceux des marchés extérieurs ». Il comporte cinq volets qui entendent stimuler l’investissement privé, la création d’emplois, l’augmentation du nombre de visiteurs et l’accroissement des retombées économiques du tourisme dans toutes les régions du Québec.

2

En février 2014, le MTO a présenté la SMVTH 2014-2020 et son plan d’action afin de développer son potentiel dans ce domaine. Le 17 mars 2016, lors du discours du budget 2016-2017, le gouvernement du Québec annonçait des contributions gouvernementales totalisant 40 M$ pour soutenir la mise en œuvre de trois stratégies de développement touristique dont la SMVTH fait partie. La mise à jour économique de novembre 2017 est venue bonifier de 20 M$ ce montant, portant ainsi le budget à 60 M$. Cette stratégie contribue à la réalisation des objectifs prévus au Plan de développement de l’industrie touristique 2012-2020 : un itinéraire vers la croissance (PDIT) et du Plan d’action 2016-2020 par le développement du tourisme hivernal. Pour atteindre ses buts, neuf mesures structurées autour de deux axes ont été déterminées :

• Premier axe : hausser l’attractivité des cinq zones d’activités hivernales et de leurs produits prioritaires;

• Deuxième axe : développer les produits hivernaux stratégiques de manière durable.

Le déploiement du PSSDT se traduit par la mise en application de son volet 1 qui vise l’appui à la SMVTH. Le PSSDT volet 1 offre une aide financière pour des projets comportant des coûts minimaux de 100 000 $ et l’aide maximale accordée est de 3 M$ pour la construction, l’agrandissement ou la réfection d’infrastructure touristique et la consolidation, l’implantation, l’expansion ou la modernisation d’un attrait, d’une activité, d’un équipement, d’un produit spécialisé ou d’un service touristique. À partir de janvier 2018, l’aide maximale accordée par le MTO est de 2 M$. Cette aide financière ne peut excéder 33,33 % des coûts admissibles d’un projet et est versée comptant en deux versements. Le premier versement, équivalant à 60 % de l’aide accordée, est versé à la suite de la signature de l’entente avec le promoteur alors que le second versement, équivalant à 40 % de l’aide prévue, est versé à la suite de la réception de l’audit d’un vérificateur externe. Le cumul maximal des aides gouvernementales comprend le total des aides financières accordées, incluant les aides remboursables considérées à 50% pour les coûts admissibles du projet par l’ensemble des ministères et organismes provinciaux et fédéraux ainsi que des entités municipales. Ce cumul ne pourra pas excéder 50 % s’il s’agit d’un organisme à but lucratif (OBL), 80 % s’il s’agit d’un organisme à but non lucratif (OBNL), d’une coopérative et d’une municipalité et 90 % s’il s’agit de communauté ou de nation autochtone (OBL et OBNL) ainsi que pour des organismes des Îles-de-la-Madeleine. Pour être admissible, tout projet doit satisfaire aux conditions suivantes :

• Démontrer un potentiel d’attraction des clientèles touristiques du Québec et des marchés extérieurs;

• Avoir comme principale période d’opération l’hiver; • Être réalisé dans une des cinq zones d’activités hivernales; ou • Constituer un des produits touristiques prioritaires ciblés dans la Stratégie de

mise en valeur du tourisme hivernal ou être complémentaire à l’un des produits ciblés.

3

a. RAISON D’ÊTRE Le Québec bénéficie d’une position géographique avantageuse qui lui permet d’offrir une expérience hivernale globale. Selon l’étude « Veille touristique mondiale » de la Commission canadienne du tourisme (CCT), les produits hivernaux du Canada ont une bonne notoriété et occupent la première place quant à leur positionnement concurrentiel. De plus, une enquête sur les préférences en matière de voyage permet de préciser les activités hivernales qui agissent comme principal déclencheur d’un voyage. C’est le cas notamment des excursions de motoneige et de ski alpin. L’offre touristique québécoise doit être renforcée, renouvelée et structurée pour que la destination québécoise se démarque, qu’elle soit compétitive et qu’elle affiche son originalité par rapport aux autres grandes destinations de réputation internationale qui misent sur leur potentiel de tourisme hivernal. La décision de miser sur le tourisme hivernal tire son origine des conclusions de la table mixte qui regroupait l’ensemble des acteurs touristiques québécois en vue d’élaborer le PDIT. Celle-ci est venue à la conclusion que le tourisme hivernal était un secteur touristique à fort potentiel ainsi qu’un produit d’appel qui permettait au Québec de se distinguer de l’offre touristique internationale. Par la suite, une analyse de l’état des lieux du secteur fut entreprise par la Direction des politiques et de l’intelligence d’affaires (DPIA) du MTO afin d’identifier les produits ainsi que les régions prioritaires pour la mise en œuvre de la stratégie. Les investissements prévus au volet 1 du PSSDT devraient aider le Québec à développer son plein potentiel touristique au niveau du tourisme hivernal. L’appui à la SMVTH permettra notamment de prolonger les périodes touristiques et de proposer une offre d’activités touristiques variées. Le programme met l’accent sur les produits touristiques qui représentent des avantages concurrentiels du Québec et qui répondent à la demande des marchés ciblés.

2.1 OBJECTIFS Le Programme d’appui à la SMVTH vise à atteindre trois objectifs spécifiques (effets à court terme) :

• Hausser l’attractivité des cinq zones d’activités hivernales identifiées à la SMVTH58;

• Renforcer la compétitivité du tourisme hivernal québécois par le développement et la croissance des produits prioritaires, soit le ski alpin et les stations de montagne, la motoneige, les parcs nationaux et les festivals et évènements;

• Améliorer la diversification de l’offre touristique québécoise en matière de tourisme hivernal en renforçant une offre multi-activité par des projets structurants.

Pris dans son ensemble, les projets développés dans le cadre de la SMVTH, ainsi que dans les autres stratégies, contribueront à atteindre les objectifs généraux (effets à moyen terme) du PSSDT qui sont :

• Favoriser le développement d’une offre touristique originale, complémentaire respectueuse du développement durable et répondant à la demande des marchés ciblés59 par le MTO;

58 Les cinq zones d’activités hivernales identifiées dans la stratégie de mise en valeur du tourisme hivernal sont : Zone A : Outaouais, Laurentides, Lanaudière et Mauricie, Zone B : Montréal, Zone C : Cantons-de-l’Est, Zone D : Québec, Charlevoix, et Saguenay-Lac-Saint-Jean, Zone E : Gaspésie.

4

• Stimuler l’économie des régions par la création d’emplois, l’augmentation du nombre de visiteurs et l’accroissement des recettes touristiques.

Le PSSDT ainsi que l’ensemble des programmes d’aides du MTO ont pour but de réaliser les objectifs du PDIT 2012-2020 ainsi que du Plan d’action 2016-2020 (effets à long terme) qui sont :

• Des recettes touristiques totalisant 18,9 G$ en 2020; • Un accroissement du nombre d’emplois équivalant à 50 000 emplois d’ici 2020.

2.2 LOGIQUE D’INTERVENTION La Direction des interventions sectorielles (DIS) est responsable du déploiement de la SMVTH ainsi que de soutenir les associations touristiques sectorielles (ATS) et autres organismes dans leurs démarches. De plus, la DIS soutient également la Direction des programmes et de l’intervention régionale (DPIR) dans la prise de décision concernant les demandes d’aides financières en réalisant des avis sectoriels dans le cadre du programme. La DPIR du MTO est responsable de la mise en œuvre du PSSDT volet 1, de la sélection des projets et du suivi administratif des dossiers et de sa reddition de comptes. Elle assure le lien avec le promoteur à chacune des étapes du processus d’attribution d’une aide financière. Pour leur part, les promoteurs doivent joindre à leur formulaire de Demande d’aide financière, dûment rempli, les documents exigés, dont un plan d’affaires qui présente la description détaillée des clientèles visées ainsi que des impacts et des retombées touristiques du projet. Cette première étape permet de valider l’admissibilité du projet. À la suite de l’analyse de leur dossier de Demande d’aide financière, le MTO soutient les clientèles admissibles dans la réalisation de leur projet. La coordination des actions de ces différents acteurs ont pour objectif de sélectionner et de financer des projets ayant pour but de soutenir la mise en œuvre de la SMVTH. Ces projets permettront de dynamiser et diversifier l’offre touristique québécoise en matière de tourisme hivernal. Le schéma suivant illustre la logique d’intervention du programme. Il présente une description sommaire du programme et de ses composantes. Schéma : Modèle logique du programme d’appui à la SMVTH.

Raison d'être Le Québec dispose d'une position géographique avantageuse qui lui permet d'offrir une expérience hivernale globale, mais l’offre touristique se doit d’être bonifié afin d’atteindre son plein potentiel :

• Besoin de développer la notoriété et l’avantage concurrentiel des produits hivernaux du Québec;

• Besoin de proposer une offre variée d’activités qui permettra aux visiteurs de vivre une expérience globale de l’hiver québécois.

59 Les onze marchés ciblés : Ontario, Reste du canada (ROC), Atlantique Centre (EU), Nouvelle-Angleterre (EU), Sud des États-Unis, Côte Ouest et Centre Ouest des États-Unis, France, Chine, Mexique et Québec (Stratégie 2014, p. 37 à 40).

5

Conditions d'admissibilité

Pour être admissible, tout projet doit satisfaire aux conditions suivantes :

• Démontrer un potentiel d’attraction des clientèles touristiques du Québec et des marchés extérieurs;

• Avoir comme principale période d’opération l’hiver; • Être réalisé dans une des cinq zones d’activités hivernales; ou

• Constituer un des produits touristiques prioritaires ciblés de la stratégie.

Clientèle cible • Les OBL légalement constitués au Québec; • Les OBNL légalement constitués au Québec; • Les coopératives légalement constituées au Québec; • Les municipalités60, Les communautés et les nations autochtones reconnues par

l’Assemblée nationale; • Tout regroupement de ces clientèles.

Objectifs Objectifs spécifiques

• Hausser l’attractivité des cinq zones d’activités hivernales identifiées à la SMVTH; • Renforcer la compétitivité du tourisme hivernal québécois par le développement

et la croissance des produits prioritaires soit le ski alpin et de montagne, la motoneige, les parcs nationaux et les festivals et évènements;

• Améliorer la diversification de l’offre touristique québécoise en matière de tourisme hivernal en renforçant une offre multi-activité par des projets structurants.

Objectifs généraux

• Favoriser le développement d’une offre touristique originale, complémentaire respectueuse du développement durable et répondant à la demande des marchés ciblés par le MTO;

• Stimuler l’économie des régions par la création d’emplois, l’augmentation du nombre de visiteurs et l’accroissement des recettes touristiques.

Buts

• Faire du tourisme une industrie compétitive, durable, innovante et attractive pour les visiteurs du Québec et des autres marchés;

• Soutenir la mise en œuvre du PDIT 2012-2020 et le Plan d’action 2016-2020.

Nature de l'intervention

À la suite de l'analyse de leur dossier de demande d'aide financière, le MTO soutient les clientèles admissibles dans la réalisation de leurs projets selon les modalités suivantes :

60 La désignation de municipalité comprend les municipalités, les cités les villes, les villages, les paroisses, les cantons, les cantons unis, les villages nordiques, les territoires non organisés, les municipalités régionales, de comté (MRC), les communautés métropolitaines, les régies intermunicipales et les corporations ou les organismes dont une corporation municipale nomme la majorité des membres ou contribue à plus de la moitié du financement, les regroupements de tels municipalités, corporations ou organismes.

6

• L’aide financière est versée comptant et est accordée en deux versements : 60 % à la signature de l’entente et 40 % à la réception de l’audit d’un vérificateur externe;

• Le projet admissible doit comporter des coûts admissibles d’au moins 100 000 $ et l’aide financière est de 3 M$. L’aide maximale accordée sera de 2 M$ à partir de janvier 2018.

Intrants Ressources financières : 60 M$ pour les volets 1, 2, 3 (2016-2017 à 2019-2020). Ressources humaines : Les responsables de la coordination du programme (DIS, DPIR). Ressources informationnelles : Les données administratives et de gestion sont consignées dans le système de gestion de l'aide financière du ministère (demandes d'aide financière, fiches de retombées touristiques, etc.).

Activités de production

• Demandes d'aide financière reçues en continu; • Analyse et évaluation de l'admissibilité de la demande d'aide financière; • Prise de décision relative à chacune des demandes d'aide financière; • Attribution de l'aide financière et protocole d'entente; • Suivi et reddition de comptes.

Extrants • Nombre de projets soutenus par le programme.

Effets à court terme

• Augmentation de la compétitivité du tourisme hivernal; • Hausse de l’attractivité des cinq zones d’activités hivernales identifiées à la

SMVTH; • Diversification de l’offre en matière de tourisme hivernal; • Développement et croissance des produits prioritaires.

Effets à moyen terme

• Augmentation de l’achalandage; • Augmentation du chiffre d’affaires des promoteurs; • Augmentation des emplois créés.

Effets à long terme • Augmentation du taux d’occupation moyen des établissements d’hébergement touristiques;

• Augmentation de la fréquentation régionale et la provenance des touristes; • Augmentation du nombre d’emplois liés au tourisme; • Augmentation des recettes touristiques du Québec.

3 SUIVI DU PROGRAMME Le suivi du programme est un examen périodique des activités à l’aide d’indicateurs et de cibles préétablis dans le but de constituer la base de données nécessaire à l’évaluation, soit la mesure de l’atteinte des résultats visés exigée par le CT. La mise en place d’un processus de suivi adéquat assure la disponibilité de données fiables et valides en temps opportun pour évaluer les programmes aux moments clés

7

Pour les besoins du cadre de suivi et d’évaluation préliminaire, le suivi du programme consiste à déterminer les indicateurs significatifs à documenter afin de planifier la collecte et l’analyse des données. Or, la mise en place du processus d’évaluation de programmes fut décidée après la mise en œuvre de la SMVTH, faisant en sorte que cette partie du processus d’évaluation a dû être élaborée a posteriori. Dans ces circonstances, en plus des données prévues dans le cadre normatif (CT 218413), il fut décidé d’identifier des indicateurs pertinents qui sont en adéquation avec les données déjà collectées par la Direction des politiques et de l'intelligence d'affaires (DPIA) ou par les ATS. Une autre partie des données sera rassemblée à partir des fiches de Demande d’aide financière et des fiches de retombées économiques récupérées par la DPIR. Quant à l’établissement des cibles à atteindre, elles seront établies par les acteurs (DIS, DPIR, ATS) par consensus ou, selon les cibles, déjà établies par le PDIT 2012-2020 ainsi que du Plan d’action 2016-2020.

3.1 CHOIX DES INDICATEURS ET DES CIBLES 3.1.1 Le choix des indicateurs

Les normes relatives au PSSDT autorisées par le CT 218413 précisent qu’une évaluation de programmes basée sur les résultats visés sera réalisée à l’échéance du programme afin de comparer les résultats obtenus avec la situation initiale sur la base des indicateurs suivants :

progression de l’achalandage; progression du chiffre d’affaires des promoteurs; progression des emplois créés.

Cette évaluation permettra également de mesurer la contribution du PSSDT à l’atteinte des objectifs du PDIT 2012-2020 et du Plan d’action 2016-2020, notamment :

le taux d’occupation moyen des établissements d’hébergement touristiques; la fréquentation régionale et la provenance des touristes; le nombre d’emplois liés au tourisme; les recettes touristiques du Québec.

Pour mesurer le niveau d’atteinte des résultats visés, il est convenu d’utiliser l’information contenue dans les formulaires et documents, obligatoires à une demande d’aide financière. Elle permet de déterminer les indicateurs et les cibles par projet financé au moment du démarrage c’est-à-dire, « l’an un ». Parmi les informations, il y a le type de projet, le montant d’investissement, la période saisonnière et le nombre de personnes à l’emploi depuis les deux dernières années complètes d’opération ainsi que le nombre projeté pour les deux années qui suivront; c’est la même chose pour le nombre et la provenance des visiteurs. Dans le but d’assurer le suivi des résultats du programme à partir de la date de démarrage du projet, et cela jusqu’au moment de réaliser l’évaluation, l’information documentée dans les fiches de retombées touristiques (annexe B) sera utilisée. Cette fiche fournit annuellement les données nécessaires sur l’achalandage par marché ciblé, la saisonnalité, la structuration et la forfaitisation de l’offre, les données financières de l’organisation promoteur du projet.

8

En plus des indicateurs exigés par le CT 218413, la collecte d’autres données est actuellement en cours afin d’aider à la prise de décision. Cette collecte est faite par la DPIA depuis la création du PDIT en 2012, et se poursuivra en 2018 et 2019. Le tableau suivant présente la liste des indicateurs retenus pour mesurer l’atteinte des résultats visés par la Stratégie d’appui à la mise en valeur du tourisme hivernal.

9

Tableau : Fiche des indicateurs de suivi

Effet Indicateur Donnée de référence Cible Source de données Fréquence de la collecte

Responsabilité de la collecte

Évaluation des effets, de l’efficacité et de l’efficience

Développement et croissance des produits

prioritaires (Effet à court terme)

Dépenses touristiques hivernales au Québec (M$, 1er trimestre)

Année 2012 : 1 264 M$ 5 % par année Banque de données de la

DPIA Annuelle DPIA

Volume de touristes hivernaux (1er trimestre) Année 2012 : 6,0 M

Évolution à la hausse

Banque de données de la DPIA Annuelle DPIA

Nombre de jours-ski Moyenne (2010-2012) : 6 094 000 S/O Étude économique et

financière (ASSQ) Annuelle DPIR

Revenus hivernaux totaux par jour-ski ($) Moyenne (2010-2012) : 35,44$ S/O Étude économique et

financière (ASSQ) Annuelle DPIR

Volume d’affaires total des activités hivernales de l’industrie du ski ($)

Moyenne (2010-2012) : 216 058 000 $ S/O Étude économique et

financière (ASSQ) Annuelle DPIR

Nombre de droits d’accès aux sentiers de motoneige journée/hebdomadaire

Moyenne (2010-2012) : 6982 S/O Étude économique et

financière (FCMQ) Annuelle DPIR

Nombre de droits d’accès aux sentiers de motoneige annuel hors-Québec

Moyenne (2010-2012) : 3965 S/O Étude économique et

financière (FCMQ) Annuelle DPIR

Nombre de spectateurs aux festivals et aux événements hivernaux

Année 2012 : 141 070 S/O Banque de données

(FEQ) Annuelle DPIR

Nombre de visiteurs dans les parcs nationaux Année 2012 : 4 080 702 S/O Banque de données

(SÉPAQ) Annuelle DPIR

Hausse de l’attractivité des cinq zones

d’activités hivernales identifiées à la SMVTH

(Effet à court terme)

Dépenses touristiques des régions ciblées (G$) Moyenne (2010-2012) : 7,01G$ 5% par année Banque de données de la

DPIA Annuelle DPIA

Volume de touristes hivernaux dans les régions ciblées (1er trimestre, M)

Moyenne (2010-2012) : 30,6 M S/O Banque de données de la

DPIA Annuelle DPIA

Diversification de l’offre en matière de tourisme

hivernal (Effet à court terme)

Nombre d’attraits financés par la SMVTH Avant la stratégie : 0 S/O Fiche de demande d’aide

financière En continu DPIR

Augmentation de la compétitivité du

tourisme hivernal Nombre de touristes Avant le projet (fiche de

demande d’aide financière)

Selon les prévisions des

promoteurs/DIS

Fiche de demande d’aide financière /Fiche retombée touristique

En continu DPIR

10

(Effet à court et moyen terme) Chiffre d’affaires du promoteur Avant le projet (fiche de

demande d’aide financière)

Selon les prévisions des

promoteurs/DIS

Fiche de demande d’aide financière /Fiche retombée touristique

En continu DPIR

Nombre d’emploi Avant le projet (fiche de demande d’aide financière)

Selon les prévisions des

promoteurs/DIS

Fiche de demande d’aide financière /Fiche retombée touristique

En continu DPIR

Ratio de touriste québécois/hors-Québec (1er trimestre)

Année 2012 : 76,8 % Québec 23,1 % hors Québec

S/O Banque de données de la DPIA Annuelle DPIA

Nombre d’entrées à la frontière (Décembre à mars)

Décembre 2011 à mars 2012 Canadiens 1 809 622 Internationaux : 547 237

Évolution à la hausse

Banque de données de la DPIA Mensuelle DPIA

Contribution du PSSDT à l’atteinte des objectifs

du PDIT et du Plan d’action 2016-2020 (Effet à long terme)

Taux d’occupation moyen des établissements d’hébergement touristiques (%)

Année 2012 : 52,5 % + 1 % par année Base de données de la

DPIA Mensuelle DPIA

Achalandage touristique du Québec (M) (Des changements méthodologiques de la part de Statistique Canada ont rendu la cible caduque)

Année 2012 : 30,7 M

Auparavant : +7M en 2020

Rapport Le tourisme au Québec en bref Annuelle DPIA

Nombre d’emplois liés au tourisme Année 2012 : 344 494

+ 50 000 d’ici 2020

Portrait de l'industrie touristique Annuelle DPIA

Dépenses touristiques du Québec (M$) Année 2012 : 12 800 M$ + 5 % par an Rapport Le tourisme au

Québec en bref Annuelle DPIA

Évaluation de fonctionnement

Conformité des projets soutenus par le

programme

Taux en pourcentage des aides livrées dans les temps

Sans Objet

100 % Fiche de demande d’aide financière En continu DPIR

Taux en pourcentage des projets financés qui sont terminés 100 % Fiche de demande d’aide

financière En continu DPIR

Taux en pourcentage des projets qui respectent la durée de réalisation prévue dans l’entente 100 % Fiche de demande d’aide

financière En continu DPIR

Nombre de projets refusés S/O Fiche de demande d’aide financière En continu DPIR

Nombre de documents de suivis et de redditions de comptes reçus S/O Fiche retombée

touristique En continu DPIR

Évaluation de la pertinence Répondre aux besoins

du secteur Taux en pourcentage de projets conformes acceptés Sans Objet 85 % Fiche de demande d’aide

financière En continu DPIR

11

Nombre de demandes d’aide financière reçues S/O Fiche de demande d’aide financière En continu DPIR

Montant des aides financières octroyées ($) S/O Fiche de demande d’aide financière En continu DPIR

Volume de projets financés par rapport au volume de projets reçus S/O Fiche de demande d’aide

financière En continu DPIR

Volume de financement disponible par rapport au volume de financement demandé ($) S/O Fiche de demande d’aide

financière En continu DPIR

4 STRATÉGIE GLOBALE D’ÉVALUATION Cinq types d’évaluation sont prévus dans la stratégie. Ces questions couvrent les critères d’analyse de pertinence, de mise en œuvre, des effets, d’efficacité et d’efficience. Ces aspects permettront de répondre aux besoins d’informations du MTO et du SCT et seront particulièrement utiles à la prise de décision lors d’une éventuelle reconduction du programme. Selon les indicateurs, la collecte de données pourrait se faire de 2012 à 2019. Dans le cas contraire, la collecte se fera de 2017 à 2019 inclusivement.

Pour les 5 aspects évaluatifs :

- Transmission du cadre d’évaluation : janvier 2019 - Transmission du rapport d’évaluation : janvier 2020

L’aspect de la pertinence

L’évaluation de la pertinence permet de vérifier l’adéquation entre la raison d’être du programme et les besoins à satisfaire. L’évaluation s’intéressera également sur le bien-fondé des interventions afin de s’assurer que celles-ci répondent bien aux besoins spécifiques de l’industrie du tourisme hivernal. L’évaluation se penchera également sur la pertinence de l’aide financière accordée ainsi que sa forme actuelle. Pour ce faire, un sondage sera envoyé aux promoteurs ayant bénéficié du soutien de la SMVTH, aux promoteurs dont le projet a été refusé ainsi qu’aux ATS s’y rattachant afin de déterminer si le programme répond bien aux attentes et aux besoins de l’industrie. L’élaboration du sondage ainsi que son prétest auront lieu au troisième trimestre de 2019 alors que l’envoi du sondage et la compilation des données se feront au début du quatrième trimestre de 2019. À la suite de cette première ronde de consultation, certaines entrevues téléphoniques pourraient avoir lieu si un besoin d’information supplémentaire se faisait sentir. Les principales questions du sondage et des entrevues porteront sur la pertinence de la forme que prend le financement de l’aide (aide au comptant en deux versements), le genre de projets admissibles pour l’aide ainsi que les produits touristiques ciblés par l’aide. En parallèle de cette démarche, les données contenues dans les fiches de demande d’aide financière en lien avec la pertinence du programme (nombre de projets conformes acceptés, nombre de demandes d’aide financière reçues, montant des aides octroyées) seront compilées. L’ensemble des indicateurs nommés plus haut pourront aussi aider à déterminer si le secteur du tourisme hivernal nécessite toujours d’être soutenu ou si certains produits ciblés par la stratégie n’ont plus besoin d’aide supplémentaire. L’aspect du fonctionnement Cette évaluation vise à s’assurer que les processus et les procédures soient déployés conformément à ce qui a été prévu et qu’ils contribuent à l’atteinte des objectifs visés. Elle permettra de mettre en lumière les forces à préserver et les faiblesses à corriger. Dans ce cas-ci, l’évaluation consistera à compiler les données présentes dans la demande d’aide financière acceptée afin de vérifier que les critères quant au type de projet, aux types de bénéficiaire ainsi qu’à la région concernée soient respectés. La collecte des données se fera en continu par la DPIR au fur et à mesure que les projets seront acceptés ainsi que le suivi de l’implantation des projets par le promoteur.

De plus, le processus de sondage expliqué plus tôt servira également à questionner les bénéficiaires du programme, les ATS et les promoteurs s’étant vu refuser une aide financière sur les forces et les faiblesses du programme. L’évaluation de l’efficacité Cette évaluation consiste à mesurer le degré d’atteinte des objectifs de l’intervention. Pour ce faire, l’équipe d’évaluation de programmes se penchera sur l’ensemble des indicateurs présentés plus haut en ce qui a trait aux effets à court et moyen terme de la SMVTH, soit les indicateurs prévus pour les effets de développement et croissance des produits prioritaires, la hausse de l’attractivité des cinq zones d’activités hivernales identifiées à la SMVTH, la diversification de l’offre en matière de tourisme hivernal, l’augmentation de la compétitivité du tourisme hivernal et la contribution du PSSDT à l’atteinte des objectifs du PDIT. La cueillette de ces données se fera essentiellement par de la recherche et de l’analyse documentaire faite par la DPIA/DIS/DPIR une fois par année ou par mois selon l’indicateur. Le but de la collecte sera de suivre l’évolution des indicateurs pour les promoteurs ayant bénéficié d’une aide financière afin de les comparer aux données de l’ensemble de leur secteur touristique (Ski, motoneige, etc.) afin de déterminer si ceux-ci ont mieux performé que leur secteur. Dans un second temps, les secteurs touristiques priorisés par la stratégie seront comparés à l’ensemble de l’industrie touristique hivernale afin de vérifier si ces secteurs ont mieux performé que l’industrie. Le même exercice sera fait enfin de comparer les différentes régions priorisées par la stratégie avec l’ensemble des régions du Québec. Finalement, afin de mieux définir l’inférence causale entre la SMVTH et l’évolution des données, le processus de sondage cité plus haut permettra aussi de questionner les promoteurs ayant bénéficié d’une aide financière ainsi que les ATS s’y rattachant sur la part de l’évolution imputable à l’aide octroyée. L’évaluation de l’efficience Cette évaluation permet d’examiner la relation entre les effets du programme et les ressources utilisées pour les produire. Autrement dit, il sera question de déterminer le ratio entre les effets du programme et ses intrants. Suite à la collecte et à l’analyse des données recueillies aux fins de l’évaluation de l’efficacité du programme, il sera possible, dans une certaine mesure, de déduire les ressources nécessaires afin de créer ou préserver un emploi grâce au programme, l’importance de l’investissement privé qui découle de l’aide financière accordée ainsi que celle des retombées économiques issues du programme. Ces données pourront ensuite être comparées aux autres volets du PSSDT ou à d’autres programmes gouvernementaux afin de juger de l’efficience de la démarche. Pour ce faire, la méthode Data Envelopement Analysis (DEA) est envisagée. L’évaluation des effets L’évaluation des effets se penche sur l’état de la situation avant et après intervention. Elle vise à mesurer les effets entraînés par une intervention sur la clientèle visée. Dans

un premier temps, les fiches de demande d’aide financière ainsi que les documents de reddition de compte seront comparés afin de valider que les infrastructures aient bien été construire, réfectionnées ou améliorées conformément à l’entente. En plus de bonifier l’aspect évaluatif du fonctionnement du programme, cette mesure permettra de quantifier le premier effet direct du programme soit l’amélioration des infrastructures. Dans un deuxième temps, les données provenant des fiches de demande d’aide financière ainsi que des fiches de retombées économiques soient l’achalandage, le maintien ou la création d’emploi et les revenus du promoteur du projet avant la demande de l’aide financière seront comparées aux données recueillies via les fiches de retombées économiques lors des cinq années suivant l’octroi de l’aide. Le processus de sondage servira également à demander aux promoteurs si la modernisation de leur infrastructure aurait été possible sans l’aide du programme. 5 CONSIDÉRATIONS ÉTHIQUES Les informations obtenues seront traitées et manipulées de façon strictement confidentielle en respect de la Loi sur l’accès aux documents des organismes publics et sur la protection des renseignements personnels (L.R.Q., chapitre A-2.1). Les informations colligées serviront exclusivement aux fins annoncées par la présente évaluation. Aucune autre utilisation ne pourra en être faite. 6 APPROBATION DES RESPONSABLES La mise en œuvre du cadre de suivi et d’évaluation implique la participation et l’approbation de plusieurs directions du MTO :

La DPIR est gestionnaire du PSSDT et responsable de la disponibilité de l’information requise pour les besoins de l’évaluation;

La DPIA offre un soutien pour la constitution ainsi que l’accès de la base de données et l’analyse des retombées économiques;

La DIS coordonne la mise en œuvre de la SMVTH.

Préparé par : Carmen Méndez et Benoit Lapierre Date :

Approuvé par le directeur général : Sylvain Bernier Date :

MINIS T È R E DU T OUR IS ME

PROGRAMME DE SOUTIEN AUX STRATÉGIES DE DÉVELOPPEMENT TOURISTIQUE

(PSSDT)

V OL E T 2 : AP P UI À L A S T R AT É G IE DE MIS E E N V AL E UR DU T OUR IS ME É V É NE ME NT IE L

(SMVTE)

CADRE DE SUIVI ET D’ÉVALUATION PRÉLIMINAIRE

Préparé par : Direction générale des services à la gestion Février 2018

TABLE DES MATIÈRES

1. CONTEXTE ........................................................................................................................................ 1

2. DESCRIPTION DU PROGRAMME ...................................................................................................... 1

2.1 RAISON D’ÊTRE .....................................................................................................................3

2.2 OBJECTIFS .............................................................................................................................3

2.3 LOGIQUE D’INTERVENTION ..................................................................................................4

3. SUIVI DU PROGRAMME ................................................................................................................... 7

3.1 CHOIX DES INDICATEURS ET DES CIBLES ...............................................................................7

3.1.1 Le choix des indicateurs ....................................................................................................7

4. STRATÉGIE GLOBALE D’ÉVALUATION ............................................................................................. 11

5. CONSIDÉRATIONS ÉTHIQUES ......................................................................................................... 13

6. APPROBATION DES RESPONSABLES ............................................................................................... 13

1

1. CONTEXTE Le 12 décembre 2017, le Conseil du trésor (CT) approuve le Programme de soutien aux Stratégies de développement touristique (PSSDT) et son cadre normatif (CT 218413). Il précise qu’à échéance, le 31 mars 2020, une évaluation de programmes, basée entre autres sur l’atteinte des résultats visés, sera réalisée. Afin de planifier cette future évaluation, il convient de transmettre un cadre de suivi et d’évaluation préliminaire au Secrétariat du Conseil du trésor (SCT) au plus tard le 31 janvier 2018. Le cadre de suivi et d’évaluation préliminaire répond aux exigences de la Directive concernant l’évaluation de programmes dans les ministères et organismes (SCT, 19 février 2014) qui prévoit que ce document soit produit pour toute demande d’autorisation d’un nouveau programme. Conformément au plan annuel en matière d’évaluation de programmes 2017-2018, la Direction générale des services à la gestion a été mandatée par les autorités du ministère du Tourisme (MTO) pour réaliser le cadre de suivi et d’évaluation préliminaire du PSSDT volet 2 - Appui à la Stratégie de mise en valeur du tourisme événementiel (SMVTE). Ce document sera préalablement approuvé par le sous-ministre et transmis au SCT quinze jours avant le début des travaux d’évaluation, tel que précisé dans la directive. Le cadre de suivi et d’évaluation préliminaire a pour intention de décrire le programme, de proposer un plan de suivi des principaux indicateurs en plus de développer une stratégie globale d’évaluation. Cette stratégie permet de planifier et de détailler une démarche qui rendra compte de la pertinence et du fonctionnement du programme, en plus d’en estimer la performance globale. La structure du présent document répond au gabarit proposé par le SCT et contient les renseignements suivants :

• la description du programme incluant sa raison d’être, ses objectifs et sa logique d’intervention;

• le suivi du programme décrivant les indicateurs retenus, les sources de données, la fréquence et la responsabilité de la collecte;

• la stratégie globale d’évaluation comprenant les principales étapes et méthodes utilisées.

2. DESCRIPTION DU PROGRAMME Le PSSDT vise le renforcement et le développement de l’offre touristique québécoise afin de faire du tourisme « une industrie concurrentielle, durable, innovante et attractive pour les visiteurs du Québec et ceux des marchés extérieurs ». Il comporte cinq volets qui entendent stimuler l’investissement privé, la création d’emplois, l’augmentation du nombre de visiteurs et l’accroissement des retombées économiques du tourisme dans toutes les régions du Québec.

2

Le 17 mars 2016, lors du discours du budget 2016-2017, le gouvernement du Québec annonçait des contributions gouvernementales totalisant 40 M$ pour soutenir la mise en œuvre de trois stratégies de développement touristique. La mise à jour économique de novembre 2017 est venue bonifier de 20 M$ ce montant, portant ainsi le budget à 60 M$. Le PSSDT volet 2 SMVTE s’inscrit dans le déploiement du PSSDT. Cette stratégie repose sur la vision suivante : « Faire du Québec une destination authentique, reconnue, définie par son originalité, s’appuyant sur ses avantages concurrentiels au sein des marchés touristiques d’exploitation et génératrice de retombées durables grâce à des alliances stratégiques ». Pour atteindre ses objectifs, trois axes d’intervention sont proposés :

1) Favoriser l’investissement privé pour développer des produits distinctifs et compétitifs;

2) Offrir un accompagnement adapté aux entrepreneurs pour consolider un tissu d’entreprises performantes;

3) Soutenir la structuration d’une offre multiproduits et multirégions pour proposer aux visiteurs une expérience enrichie et intégrée.

Le Programme d’appui à la mise en valeur du tourisme événementiel met l’accent sur le développement du secteur des festivals et des événements touristiques, du secteur de l’agrotourisme et du tourisme gourmand ainsi que du secteur de « l’expérience autochtone ». Le volet 2 du PSSDT offre une aide financière pour des projets comportant des coûts minimaux de 100 000 $ et l’aide maximale accordée est de 3 M$ pour la construction, l’agrandissement ou la réfection d’infrastructure touristique et la consolidation, l’implantation, l’expansion ou la modernisation d’un attrait, d’une activité, d’un équipement, d’un produit spécialisé ou d’un service touristique. À partir de janvier 2018, l’aide maximale accordée par le MTO est de 2 M$. Cette aide financière ne peut excéder 33,33 % des coûts admissibles d’un projet et est versée comptant en deux versements. Le premier versement, équivalant à 60 % de l’aide accordée est versé à la suite de la signature de l’entente avec le promoteur alors que le second versement, équivalant à 40 % de l’aide prévue, est versé à la suite de la réception de l’audit d’un vérificateur externe. Le cumul maximal des aides gouvernementales comprend le total des aides financières accordées comprend le total des aides financières accordées, incluant les aides remboursables considérées à 50% pour les coûts admissibles du projet par l’ensemble des ministères et organismes provinciaux et fédéraux ainsi que des entités municipales. Ce cumul ne pourra pas excéder 50 % s’il s’agit d’un organisme à but lucratif (OBL), 80 % s’il s’agit d’un organisme à but non lucratif (OBNL), d’une coopérative et d’une municipalité et 90 % s’il s’agit de communauté ou de nation autochtone (OBL et OBNL) ainsi que pour des organismes des Îles-de-la-Madeleine. Pour être admissible, tout projet doit satisfaire aux conditions suivantes :

• Constituer un des produits touristiques prioritaires ciblés dans la SMVTE ou être complémentaire à l’un des produits ciblés; ou

• Faire partie d’une route, d’un itinéraire ou d’un circuit touristique contribuant à la mise en valeur des produits ciblés.

3

2.1 RAISON D’ÊTRE Le tourisme culturel et événementiel représente un véritable trait marquant de la destination québécoise. La force du Québec réside autant dans l’ensemble et la qualité de ses produits culturels que dans la créativité de ses manifestations culturelles et événementielles, mais cette offre se doit d’être structurée et développée davantage afin qu’elle atteigne son plein potentiel. Par son histoire et sa culture, le Québec s’est forgé une personnalité singulière et le tourisme culturel et événementiel permet aux visiteurs de découvrir la richesse historique ou contemporaine d’un milieu donné. La culture québécoise offre ainsi une expérience qui peut se distinguer d’autres destinations. Compte tenu du potentiel que représente le tourisme international en matière événementielle et en raison de ce que le Québec peut offrir comme expérience à ses visiteurs, ses activités touristiques font partie des composantes qui contribueront à l’atteinte des cibles établies au Plan de développement de l’industrie touristique 2012-2020 : un itinéraire vers la croissance (PDIT) ainsi que son Plan d’action 2016-2020. Dans les faits, la décision de miser sur le tourisme événementiel tire son origine des conclusions de la table mixte qui regroupait l’ensemble des acteurs touristiques québécois en vue d’élaborer le PDIT. Celle-ci est venue à la conclusion que le tourisme événementiel était un secteur touristique à fort potentiel ainsi qu’un produit d’appel qui permettait au Québec de se distinguer de l’offre touristique internationale. Par la suite, une analyse de l’état des lieux du secteur fut entreprise par la Direction des politiques et de l’intelligence d’affaires (DPIA) du MTO afin d’identifier les produits à prioriser pour la mise en œuvre de la stratégie. Les investissements prévus au volet 2 du PSSDT devraient aider le Québec à développer son plein potentiel touristique au niveau du tourisme événementiel. Dans ce contexte, ce volet vise à permettre le développement des éléments événementiels à portée touristique ainsi que la mise en valeur de la culture québécoise qui contribuent à faire du Québec une destination touristique de calibre international.

2.2 OBJECTIFS Le Programme d’appui à la SMVTE vise à atteindre deux objectifs spécifiques (effets à court terme) :

• Renforcer la compétitivité et viser la croissance des produits identifiés à la SMVTE (festivals et événements, agrotourisme et tourisme gourmand, expérience touristique autochtone);

• Augmenter l’achalandage en soutenant la structuration de l’offre autour des routes et circuits touristiques.

Pris dans son ensemble, les projets développés dans le cadre de la SMVTE, ainsi que dans les autres stratégies, contribueront à atteindre les objectifs généraux (effets à moyen terme) du PSSDT qui sont :

4

• Favoriser le développement d’une offre touristique originale, complémentaire respectueuse du développement durable et répondant à la demande des marchés ciblés61 par le MTO;

• Stimuler l’économie des régions par la création d’emplois, l’augmentation du nombre de visiteurs et l’accroissement des recettes touristiques.

Le PSSDT ainsi que l’ensemble des programmes d’aides du MTO ont pour but de réaliser les objectifs du PDIT 2012-2020 ainsi que du Plan d’action 2016-2020 (effets à long terme) qui sont :

• Des recettes touristiques totalisant 18,9 G$ en 2020; • Un accroissement du nombre d’emplois équivalant à 50 000 emplois d’ici 2020.

2.3 LOGIQUE D’INTERVENTION La Direction des interventions sectorielles (DIS) est responsable du déploiement de la SMVTE ainsi que de soutenir les associations touristiques sectorielles (ATS) et autres organismes dans leurs démarches. De plus, la DIS soutient également la Direction des programmes et de l’intervention régionale (DPIR) dans la prise de décision concernant les demandes d’aides financières en réalisant des avis sectoriels dans le cadre du programme. La DPIR du MTO est responsable de la mise en œuvre du PSSDT volet 2, de la sélection des projets et du suivi administratif des dossiers et de sa reddition de comptes. Elle assure le lien avec le promoteur à chacune des étapes du processus d’attribution d’une aide financière. Pour leur part, les promoteurs doivent joindre à leur formulaire de Demande d’aide financière, dûment rempli, les documents exigés, dont un plan d’affaires qui présente la description détaillée des clientèles visées ainsi que les impacts et les retombées touristiques du projet. Cette première étape permet de valider l’admissibilité du projet. À la suite de l’analyse de leur dossier de Demande d’aide financière, le MTO soutient les clientèles admissibles dans la réalisation de leur projet. La coordination des actions de ces différents acteurs ont pour objectif de sélectionner et de financer des projets ayant pour but de soutenir la mise en œuvre de la SMVTE. Ces projets permettront de dynamiser et diversifier l’offre touristique québécoise en matière de tourisme événementiel. Le schéma suivant illustre la logique d’intervention du programme. Il présente une description sommaire du programme et de ses composantes.

61 Les onze marchés ciblés : Ontario, Reste du canada (ROC), Atlantique Centre (EU), Nouvelle-Angleterre (EU), Sud des États-Unis, côte Ouest et Centre Ouest des États-Unis, France, Chine, Mexique et Québec (Stratégie 2014, p. 37 à 40).

5

Schéma : Modèle logique du Programme d’appui à la SMVTE.

Raison d'être Le tourisme événementiel constitue un véritable trait marquant de la destination québécoise, mais l’offre doit être développée et structurée.

• Besoin de proposer une expérience qui se distingue des autres et de faire découvrir la richesse historique ou contemporaine des milieux touristiques;

• Besoin de miser sur le potentiel du tourisme international.

Conditions d'admissibilité

Pour être admissible, tout projet doit satisfaire aux conditions suivantes :

• Constituer un des produits touristiques ciblés par la stratégie ou être complémentaire à l’un des produits ciblés;

ou

• Faire partie d’une route, d’un itinéraire ou d’un circuit touristique contribuant à la mise en valeur des produits ciblés.

Clientèle cible • Les OBL légalement constitués au Québec; • Les OBNL légalement constitués au Québec; • Les coopératives légalement constituées au Québec; • Les municipalités62, les communautés et les nations autochtones reconnues par

l’Assemblée nationale; • Tout regroupement de ces clientèles.

Objectifs Objectifs spécifiques

• Renforcer la compétitivité et viser la croissance des produits identifiés à la SMVTE (festivals et événements, agrotourisme et tourisme gourmand, expérience touristique autochtone);

• Augmenter l’achalandage en soutenant la structuration de l’offre autour des routes et circuits touristiques.

Objectifs généraux

• Favoriser le développement d’une offre touristique originale, complémentaire respectueuse du développement durable et répondant à la demande des marchés ciblés par le MTO;

• Stimuler l’économie des régions par la création d’emplois, l’augmentation du nombre de visiteurs et l’accroissement des recettes touristiques.

Buts

• Faire du tourisme une industrie compétitive, durable, innovante et attractive pour

62 La désignation de municipalité comprend les municipalités, les cités, les villes, les villages, les paroisses, les cantons, les cantons unis, les villages nordiques, les territoires non organisés, les municipalités régionales de comté (MRC), les communautés métropolitaines, les régies intermunicipales et les corporations ou les organismes dont une corporation municipale nomme la majorité des membres ou contribue à plus de la moitié du financement, les regroupements de tels municipalités, corporations ou organismes.

6

les visiteurs du Québec et des autres marchés; • Soutenir la mise en œuvre du PDIT et du Plan d’action 2016-2020.

Nature de

l'intervention

À la suite de l'analyse de leur dossier de Demande d'aide financière, le MTO soutient les clientèles admissibles dans la réalisation de leurs projets selon les modalités suivantes :

• L’aide financière est versée comptant et est accordée en deux versements. 60 % à la signature de l’entente et 40 % à la réception de l’audit d’un vérificateur externe;

• Le projet doit comporter des coûts admissibles d’au moins 100 000 $ et l’aide financière maximale est de 3 M$. À compter de janvier 2018, elle sera de 2 M$.

Intrants Ressources financières : 60 M$ pour les volets 1, 2, 3 (2016-2020). Ressources humaines : les responsables de la coordination du programme (DIS et DPIR). Ressources informationnelles : les données administratives et de gestion sont consignées dans le système de gestion de l'aide financière du MTO (demandes d'aide financière, fiches de retombées touristiques, etc.).

Activités de

production

• Demandes d'aide financière reçues en continu; • Analyse et évaluation de l'admissibilité de la demande d'aide financière; • Prise de décision relative à chacune des demandes d'aide financière; • Attribution de l'aide financière et protocole d'entente; • Suivi et reddition de comptes.

Extrants • Nombre de projets soutenus par le programme;

Effets à court terme

• Augmentation de la compétitivité des produits identifiés à la stratégie de mise en valeur du tourisme culturel et événementiel;

• Croissance des produits identifiés dans la stratégie; • Structuration de l’offre autour des routes et circuits touristique;

Effets à moyen terme

• Augmentation de l’achalandage; • Augmentation du chiffre d’affaires du promoteur; • Augmentation des emplois créés.

7

Effet à long terme • Augmentation du taux d’occupation moyen des établissements d’hébergement touristiques;

• Augmentation de la fréquentation régionale et la provenance des touristes; • Augmentation du nombre d’emplois liés au tourisme; • Augmentation des recettes touristiques du Québec

3. SUIVI DU PROGRAMME Le suivi du programme est un examen périodique des activités à l’aide d’indicateurs et de cibles préétablis dans le but de constituer la base de données nécessaire à l’évaluation, soit la mesure de l’atteinte des résultats visés exigée par le CT. La mise en place d’un processus de suivi adéquat assure la disponibilité de données fiables et valides en temps opportun pour évaluer les programmes aux moments clés. Pour les besoins du cadre de suivi et d’évaluation préliminaire, le suivi du programme consiste à déterminer les indicateurs significatifs à documenter afin de planifier la collecte et l’analyse des données. Or, la mise en place du processus d’évaluation de programmes fut décidée après la mise en œuvre de la SMVTE, faisant en sorte que cette partie du processus d’évaluation a dû être élaborée a posteriori. Dans ces circonstances, en plus des données prévues dans le cadre normatif (CT 218413), il fut décidé d’identifier des indicateurs pertinents qui sont en adéquation avec les données déjà collectées par la Direction des politiques et de l'intelligence d'affaires (DPIA). Une autre partie des données sera rassemblée à partir des fiches de Demande d’aide financière et de fiches de retombées économiques récupérées par la DPIR. Quant à l’établissement des cibles à atteindre, elles correspondront généralement à celles déjà établies par le PDIT 2012-2020 et du Plan d’action 2016-2020. 3.1 CHOIX DES INDICATEURS ET DES CIBLES 3.1.1 Le choix des indicateurs Les normes relatives au PSSDT autorisées par le CT 218413 précisent qu’une évaluation de programmes basée sur les résultats visés sera réalisée à l’échéance du programme afin de comparer les résultats obtenus avec la situation initiale sur la base des indicateurs suivants :

progression de l’achalandage; progression du chiffre d’affaires du promoteur; progression des emplois créés.

Cette évaluation permettra également de mesurer la contribution du PSSDT à l’atteinte des objectifs du PDIT 2012-2020 et du Plan d’action 2016-2020, notamment :

le taux d’occupation moyen des établissements d’hébergement touristiques; la fréquentation régionale et la provenance des touristes; le nombre d’emplois liés au tourisme; les recettes touristiques du Québec.

8

Pour mesurer le niveau d’atteinte des résultats visés, il est convenu d’utiliser l’information contenue dans les formulaires et documents, obligatoire à une demande d’aide financière. Elle permet de déterminer les indicateurs et les cibles par projet financé au moment du démarrage, c’est-à-dire « l’an un ». Parmi les informations, il y a le type de projet, le montant d’investissement, la période saisonnière et le nombre de personnes à l’emploi depuis les deux dernières années complètes d’opération ainsi que le nombre projeté pour les deux années qui suivront; même chose pour le nombre et la provenance des visiteurs. Dans le but d’assurer le suivi des résultats du programme à partir de la date de démarrage du projet et cela, jusqu’au moment opportun de réaliser l’évaluation, l’information documentée dans les fiches de retombées touristiques (annexe B) sera utilisée. Cette fiche fournit annuellement les données nécessaires sur l’achalandage par marché ciblé, sur la saisonnalité, la structuration et la forfaitisation de l’offre, les données financières du promoteur du projet. En plus des indicateurs exigés par le CT 218413, la collecte d’autres données est actuellement en cours afin d’aider à la prise de décision. Cette collecte est faite par la DPIA depuis la création du PDIT en 2012, et se poursuivra en 2018 et 2019. Le tableau suivant présente la liste des indicateurs retenus pour mesurer l’atteinte des résultats visés par l’appui à la SMVTE

9

Tableau : Fiche des indicateurs de suivi

Effet Indicateur Donnée de référence Cible Source de la donnée Fréquence de la collecte

Responsabilité de la collecte

Évaluation des effets, de l’efficacité et de l’efficience

Renforcer la compétitivité et viser la croissance des produits identifiés de la

SMVTE (Effet à court terme)

Chiffre d’affaires moyen des entreprises du tourisme autochtone ($)

2016 : 400 000 $ Évolution à la hausse Portail ATS Rapport TAQ

Annuelle DIS

Nombre d’entreprises œuvrant dans le domaine du tourisme autochtone

2016 : 229 Maintien ou évolution à la hausse

Portail ATS Rapport TAQ

Annuelle DIS

Nombre d’emploi lié au tourisme autochtone 2016 : 3 500 Maintien ou évolution à la hausse

Portail ATS Rapport TAQ

Annuelle DIS

Nombre d’entreprises œuvrant dans le domaine du tourisme gourmand

2015 : 789 Maintien ou évolution à la hausse

Portail ATS Rapport AATGQ

Annuelle DIS

Nombre d’emploi lié au tourisme gourmand 2015 : 3353 Maintien ou évolution à la hausse

Portail ATS Rapport AATGQ

Annuelle DIS

Augmenter l’achalandage en soutenant la

structuration de l’offre autour des routes et circuits touristiques (Effet à court terme)

Ratio de touriste québécois/hors-Québec Année 2012 78,3 % Québec 21,7 % hors Québec

S/O Banques de données de la DPIA Annuelle DPIA

Nombre de visiteurs liés au tourisme autochtone (TAQ) 2016 : 1 160 000 Évolution à la hausse Banque de données

TAQ Annuelle DIS

Nombre de routes et circuits liés au tourisme gourmand 2017 : 17 Maintien ou évolution

à la hausse Banque de données AATGQ

Annuelle DIS

Nombre d’entrées aux festivals et événements membre de la FEQ (M) 2015 : 16.1 M Évolution à la hausse Banque de données

FEQ Annuelle DIS

Augmentation de la compétitivité du tourisme

événementiel (Effet à court et moyen

terme)

Nombre de touristes Avant le projet (fiche de demande d’aide financière)

Selon les prévisions des promoteurs/DIS

Fiche de demande d’aide financière /Fiche retombée touristique

En continu DPIR

Chiffre d’affaires du promoteur Avant le projet (fiche de demande d’aide financière)

Selon les prévisions des promoteurs/DIS

Fiche de demande d’aide financière /Fiche retombée touristique

En continu DPIR

Nombre d’emploi Avant le projet (fiche de demande d’aide financière)

Selon les prévisions des promoteurs/DIS

Fiche de demande d’aide financière /Fiche retombée touristique

En continu DPIR

Contribution du PSSDT à l’atteinte des objectifs du

Taux d’occupation moyen des établissements d’hébergement touristiques (%)

Année 2012 : 52,5 % + 1 % par an Base de données de

la DPIA Mensuelle DPIA

10

PDIT et du Plan d’action 2016-2020

(Effet à long terme)

Achalandage touristique du Québec (M) (Des changements méthodologiques de la part de Statistique Canada ont rendu la cible caduque)

Année 2012 : 30,7 M

Auparavant : +7M en 2020

Rapport Le tourisme au Québec en bref Annuelle DPIA

Nombre d’emplois liés au tourisme Année 2012 : 344 494 + 50 000 d’ici 2020 Portrait de l'industrie

touristique Annuelle DPIA

Dépenses touristiques du Québec (M$) Année 2012 : 12 800 M$ + 5 % par an Rapport Le tourisme

au Québec en bref Annuelle DPIA

Évaluation de fonctionnement

Mise en œuvre des projets soutenus par le

programme

Taux en pourcentage des aides livrées dans les temps

Sans Objet

100 % Fiche de demande d’aide financière En continu DPIR

Taux en pourcentage des projets financés qui sont terminés 100 % Fiche de demande

d’aide financière En continu DPIR

Taux en pourcentage des projets qui respectent la durée de réalisation prévue dans l’entente 100 % Fiche de demande

d’aide financière En continu DPIR

Nombre de projets refusés S/O Fiche de demande d’aide financière En continu DPIR

Nombre de documents de suivis et de redditions de comptes reçus S/O Fiche retombée

touristique En continu DPIR

Évaluation de la pertinence

Répondre aux besoins du secteur touristique

événementiel

Taux en pourcentage de projets conformes acceptés

Sans Objet

85 % Fiche de demande d’aide financière En continu DPIR

Nombre de demandes d’aide financière reçues S/O Fiche de demande d’aide financière En continu DPIR

Montant des aides financières octroyées ($) S/O Fiche de demande d’aide financière En continu DPIR

Volume de projets financés par rapport au volume de projets reçus S/O Fiche de demande

d’aide financière En continu DPIR

Volume de financement disponible par rapport au volume de financement demandé ($) S/O Fiche de demande

d’aide financière En continu DPIR

4. STRATÉGIE GLOBALE D’ÉVALUATION Cinq types d’évaluation sont prévus dans la stratégie. Ces questions couvrent les critères d’analyse de pertinence, de mise en œuvre, des effets, d’efficacité et d’efficience. Ces aspects permettront de répondre aux besoins d’informations du MTO et du SCT et seront particulièrement utiles à la prise de décision lors d’une éventuelle reconduction du programme. Selon les indicateurs, la collecte de données pourrait se faire de 2012 à 2019. Dans le cas contraire, la collecte se fera de 2017 à 2019 inclusivement. Pour les 5 évaluations :

- transmission du cadre d’évaluation : janvier 2019 - transmission du rapport d’évaluation : janvier 2020

L’évaluation de la pertinence L’évaluation de la pertinence permet de vérifier l’adéquation entre la raison d’être du programme et les besoins à satisfaire. L’évaluation s’intéressera également au bien-fondé des interventions afin de s’assurer que celles-ci répondent bien aux besoins spécifiques du secteur du tourisme événementiel. L’évaluation se penchera également sur la pertinence de l’aide financière accordée. Pour ce faire, un sondage sera envoyé aux promoteurs ayant bénéficié du soutien de la SMVTE, aux promoteurs dont le projet a été refusé, ainsi qu’aux ATS s’y rattachant afin de déterminer si le programme répond bien aux attentes et aux besoins de l’industrie. L’élaboration du sondage ainsi que son prétest aura lieu au troisième trimestre de 2019 alors que l’envoi du sondage et la compilation des données se feront au début du quatrième trimestre de 2019. À la suite de cette première ronde de consultation, certaines entrevues téléphoniques pourraient avoir lieu si un besoin d’information supplémentaire se faisait sentir. Les principales questions du sondage et des entrevues porteront sur la pertinence de la forme que prend le financement de l’aide (aide au comptant en deux versements), le genre de projets admissibles pour l’aide ainsi que les produits touristiques ciblés par l’aide. En parallèle de cette démarche, les données contenues dans les fiches de demande d’aide financière en lien avec la pertinence du programme (nombre de projets conformes acceptés, nombre de demandes d’aide financière reçues, montant des aides octroyées) seront compilées. L’ensemble des indicateurs nommés plus haut pourront aussi aider à déterminer si le secteur du tourisme événementiel nécessite toujours d’être soutenu ou si certains produits ciblés par la stratégie n’ont plus besoin d’aide supplémentaire. L’évaluation de fonctionnement Cette évaluation vise à s’assurer que les processus et les procédures soient déployés conformément à ce qui a été prévu et qu’ils contribuent à l’atteinte des objectifs visés. Elle permettra de mettre en lumière les forces à préserver et les faiblesses à corriger. Dans ce cas-ci, l’évaluation consistera à compiler les données présentes dans la demande d’aide financière acceptée afin de vérifier que les critères quant au type de projet, au type de bénéficiaire ainsi qu’à la région concernée soient respectés. La collecte des données se fera en continu par la DPIR au fur et à mesure que les projets seront acceptés ainsi que le suivi de l’implantation des projets par le promoteur.

De plus, le processus de sondage expliqué plus tôt servira également à questionner les bénéficiaires du programme, les ATS et les promoteurs s’étant vu refuser une aide financière sur les forces et les faiblesses du programme. L’évaluation de l’efficacité Cette évaluation consiste à mesurer le degré d’atteinte des objectifs de l’intervention. Pour ce faire, l’équipe d’évaluation de programmes se penchera sur l’ensemble des indicateurs présentés plus haut en ce qui a trait aux effets à court et moyen terme de la SMVTE, soit les indicateurs prévus pour les effets de développement et croissance des produits prioritaires, l’augmentation de l’achalandage en soutenant la structuration de l’offre autour des routes et circuits touristiques, l’augmentation de la compétitivité du tourisme événementiel et la contribution du PSSDT à l’atteinte des objectifs du PDIT. La cueillette de ces données se fera essentiellement par de la recherche et de l’analyse documentaire faite par la DPIA/DPIR/DIS une fois par année ou par mois selon l’indicateur. Le but de la collecte sera de suivre l’évolution des indicateurs pour les promoteurs ayant bénéficié d’une aide financière afin de les comparer aux données de l’ensemble de leur secteur touristique (festival et événement, tourisme gourmand, etc.) afin de déterminer si ceux-ci ont mieux performé que leur secteur. Dans un second temps, les secteurs touristiques priorisés par la stratégie seront comparés à l’ensemble de l’industrie touristique afin de vérifier si ces secteurs ont mieux performé que le reste de l’industrie. Finalement, afin de mieux définir l’inférence causale entre la SMVTE et l’évolution des données, le processus de sondage cité plus haut permettra aussi de questionner les promoteurs ayant bénéficié d’une aide financière ainsi que les ATS s’y rattachant sur la part de l’évolution imputable à l’aide octroyée. L’évaluation de l’efficience Cette évaluation permet d’examiner la relation entre les effets du programme et les ressources utilisées pour les produire. Autrement dit, il sera question de déterminer le ratio entre les effets du programme et ses intrants. Suite à la collecte et à l’analyse des données recueillies aux fins de l’évaluation de l’efficacité du programme, il sera possible, dans une certaine mesure, de déduire les ressources nécessaires afin de créer ou de préserver un emploi grâce au programme, d’évaluer l’importance de l’investissement privé qui découle de l’aide financière accordée ainsi que celle des retombées économiques issues du programme. Ces données pourront ensuite être comparées aux autres volets du PSSDT ou à d’autres programmes gouvernementaux afin de juger de l’efficience de la démarche. Pour ce faire, la méthode Data Envelopment Analysis (DEA) est envisagée. L’évaluation des effets L’évaluation des effets se penche sur l’état de la situation avant et après intervention. Elle vise à mesurer les effets entraînés par une intervention sur la clientèle visée. Dans un premier temps, les fiches de demande d’aide financière ainsi que les documents de reddition de compte seront comparés afin de valider que les infrastructures aient bien été construire, réfectionnées ou améliorées conformément à l’entente. En plus de bonifier l’aspect évaluatif du fonctionnement du programme, cette mesure permettra de quantifier le premier effet direct du programme soit l’amélioration des infrastructures.

Dans un deuxième temps, les données provenant des fiches de demande d’aide financière ainsi que des fiches de retombées économiques soient l’achalandage, le maintien ou la création d’emploi et les revenus du promoteur du projet avant la demande de l’aide financière seront comparées aux données recueillies via les fiches de retombées économiques lors des cinq années suivant l’octroi de l’aide. Le processus de sondage servira également à demander aux promoteurs si la modernisation de leur infrastructure aurait été possible sans l’aide du programme. 5. CONSIDÉRATIONS ÉTHIQUES Les informations obtenues seront traitées et manipulées de façon strictement confidentielle en respect de la Loi sur l’accès aux documents des organismes publics et sur la protection des renseignements personnels (L.R.Q., chapitre A-2.1). Les informations colligées serviront exclusivement aux fins annoncées par la présente évaluation. Aucune autre utilisation ne peut en être faite. 6. APPROBATION DES RESPONSABLES La mise en œuvre du cadre de suivi et d’évaluation implique la participation et l’approbation de plusieurs directions du MTO :

la DPIR est gestionnaire du PSSDT et responsable de la disponibilité de l’information requise pour les besoins de l’évaluation;

la DPIA offre un soutien pour la constitution de la base de données et l’analyse des retombées économiques;

la DIS coordonne la mise en œuvre de la SMVTE.

Préparé par : Carmen Méndez et Benoit Lapierre Date :

Approuvé par le directeur général : Sylvain Bernier Date :

MINIS TÈ R E DU TOUR IS ME

P R OG R AMME DE S OUT IE N AUX S T R AT É G IE S DE DÉ V E L OP P E ME NT T OUR IS T IQUE

(PSSDT)

V OL E T 3 : AP P UI À L A S T R AT É G IE DE MIS E E N V AL E UR DU T OUR IS ME DE NAT UR E E T D’

AV E NT UR E

(SMVTNA)

C ADR E DE S UIV I E T D’É VAL UAT ION P R É L IMINAIR E

Préparé par : Direction générale des services à la gestion

Février 2018

Table des matières

1 CONTEXTE ........................................................................................................................................ 1

2 DESCRIPTION DU PROGRAMME ...................................................................................................... 2

2.1 RAISON D’ÊTRE .....................................................................................................................3

2.2 OBJECTIFS .............................................................................................................................4

2.3 LOGIQUE D’INTERVENTION ..................................................................................................4

3 SUIVI DU PROGRAMME ................................................................................................................... 7

3.1 CHOIX DES INDICATEURS ET DES CIBLES ...............................................................................8

3.1.1 Choix des indicateurs .................................................................................................................8

4 STRATÉGIE GLOBALE D’ÉVALUATION ............................................................................................. 12

5 CONSIDÉRATIONS ÉTHIQUES ......................................................................................................... 14

6 APPROBATION DES RESPONSABLES ............................................................................................... 14

1

1. CONTEXTE Le 12 décembre 2017, le Conseil du trésor (CT) approuve le Programme de soutien aux Stratégies de développement touristique (PSSDT) et son cadre normatif (CT 218413). Il précise qu’à échéance, le 31 mars 2020, une évaluation de programmes, basée entre autres sur l’atteinte des résultats visés, sera réalisée. Afin de planifier cette future évaluation, il convient de transmettre un cadre de suivi et d’évaluation préliminaire au Secrétariat du Conseil du trésor (SCT) au plus tard le 31 janvier 2018.

Le cadre de suivi et d’évaluation préliminaire répond aux exigences de la Directive concernant l’évaluation de programmes dans les ministères et organismes (SCT, 19 février 2014) qui prévoit que ce document soit produit pour toute demande d’autorisation d’un nouveau programme.

Conformément au plan annuel en matière d’évaluation de programmes 2017-2018, la Direction générale des services à la gestion a été mandatée par les autorités du ministère du Tourisme (MTO) pour réaliser le cadre de suivi et d’évaluation préliminaire du PSSDT volet 3 - Appui à la stratégie de mise en valeur du tourisme de nature et d’aventure (SMVTNA).

Ce document sera préalablement approuvé par le sous-ministre et transmis au SCT quinze jours avant le début des travaux d’évaluation, tel que précisé dans la directive.

Le cadre de suivi et d’évaluation préliminaire a pour intention de décrire le programme, de proposer un plan de suivi des principaux indicateurs en plus de développer une stratégie globale d’évaluation. Cette stratégie permet de planifier et de détailler une démarche qui rendra compte de la pertinence et du fonctionnement du programme en plus d’en estimer la performance globale.

La structure du présent document répond au gabarit proposé par le SCT et contient les renseignements suivants :

• La description du programme incluant sa raison d’être, ses objectifs et sa logique d’intervention;

• Le suivi du programme décrivant les indicateurs retenus, les sources de données, la fréquence et la responsabilité de la collecte;

• La stratégie globale d’évaluation comprenant les principales étapes et méthodes utilisées.

2

2. DESCRIPTION DU PROGRAMME En harmonie avec les objectifs du Plan de développement de l’industrie touristique 2012-2020 : un itinéraire vers la croissance (PDIT) et du Plan d’action 2016-2020, le PSSDT vise le renforcement et le développement de l’offre touristique québécoise afin de faire du tourisme « une industrie concurrentielle, durable, innovante et attractive pour les visiteurs du Québec et ceux des marchés extérieurs ». Il comporte cinq volets qui entendent stimuler l’investissement privé, la création d’emplois, l’augmentation du nombre de visiteurs et l’accroissement des retombées économiques du tourisme dans toutes les régions du Québec.

Le 17 mars 2016, lors du discours du budget 2016-2017, le gouvernement du Québec annonçait des contributions gouvernementales totalisant 40 M$ pour soutenir la mise en œuvre de trois stratégies de développement touristique. La mise à jour économique de novembre 2017 est venue bonifier de 20 M$ ce montant, portant ainsi le budget à 60 M$. Le PSSDT volet 3 SMVTNA s’inscrit dans le déploiement du PSSDT. Cette stratégie repose sur la vision suivante : « Faire du Québec une destination authentique, reconnue, définie par son originalité, s’appuyant sur ses avantages concurrentiels au sein des marchés touristiques d’exploitation et génératrice de retombées durables grâce à des alliances stratégiques ».

C’est dans ce contexte que la SMVTNA est déployée. De cette stratégie découlent trois axes majeurs d’intervention :

• Favoriser l’investissement privé pour développer des produits distinctifs et compétitifs;

• Offrir un accompagnement adapté aux entrepreneurs pour consolider un tissu d’entreprises performantes;

• Soutenir la structuration d’une offre de séjours multiactivités et multisaisons pour offrir aux visiteurs une expérience enrichie et intégrée.

Le volet 3 du PSSDT offre une aide financière pour des projets comportant des coûts minimaux de 100 000 $ et l’aide maximale accordée est de 3 M$ pour la construction, l’agrandissement ou la réfection d’infrastructure touristique et la consolidation, l’implantation, l’expansion ou la modernisation d’un attrait, d’une activité, d’un équipement, d’un produit spécialisé ou d’un service touristique. À partir de janvier 2018, l’aide maximale accordée par le MTO est de 2 M$.

Cette aide financière ne peut excéder 33,33 % des coûts admissibles d’un projet et est versée comptant en deux versements. Le premier versement, équivalant à 60 % de

3

l’aide accordée, est versé à la suite de la signature de l’entente avec le promoteur alors que le second versement, équivalant à 40 % de l’aide prévue, est versé à la suite de la réception de l’audit d’un vérificateur externe.

Le cumul maximal des aides gouvernementales comprend le total des aides financières accordées comprend le total des aides financières accordées, incluant les aides remboursables considérées à 50% pour les coûts admissibles du projet par l’ensemble des ministères et organismes provinciaux et fédéraux ainsi que des entités municipales. Ce cumul ne pourra pas excéder 50 % s’il s’agit d’un organisme à but lucratif (OBL), 80 % s’il s’agit d’un organisme à but non lucratif (OBNL), d’une coopérative et d’une municipalité et 90 % s’il s’agit de communauté ou de nation autochtone (OBL et OBNL) ainsi que pour des organismes des Îles-de-la-Madeleine.

Pour être admissible, tout projet doit satisfaire aux conditions suivantes :

• Constituer un des produits touristiques prioritaires ciblés dans la SMVTNA ou être complémentaire à l’un des produits ciblés;

• Démontrer un potentiel d’attraction des clientèles touristiques.

a. RAISON D’ÊTRE Les activités touristiques de type nature et aventure se retrouvent dans toutes les régions touristiques du Québec. Elles constituent un bon complément à d’autres produits touristiques québécois et leur grande diversité ajoute à l’enrichissement de l’expérience offerte aux visiteurs. Pour atteindre ses objectifs, le Québec doit proposer une expérience touristique sans cesse renouvelée qui mise sur des produits novateurs et distinctifs afin de se démarquer des destinations concurrentes.

La décision de miser sur le tourisme de nature et aventure tire son origine des conclusions de la table mixte qui regroupait l’ensemble des acteurs touristiques québécois en vue d’élaborer le PDIT. Celle-ci est venue à la conclusion que le tourisme de nature et d’aventure était un secteur touristique à fort potentiel ainsi qu’un produit complémentaire à plusieurs autres offres touristiques québécoises. Par la suite, une analyse de l’état des lieux du secteur fut entreprise par la Direction des politiques et de l’intelligence d’affaires (DPIA) du MTO afin d’identifier les produits prioritaires permettant la mise en œuvre de la stratégie. Les investissements prévus au volet 3 du PSSDT devraient aider le Québec à développer son plein potentiel touristique au niveau du tourisme de nature et d’aventure.

4

Compte tenu du potentiel que représente le tourisme international en matière du tourisme de nature et d’aventure, et en raison de ce que le Québec peut offrir comme expérience à ses visiteurs, ses activités touristiques font partie des composantes qui contribueront à l’atteinte des cibles établies au PDIT 2012-2020 ainsi que du Plan d’action 2016-2020.

b. OBJECTIFS Le Programme d’appui à la SMVTNA vise deux objectifs spécifiques (effets à court terme) :

• Renforcer le développement et le renouvellement des produits identifiés dans la SMVTNA (villégiature en milieu naturel, adrénaline, expérience autochtone et produits spécialisés);

• Accroître la collaboration et les partenariats d’affaires entre les parcs nationaux ou les chefs de file de la villégiature en milieu naturel avec des entreprises performantes offrant des produits identifiés dans la stratégie.

Prise dans son ensemble, les projets développés dans le cadre de la SMVTNA, ainsi que dans les autres stratégies, contribueront à atteindre les objectifs généraux (effets à moyen terme) du PSSDT qui sont :

• Favoriser le développement d’une offre touristique originale complémentaire respectueuse du développement durable et répondant à la demande des marchés ciblés par le MTO;

• Stimuler l’économie des régions par la création d’emplois, l’augmentation du nombre de visiteurs et l’accroissement des recettes touristiques.

Le PSSDT ainsi que l’ensemble des programmes d’aides du MTO ont pour but de réaliser les objectifs du PDIT 2012-2020 ainsi que du Plan d’action 2016-2020 (effets à long terme) qui sont :

• Des recettes touristiques totalisant 18,9 G$ en 2020; • Un accroissement du nombre d’emplois équivalant à 50 000 emplois d’ici 2020. c. LOGIQUE D’INTERVENTION La Direction des interventions sectorielles (DIS) est responsable du déploiement de la SMVTNA ainsi que de soutenir les associations touristiques sectorielles (ATS) et autres organismes dans leurs démarches. De plus, la DIS soutient également la Direction des programmes et de l’intervention régionale (DPIR) dans la prise de décision concernant les demandes d’aides financières en réalisant des avis sectoriels dans le cadre du programme.

5

La DPIR du MTO est responsable de la mise en œuvre du PSSDT volet 3, de la sélection des projets et du suivi administratif des dossiers et de sa reddition de comptes. Elle assure le lien avec le promoteur à chacune des étapes du processus d’attribution d’une aide financière.

Pour leur part, les promoteurs doivent joindre à leur formulaire de Demande d’aide financière, dûment rempli, les documents exigés, dont un plan d’affaires qui présente la description détaillée des clientèles visées ainsi que les impacts et les retombées touristiques du projet. Cette première étape permet de valider l’admissibilité du projet. À la suite de l’analyse de leur dossier de Demande d’aide financière, le MTO soutient les clientèles admissibles dans la réalisation de leur projet.

La coordination des actions de ces différents acteurs a pour objectif de sélectionner et de financer des projets ayant pour but de soutenir la mise en œuvre de la SMVTNA. Ces projets permettront de dynamiser et diversifier l’offre touristique québécoise en matière de tourisme de nature et d’aventure.

Le schéma suivant illustre la logique d’intervention du programme. Il présente une description sommaire du programme et de ses composantes.

Schéma : Modèle logique du Programme d’appui à la SMVTNA

Raison d'être Les activités touristiques de type nature et aventure se retrouvent dans toutes les régions touristiques du Québec et constituent un bon complément à d’autres produits touristiques québécois. Cependant, l’offre nécessite d’être structurée :

• Besoin de faire du Québec une destination reconnue qui mise sur ses grands espaces et qui se distingue par son offre multiactivité;

• Besoin de développer la pratique d’activités de plein air, que ce soit d’aventure, de découverte, de culture autochtone ou de séjour de forêt;

• Besoin d’appuyer les entreprises offrant des expériences authentiques et diversifiées.

Conditions d'admissibilité

Pour être admissible, tout projet doit satisfaire aux conditions suivantes :

• Constituer un des produits touristiques prioritaires ciblés par la stratégie ou être complémentaire à l'un des produits ciblés;

• Démontrer un potentiel d'attraction des clientèles touristiques.

6

Clientèle cible • Les OBL légalement constitués au Québec; • Les OBNL légalement constitués au Québec; • Les coopératives légalement constituées au Québec; • Les municipalités63; • Les communautés et les nations autochtones reconnues par l’Assemblée

nationale; • Tout regroupement de ces clientèles.

Objectifs Objectifs spécifiques

• Renforcer le développement et le renouvellement des produits identifiés dans la SMVTNA;

• Accroître la collaboration et les partenariats d’affaires entre les parcs nationaux ou les chefs de file de la villégiature en milieu naturel avec des entreprises performantes offrant des produits identifiés dans la stratégie.

Objectifs généraux

• Favoriser le développement d’une offre touristique originale, complémentaire respectueuse du développement durable et répondant à la demande des marchés ciblés par le MTO;

• Stimuler l’économie des régions par la création d’emplois, l’augmentation du nombre de visiteurs et l’accroissement des recettes touristiques.

Buts

• Faire du tourisme une industrie compétitive, durable, innovante et attractive pour les visiteurs du Québec et des autres marchés;

• Soutenir la mise en œuvre du PDIT 2012-2020 et du Plan d’action 2016-2020.

Nature de l'intervention

À la suite de l'analyse de leur dossier de demande d'aide financière, le MTO soutient les clientèles admissibles dans la réalisation de leurs projets selon les modalités suivantes :

• L’aide financière est versée comptant et est accordée en deux versements. 60 % à la signature de l’entente et 40 % à la réception de l’audit d’un vérificateur externe;

• Le projet doit comporter des coûts admissibles d’au moins 100 000 $ et l’aide financière est de 3 M$. L’aide maximale accordée sera de 2 M$ à partir de janvier 2018.

63 La désignation de municipalité comprend les municipalités, les cités les villes, les villages, les paroisses, les cantons, les cantons unis, les villages nordiques, les territoires non organisés, les municipalités régionales de comté (MRC), les communautés métropolitaines, les régies intermunicipales et les corporations ou les organismes dont une corporation municipale nomme la majorité des membres ou contribue à plus de la moitié du financement, les regroupements de tels municipalités, corporations ou organismes.

7

Intrants Ressources financières : 60 M$ pour les volets 1, 2, 3 (2016-2017 à 2019-2020). Ressources humaines : les responsables de la coordination du programme (DIS, DPIR). Ressources informationnelles : les données administratives et de gestion sont consignées dans le système de gestion de l'aide financière du MTO (demandes d'aide financière, fiches de retombées touristiques, etc.).

Activités de production

• Demandes d'aide financière reçues en continu; • Analyse et évaluation de l'admissibilité de la demande d'aide financière; • Prise de décision relative à chacune des demandes d'aide financière; • Attribution de l'aide financière et protocole d'entente; • Suivi et reddition de comptes.

Extrants • Nombre de projets soutenus par le programme;

Effets à court terme

• Développement et renouvellement des produits identifiés à la SMVTNA; • Accroissement de la collaboration et des partenariats d’affaires entre les parcs

nationaux ou les chefs de file de la villégiature en milieu naturel avec des entreprises performantes offrant des produits identifiés dans la stratégie.

Effets à moyen terme

• Augmentation de l’achalandage; • Augmentation du chiffre d'affaires du promoteur; • Augmentation des emplois créés.

Effets à long terme • Augmentation du taux d’occupation moyen des établissements d’hébergement touristiques;

• Augmentation de la fréquentation régionale et la provenance des touristes; • Augmentation du nombre d’emplois liés au tourisme; • Augmentation des recettes touristiques du Québec.

3. SUIVI DU PROGRAMME Le suivi du programme est un examen périodique des activités à l’aide d’indicateurs et de cibles préétablis dans le but de constituer la base de données nécessaire à l’évaluation, soit la mesure de l’atteinte des résultats visés exigée par le CT. La mise en place d’un processus de suivi adéquat assure la disponibilité de données fiables et valides en temps opportun pour évaluer les programmes aux moments clés. Pour les besoins du cadre de suivi et d’évaluation préliminaire, le suivi du programme consiste à déterminer les indicateurs significatifs à documenter afin de planifier la collecte et l’analyse des données. Or, la mise en place du processus d’évaluation de programmes fut décidée après la mise en œuvre de la SMVTNA, faisant en sorte que cette partie du processus d’évaluation a dû être élaborée a posteriori. Dans ces circonstances, en plus des données prévues dans le cadre normatif (CT 218413), il fut décidé d’identifier des indicateurs pertinents qui sont en adéquation avec les données déjà collectées par la DPIA. Une autre partie des données sera rassemblée à

8

partir des fiches de Demande d’aide financière et de fiches de retombées économiques récupérées par la DPIR. Quant à l’établissement des cibles à atteindre, elles correspondront à celles déjà établies par le PDIT 2012-2020 et du Plan d’action 2016-2020 lorsque ceux-ci en mentionnent. a. CHOIX DES INDICATEURS ET DES CIBLES

i. Choix des indicateurs Les normes relatives au PSSDT autorisées par le CT 218413 précisent qu’une évaluation de programmes basée sur les résultats visés sera réalisée à l’échéance du programme afin de comparer les résultats obtenus avec la situation initiale sur la base des indicateurs suivants :

progression de l’achalandage; progression du chiffre d’affaires du promoteur; progression des emplois créés.

Cette évaluation permettra également de mesurer la contribution du PSSDT à l’atteinte des objectifs du PDIT 2012-2020 et du Plan d’action 2016-2020, notamment :

le taux d’occupation moyen des établissements d’hébergement touristiques; la fréquentation régionale et la provenance des touristes; le nombre d’emplois liés au tourisme; les recettes touristiques du Québec.

Pour mesurer le niveau d’atteinte des résultats visés, il est convenu d’utiliser l’information contenue dans les formulaires et documents obligatoires à une demande d’aide financière. Elle permet de déterminer les indicateurs et les cibles par projet financé au moment du démarrage, c’est-à-dire « l’an un ». Parmi les informations, il y a le type de projet, le montant d’investissement, la période saisonnière et le nombre de personnes à l’emploi depuis les deux dernières années complètes d’opération ainsi que le nombre projeté pour les deux années qui suivront; c’est la même chose pour le nombre et la provenance des visiteurs. Dans le but d’assurer le suivi des résultats du programme à partir de la date de démarrage du projet, et cela jusqu’au moment opportun de réaliser l’évaluation, l’information documentée dans les fiches de retombées touristiques (annexe B) sera utilisée. Cette fiche fournit annuellement les données nécessaires sur l’achalandage par marché ciblé, sur la saisonnalité, la structuration et la forfaitisation de l’offre, les données financières du promoteur du projet. En plus des indicateurs exigés par le CT 218413, la collecte d’autres données est actuellement en cours afin d’aider à la prise de décision. Cette collecte est faite par la DPIA depuis la création du PDIT en 2012, et se poursuivra en 2018 et 2019. Le tableau suivant présente la liste des indicateurs retenus pour mesurer l’atteinte des résultats visés par la SMVTNA.

9

Tableau : Fiche des indicateurs de suivi

Effet Indicateur Donnée de référence Cible Source de données Fréquence de la collecte

Responsabilité de la collecte

Évaluation des effets, de l’efficacité et de l’efficience

Développement et renouvellement des produits identifiés dans la stratégie

(Effet à court terme)

Nombre d’attraits financés par la SMVTNA Avant la stratégie : 0 S/O Fiche de demande

d’aide financière En continu DPIR

Chiffre d’affaires des entreprises en écotourisme (AEQ) 2017 : 77 800 000 $

Évolution à la hausse

Portail ATS Rapport AEQ Annuelle DIS

Nombre d’entreprises dans le secteur de l’écotourisme 2016 : 160 Maintien ou

évolution à la hausse

Portail ATS Rapport AEQ Annuelle DIS

Chiffre d’affaires des entreprises du secteur des pourvoiries ($)

2016 : 135 026 335 $

Évolution à la hausse

Portail ATS Rapport FPQ Annuelle DIS

Nombre d’entreprises dans le secteur des pourvoiries 2016 : 609

Maintien ou évolution à la

hausse

Portail ATS Rapport FPQ Annuelle DIS

Nombre d’entrée dans les parcs du réseau SÉPAQ 2016 : 4 803 724

Évolution à la hausse

Banque de données de la SÉPAQ Annuelle DIS

Chiffre d’affaires moyen des entreprises du tourisme autochtone ($)

2016 : 400 000 $ Évolution à la hausse

Portail ATS Rapport TAQ

Annuelle DIS

Nombre d’entreprises œuvrant dans le domaine du tourisme autochtone

2016 : 229 Maintien ou évolution à la

hausse

Portail ATS Rapport TAQ

Annuelle DIS

Accroissement de la collaboration et des

partenariats d’affaires (Effet à court terme)

Nombre de partenariat et de collaboration entre la SÉPAQ et des entreprises privées

Avant la stratégie : 0

Évolution à la hausse

Banque de données de la SÉPAQ/Fiche de demande d’aide financière

Annuelle DIS

Augmentation de la compétitivité du

tourisme de nature et d’aventure

(Effet à court et

Nombre de touristes Avant le projet (fiche de demande d’aide financière)

Selon les prévisions des

promoteurs/DIS

Fiche de demande d’aide financière /Fiche retombée touristique

En continu DPIR

Chiffre d’affaires du promoteur Avant le projet (fiche de demande d’aide financière)

Selon les prévisions des

Fiche de demande d’aide financière /Fiche En continu DPIR

10

moyen terme) promoteurs/DIS retombée touristique

Nombre d’emploi Avant le projet (fiche de demande d’aide financière)

Selon les prévisions des

promoteurs/DIS

Fiche de demande d’aide financière /Fiche retombée touristique

En continu DPIR

Ratio de touriste québécois/hors-Québec Année 2012 : 78,3 % Québec 21,7 % hors Québec

Maintien ou évolution à la hausse H-Q

Banque de données DPIA Annuelle DPIA

Contribution du PSSDT à l’atteinte

des objectifs du PDIT et du Plan d’action

2016-2020 (Effet à long terme)

Taux d’occupation moyen des établissements d’hébergement touristiques (%)

Année 2012 : 52,5 % + 1 % par année Base de données de la

DPIA Mensuelle DPIA

Achalandage touristique du Québec (M) (Des changements méthodologiques de la part de Statistique Canada ont rendu la cible caduque)

Année 2012 : 30,7 M

Auparavant : +7M en 2020

Rapport Le tourisme au Québec en bref Annuelle DPIA

Nombre d’emplois liés au tourisme Année 2012 : 344 494

+ 50 000 d’ici 2020

Portrait de l'industrie touristique Annuelle DPIA

Dépenses touristiques du Québec (M$) Année 2012 : 12 800 M$ + 5 % par an Rapport Le tourisme au

Québec en bref Annuelle DPIA

Évaluation de fonctionnement

Conformité des projets soutenus par

le programme

Taux en pourcentage des aides livrées dans les temps

Sans Objet

100 % Fiche de demande d’aide financière En continu DPIR

Taux en pourcentage des projets financés qui sont terminés 100 % Fiche de demande

d’aide financière En continu DPIR

Taux en pourcentage des projets qui respectent la durée de réalisation prévue dans l’entente 100 % Fiche de demande

d’aide financière En continu DPIR

Nombre de projets refusés S/O Fiche de demande d’aide financière En continu DPIR

Nombre de documents de suivis et de redditions de comptes reçus S/O Fiche retombée

touristique En continu DPIR

Évaluation de la pertinence

Répondre aux besoins du secteur

Taux en pourcentage de projets conformes acceptés Sans Objet

85 % Fiche de demande d’aide financière En continu DPIR

Nombre de demandes d’aide financière reçues S/O Fiche de demande d’aide financière En continu DPIR

11

Montant des aides financières octroyées ($) S/O Fiche de demande d’aide financière En continu DPIR

Volume de projets financés par rapport au volume de projets reçus S/O Fiche de demande

d’aide financière En continu DPIR

Volume de financement disponible par rapport au volume de financement demandé ($) S/O Fiche de demande

d’aide financière En continu DPIR

4. STRATÉGIE GLOBALE D’ÉVALUATION Cinq types d’évaluation sont prévus dans la stratégie. Ces questions couvrent les critères d’analyse de pertinence, de mise en œuvre, des effets, d’efficacité et d’efficience. Ces aspects permettront de répondre aux besoins d’informations du MTO et du SCT et seront particulièrement utiles à la prise de décision lors d’une éventuelle reconduction du programme. Selon les indicateurs, la collecte de données pourrait se faire de 2012 à 2019. Dans le cas contraire, la collecte se fera de 2017 à 2019 inclusivement. Pour les 5 évaluations :

- Transmission du cadre d’évaluation : janvier 2019 - Transmission du rapport d’évaluation : janvier 2020

L’évaluation de la pertinence L’évaluation de la pertinence permet de vérifier l’adéquation entre la raison d’être du programme et les besoins à satisfaire. L’évaluation s’intéressera également sur le bien-fondé des interventions afin de s’assurer que celles-ci répondent bien aux besoins spécifiques du secteur du tourisme du tourisme de nature et d’aventure. L’évaluation se penchera également sur la pertinence de l’aide financière accordée. Pour ce faire, un sondage sera envoyé aux promoteurs ayant bénéficié du soutien de la SMVTNA, aux promoteurs dont le projet a été refusé ainsi qu’aux ATS s’y rattachant afin de déterminer si le programme répond bien aux attentes et aux besoins de l’industrie. L’élaboration du sondage ainsi que son prétest aura lieu au troisième trimestre de 2019 alors que l’envoi du sondage et la compilation des données se feront au début du quatrième trimestre de 2019. À la suite de cette première ronde de consultation, certaines entrevues téléphoniques pourraient avoir lieu si un besoin d’information supplémentaire se faisait sentir. Les principales questions du sondage et des entrevues porteront sur la pertinence de la forme que prend le financement de l’aide (aide au comptant en deux versements), le genre de projets admissibles pour l’aide ainsi que les produits touristiques ciblés par l’aide. En parallèle de cette démarche, les données contenues dans les fiches de demande d’aide financière en lien avec la pertinence du programme (nombre de projets conformes acceptés, nombre de demandes d’aide financière reçues, montant des aides octroyées) seront compilées. L’ensemble des indicateurs nommés plus haut pourront aussi aider à déterminer si le secteur du tourisme de nature et d’aventure nécessite toujours d’être soutenu ou si certains produits ciblés par la stratégie n’ont plus besoin d’aide supplémentaire. L’évaluation de fonctionnement Cette évaluation vise à s’assurer que les processus et les procédures soient déployés conformément à ce qui a été prévu et qu’ils contribuent à l’atteinte des objectifs visés. Elle permettra de mettre en lumière les forces à préserver et les faiblesses à corriger. Dans ce cas-ci, l’évaluation consistera à compiler les données présentes dans la demande d’aide financière acceptée afin de vérifier que les critères quant au type de projet, aux types de bénéficiaire ainsi qu’à la région concernée soient respectés. La collecte des données se fera en continu par la DPIR au fur et à mesure que les projets seront acceptés ainsi que le suivi de l’implantation des projets par le promoteur. De plus, le processus de sondage expliqué plus tôt servira également à questionner les bénéficiaires du programme, les ATS et les promoteurs s’étant vu refuser une aide financière sur les forces et les faiblesses du programme.

L’évaluation de l’efficacité Cette évaluation consiste à mesurer le degré d’atteinte des objectifs de l’intervention. Pour ce faire, l’équipe d’évaluation de programmes se penchera sur l’ensemble des indicateurs présentés plus haut en ce qui a trait aux effets à court et moyen terme de la SMVTNA, soit les indicateurs prévus pour les effets de développement et croissance des produits identifiés à la stratégie, l’accroissement de la collaboration et des partenariats d’affaires, l’augmentation de la compétitivité du tourisme de nature et d’aventure et la contribution du PSSDT à l’atteinte des objectifs du PDIT. La cueillette de ces données se fera essentiellement par de la recherche et de l’analyse documentaire faite par la DPIA/DIS/DPIR une fois par année ou par mois selon l’indicateur. Le but de la collecte sera de suivre l’évolution des indicateurs pour les promoteurs ayant bénéficié d’une aide financière afin de les comparer aux données de l’ensemble de leur secteur touristique afin de déterminer si ceux-ci ont mieux performé que leur secteur. Dans un second temps, les secteurs touristiques priorisés par la stratégie seront comparés à l’ensemble de l’industrie touristique de nature et d’aventure afin de vérifier si ces secteurs ont mieux performé que l’industrie. Finalement, afin de mieux définir l’inférence causale entre la SMVTNA et l’évolution des données, le processus de sondage cité plus haut permettra aussi de questionner les promoteurs ayant bénéficié d’une aide financière ainsi que les ATS s’y rattachant sur la part de l’évolution imputable à l’aide octroyée. L’évaluation de l’efficience Cette évaluation permet d’examiner la relation entre les effets du programme et les ressources utilisées pour les produire. Autrement dit, il sera question de déterminer le ratio entre les effets du programme et ses intrants. Suite à la collecte et à l’analyse des données recueillies aux fins de l’évaluation de l’efficacité du programme, il sera possible, dans une certaine mesure, de déduire les ressources nécessaires afin de créer ou préserver un emploi grâce au programme, d’évaluer l’importance de l’investissement privé qui découle de l’aide financière accordée ainsi que celle des retombées économiques issues du programme. Ces données pourront ensuite être comparées aux autres volets du PSSDT ou à d’autres programmes gouvernementaux afin de juger de l’efficience de la démarche. Pour ce faire, la méthode Data Envelopment Analysis (DEA) est envisagée. L’évaluation des effets L’évaluation des effets se penche sur l’état de la situation avant et après intervention. Elle vise à mesurer les effets entraînés par une intervention sur la clientèle visée. Dans un premier temps, les fiches de demande d’aide financière ainsi que les documents de reddition de compte seront comparés afin de valider que les infrastructures aient bien été construire, réfectionnées ou améliorées conformément à l’entente. En plus de bonifier l’aspect évaluatif du fonctionnement du programme, cette mesure permettra de quantifier le premier effet direct du programme soit l’amélioration des infrastructures. Dans un deuxième temps, les données provenant des fiches de demande d’aide financière ainsi que des fiches de retombées économiques soient l’achalandage, le maintien ou la création d’emploi et les revenus du promoteur du projet avant la demande de l’aide financière seront

comparées aux données recueillies via les fiches de retombées économiques lors des cinq années suivant l’octroi de l’aide. Le processus de sondage servira également à demander aux promoteurs si la modernisation de leur infrastructure aurait été possible sans l’aide du programme. 5. CONSIDÉRATIONS ÉTHIQUES Les informations obtenues seront traitées et manipulées de façon strictement confidentielle en respect de la Loi sur l’accès aux documents des organismes publics et sur la protection des renseignements personnels (L.R.Q., chapitre A-2.1). Les informations colligées serviront exclusivement aux fins annoncées par la présente évaluation. Aucune autre utilisation ne peut en être faite. 6. APPROBATION DES RESPONSABLES La mise en œuvre du cadre de suivi et d’évaluation implique la participation et l’approbation de plusieurs directions du MTO :

la DPIR est gestionnaire du PSSDT et responsable de la disponibilité de l’information requise pour les besoins de l’évaluation;

la DPIA offre un soutien pour la constitution de la base de données et l’analyse des

retombées économiques; la DIS coordonne la mise en œuvre de la Stratégie de mise en valeur du tourisme de

nature et d’aventure (SMVTNA).

Préparé par : Carmen Méndez et Benoit Lapierre Date :

Approuvé par le directeur général : Sylvain Bernier Date :

MINIS TÈ R E DU TOUR IS ME

P R OG R AMME DE S OUT IE N AUX S T R AT É G IE S DE DÉ V E L OP P E ME NT T OUR IS T IQUE

(PSSDT)

V OL E T 4 : AP P UI À L A S T R AT É G IE DE MIS E E N V AL E UR DU S AINT -L AUR E NT T OUR IS T IQUE

(SMVSLT)

C ADR E DE S UIV I E T D’É VAL UAT ION P R É L IMINAIR E

Préparé par : Direction générale des services à la gestion Février 2018

Table des matières 1 CONTEXTE........................................................................................................................................ 1

2 DESCRIPTION DU PROGRAMME ...................................................................................................... 1

2.1 RAISON D’ÊTRE .................................................................................................................... 2

2.2 OBJECTIFS ............................................................................................................................ 3

2.3 LOGIQUE D’INTERVENTION ................................................................................................. 3

3 SUIVI DU PROGRAMME ................................................................................................................... 6

3.1 CHOIX DES INDICATEURS ET DES CIBLES .............................................................................. 7

3.1.1 Le choix des indicateurs ............................................................................................................ 7

4 STRATÉGIE GLOBALE D’ÉVALUATION ............................................................................................... 3

5 CONSIDÉRATIONS ÉTHIQUES ........................................................................................................... 5

6 APPROBATION DES RESPONSABLES ................................................................................................. 5

1

1 CONTEXTE Le 12 décembre 2017, le Conseil du trésor approuve le Programme de Soutien aux Stratégies de Développement Touristique (PSSDT) et son cadre normatif (CT 218413). Il précise qu’à échéance, le 31 mars 2020, une évaluation de programme, basée entre autres sur l’atteinte les résultats visés, sera réalisée. Afin de planifier cette future évaluation, il convient de transmettre un cadre de suivi et d’évaluation préliminaire au Secrétariat du Conseil du trésor (SCT) au plus tard le 31 janvier 2018. Le cadre de suivi et d’évaluation préliminaire répond aux exigences de la Directive concernant l’évaluation de programmes dans les ministères et organismes (SCT, 19 février 2014) qui prévoit que ce document soit produit pour toute demande d’autorisation d’un nouveau programme. Conformément au plan annuel en matière d’évaluation de programmes 2017-2018, la Direction Générale des Services à la Gestion a été mandatée par les autorités du ministère du Tourisme (MTO) pour réaliser le cadre de suivi et d’évaluation préliminaire du PSSDT volet 4 - Appui à la Stratégie de mise en valeur du Saint-Laurent touristique (SMVSLT). Ce document sera préalablement approuvé par le sous-ministre et transmis au Secrétariat du Conseil du trésor (SCT) quinze jours avant le début des travaux d’évaluation, tel que précisé dans la directive. Le cadre de suivi et d’évaluation préliminaire a pour intention de décrire le programme, de proposer un plan de suivi des principaux indicateurs en plus de développer une stratégie globale d’évaluation. Elle permet de planifier et de détailler une démarche qui rendra compte de la pertinence et du fonctionnement du programme en plus d’en estimer la performance globale. La structure du présent document répond au gabarit proposé par le SCT et contient les renseignements suivants :

• La description du programme incluant sa raison d’être, ses objectifs et sa logique d’intervention;

• Le suivi du programme décrivant les indicateurs retenus, les sources de données, la fréquence et la responsabilité de la collecte;

• La stratégie globale d’évaluation comprenant les principales étapes et méthodes utilisées.

2 DESCRIPTION DU PROGRAMME En harmonie avec les objectifs du Plan de développement de l’industrie touristique 2012-2020 : un itinéraire vers la croissance (PDIT) et du Plan d’action 2016-2020, le PSSDT vise le renforcement et le développement de l’offre touristique québécoise afin de faire du « tourisme une industrie concurrentielle, durable, innovante et attractive pour les visiteurs du Québec et ceux des marchés extérieurs ». Il comporte cinq volets qui entendent stimuler l’investissement privé, la création d’emplois, l’augmentation du

2

nombre de visiteurs et l’accroissement des retombées économiques du tourisme dans toutes les régions du Québec. C’est dans ce contexte que la SMVSLT est déployée. Le MTO disposait déjà d’un programme similaire visant le soutien à la mise en œuvre de la SMVSLT. Il s’agit du Programme Stratégie maritime - volet tourisme (PSMVT) qui a été approuvé par le CT 214235 du 21 octobre 2014. Vu la similitude entre ces deux programmes et dans le but d’uniformiser et de simplifier le nombre de programmes disponibles au MTO, il a été jugé opportun d’intégrer le PSMVT au nouveau programme. Le PSSDT volet 4 offre une aide financière pour les projets dont les coûts admissibles sont d’au moins 100 000 $ et l’aide financière maximale pouvant être accordée est de 3 M$, pour la construction, l’agrandissement ou la réfection d’infrastructure touristique et la consolidation, l’implantation, l’expansion ou la modernisation d’un attrait, d’une activité, d’un équipement, d’un produit spécialisé ou d’un service touristique. À partir de janvier 2018, l’aide financière maximale passera à 2 M$. Cette aide financière ne peut excéder 33,33 % des coûts admissibles d’un projet. Elle peut être versée comptant lorsque l’aide financière est de 250 000 $ et moins. Lorsque celle-ci est de plus de 250 000 $ ou lorsqu’elle ne peut être versée comptant, elle est attribuée sous forme de prise en charge du service de la dette sur une période maximale de 10 ans à laquelle s’ajoutent les intérêts. Le cumul maximal des aides gouvernementales comprend le total des aides financières accordées comprend le total des aides financières accordées, incluant les aides remboursables considérées à 50% pour les coûts admissibles du projet par l’ensemble des ministères et organismes provinciaux et fédéraux ainsi que des entités municipales. Ce cumul ne pourra pas excéder 50 % s’il s’agit d’un organisme à but lucratif (OBL), 80 % s’il s’agit d’un organisme à but non lucratif (OBNL), d’une coopérative et d’une municipalité et 90 % s’il s’agit de communauté ou de nation autochtone (OBL et OBNL) ainsi que pour des organismes des Îles-de-la-Madeleine. Pour être admissible, le projet doit être réalisé dans un des pôles du Saint-Laurent ou le long d’une route ou d’un circuit touristique entre les pôles ET constituer un des sept produits touristiques prioritaires identifiés dans la stratégie ou complémentaires à un des produits ciblés. 2.1 RAISON D’ÊTRE Le Saint-Laurent est l’un des vingt plus longs fleuves de la planète. Il constitue la nature même du paysage québécois, de son développement humain et de ses ressources naturelles exceptionnelles. L’Amérique française a pris naissance sur les rives de ce grand fleuve où vivent encore près de quatre Québécois sur cinq. Plusieurs destinations misant sur les voies navigables ou leurs plans d’eau majeurs proposent un développement intégré des activités maritimes et fluviales. Le Saint-Laurent est un joyau national et un atout majeur pour le développement touristique du Québec. La SMVSLT représente une des pierres d’assise du renouvellement touristique québécois et de son positionnement à l’international. Elle s’inscrit dans le prolongement de la vision économique du gouvernement du Québec et de sa stratégie maritime. Plus

3

concrètement, la décision de miser sur le tourisme autour du St-Laurent tire son origine des conclusions de la table mixte qui regroupait l’ensemble des acteurs touristiques québécois en vue d’élaborer le PDIT. Celle-ci est venue à la conclusion que le tourisme lié au fleuve St-Laurent était un secteur touristique à fort potentiel ainsi qu’un produit d’appel qui permettait au Québec de se distinguer de l’offre touristique internationale. Par la suite, une analyse de l’état des lieux du secteur fut entreprise par la Direction des politiques et de l’intelligence d’affaires (DPIA) du MTO afin d’identifier les produits ainsi que les régions prioritaires pour la mise en œuvre de la stratégie. Les investissements prévus au volet 4 du PSSDT devraient aider le Québec à développer son plein potentiel touristique au niveau du tourisme lié au St-Laurent. 2.2 OBJECTIFS Le volet 4 du PSSDT, Programme d’appui à la SMVSLT, vise à atteindre trois objectifs spécifiques (effets à court terme) :

• Hausser l’attractivité des 10 pôles du Saint-Laurent identifiés à l’ensemble de la SMVSLT 2014-202064;

• Renforcer la compétitivité et viser la croissance des produits prioritaires : croisières internationales, croisières fluviales et maritimes, croisières-excursions, observation de mammifères marins, sites naturels et patrimoniaux, nautisme, festivals et évènements;

• Augmenter l’achalandage en soutenant la structuration de l’offre des routes et des circuits touristiques liant les pôles du Saint-Laurent.

Pris dans son ensemble, les projets développés dans le cadre de la SMVSLT, ainsi que dans le cadre des autres stratégies, contribueront à atteindre les objectifs généraux (effets à moyen terme) du PSSDT qui sont :

• Favoriser le développement d’une offre touristique originale, complémentaire respectueuse du développement durable et répondant à la demande des marchés ciblés65 par le MTO;

• Stimuler l’économie des régions par la création d’emplois, l’augmentation du nombre de visiteurs et l’accroissement des recettes touristiques.

Le PSSDT ainsi que l’ensemble des programmes d’aides du MTO ont pour but de réaliser les objectifs du PDIT 2012-2020 ainsi que du Plan d’action 2016-2020 (effets à long terme) qui sont :

• Des recettes touristiques totalisant 18,9 G$ en 2020; • Un accroissement du nombre d’emplois équivalant à 50 000 emplois d’ici 2020. 2.3 LOGIQUE D’INTERVENTION 64 Les 10 pôles du Saint-Laurent identifiés à la stratégie sont : Montréal, Trois-Rivières, Québec, Parc marin du Saguenay-Saint-Laurent, Saguenay-Lac-Saint-Jean, Baie-Comeau, Sept-Îles, Havre-Saint-Pierre, Gaspé, Îles-de-la-Madeleine. 65 Les onze marchés ciblés : Ontario, Reste du Canada (ROC), Atlantique Centre (EU), Nouvelle-Angleterre (EU), Sud des États-Unis, Côte Ouest et Centre Ouest des États-Unis, France, Chine, Mexique et Québec (Stratégie 2014, p. 37 à 40).

4

La Direction des interventions sectorielles (DIS) est responsable du déploiement de la SMVSLT ainsi que de soutenir les associations touristiques sectorielles (ATS) et autres organismes dans leurs démarches. De plus, la DIS soutient également la Direction des programmes et de l’intervention régionale (DPIR) dans la prise de décision concernant les demandes d’aides financières en réalisant des avis sectoriels dans le cadre du programme. La DPIR du MTO est responsable de la mise en œuvre du PSSDT volet 4, de la sélection des projets et du suivi administratif des dossiers et de sa reddition de comptes. Elle assure le lien avec le promoteur à chacune des étapes du processus d’attribution d’une aide financière. Pour leur part, les promoteurs doivent joindre à leur formulaire de Demande d’aide financière, dûment rempli, les documents exigés, dont un plan d’affaires qui présente la description détaillée des clientèles visées ainsi que des impacts et des retombées touristiques du projet. Cette première étape permet de valider l’admissibilité du projet. À la suite de l’analyse de leur dossier de Demande d’aide financière, le MTO soutient les clientèles admissibles dans la réalisation de leur projet. Une aide financière leur est accordée selon différentes modalités de financement. La coordination des actions de ces différents acteurs a pour objectif de sélectionner et de financer des projets ayant pour but de soutenir la mise en œuvre de la SMVSLT. Ces projets permettront de dynamiser et diversifier l’offre touristique québécoise en matière de tourisme lié au Saint-Laurent. Le schéma suivant illustre la logique d’intervention du programme. Il présente une description sommaire du programme et de ses composantes. Schéma : Modèle logique du Programme d’appui à la SMVSLT.

Raison d'être Le Saint -Laurent compte parmi les plus grands fleuves du monde et donc un atout majeur pour le développement touristique du Québec qui doit être mis en valeur.

• Besoin de concerter la multitude d’acteurs concernés par sa préservation et son développement;

• Besoin de faire du Saint-Laurent une icône touristique de calibre international, qui fera la fierté des Québécois, jouira d’une notoriété auprès des clientèles étrangères et bénéficiera d’un développement durable aux retombées économiques considérables.

Conditions d'admissibilité

Pour être admissible, tout projet doit satisfaire aux conditions suivantes :

• Être réalisé dans un des pôles du Saint-Laurent ou le long d'une route ou d'un circuit touristiques entre les pôles;

• Constituer un des produits touristiques prioritaires identifiés dans la stratégie ou être complémentaire à l'un des produits ciblés.

5

Clientèle-cible • Les OBL légalement constitués au Québec; • Les OBNL légalement constitués au Québec; • Les coopératives légalement constituées au Québec; • Les municipalités66; • Les communautés et les nations autochtones reconnues par l’Assemblée nationale; • Tout regroupement de ces clientèles.

Objectifs Objectifs spécifiques

• Hausser l’attractivité des 10 pôles du Saint-Laurent identifiés à la stratégie d’ensemble;

• Renforcer la compétitivité et viser la croissance des produits prioritaires : croisières internationales, croisières fluviales, etc.;

• Augmenter l’achalandage en soutenant la structuration de l’offre des routes et des circuits touristiques liant les pôles du Saint-Laurent.

Les objectifs généraux

• Favoriser le développement d’une offre touristique originale, complémentaire respectueuse du développement durable et répondant à la demande des marchés ciblés par le MTO;

• Stimuler l’économie des régions par la création d’emplois, l’augmentation du nombre de visiteurs et l’accroissement des recettes touristiques.

Buts

• Faire du tourisme une industrie compétitive, durable, innovante et attractive pour les visiteurs du Québec et des autres marchés;

• Soutenir la mise en œuvre du PDIT 2012-2020 du Plan d’action 2016-2020.

Nature de l'intervention

À la suite de l'analyse de leur dossier de demande d'aide financière, le MTO soutient les clientèles admissibles dans la réalisation de leurs projets. Une aide financière leur est accordée sous forme de :

• Prise en charge du service de la dette lorsque l'aide financière est de plus de 250 000 $ (autofinancement, prêt à long terme, règlement d'emprunt);

• Possibilité de versement comptant lorsque l'aide financière est de 250 000 $ et moins.

Intrants Ressources financières : 12 M$ - (2016-2017 à 2019-2020)

Le budget initial annoncé est de 30 M$ (les engagements déjà pris totalisent 18 M$).

66 La désignation de municipalité comprend les municipalités, les cités les villes, les villages, les paroisses, les cantons, les cantons unis, les villages nordiques, les territoires non organisés, les municipalités régionales, de comté (MRC), les communautés métropolitaines, les régies intermunicipales et les corporations ou les organismes dont une corporation municipale nomme la majorité des membres ou contribue à plus de la moitié du financement, les regroupements de tels municipalités, corporations ou organismes.

6

Ressources humaines : Les responsables de la coordination du programme (DIS, DPIR).

Ressources informationnelles : Les données administratives et de gestion sont consignées dans le système de gestion de l'aide financière du ministère (demandes d'aide financière, fiches de retombées touristiques, etc.).

Activités de production

• Demandes d'aide financière reçues en continu; • Analyse et évaluation de l'admissibilité de la demande d'aide financière; • Prise de décision relative à chacune des demandes d'aide financière; • Attribution de l'aide financière et protocole d'entente; • Suivi et reddition de comptes.

Extrants • Nombre de projets soutenus par le programme;

Effets à court terme

• Hausse de l’attractivité des 10 pôles du Saint-Laurent; • Compétitivité et croissance des produits prioritaires; • Soutien accru à la structuration de l’offre des routes et circuits touristiques liant les

pôles du Saint-Laurent.

Effets à moyen terme

• Augmentation de l’achalandage; • Augmentation du chiffre d’affaires du promoteur; • Augmentation des emplois créés.

Effets à long terme

• Augmentation du taux d’occupation moyen des établissements d’hébergement touristiques;

• Augmentation de la fréquentation régionale et la provenance des touristes; • Augmentation du nombre d’emplois liés au tourisme; • Augmentation des recettes touristiques du Québec.

3 SUIVI DU PROGRAMME Le suivi du programme est un examen périodique des activités à l’aide d’indicateurs et de cibles préétablis dans le but de constituer la base de données nécessaire à l’évaluation, soit la mesure de l’atteinte des résultats visés exigée par le CT. La mise en place d’un processus de suivi adéquat assure la disponibilité de données fiables et valides en temps opportun pour évaluer les programmes aux moments clés. Pour les besoins du cadre de suivi et d’évaluation préliminaire, le suivi du programme consiste à déterminer les indicateurs significatifs à documenter afin de planifier la collecte et l’analyse des données. Or, la mise en place du processus d’évaluation de programmes fut décidée après la mise en œuvre de la SMVSLT, faisant en sorte que cette partie du processus d’évaluation a dû être élaborée a postériori. Dans ces circonstances, en plus des données prévues dans le cadre normatif (CT 218413), il fut décidé d’identifier des indicateurs pertinents qui sont en adéquation avec les données

7

déjà collectées par la Direction des politiques et de l'intelligence d'affaires (DPIA). Une autre partie des données sera rassemblée à partir des fiches de Demande d’aide financière et des fiches de retombées économiques récupérées par la DPIR. Quant à l’établissement des cibles à atteindre, elles correspondront généralement à celles déjà établies par le PDIT et le Plan d’action 2016-2020 lorsqu’elles s’appliquent.

3.1 CHOIX DES INDICATEURS ET DES CIBLES 3.1.1 Le choix des indicateurs

Les normes relatives au PSSDT autorisées par le CT 218413 précisent qu’une évaluation de programmes basée sur les résultats visés sera réalisée à l’échéance du programme afin de comparer les résultats obtenus avec la situation initiale sur la base des indicateurs suivants :

progression de l’achalandage; progression du chiffre d’affaires du promoteur; progression des emplois créés.

Cette évaluation permettra également de mesurer la contribution du PSSDT à l’atteinte des objectifs du PDIT 2012-2020 et du Plan d’action 2016-2020, notamment :

le taux d’occupation moyen des établissements d’hébergement touristiques; la fréquentation régionale et la provenance des touristes; le nombre d’emplois liés au tourisme; les recettes touristiques du Québec.

Pour mesurer le niveau d’atteinte des résultats visés, il est convenu d’utiliser l’information contenue dans les formulaires et documents, obligatoire à une demande d’aide financière. Elle permet de déterminer les indicateurs et les cibles par projet financé au moment du démarrage c’est-à-dire, « l’an un ». Parmi les informations, il y a le type de projet, le montant d’investissement, la période saisonnière et le nombre de personnes à l’emploi depuis les deux dernières années complètes d’opération ainsi que le nombre projeté pour les deux années qui suivront; c’est la même chose pour le nombre et la provenance des visiteurs. Dans le but d’assurer le suivi des résultats du programme à partir de la date de démarrage du projet et cela, jusqu’au moment opportun de réaliser l’évaluation, l’information documentée dans les fiches de retombées touristiques (annexe B) sera utilisée. Cette fiche fournit annuellement les données nécessaires sur l’achalandage par marché ciblé, sur la saisonnalité, la structuration et la forfaitisation de l’offre, les données financières de l’organisation promoteur du projet. En plus des indicateurs exigés par le CT 218413, la collecte d’autres données est actuellement en cours afin d’aider à la prise de décision. Cette collecte est faite par la DPIA depuis la création du PDIT en 2012, et se poursuivra en 2018-2019. Le tableau suivant présente la liste des indicateurs retenus pour mesurer l’atteinte des résultats visés du PSSDT volet 4.

8

Tableau : Fiche des indicateurs de suivi Effet Indicateur Donnée de référence Cible Source de données Fréquence de

la collecte Responsabilité de la

collecte Évaluation des effets, de l’efficacité et de l’efficience

Hausser l’attractivité des pôles du St-

Laurent identifiés à la stratégie

(Effet à court terme)

Nombre de passagers débarquant aux différents pôles (ventilé par pôles)

Total 2013 : 218 204

Évolution à la hausse

Banque de données Croisières du Saint-Laurent

Annuelle DPIR

Montant des investissements dans les infrastructures de croisière ($) S/O S/O Banque de données de la

DPIR Annuelle DPIR

Renforcer la compétitivité et viser la croissance des produits

prioritaires (Effet à court terme)

Volume de passagers de croisière internationale Moyenne 2010-2012 : 249 033

Évolution à la hausse

Banque de données Croisières du Saint-Laurent

Annuelle DPIR

Dépenses touristiques liées au Saint-Laurent au Québec ($)

Moyenne 2010-2012 : À venir + 5 % par année Banque de données de la

DPIR Annuelle DPIR

Nombre de projets d’installation d’infrastructures de type place à quai financés (produit nautisme) S/O S/O Fiche de demande d’aide

financière En continu DPIR

Soutenir la structuration de l’offre des routes et des circuits touristiques

liant les pôles du St-Laurent

(Effet à court terme)

Nombre de projets financés par la stratégie S/O S/O Fiche de demande d’aide financière En continu DPIR

Nombre de projets d’aide au développement destinés à l’accueil dans les escales S/O S/O Fiche de demande d’aide

financière En continu DPIR

Montant des aides destinées au développement de projets destiné à l’accueil dans les escales ($) S/O S/O Fiche de demande d’aide

financière En continu DPIR

Augmentation de la compétitivité du

tourisme lié au St-Laurent

(Effet à court et moyen terme)

Nombre de touristes Avant le projet (fiche de demande d’aide financière)

Selon les prévisions des

promoteurs/DIS

Fiche de demande d’aide financière /Fiche retombée touristique

En continu DPIR

Chiffre d’affaires du promoteur Avant le projet (fiche de demande d’aide financière)

Selon les prévisions des

promoteurs/DIS

Fiche de demande d’aide financière /Fiche retombée touristique

En continu DPIR

Nombre d’emploi Avant le projet (fiche de demande d’aide financière)

Selon les prévisions des

promoteurs/DIS

Fiche de demande d’aide financière /Fiche retombée touristique

En continu DPIR

Contribution du PSSDT à l’atteinte des objectifs

du PDIT et du Plan d’action 2016-2020 (Effet à long terme)

Taux d’occupation moyen des établissements d’hébergement touristiques (%)

Année 2012 : 52,5 % +1% par an Base de données de la

DPIA Mensuelle DPIA

Achalandage touristique du Québec (M) (Des changements méthodologiques de la part de Statistique Canada ont rendu la cible caduque)

Année 2012 : 30,7 M

Auparavant : +7M en 2020

Rapport Le tourisme au Québec en bref Annuelle DPIA

Nombre d’emplois liés au tourisme Année 2012 : 344 494

+ 50 000 d’ici 2020

Portrait de l'industrie touristique Annuelle DPIA

9

Recettes touristiques du Québec (M$) Année 2012 : 12 800 M$ + 5 % par an Rapport Le tourisme au

Québec en bref Annuelle DPIA

Évaluation de fonctionnement

Mise en œuvre des projets soutenus par le

programme

Taux en pourcentage des aides livrées dans les temps

Sans Objet

100% Fiche de demande d’aide financière En continu DPIR

Taux en pourcentage des projets financés qui sont terminés 100% Fiche de demande d’aide

financière En continu DPIR

Taux en pourcentage des projets qui respectent la durée de réalisation prévue dans l’entente 100% Fiche de demande d’aide

financière En continu DPIR

Nombre de projets refusés S/O Fiche de demande d’aide financière En continu DPIR

Nombre de documents de suivis et de redditions de comptes reçus S/O Fiche retombée

touristique En continu DPIR

Évaluation de la pertinence

Répondre aux besoins du secteur

Taux en pourcentage de projets conformes acceptés

Sans Objet

85 % Fiche de demande d’aide financière En continu DPIR

Nombre de demandes d’aide financière reçues S/O Fiche de demande d’aide financière En continu DPIR

Montant des aides financières octroyées ($) S/O Fiche de demande d’aide financière En continu DPIR

Volume de projets financés par rapport au volume de projets reçus S/O Fiche de demande d’aide

financière En continu DPIR

Volume de financement disponible par rapport au volume de financement demandé ($) S/O Fiche de demande d’aide

financière En continu DPIR

4 STRATÉGIE GLOBALE D’ÉVALUATION Cinq types d’évaluation sont prévus dans la stratégie. Ces questions couvrent les critères d’analyse de pertinence, de mise en œuvre, des effets, d’efficacité et d’efficience. Ces aspects permettront de répondre aux besoins d’informations du MTO et du SCT et seront particulièrement utiles à la prise de décision lors d’une éventuelle reconduction du programme. Selon les indicateurs, la collecte de données pourrait se faire de 2012 à 2019. Dans le cas contraire, la collecte se fera de 2017 à 2019 inclusivement.

Pour les 5 évaluations :

- Transmission du cadre d’évaluation : janvier 2019 - Transmission du rapport d’évaluation : janvier 2020

L’évaluation de la pertinence

L’évaluation de la pertinence permet de vérifier l’adéquation entre la raison d’être du programme et les besoins à satisfaire. L’évaluation s’intéressera également sur le bien-fondé des interventions afin de s’assurer que celles-ci répondent bien aux besoins spécifiques de l’industrie du tourisme maritime. L’évaluation se penchera également sur la pertinence de l’aide financière accordée Pour ce faire, un sondage sera envoyé aux promoteurs ayant bénéficié du soutien de la SMVSLT, aux promoteurs dont le projet a été refusé ainsi qu’aux ATS s’y rattachant afin de déterminer si le programme répond bien aux attentes et aux besoins de l’industrie. L’élaboration du sondage ainsi que son prétest auront lieu au troisième trimestre de 2019 alors que l’envoi du sondage et la compilation des données se feront au début du quatrième trimestre de 2019. À la suite de cette première ronde de consultation, certaines entrevues téléphoniques pourraient avoir lieu si un besoin d’information supplémentaire se faisait sentir. Les principales questions du sondage et des entrevues porteront sur la pertinence de la forme que prend le financement de l’aide gouvernementale (garantie de prêt), le genre de projets admissibles pour l’aide ainsi que les produits touristiques ciblés par l’aide. En parallèle de cette démarche, les données contenues dans les fiches de demande d’aide financière en lien avec la pertinence du programme (nombre de projets conformes acceptés, nombre de demandes d’aide financière reçues, montant des aides octroyées) seront compilées. L’ensemble des indicateurs nommés plus haut pourront aussi aider à déterminer si le secteur du tourisme lié au St-Laurent nécessite toujours d’être soutenu ou si certains produits ciblés par la stratégie n’ont plus besoin d’aide supplémentaire. L’évaluation de fonctionnement Cette évaluation vise à s’assurer que les processus et les procédures soient déployés conformément à ce qui a été prévu et qu’ils contribuent à l’atteinte des objectifs visés. Elle permettra de mettre en lumière les forces à préserver et les faiblesses à corriger. Dans ce cas-ci, l’évaluation consistera à compiler les données présentes dans la demande d’aide financière acceptée afin de vérifier que les critères quant au type de projet, aux types de bénéficiaire ainsi qu’à la région concernée soient respectés. La collecte des données se fera en continu par la DPIR au fur et à mesure que les projets seront acceptés ainsi que le suivi de l’implantation des projets par le promoteur.

De plus, le processus de sondage expliqué plus tôt servira également à questionner les bénéficiaires du programme, les ATS et les promoteurs s’étant vu refuser une aide financière sur les forces et les faiblesses du programme. L’évaluation de l’efficacité

Cette évaluation consiste à mesurer le degré d’atteinte des objectifs de l’intervention. Pour ce faire, l’équipe d’évaluation de programmes se penchera sur l’ensemble des indicateurs présentés plus haut en ce qui a trait aux effets à court et moyen terme de la SMVSLT, soit les indicateurs prévus pour les effets de hausse de l’attractivité des pôles du Saint-Laurent, le renforcement de la compétitivité, la structuration de l’offre et la contribution du PSSDT à l’atteinte des objectifs du PDIT. La cueillette de ces données se fera essentiellement par de la recherche et de l’analyse documentaire faite par la DPIA/DPIR/DIS une fois par année ou par mois selon l’indicateur. Le but de la collecte sera de suivre l’évolution des indicateurs pour les promoteurs ayant bénéficié d’une aide financière afin de les comparer aux données de l’ensemble de leur secteur touristique afin de déterminer si ceux-ci ont mieux performé que leur secteur. Dans un second temps, les secteurs touristiques priorisés par la stratégie seront comparés à l’ensemble de l’industrie touristique afin de vérifier si ces secteurs ont mieux performé que l’industrie. Le même exercice sera fait enfin de comparer les différentes régions priorisées par la stratégie avec l’ensemble des régions du Québec. Finalement, afin de mieux définir l’inférence causale entre la SMVSLT et l’évolution des données, le processus de sondage cité plus haut permettra aussi de questionner les promoteurs ayant bénéficié d’une aide financière ainsi que les ATS s’y rattachant sur la part de l’évolution imputable à l’aide octroyée. L’évaluation de l’efficience Cette évaluation permet d’examiner la relation entre les effets du programme et les ressources utilisées pour les produire. Autrement dit, il sera question de déterminer le ratio entre les effets du programme et ses intrants. Suite à la collecte et à l’analyse des données recueillies aux fins de l’évaluation de l’efficacité du programme, il sera possible, dans une certaine mesure, de déduire les ressources nécessaires afin de créer ou préserver un emploi grâce au programme, l’importance de l’investissement privé qui découle de l’aide financière accordée ainsi que celle des retombées économiques issues du programme. Ces données pourront ensuite être comparées aux autres volets du PSSDT ou à d’autres programmes gouvernementaux afin de juger de l’efficience de la démarche. Pour ce faire, la méthode Data Envelopment Analysis (DEA) est envisagée. L’évaluation des effets L’évaluation des effets se penche sur l’état de la situation avant et après intervention. Elle vise à mesurer les effets entraînés par une intervention sur la clientèle visée. Dans un premier temps, les fiches de demande d’aide financière ainsi que les documents de reddition de compte seront comparés afin de valider que les infrastructures aient bien été construire, réfectionnées ou améliorées conformément à l’entente. En plus de

bonifier l’aspect évaluatif du fonctionnement du programme, cette mesure permettra de quantifier le premier effet direct du programme soit l’amélioration des infrastructures. Dans un deuxième temps, les données provenant des fiches de demande d’aide financière ainsi que des fiches de retombées économiques soient l’achalandage, le maintien ou la création d’emploi et les revenus du promoteur du projet avant la demande de l’aide financière seront comparées aux données recueillies via les fiches de retombées économiques lors des cinq années suivant l’octroi de l’aide. Le processus de sondage servira également à demander aux promoteurs si la modernisation de leur infrastructure aurait été possible sans l’aide du programme. 5 CONSIDÉRATIONS ÉTHIQUES Les informations obtenues seront traitées et manipulées de façon strictement confidentielle en respect de la Loi sur l’accès aux documents des organismes publics et sur la protection des renseignements personnels (L.R.Q., chapitre A-2.1). Les informations colligées serviront exclusivement aux fins annoncées par la présente évaluation. Aucune autre utilisation ne peut en être faite. 6 APPROBATION DES RESPONSABLES La mise en œuvre du cadre de suivi et d’évaluation implique la participation et l’approbation de plusieurs directions du MTO :

La DPIR est gestionnaire du PSSDT et responsable de la disponibilité de l’information requise pour les besoins de l’évaluation.

La DPIA offre un soutien pour la constitution de la base de données et l’analyse des retombées économiques.

La DIS coordonne la mise en œuvre de la SMVSLT.

Préparé par : Carmen Méndez et Benoit Lapierre Date :

Approuvé par le directeur général : Sylvain Bernier Date :

MINIS TÈ R E DU TOUR IS ME

P R OG R AMME DE S OUT IE N AUX S T R AT É G IE S DE DÉ V E L OP P E ME NT T OUR IS T IQUE

(PSSDT)

V OL E T 5 : AP P UI À L A S T R AT É G IE T OUR IS T IQUE QUÉ B É C OIS E AU NOR D DU 49E P AR AL L È L E

(STQN49P)

C ADR E DE S UIV I E T D’É V A L UAT ION P R É L IMINAIR E

Préparé par : Direction générale des services à la gestion

Février 2018

TABLE DES MATIÈRES

1 CONTEXTE........................................................................................................................................ 8

2 DESCRIPTION DU PROGRAMME ...................................................................................................... 8

2.1 RAISON D’ÊTRE .................................................................................................................. 10

2.2 OBJECTIFS .......................................................................................................................... 10

2.3 LOGIQUE D’INTERVENTION ............................................................................................... 11

3 SUIVI DU PROGRAMME ................................................................................................................. 14

3.1 CHOIX DES INDICATEURS ET DES CIBLES ............................................................................ 14

3.1.1 Le choix des indicateurs .......................................................................................................... 14

4 STRATÉGIE GLOBALE D’ÉVALUATION ............................................................................................. 19

5 CONSIDÉRATIONS ÉTHIQUES ......................................................................................................... 21

6 APPROBATION DES RESPONSABLES ............................................................................................... 21

CONTEXTE Le 21 février 2017, le Conseil du trésor approuve le Programme de Soutien aux Stratégies de Développement Touristique (PSSDT) et son cadre normatif (CT 218413). Il précise qu’à échéance, le 31 mars 2020, une évaluation de programme, basée entre autres sur l’atteinte des résultats visés, sera réalisée. Afin de planifier cette future évaluation, il convient de transmettre un cadre de suivi et d’évaluation préliminaire au Secrétariat du Conseil du trésor (SCT) au plus tard le 28 février 2018. Le cadre de suivi et d’évaluation préliminaire répond aux exigences de la Directive concernant l’évaluation de programmes dans les ministères et organismes (SCT, 19 février 2014) qui prévoit que ce document soit produit pour toute demande d’autorisation de nouveau programme. Conformément au plan annuel en matière d’évaluation de programme 2017-2018, la Direction Générale des Services à la Gestion a été mandatée par les autorités du ministère du Tourisme pour réaliser le cadre de suivi et d’évaluation préliminaire du PSSDT volet 5 - Appui à la stratégie touristique québécoise au nord du 49e parallèle (STQN49P). Le cadre de suivi et d’évaluation préliminaire a pour intention de décrire le programme, de proposer un plan de suivi des principaux indicateurs en plus de développer une stratégie globale d’évaluation. Elle permet de planifier et de détailler une démarche qui permettra de rendre compte de la pertinence et du fonctionnement du programme en plus d’en estimer la performance globale. La structure du présent document répond au gabarit proposé par le SCT et contient les renseignements suivants :

• La description du programme incluant sa raison d’être, ses objectifs et sa logique d’intervention;

• Le suivi du programme décrivant les indicateurs retenus, les sources de données, la fréquence et la responsabilité de la collecte;

• La stratégie globale d’évaluation comprenant les principales étapes et méthodes utilisées.

DESCRIPTION DU PROGRAMME Le PSSDT vise le renforcement et le développement de l’offre touristique québécoise afin de faire du « tourisme une industrie concurrentielle, durable, innovante et attractive pour les visiteurs du Québec et ceux des marchés extérieurs ». Il comporte cinq volets qui entendent stimuler l’investissement privé, la création d’emplois, l’augmentation du nombre de visiteurs et l’accroissement des retombées économiques du tourisme dans toutes les régions du Québec. Lancée en 2011, en partenariat avec divers ministères, la STQN49P et son plan d’action font partie du PSSDT depuis le 12 décembre 2017 (CT 218413). Cette stratégie contribue à la réalisation des objectifs prévus au plan de développement de l’industrie

touristique 2012-2020 et du Plan d’action 2016-2020 par le développement du tourisme nordique. Pour atteindre ses buts, onze mesures structurées autour de cinq axes d’intervention ont été déterminées :

• Agir en partenariat; • Développer des infrastructures de qualité; • Miser sur des attraits et des produits distinctifs; • Investir dans la formation et la gestion des ressources humaines; • Promouvoir et commercialiser la destination.

Le déploiement du PSSDT se traduit par la mise en application du programme d’appui à la STQN49P. Le PSSDT volet 5 offre une aide financière sans aucun coût minimum admissible et pouvant aller jusqu’à 500 000 $ pour la construction, l’agrandissement ou la réfection d’infrastructure touristique et la consolidation, l’implantation, l’expansion ou la modernisation d’un attrait, d’une activité, d’un équipement, d’un produit spécialisé, d’un service touristique ou, sous certaines conditions, d’un projet d’hébergement ainsi que les projets de structuration de l’offre touristique comme les études spécialisées permettant d’acquérir de nouvelles connaissances ou de meilleures pratiques d’affaires, le développement des compétences par l’embauche de ressources humaines spécialisées ou de travailleurs stratégiques ainsi que les initiatives permettant de faire connaître la destination aux multiplicateurs, telles les missions d’affaires et les tournées de familiarisation. Pour les pourvoiries, les projets admissibles sont ceux visant l’amélioration des infrastructures, incluant l’hébergement, et des équipements permettant la diversification des produits offerts afin d’attirer une nouvelle clientèle touristique et d’allonger la saison d’exploitation. Cette aide financière accordée par le MTO ne peut excéder 50 % des coûts admissibles d’un projet dans le cas d’un organisme à but lucratif (OBL), 80 % dans le cas d’un organisme à but non lucratif (OBNL), d’une coopérative et d’une entité municipale et 90 % dans le cas de communauté ou nation autochtone (OBL, OBNL). L’aide accordée est versée comptant en deux versements. Le premier versement, équivalant à 60 % de l’aide accordée, est versé à la suite de la signature de l’entente avec le promoteur alors que le second versement, équivalant à 40 % de l’aide prévue, est versé à la suite de la réception de l’audit d’un vérificateur externe. Le cumul maximal des aides gouvernementales comprend le total des aides financières accordées, incluant les aides remboursables considérées à 50 % de leur valeur, pour les coûts admissibles du projet par l’ensemble des ministères et organismes provinciaux et fédéraux ainsi que des entités municipales. Ce cumul ne pourra pas excéder 70 % s’il s’agit d’un OBL, 80 % s’il s’agit d’un OBNL, d’une coopérative et d’une municipalité et 90 % s’il s’agit de communauté ou de nation autochtone (OBL et OBNL). Dans le cas d’un projet d’un OBL visant une pourvoirie qui offrirait des activités de chasse aux caribous, le taux maximal et le cumul maximal des aides gouvernementales sont fixés à 80 %. Pour être admissible, le projet doit :

• Démontrer un potentiel d’attraction des clientèles touristiques du Québec et des marchés extérieurs;

• Être réalisé sur les territoires situés au nord du 49e parallèle.

RAISON D’ÊTRE L’intérêt de la clientèle touristique envers les destinations nordiques est en croissance. Toutefois, la qualité de l’offre touristique actuelle du Nord québécois nécessite des investissements afin de la rendre concurrentielle et de répondre aux exigences de la clientèle internationale convoitée. L’amélioration de la qualité de l’offre touristique constitue l’élément prioritaire de l’action gouvernementale en matière de tourisme au nord du 49e parallèle. La STQN49P guide les orientations du MTO. Elle s’inscrit dans le prolongement de la vision économique du gouvernement du Québec et du Plan Nord. Le projet qualifié d’ambitieux par le gouvernement est de faire du nord du 49e parallèle une destination de tourisme durable de classe mondiale qui procure une expérience touristique authentique, exceptionnelle et sécuritaire, alliant la cohabitation des peuples nordiques et le respect de la nature, dans une perspective de développement entrepreneurial et d’enrichissement collectif. Dans ce contexte, le MTO mise sur le développement du tourisme centré sur la nature, la culture et le terroir qui constituent les atouts des régions concernées. La priorité est accordée au développement et à la mise en valeur des caractéristiques culturelles et naturelles de la région. L’approche du développement durable sera présente dans tous les aspects et les choix qui seront effectués. Ce développement se fera avec les communautés intéressées, en tenant compte de leur capacité d’accueil et du potentiel touristique du territoire concerné. Ce volet vise à soutenir des projets qui contribuent à ce que le Nord québécois devienne une destination de calibre international, par une approche de développement et de structuration de l’offre touristique. Puisque certains enjeux sont spécifiques au nord du 49e parallèle, le programme permet aussi des actions ciblées pour développer des connaissances stratégiques et intervenir auprès des ressources humaines, le tout en collaboration avec les partenaires régionaux. La décision de miser sur le tourisme au nord du 49e parallèle tire son origine des conclusions de la table mixte qui regroupait l’ensemble des acteurs touristiques québécois en vue d’élaborer le PDIT. Celle-ci est venue à la conclusion que le tourisme nordique était un secteur touristique à fort potentiel ainsi qu’un produit d’appel qui permettait au Québec de se distinguer de l’offre touristique internationale. Par la suite, une analyse de l’état des lieux du secteur fut entreprise par la Direction des politiques et de l’intelligence d’affaires (DPIA) du MTO afin d’identifier les produits prioritaires pour la mise en œuvre de la stratégie. Les investissements prévus au volet 5 du PSSDT devraient aider le Québec à développer son plein potentiel touristique au niveau du tourisme nordique. OBJECTIFS Le programme d’appui à la STQN49P vise à atteindre cinq objectifs spécifiques (effets à court terme) :

• Accroître la capacité et la qualité de l’hébergement; • Diversifier les activités des pourvoiries afin d’attirer une nouvelle clientèle ; • Augmenter les infrastructures et attraits touristiques;

• Augmenter l’achalandage en soutenant la structuration de l’offre; • Accroître le développement et le renforcement de l’expertise dans les régions

visées67. Pris dans son ensemble, les projets développés dans le cadre de la STQN49P, ainsi que dans les autres stratégies, contribueront à atteindre les objectifs généraux (effets à moyen terme) du PSSDT qui sont :

• Favoriser le développement d’une offre touristique originale, complémentaire respectueuse du développement durable et répondant à la demande des marchés ciblés68 par le MTO;

• Stimuler l’économie des régions par la création d’emplois, l’augmentation du nombre de visiteurs et l’accroissement des recettes touristiques.

Le PSSDT ainsi que l’ensemble des programmes d’aides du MTO ont pour but de réaliser les objectifs du PDIT 2012-2020 ainsi que du Plan d’action 2016-2020 (effets à long terme) qui sont :

• Des recettes touristiques totalisant 18,9 G$ en 2020; • Un accroissement du nombre d’emplois équivalant à 50 000 emplois d’ici 2020.

LOGIQUE D’INTERVENTION La Direction des interventions sectorielles (DIS) est responsable du déploiement de la STQN49P ainsi que de soutenir les Associations touristiques sectorielles (ATS) et autres organismes dans leurs démarches. De plus, la DIS soutient également la Direction des programmes et de l’intervention régionale (DPIR) dans la prise de décision concernant les demandes d’aides financières en réalisant des avis sectoriels dans le cadre du programme. La DPIR est responsable de la mise en œuvre du PSSDT volet 5, de la sélection des projets et du suivi administratif des dossiers et de sa reddition de comptes. Elle assure le lien avec le promoteur à chacune des étapes du processus d’attribution d’une aide financière. La DPIR soutient également les associations touristiques régionales (ATR) et autres organismes dans leurs démarches. Pour leur part, les promoteurs doivent joindre à leur formulaire de Demande d’aide financière, dûment rempli, les documents exigés, dont un plan d’affaires qui présente la description détaillée des clientèles visées ainsi que des impacts et des retombées touristiques du projet. Cette première étape permet de valider l’admissibilité du projet. À la suite de l’analyse de leur dossier de Demande d’aide financière, le MTO soutient les clientèles admissibles dans la réalisation de leur projet. La coordination des actions de ces différents acteurs a pour objectif de sélectionner et de financer des projets ayant pour but de soutenir la mise en œuvre de la STQN49P. Ces projets permettront de dynamiser et diversifier l’offre touristique québécoise en matière de tourisme nordique. 67 Les régions visées sont le Nunavik, la Baie-James et Eeyou Istchee, la Côte-Nord et le nord du Saguenay-Lac-Saint-Jean. 68 Les onze marchés ciblés : Ontario, Reste du canada (ROC), Atlantique Centre (EU), Nouvelle-Angleterre (EU), Sud des États-Unis, Côte Ouest et Centre Ouest des États-Unis, France, Chine, Mexique et Québec (Stratégie 2014, p. 37 à 40).

Le schéma suivant illustre la logique d’intervention du programme. Il présente une description sommaire du programme et de ses composantes. Schéma : Modèle logique du Programme d’appui à la STQN49P. Raison d'être L’intérêt de la clientèle touristique envers les destinations nordiques est en

croissance, mais l’offre québécoise se doit d’être développée et mieux structurée.

• Besoin d’améliorer la qualité de l’offre touristique actuelle du Nord québécois afin de la rendre concurrentielle et de répondre aux exigences de la clientèle internationale convoitée;

• Volonté de faire du nord du 49e parallèle une destination de tourisme durable de classe mondiale qui procure une expérience touristique authentique, exceptionnelle et sécuritaire, alliant la cohabitation des peuples nordiques et le respect de la nature.

Conditions d'admissibilité

Pour être admissible, tout projet doit satisfaire aux conditions suivantes:

• Démontrer un potentiel d’attraction des clientèles touristiques; • Être réalisé sur les territoires du 49e parallèle.

Clientèle-cible • Les OBL légalement constitués au Québec; • Les OBNL légalement constitués au Québec; • Les coopératives légalement constituées au Québec; • Les municipalités69; • Les communautés et les nations autochtones reconnues par l’Assemblée

nationale; • Tout regroupement de ces clientèles.

Objectifs Objectifs spécifiques

• Accroître la capacité et la qualité de l’hébergement; • Diversifier les activités des pourvoiries afin d’attirer une nouvelle clientèle; • Augmenter les infrastructures et attraits touristiques; • Augmenter l’achalandage en soutenant la structuration de l’offre; • Accroître le développement et le renforcement de l’expertise dans les régions

ciblées.

Objectifs généraux

• Favoriser le développement d’une offre touristique originale, complémentaire, respectueuse du développement durable et répondant à la demande des

69 La désignation de municipalité comprend les municipalités, les cités les villes, les villages, les paroisses, les cantons, les cantons unis, les villages nordiques, les territoires non organisés, les municipalités régionales, de comté (MRC), les communautés métropolitaines, les régies intermunicipales et les corporations ou les organismes dont une corporation municipale nomme la majorité des membres ou contribue à plus de la moitié du financement, les regroupements de telles municipalités, corporations ou organismes.

marchés ciblés par le MTO; • Stimuler l’économie des régions par la création d’emplois, l’augmentation du

nombre de visiteurs et l’accroissement des recettes touristiques.

Buts

• Faire du tourisme une industrie compétitive, durable, innovante et attractive pour les visiteurs du Québec et des autres marchés;

• Soutenir la mise en œuvre du PDIT 2012-2020 et du Plan d’action 2016-2020.

Nature de l'intervention

À la suite de l'analyse de leur dossier de demande d'aide financière, le MTO soutient les clientèles admissibles dans la réalisation de leurs projets. Une aide financière leur est accordée sous forme d’aide financière payable comptant en deux versements :

• Le premier versement correspond à 60 % de l’aide financière payable à la signature de la convention d’aide financière avec le promoteur;

• Le second versement correspond à 40 % de l’aide financière est versé après la réception de l’audit d’un vérificateur externe.

Intrants Ressources financières : 9,48 M$ (2017-2018 à 2019-2020).

Ressources humaines : Les responsables de la coordination du programme (DIS, DPIR).

Ressources informationnelles : Les données administratives et de gestion sont consignées dans le système de gestion de l'aide financière du ministère (demandes d'aide financière, fiches de retombées touristiques, etc.).

Activités de production

• Demandes d'aide financière reçues en continu; • Analyse et évaluation de l'admissibilité de la demande d'aide financière; • Prise de décision relative à chacune des demandes d'aide financière; • Attribution de l'aide financière et protocole d'entente; • Suivi et reddition de comptes.

Extrants • Nombre de projets soutenus par le programme

Effets à court terme

• Augmentation de la capacité et de la qualité de l’hébergement; • Diversification des activités des pourvoiries attirant une nouvelle clientèle; • Augmenter les infrastructures et les attraits touristiques; • Augmentation de l’achalandage et structuration de l’offre; • Accroissement du développement et renforcement de l’expertise en région.

Effets à moyen terme

• Augmentation de l’achalandage; • Augmentation du chiffre d’affaires du promoteur; • Augmentation des emplois créés.

Effets à long terme • Hausse du taux d’occupation moyen des établissements d’hébergement touristiques;

• Hausse de la fréquentation régionale et la provenance des touristes; • Hausse du nombre d’emplois liés au tourisme; • Hausse recettes touristiques du Québec.

SUIVI DU PROGRAMME Le suivi du programme est un examen périodique des activités à l’aide d’indicateurs et de cibles préétablis dans le but de constituer la base de données nécessaire à l’évaluation, soit la mesure de l’atteinte des résultats visés exigée par le CT. La mise en place d’un processus de suivi adéquat assure la disponibilité de données fiables et valides en temps opportun pour évaluer les programmes aux moments clés. Pour les besoins du cadre de suivi et d’évaluation préliminaire, le suivi du programme consiste à déterminer les indicateurs significatifs à documenter afin de planifier la collecte et l’analyse des données. Or, la mise en place du processus d’évaluation de programme fut décidée après la mise en œuvre de la STQN49P, faisant en sorte que cette partie du processus d’évaluation a dû être élaborée a posteriori. Dans ces circonstances, en plus des données prévues dans le cadre normatif (CT 218413), il fut décidé d’identifier des indicateurs pertinents qui sont en adéquation avec les données déjà collectées par la Direction des politiques et de l'intelligence d'affaires (DPIA). Une autre partie des données sera rassemblée à partir des fiches de demande d’aide financière et des fiches de retombées touristiques récupérées par les DPIR. Quant à l’établissement des cibles à atteindre, elles seront établies par les acteurs (DIS, DPIR, ATS) par consensus lorsque le PDIT 2012-2020 ou le Plan d’action 2016-2020 n’en fixe pas. CHOIX DES INDICATEURS ET DES CIBLES Le choix des indicateurs Les normes relatives au PSSDT autorisées par le CT 218413 précisent qu’une évaluation de programme basée sur les résultats visés sera réalisée à l’échéance du programme afin de comparer les résultats obtenus avec la situation initiale sur la base des indicateurs suivants : progression de l’achalandage; progression du chiffre d’affaires du promoteur; progression des emplois créés.

Cette évaluation permettra également de mesurer la contribution du PSSDT à l’atteinte des objectifs du PDIT 2012-2020 et du Plan d’action 2016-2020, notamment : le taux d’occupation moyen des établissements d’hébergement touristiques; la fréquentation régionale et la provenance des touristes; le nombre d’emplois liés au tourisme; les recettes touristiques du Québec.

Pour mesurer le niveau d’atteinte des résultats visés, il est convenu d’utiliser l’information contenue dans les formulaires et documents obligatoires à une demande

d’aide financière. Elle permet de déterminer les indicateurs et les cibles par projet financé au moment du démarrage c’est-à-dire, « l’an un ». Parmi les informations, il y a le type de projet, le montant d’investissement, la période saisonnière et le nombre d’emplois créés ou maintenus (permanent, saisonnier, temps plein ou partiel) depuis les deux dernières années complètes d’opération ainsi que le nombre projeté pour les deux années qui suivront; c’est la même démarche est prévue pour le nombre et la provenance des visiteurs. Dans le but d’assurer le suivi des résultats du programme à partir de la date de démarrage du projet et cela, jusqu’au moment opportun de réaliser l’évaluation, l’information documentée dans les fiches de retombées touristiques sera utilisée. Cette fiche fournit annuellement les données nécessaires sur l’achalandage par marché ciblé, sur la saisonnalité, la structuration et la forfaitisation de l’offre, les données financières de l’organisation promoteur du projet. En plus des indicateurs exigés par le CT 218413, la collecte d’autres données est actuellement en cours afin d’aider à la prise de décision. Cette collecte est faite par DPIA depuis la création du PDIT 2012, et se poursuivra en 2018 et 2019. Le tableau suivant présente la liste des indicateurs retenus pour mesurer l’atteinte des résultats visés par le programme d’appui à la stratégie touristique québécoise au nord du 49e parallèle.

Tableau : Fiche des indicateurs de suivi

Effet Indicateur Donnée de référence Cible Source de données Fréquence de la collecte

Responsabilité de la collecte

Évaluation des effets, de l’efficacité et de l’efficience Accroissement de la capacité et la qualité

de l’hébergement (Effet à court terme)

Nombre d’unités disponibles dans les régions au nord du 49e parallèle (sauf Saguenay Lac-Saint-Jean)

Année 2015 : 2915

Évolution à la hausse Banque de données DPIA Mensuelle DPIA

Diversifier les activités des pourvoiries afin d’attirer une nouvelle clientèle (Effet à court terme)

Nombre de pourvoiries bénéficiant du programme Avant le programme : 0 S/O Fiche de demande d’aide

financière En continu DPIR

Nombre d’attraits financés dans les pourvoiries par le programme

Avant le programme : 0 S/O Fiche de demande d’aide

financière En continu DPIR

Augmenter les infrastructures et les attraits touristiques (Effet à court terme)

Nombre d’attraits et d’infrastructures financés par le programme

Avant le programme : 0 S/O Fiche de demande d’aide

financière En continu DPIR

Accroître le développement et le

renforcement de l’expertise dans les

régions visées (Effet à court terme)

Nombre de services de consultants financés dans le cadre du programme

Avant le programme : 0 S/O Banque de données DPIR En continu DPIR

Nombre d’études financées dans le cadre du programme Avant le programme : 0 S/O Banque de données DPIR En continu DPIR

Augmenter l’achalandage en

soutenant la structuration de l’offre (Effet à court terme)

Ratio de touriste québécois/hors-Québec Année 2012 : 82.2% Québec 17.8% hors Québec

S/O Rapport Le tourisme au Québec en bref Annuelle DPIA

Dépenses touristiques au 49e parallèle au Québec (M$) Année 2012 : 97 M$ Québec 39 M$ hors Québec

+5% par an Rapport Le tourisme au Québec en bref Annuelle DPIA

Volume de touristes au nord du 49e parallèle Année 2012 : 467 000 Québec 101 000 hors Québec

Évolution à la hausse

Rapport Le tourisme au Québec en bref Annuelle DPIA

Augmentation de la compétitivité du

tourisme au nord du Nombre de touristes Avant le projet

Selon les prévisions du promoteur/DPIR

Fiche de demande d’aide financière /Fiche retombée touristique

En continu DPIR

49e parallèle (Effet à court et moyen terme)

Chiffre d’affaires du promoteur Avant le projet Selon les prévisions du promoteur/DPIR

Fiche de demande d’aide financière /Fiche retombée touristique

En continu DPIR

Nombre d’emplois Avant le projet Selon les prévisions du promoteur/DPIR

Fiche de demande d’aide financière /Fiche retombée touristique

En continu DPIR

Contribution du PSSDT à l’atteinte

des objectifs du PDIT et du Plan d’action

2016-2020 (Effet à long terme)

Taux d’occupation moyen des établissements d’hébergement touristiques (%)

Année 2012 : 52,5 % +1% par an Base de données de la

DPIA Mensuelle DPIA

Fréquentation régionale (Des changements méthodologiques de la part de Statistique Canada ont rendu la cible caduque)

Année 2012 : 30,7 M

Auparavant : 7M de visiteurs de plus qu’en 2012

Rapport Le tourisme au Québec en bref Annuelle DPIA

Nombre d’emplois liés au tourisme Année 2012 : 344 494

+50 000 d’ici 2020

Portrait de l'industrie touristique Annuelle DPIA

Recettes touristiques du Québec (M$) Année 2012 : 12 800 M$ +5% par an Rapport Le tourisme au

Québec en bref Annuelle DPIA

Évaluation du fonctionnement

Mise en œuvre des projets soutenus par

le programme

Taux en pourcentage des aides livrées dans les temps

Sans Objet

100% Fiche de demande d’aide financière En continu DPIR

Taux en pourcentage des projets financés qui sont terminés 100% Fiche de demande d’aide

financière En continu DPIR

Taux en pourcentage des projets qui respectent la durée de réalisation prévue dans l’entente 100% Fiche de demande d’aide

financière En continu DPIR

Nombre de projets refusés S/O Fiche de demande d’aide financière En continu DPIR

Nombre de documents de suivis et de redditions de comptes reçus S/O Fiche retombée touristique En continu DPIR

Évaluation de la pertinence

Répondre aux besoins du secteur

Taux en pourcentage de projets conformes acceptés

Sans Objet

85% Fiche de demande d’aide financière En continu DPIR

Nombre de demandes d’aide financière reçues S/O Fiche de demande d’aide financière En continu DPIR

Montant des aides financières octroyées ($) S/O Fiche de demande d’aide En continu DPIR

financière

Volume de projets financés par rapport au volume de projets reçus S/O Fiche de demande d’aide

financière En continu DPIR

Volume de financement disponible par rapport au volume de financement demandé ($) S/O Fiche de demande d’aide

financière En continu DPIR

STRATÉGIE GLOBALE D’ÉVALUATION Cinq types d’évaluation sont prévus dans la stratégie. Ces questions couvrent les critères d’analyse de pertinence, de fonctionnement, des effets, d’efficacité et d’efficience. Ces aspects permettront de répondre aux besoins d’informations du ministère et du SCT et seront particulièrement utiles à la prise de décision lors d’une éventuelle reconduction du programme. Selon les indicateurs, la collecte de données pourrait se faire de 2012 à 2019. Dans le cas contraire, la collecte se fera de 2017 à 2019 inclusivement. Pour les 5 évaluations :

- Transmission du cadre d’évaluation : janvier 2019 - Transmission du rapport d’évaluation : janvier 2020

L’évaluation de la pertinence L’évaluation de la pertinence permet de vérifier l’adéquation entre la raison d’être du programme et les besoins à satisfaire. L’évaluation s’intéressera également sur le bien-fondé des interventions afin de s’assurer que celles-ci répondent bien aux besoins spécifiques de l’industrie du tourisme au nord du 49e parallèle. L’évaluation se penchera également sur la pertinence de l’aide financière accordée Pour ce faire, un sondage sera envoyé aux promoteurs ayant bénéficié du soutien de la STQN49P, aux promoteurs dont le projet a été refusé ainsi qu’aux ATS et ATR s’y rattachant afin de déterminer si le programme répond bien aux attentes et aux besoins de l’industrie. L’élaboration du sondage ainsi que son prétest auront lieu au troisième trimestre de 2019 alors que l’envoi du sondage et la compilation des données se feront au début du quatrième trimestre de 2019. À la suite de cette première ronde de consultation, certaines entrevues téléphoniques pourraient avoir lieu si un besoin d’information supplémentaire se faisait sentir. Les principales questions du sondage et des entrevues porteront sur la pertinence de la forme que prend le financement de l’aide (aide au comptant en deux versements), le genre de projets admissibles pour l’aide ainsi que les produits touristiques ciblés par l’aide. En parallèle de cette démarche, les données contenues dans les fiches de demande d’aide financière en lien avec la pertinence du programme (nombre de projets conformes acceptés, nombre de demandes d’aide financière reçues, montant des aides octroyées) seront compilées. L’ensemble des indicateurs nommés plus haut pourra aussi aider à déterminer si le secteur du tourisme nordique nécessite toujours d’être soutenu ou si certains produits ciblés par la stratégie n’ont plus besoin d’aide supplémentaire. L’évaluation du fonctionnement Cette évaluation vise à s’assurer que les processus et les procédures soient déployés conformément à ce qui a été prévu et qu’ils contribuent à l’atteinte des objectifs visés. Elle permettra de mettre en lumière les forces à préserver et les faiblesses à corriger. Dans ce cas-ci, l’évaluation consistera à compiler les données présentes dans la demande d’aide financière acceptée afin de vérifier que les critères quant au type de projet, aux types de bénéficiaire ainsi qu’à la région concernée soient respectés. La collecte des données se fera en continu par la DPIR au fur et à mesure que les projets seront acceptés et que le suivi de l’implantation des projets par le promoteur est fait. De plus, le processus de sondage expliqué plus tôt servira également à questionner les

bénéficiaires du programme, les ATS et les promoteurs s’étant vu refuser une aide financière sur les forces et les faiblesses du programme. L’évaluation de l’efficacité Cette évaluation consiste à mesurer le degré d’atteinte des objectifs de l’intervention. Pour ce faire, l’équipe d’évaluation de programme se penchera sur l’ensemble des indicateurs présentés plus haut en ce qui a trait aux effets à court et moyen terme de la SMTQN49P, soit l’accroissement de la capacité d’hébergement, la diversification des activités des pourvoiries, l’augmentation du nombre d’infrastructures, l’augmentation de l’achalandage, le développement de l’expertise des régions, l’augmentation de la compétitivité du tourisme nordique et la contribution du PSSDT à l’atteinte des objectifs du PDIT. La cueillette de ces données se fera essentiellement par de la recherche et de l’analyse documentaire faite par la DPIA/DIS/DPIR une fois par année ou par mois selon l’indicateur. Le but de la collecte sera de suivre l’évolution des indicateurs pour les promoteurs ayant bénéficié d’une aide financière afin de les comparer aux données de l’ensemble de leur secteur touristique afin de déterminer si ceux-ci ont mieux performé que leur secteur. Le même exercice sera fait enfin de comparer les différentes régions priorisées par la stratégie avec l’ensemble des régions du Québec. Finalement, afin de mieux définir l’inférence causale entre la STQN49P et l’évolution des données, le processus de sondage cité plus haut permettra aussi de questionner les promoteurs ayant bénéficié d’une aide financière ainsi que les ATS s’y rattachant sur la part de l’évolution imputable à l’aide octroyée. L’évaluation de l’efficience Cette évaluation permet d’examiner la relation entre les effets du programme et les ressources utilisées pour les produire. Autrement dit, il sera question de déterminer le ratio entre les effets du programme et ses intrants. Suite à la collecte et à l’analyse des données recueillies aux fins de l’évaluation de l’efficacité du programme, il sera possible, dans une certaine mesure, de déduire les ressources nécessaires afin de créer ou préserver un emploi grâce au programme, l’importance de l’investissement privé qui découle de l’aide financière accordée ainsi que celle des retombées touristiques issues du programme. Ces données pourront ensuite être comparées aux autres volets du PSSDT ou à d’autres programmes gouvernementaux afin de juger de l’efficience de la démarche. Pour ce faire, la méthode Data Envelopment Analysis (DEA) est envisagée. L’évaluation des effets L’évaluation des effets se penche sur l’état de la situation avant et après intervention. Elle vise à mesurer les effets entraînés par une intervention sur la clientèle visée. Dans un premier temps, les fiches de demande d’aide financière ainsi que les documents de reddition de compte seront comparés afin de valider que les infrastructures aient bien été construire, réfectionnées ou améliorées conformément à l’entente. En plus de bonifier l’aspect évaluatif du fonctionnement du programme, cette mesure permettra de quantifier le premier effet direct du programme soit l’amélioration des infrastructures. Dans un deuxième temps, les données provenant des fiches de demande d’aide financière ainsi que des fiches de retombées économiques soient l’achalandage, le maintien ou la création d’emploi et les revenus du promoteur du projet avant la demande

de l’aide financière seront comparées aux données recueillies via les fiches de retombées économiques lors des cinq années suivant l’octroi de l’aide. Le processus de sondage servira également à demander aux promoteurs si la modernisation de leur infrastructure aurait été possible sans l’aide du programme. CONSIDÉRATIONS ÉTHIQUES Les informations obtenues seront traitées et manipulées de façon strictement confidentielle en respect de la Loi sur l’accès aux documents des organismes publics et sur la protection des renseignements personnels (L.R.Q., chapitre A-2.1). Les informations colligées serviront exclusivement aux fins annoncées par la présente évaluation. Aucune autre utilisation ne peut en être faite. APPROBATION DES RESPONSABLES La mise en œuvre du cadre de suivi et d’évaluation implique la participation et l’approbation de plusieurs directions du MTO : La Direction des programmes et de l’intervention régionale (DPIR) est

gestionnaire du PSSDT et est responsable de la disponibilité de l’information requise pour les besoins de l’évaluation.

La Direction des politiques et de l’intelligence d’affaires (DPIA) offre un soutien pour la constitution de la base de données et l’analyse des retombées touristiques.

La Direction des interventions sectorielles (DIS) coordonne la mise en œuvre de la stratégie touristique québécoise au nord du 49e parallèle.

Préparé par : Carmen Méndez et Benoit Lapierre Date :

Approuvé par le directeur général : Sylvain Bernier Date :

Ministère du Tourisme

Aide aux associations touristiques sectorielles (ATS)

Cadre de suivi et d’évaluation préliminaire

Préparé par : Direction générale des services à la gestion Mars 2018

TABLE DES MATIÈRES

1. CONTEXTE .......………………………………………………..…………………………… 2. DESCRIPTION DU PROGRAMME ………………………………….…………………...

2.1 Raison d’être et contexte du programme ……………….……….……………...…… 2.2 Objectifs de l’intervention ………………………………….……….………………….. 2.3 Nature de l’intervention ………………………………………………………………… 2.4 Intrants et activités de production .....................................................................…...

3. SUIVI DU PROGRAMME …………………………………………………………..…….. 4. STRATÉGIE GLOBALE D’ÉVALUATION ………………………………….………….….. 5. CONSIDÉRATIONS ÉTHIQUES ……………………………………..………….………… 6. APPROBATION DES RESPONSABLES …………………………………………….……

1. CONTEXTE Le 7 mai 2013, le Conseil du trésor (CT) approuvait le Programme de développement de l’industrie touristique (PrDIT) et son cadre normatif (CT 212558). Ce programme se veut comme le successeur du Programme de soutien au développement et à la promotion touristiques (PSDPT) et a été structuré autour de quatre axes plutôt que les neuf volets précédant. Le volet 5, qui intégrait le Programme d’aide aux associations touristiques en vue de soutenir les objectifs de ce volet, est devenu l’axe 1 du PrDIT : Aide à la gouvernance et à la concertation. Le CT 212558 précise qu’à échéance du programme, le 31 mars 2018, une évaluation de programme, basée entre autres sur l’atteinte des résultats visés, sera réalisée. Afin de planifier cette future évaluation, il convient de transmettre un cadre de suivi et d’évaluation préliminaire au Secrétariat du Conseil du trésor (SCT) au plus tard le 31 mars 2018. Le cadre de suivi et d’évaluation préliminaire répond aux exigences de la Directive concernant l’évaluation de programmes dans les ministères et organismes (SCT, 19 février 2014) qui prévoit que ce document soit produit pour toute demande d’autorisation d’un nouveau programme. Conformément au plan triennal d’évaluation de programmes 2017-2020, la Direction générale des services à la gestion (DGSG) a été mandatée, via son Bureau des dossiers corporatifs et des ressources matérielles, par les autorités du MTO pour réaliser le cadre de suivi et d’évaluation préliminaire du Programme d’aide financière aux associations touristiques avant le 31 mars 2018. Le cadre de suivi et d’évaluation préliminaire a pour intention de décrire le programme, de proposer un plan de suivi des principaux indicateurs en plus de développer une stratégie globale d’évaluation. Cette stratégie permet de planifier et de détailler une démarche qui rendra compte de la pertinence et du fonctionnement du programme en plus d’en estimer les effets, l’efficacité et l’efficience. La structure du présent document répond au gabarit proposé par le SCT et contient les renseignements suivants :

• La description du programme incluant sa raison d’être, ses objectifs et sa logique d’intervention;

• Le suivi du programme décrivant les indicateurs retenus, les sources de données, la fréquence et la responsabilité de la collecte;

• La stratégie globale d’évaluation comprenant les principales étapes et méthodes utilisées.

2. DESCRIPTIONS DU PROGRAMME 2.1 Raison d’être et contexte du programme En vertu de la Loi sur le ministère du Tourisme (RLRQ, chapitre M-31.2), le MTO a pour mission de soutenir le développement et la promotion du tourisme au Québec en favorisant la concertation et le partenariat des intervenants associés à ce développement et à cette promotion dans une perspective de création d’emplois, de prospérité économique et de développement durable. Dans l’exercice de ses responsabilités, le MTO peut confier à un organisme reconnu les fonctions prévues à l’article de la loi et conclure des ententes avec celui-ci. Cette reconnaissance s’effectue en prenant en compte une série de critères reliés notamment à la mission de l’organisme, à sa représentativité et à ses membres. C’est grâce à ce processus que

des partenariats sont actuellement conclus avec 16 associations touristiques sectorielles (ATS). Les ATS sont reconnues comme partenaires privilégiés du ministère du Tourisme (MTO) pour le développement de leur produit ou secteur touristique respectif. Pour ce faire, elles sont appelées à exercer un leadership sectoriel et à jouer un rôle de concertation auprès des intervenants de leurs secteurs afin de favoriser une convergence des actions touristiques sectorielles et régionales ainsi qu’un arrimage de celles-ci avec les orientations du MTO. Pour ce faire, un soutien financier, professionnel et technique est offert par le ministère aux ATS, notamment pour les accompagner dans l’élaboration de leurs plans d’action, dans l’arrimage avec les stratégies sectorielles du ministère et dans la mise en place de politiques de gouvernance. Cet accompagnement a pour objectif d’aider les ATS à assumer les mandats qui leur sont délégués en vertu des ententes convenues afin que ces organisations puissent atteindre leur plein potentiel et jouer le rôle de leader de leur secteur d’activités respectif. 2.2 Objectifs de l’intervention Dans cette optique, le Programme d’aide aux associations touristiques sectorielles vise à développer l’offre touristique, accompagner les entreprises touristiques et développer une expertise sectorielle en plus de doter les ATS de bonnes pratiques de gouvernance. Les interventions du programme d’aide aux ATS, structurées autour de 3 volets, ont pour objectifs spécifiques (effets à court terme) de :

• Contribuer au développement des produits sectoriels et assumer un leadership; • Offrir un accompagnement adapté aux entreprises touristiques des secteurs; • Développer et rendre disponible les connaissances stratégiques; • Assurer une gestion saine des fonds publics et mettre en place un mécanisme

de reddition de compte de la part des ATS. Les interventions réalisées dans le cadre du Programme d’aide aux associations touristiques sectorielles permettront de soutenir, dans une certaine mesure, les objectifs du PrDIT suivant (effets à moyen terme):

• Miser sur la synergie des partenaires • Développer et renforcer les produits touristiques • Accroître les investissements privés et stimuler l’innovation

À terme, les actions entreprises dans le cadre du Programme d’aide aux associations touristiques sectorielles, et plus largement du PrDIT, ainsi que l’ensemble des autres programmes du MTO contribueront aux objectifs du PDIT 2012-2020 et du Plan d’action 2016-2020 (effets à long terme) soit :

• Des recettes touristiques totalisant 18,9 G$ en 2020; • Un accroissement du nombre d’emplois équivalant à 50 000 emplois d’ici 2020. Le programme d’aide aux ATS permettra également de poursuivre la mission du ministère du Tourisme qui est de «soutenir le développement et la promotion du tourisme au Québec en favorisant la concertation et le partenariat des intervenants associés à ce développement et à cette promotion, et ce, dans une perspective de création d’emplois, de prospérité économique et de développement durable.»

2.3 Nature de l’intervention La nature de l’intervention du MTO, dans le cadre du programme d’aide aux ATS, consiste à la signature d’ententes entre le ministère et les ATS. Ces ententes ont pour but de déterminer les mandats qui sont délégués aux associations ainsi que les obligations de gestion, de gouvernance, d’évaluation, de reddition de comptes et de résultats attendus en contrepartie du financement qui leur est octroyé. Le programme bénéficie d’une enveloppe annuelle de 1,9 M$. Le montant de l’aide accordée à chaque ATS est déterminé à partir d’une série de critères qui prend en compte le nombre d’entreprises membres, le nombre d’entreprises dans le secteur, et le nombre de régions touristiques où l’ATS est présente, le nombre de stratégies sectorielles du MTO dans laquelle un produit de l’association est identifié, le pourcentage des revenus autonomes sur les revenus totaux, le chiffre d’affaires des membres et l’attractivité des activités. Concrètement, les aides accordées annuellement pour la période 2016-2020 variaient entre 56 667 $ et 239 830 $ selon les ATS. Outre la première année de l’entente pour laquelle il y a trois versements (25 %, 45 %, 30 %), l’aide financière annuelle est accordée en deux versements (70 % et 30 %) et est conditionnelle au dépôt et l’approbation de certains livrables spécifiés dans l’entente entre le MTO et l’ATS. Pour leur part, les ATS subventionnées s’engagent à réaliser une série d’actions en matière de développement de l’offre, d’accompagnement des entreprises touristiques ainsi qu’à l’acquisition et la diffusion de connaissances stratégiques et d’expertises sectorielle en plus de se doter de bonnes pratiques de gouvernance. Les ATS s’engagent également à recueillir certaines données, notamment par rapport aux entreprises qu’elles considèrent comme leader ou présentant un potentiel de développement significatif dans leur secteur et de les transmettre au MTO. À partir de 2017-2018, elles s’engagent aussi à remettre l’équivalant de 1% de l’aide financière accordée au Plan-cadre de développement d’intelligence d’affaires en tourisme afin de financer certaines études dont l’utilité stratégique va au-delà leur secteur d’activités. Les parties prenantes permettant le bon fonctionnement du programme sont la Direction des interventions sectorielles (DIS), la Direction des politiques et de l’intelligence d’affaires (DPIA) et les bénéficiaires du programme, soit les ATS. La DIS est responsable de la mise en œuvre et du déploiement du programme d’aide aux ATS. Elle est également chargée de l’analyse des demandes, du suivi administratif des dossiers et de la sélection des ATS admissibles. De plus, la DIS assure le lien entre les ATS et le MTO à chacune des étapes du programme et est responsable de la reddition de comptes. Elle joue également un rôle-conseil auprès des ATS dans la mise en œuvre des stratégies sectorielles. La DPIA, quant à elle, gère les actions liées au Plan-cadre en développement de l’intelligence d’affaires en tourisme et s’assure de la rigueur méthodologique des études menées pour le compte des ATS ou dans le cadre des études communes. Pour leur part, les ATS doivent fournir les documents exigés dans le cadre du processus de reconnaissance. Si celles-ci répondent aux critères, l’entente signée avec le MTO spécifie notamment qu’elles ont la responsabilité de se doter de bonnes pratiques de gouvernance et d’en effectuer le suivi en plus d’effectuer une reddition de compte

auprès du ministère à ce sujet. Les ATS ont aussi la responsabilité d’identifier et de soutenir des entreprises se démarquant dans leur secteur touristique et ont la responsabilité de collecter certaines données auprès de leurs membres et de les transmettre au MTO. La coordination des actions des parties prenantes a pour but de donner les moyens et la structure nécessaires aux ATS pour jouer leur rôle de leader et de concertation au sein de leurs secteurs d’activités. 2.4 Intrants et activités de production Pour mener à bien ses activités, le programme d’aide aux ATS peut compter sur les ressources humaines de la DIS, notamment les conseillers en développement touristique des secteurs d’activités concernées ainsi que sur le personnel administratif pour le suivi des dossiers. De plus le programme bénéficie de l’appui des professionnels de la DPIA pour la vérification de la rigueur méthodologique des études soumises. Du point de vue des ressources financières, le programme dispose d’un budget annuel de 1,9 M$ et du côté des ressources informationnelles, le programme se sert des données administratives et de gestion du Portail ATS du MTO Les principales activités de production liées au programme consistent à assurer la gestion des partenariats d’affaires avec les ATS. Par la suite, il y a analyse et évaluation des demandes afin de vérifier que celles-ci respectent les critères de reconnaissance établis par le MTO et, finalement, il y a prise de décision. Si la réponse est positive, un protocole d’entente est signé avec l’ATS en question et l’aide financière est versée selon les modalités précisées précédemment. Un suivi de la part de la DIS est effectué en continu et la reddition de compte de la part des ATS se fait sur une base bisannuelle tout au long de la durée de l’entente. Un suivi de la rigueur méthodologique des études est également fait par la DPIA en continu. Le cadre logique qui suit vient imager les principales étapes et composantes du programme.

Tableau : Cadre logique du Programme d'aides aux ATS • 7.6 M$ pour les années 2016-2017 à 2019-2020 • Critères de financement • Objectifs du programme • Ressources humaines (DIS, DPIA) •Données administratives et de gestion du système de gestion Portail ATS

• Réception des documents en lien avec le processus de reconnaissance • Analyse et évaluation du respect des critères de reconnaissance • Prise de décision • Signature d'entente et versement d'aide financière •Assurer la gestion des partenariats d'affaires avec les ATS et leurs partenaires • Suivi des A TS et reddition de comptes

• Continuum mandats (actions approuvées ou refusées) • Signature d'entente entre le MTO et A TS

• Contribuer au développement des produits sectoriels et assumer un leadership • Offrir un accompagnement adapté aux entreprises touristiques des secteurs • Contribuer au développement et rendre disponible la connaissance stratégique • Assurer une gestion saine des fonds publics alloués et mettre en place un mécanisme de reddition de

compte de la part des A TS

• Miser sur la synergie des partenaires • Développer et renforcer les produits touristiques • Accroître les investissements privés et stimuler l'innovation

•Des recettes touristiques totalisant 18,9 G$ en 2020 • Un accroissement du nombre d'emplois équivalant à 50 000 emplois d'ici 2020

__........,,...,.., • Un accroissement de l'achalandage touristique du Québec

3. SUIVI DU PROGRAMME Le suivi du programme est un examen périodique des activités à l'aide d'indicateurs et de cibles préétablis dans le but de constituer la base de données nécessaire à l'évaluation, soit la mesure de l'atteinte des résultats visés exigée par le CT 218548. La mise en place d'un processus de suivi adéquat assure la disponibilité de données fiables et valides en temps opportun pour évaluer les programmes aux moments clés.

Pour les besoins du cadre de suivi et d'évaluation préliminaire, le suivi du programme consiste à déterminer les indicateurs significatifs à documenter afin de planifier la collecte et l'analyse des données. Ces indicateurs sont présentés dans le tableau qui suit avec l'effet qui leur est attribué, la donnée de référence, la cible, la source de la donnée ainsi que la fréquence et la responsabilité de la collecte.

Tableau : Fiche des indicateurs de suivi

Effet Indicateur Donnée de référence Cible Source de

données Fréquence de la

collecte Responsabilité de la collecte

Évaluation des effets, de l’efficacité et de l’efficience Contribuer au développement des produits sectoriels et assumer un leadership (Effet à court terme)

Nombre d’actions en matière de développement de l’offre S/O S/O Portail ATS Annexe D Annuelle DIS

Offrir un accompagnement adapté aux entreprises touristiques des secteurs (Effet à court terme)

Nombre d’entreprises accompagnées par les ATS dans leurs pratiques dans le cadre des entreprises leaders ou ayant un fort potentiel S/O S/O

Portail ATS Annexe E Annuelle DIS

Nombre d’actions d’accompagnement des entreprises touristiques

Portail ATS Annexe D Annuelle DIS

Développer et rendre disponible la connaissance stratégique (Effet à court terme)

Nombre d’ATS participant au Plan-cadre

S/O

16 Banque de données DPIA Annuelle DPIA

Montant des investissements des ATS au Plan-cadre ($) 1% de l’aide octroyée aux ATS

Banque de données DPIA Annuelle DPIA

Nombre d’action d’expertise et de connaissances stratégiques S/O Portail ATS

Annexe D Annuelle DIS

Assurer une gestion saine des fonds publics et mettre en place un mécanisme de reddition de compte de la part des ATS (Effet à court terme)

Nombre d’ATS s’étant doté d’un code d’éthique et déontologique

S/O 100%

Cadre de référence et

résolution des CA

Annuelle DIS

Nombre d’ATS s’étant doté d’une procédure d’attribution de contrat Nombre d’ATS s’étant doté d’un processus d’évaluation des offres de services Nombre d’ATS s’étant doté d’un cadre précisant les échelles de traitement des administrateurs Nombre d’ATS s’étant doté de procédures concernant les frais de représentation et déplacement. Nombre d’ATS s’étant doté d’un mécanisme de vérification/contrôle des remboursements Nombre d’ATS s’étant doté d’une politique régissant l’octroi de dons, de gratuités, de subventions et de commandites Nombre d’ATS s’étant doté d’une politique liée à la délégation administrative et financière

-Développer et renforcer les produits touristiques -Accroître les investissements privés et stimuler l’innovation

(effet à moyen terme)

Achalandage touristique du Québec (M) (Des changements méthodologiques de la part de Statistique Canada ont rendu cette cible caduque)

Année 2012 : 30,7 M

Auparavant : +7M en 2020

Rapport Le tourisme au Québec en bref

Annuelle DPIA

Recettes touristiques du Québec (M$) Année 2012 : 12 800 M$ + 5 % par an

Rapport Le tourisme au Québec en

bref

Annuelle DPIA

Nombre d’emplois directement créés ou maintenus Année 2012 : 344 494

+ 50 000 d’ici 2020

Portrait de l'industrie touristique

Annuelle DPIA

Miser sur la synergie des partenaires (Effet à moyen terme)

Nombre d’ententes MTO/ATS signées S/O 16 Portail ATS Annuelle DIS Nombre de membres par ATS S/O S/O Portail ATS Annuelle DIS

Taux en pourcentage de représentativité des ATS S/O Maintien ou

évolution à la hausse

Portail ATS Annuelle DIS

Nombre d’ATS participant au Plan-Cadre S/O 16 Banque de données DPIA Annuelle DIS

Évaluation du fonctionnement

Conformité du programme

Taux en pourcentage des aides livrées dans les temps

S/O Évolution à la hausse Portail ATS Annuelle DIS

Nombre de documents de suivis et de redditions de comptes reçus dans les temps Nombre de livrables reçus dans les temps Nombre de demandes de reconnaissance refusées S/O

Évaluation de la pertinence

Répondre au besoin de l’industrie Nombre de demandes de reconnaissance reçues

S/O S/O Portail ATS Annuelle DIS Volume des ATS financés par rapport au volume des demandes reçues

4. STRATÉGIE GLOBALE D’ÉVALUATION Cinq enjeux évaluatifs sont prévus dans la stratégie. Ces questions couvrent les critères d’analyse de pertinence, de fonctionnement, des effets, d’efficacité et d’efficience. Ces aspects permettront de répondre aux besoins d’informations du MTO ainsi que du SCT et seront particulièrement utiles à la prise de décision lors d’une éventuelle reconduction du programme. Selon les indicateurs, la collecte de données pourra se faire de 2012 à 2018. Dans le cas contraire, la collecte de donnée sera faite pour les années 2016-2018. Pour les cinq enjeux:

- Transmission du cadre d’évaluation : mai 2018 - Transmission du rapport d’évaluation : février 2019

L’aspect de la pertinence L’évaluation de la pertinence permet de vérifier l’adéquation entre la raison d’être du programme et les besoins à satisfaire. L’évaluation s’intéressera également sur le bien-fondé des interventions du programme afin de s’assurer que celles-ci répondent bien aux besoins spécifiques des ATS et des entreprises touristiques qu’elles représentent dans leur secteur d’activité respectif. L’évaluation se penchera également sur la pertinence de la forme de l’aide financière accordée ainsi que de la pertinence de l’aide financière en elle-même. Pour ce faire, un sondage sera envoyé aux membres ayant bénéficié du support des ATS afin d’évaluer, entre autres, si leurs associations répondent à leurs besoins, ainsi qu’un deuxième sondage destiné aux ATS elles-mêmes afin de déterminer si le programme répond bien aux attentes et aux besoins de leur secteur conformément aux objectifs visés. À la suite de la compilation des données recueillies par les sondages, des entrevues téléphoniques avec certains membres et représentants des ATS pourraient avoir lieu afin de recueillir davantage d’informations si le besoin s’en fait sentir. L’élaboration du sondage, ainsi que son prétest aura lieu au troisième trimestre de 2018 tandis que l’envoi de celui-ci et la compilation des données se fera au début du quatrième trimestre de 2018. Les principales questions du sondage et des entrevues porteront sur la pertinence de la forme que prend le financement de l’aide (aide au comptant en deux versements), le choix et le genre d’entreprises pouvant faire l’objet d’un support privilégié de la part de l’ATS, la pertinence des rôles et responsabilités octroyés aux ATS ainsi que sur les critères de sélection de reconnaissance des ATS en plus des critères de sélection des entreprises méritant un support particulier. L’aspect du fonctionnement Cette évaluation vise à s’assurer que les processus et les procédures soient déployés conformément à ce qui a été prévu et qu’ils contribuent à l’atteinte des objectifs visés. Elle permettra de mettre en lumière les forces à préserver et les faiblesses à corriger. Dans ce cas-ci, l’évaluation consistera à compiler les données présentes dans les ententes signées entre les ATS et le MTO afin de vérifier que les critères de sélection et que les obligations des différents partis sont respectées. Le processus de sondage et d’entrevue prévu pour l’évaluation de la pertinence servira également à interroger les ATS et les membres ayant reçu un support particulier sur les points forts et les contraintes liés au fonctionnement du programme.

L’aspect des effets L’évaluation des effets se penche sur l’état de la situation avant et après une intervention. Elle vise à mesurer les effets entraînés par une intervention sur la clientèle visée. Dans ce cas, une analyse documentaire des données provenant des cadres de référence et des résolutions du CA ainsi que des documents de reddition de comptes sera faite et les données seront comparées aux situations initiales, c’est-à-dire avant la mise en place du programme de soutien aux ATS. Dans un premier temps, l’évaluation portera sur les changements observés chez les ATS en ce qui a trait à la concertation, le leadership et la reddition de compte pour ne nommer que ceux-ci. En plus de bonifier l’aspect évaluatif du fonctionnement du programme, cette mesure permettra de quantifier le premier effet direct du programme soit la structuration des ATS. Par la suite, l’aspect évaluatif des effets s’intéressera aux entreprises ayant bénéficié d’un soutien particulier de la part des ATS. Pour ce faire, les différents documents de reddition de compte transmis par les ATS, particulièrement l’annexe E, permettront d’apprécier l’évolution de ces entreprises, particulièrement en matière de l’achalandage, la création d’emploi et leur chiffre d’affaires. Le processus de sondage mentionné plus tôt permettra également d’interroger ces entreprises et les ATS pour déterminer si les changements observés auraient été possibles sans l’aide du programme. L’aspect de l’efficacité Cette évaluation consiste à mesurer le degré d’atteinte des objectifs de l’intervention. Pour ce faire, l’équipe d’évaluation de programmes se penchera sur l’ensemble des objectifs spécifiques soit le développement des produits sectoriels, l’accompagnement adapté aux entreprises touristiques, le développement de la connaissance stratégique, etc., ainsi qu’aux indicateurs s’y rattachant afin de vérifier si les actions menées dans le cadre du programme d’aide aux ATS permettent d’arriver aux résultats escomptés. De plus, l’efficacité de l’accompagnement privilégié des entreprises pourra être mesurée en comparant les résultats obtenus par celles-ci aux résultats de l’ensemble des entreprises du secteur touristique afin de déterminer si elles ont mieux performé que le reste du secteur. Le même exercice pourrait être fait en comparant ces mêmes entreprises avec l’ensemble de l’industrie touristique de leur région, tous secteurs touristiques confondus. La cueillette des données sera principalement faite à partir de la recherche et l’analyse documentaire, notamment à partir des différents livrables et données transmis par les ATS via le Portail ATS du MTO et seront compilées par le personnel de la DIS. Finalement, afin de mieux définir l’inférence causale entre le programme d’aide aux ATS et l’évolution des données, le processus de sondage cité plus haut permettra aussi de questionner les promoteurs ayant bénéficié d’un suivi, ainsi que les ATS s’y rattachant, sur la part de l’évolution imputable au programme. L’aspect de l’efficience Cette évaluation permet d’examiner la relation entre les effets du programme et les ressources utilisées pour les produire. Autrement dit, il sera question de déterminer le ratio entre les effets du programme et ses intrants. Suite à la collecte et à l’analyse des données recueillies aux fins de l’évaluation de l’efficacité du programme, il sera possible,

dans une certaine mesure, de mesurer les ressources nécessaires afin de créer ou préserver un emploi grâce au programme, l’importance de l’investissement privé qui découle des interventions ainsi que de l’importance des retombées touristiques issues du programme. Ces données pourront ensuite être comparées entre ATS ou à d’autres programmes gouvernementaux afin de juger de l’efficience de la démarche. Pour ce faire, la méthode Data Envelopement Analysis (DEA) est envisagée.

5. CONSIDÉRATIONS ÉTHIQUES Les informations obtenues seront traitées et manipulées de façon strictement confidentielle en respect de la Loi sur l’accès aux documents des organismes publics et sur la protection des renseignements personnels (L.R.Q., chapitre A-2.1). Les informations colligées serviront exclusivement aux fins annoncées par la présente évaluation. Aucune autre utilisation ne pourra en être faite.

6. APPROBATION DES RESPONSABLES La Direction des interventions sectorielles (DIS) est gestionnaire du programme

d’aide aux ATS et est responsable de la disponibilité de l’information requise pour les besoins de l’évaluation.

La Direction des politiques et de l’intelligence d’affaires (DPIA) offre un soutien

pour la constitution et l’analyse de la base de données pour l’évaluation de programme en plus d’offrir une expertise méthodologique pour les études de développements touristiques.

Préparé par : Carmen Méndez et Benoit Lapierre Date :

Approuvé par le directeur général : Sylvain Bernier Date :

ANNEXE

2017-11-08 1/2

RÉF. 117316

PLAN TRIENNAL D’ÉVALUATION 2017-2020

PROGRAMME ÉVALUÉ TRAVAUX D'ÉVALUATION ÉCHÉANCIER (2)

Nom du programme Estimation budget annuel

(En M$)

ASPECTS ÉVALUÉS Période sur laquelle porte la collecte de données

Référence légale ou

réglementaire

Transmission du cadre de

suivi et d'évaluation préliminaire

Transmission du cadre

d'évaluation

Transmission du rapport

d'évaluation

Per

tinen

ce

Fon

ctio

nnem

ent

Effi

cacit

é

Effi

cienc

e

Effe

ts

Début (1) Fin

PSSDT, volet 1 : Appui à la stratégie de mise en valeur du tourisme hivernal

4,21 M$ (volets 1, 2, 3) ✔ ✔ ✔ ✔ ✔ 03-2017 09-2019 C.T. 218413 01/2018 01/2019 01/2020

PSSDT, volet 2 : Appui à la stratégie de mise en valeur du tourisme culturel et événementiel

4,21 M$ (volets 1, 2, 3) ✔ ✔ ✔ ✔ ✔ 03-2017 09-2019 C.T. 218413 01/2018 01/2019 01/2020

PSSDT, volet 3 : Appui à la stratégie de mise en valeur du tourisme de nature et d'aventure

4,21 M$ (volets 1, 2, 3) ✔ ✔ ✔ ✔ ✔ 03-2017 09-2019 C.T. 218413 01/2018 01/2019 01/2020

PSSDT, volet 4 : Appui à la stratégie de mise en valeur du Saint-Laurent touristique

6,5 M$ ✔ ✔ ✔ ✔ ✔ 03-2017 09-2019 C.T. 218413 01/2018 01/2019 01/2020

PSSDT, volet 5 : Appui à la stratégie touristique québécoise au nord du 49e parallèle (ADN49)

3,16 M$ ✔ ✔ ✔ ✔ ✔ 06-2013 09-2019 C.T. 218413 02/2018 01/2019 01/2020

PROGRAMME ÉVALUÉ TRAVAUX D'ÉVALUATION ÉCHÉANCIER (2)

Nom du programme Estimation budget annuel

(En M$)

ASPECTS ÉVALUÉS Période sur laquelle porte la collecte de données

Référence légale ou

réglementaire

Transmission du cadre de

suivi et d'évaluation préliminaire

Transmission du cadre

d'évaluation

Transmission du rapport

d'évaluation

Per

tinen

ce

Fon

ctio

nnem

ent

Effi

cacit

é

Effi

cienc

e

Effe

ts

Début (1) Fin

Programme d’aide financière aux festivals et aux événements touristiques

22 M$ ✔ ✔ ✔ ✔ ✔ 03-2018 03-2021 C.T. 218548 05/2018 01/2020 01/2021

PrDIT, Programme d'aide financière aux associations touristiques sectorielles (ATS)

1,4 M$ ✔ ✔ ✔ ✔ ✔ 06-2013 03-2018 C.T. 212558 07/2018 07/2018 02/2019

PrDIT, Entente de partenariat régional en tourisme (EPRT)

3 M$ ✔ ✔ ✔ ✔ ✔ 06-2013 03-2018 C.T. 212558 09/2018 09/2018 09/2019

Programme d'appui au développement des attraits touristiques (PADAT)

24 M$ ✔ ✔ ✔ ✔ ✔ 07-2017 09-2021 C.T. 217866 06/2018 01/2021 01/2022

Légende Note 1 : La date inscrite est basée sur l’année civile (Mois-Année) PSSDT: Programme de soutien aux stratégies de développement touristique PrDIT : Programme de développement de l’industrie touristique Note 2 : Date à laquelle les documents seront transmis au SCT

✔ Enjeux d’évaluation à couvrir

Préparé par : Carmen Méndez Date : 2018-02-28

Recommandé par le directeur général : Sylvain Bernier Date : 2018-02-28

Autorisé par le sous-ministre : Patrick Dubé Date :