crip – 22 juin 2006 – d. rabu – c. le mauguen – a. leclercq 1 evaluation des initiatives...
TRANSCRIPT
1
CR
IP –
22
juin
200
6 –
D. R
abu
– C
. Le
Mau
gu
en –
A. L
ecle
rcq
Evaluation des Evaluation des initiatives publiques initiatives publiques
de réseauxde réseaux
Un projet-pilote Un projet-pilote en Pays-de-la-Loire en Pays-de-la-Loire
______________________________
D. RABU – Préfecture de régionC. LE MAUGUEN – Conseil régional
A. LECLERCQ - ARCEP
Evaluation des Evaluation des initiatives publiques initiatives publiques
de réseauxde réseaux
Un projet-pilote Un projet-pilote en Pays-de-la-Loire en Pays-de-la-Loire
______________________________
D. RABU – Préfecture de régionC. LE MAUGUEN – Conseil régional
A. LECLERCQ - ARCEP
2
CR
IP –
22
juin
200
6 –
D. R
abu
– C
. Le
Mau
gu
en –
A. L
ecle
rcq
Évaluation de l’action Évaluation de l’action publique : publique : démarche pilotedémarche pilote
Évaluation de l’action Évaluation de l’action publique : publique : démarche pilotedémarche pilote
DSP Sarthe
Achat de mise à disposition de services Vendée
Réseau métropolitain
O-Méga
DSP Maine et Loire
Principe
Élaboration d’une méthodologie d’évaluation appliquée aux projets d’initiative publique locale :
•En s’inspirant de la culture d’évaluation des politiques publiques
•À partir de l’idée qu’ont les collectivités d’un projet réussi:
couverture, développement de la
concurrence, baisse des prix de détail…
Réseau métropolitain BOA
Expérimentations
Achat de services MEGALIS
3
CR
IP –
22
juin
200
6 –
D. R
abu
– C
. Le
Mau
gu
en –
A. L
ecle
rcq
Évaluation de l’action Évaluation de l’action publique : publique : définitiondéfinition
Évaluation de l’action Évaluation de l’action publique : publique : définitiondéfinition
•Évaluer une politique, c’est rechercher si les moyens juridiques, administratifs ou financiers mis en œuvre permettent de produire les effets attendus de cette politique et d’atteindre les objectifs qui lui sont
fixés.
Décret du 22 janvier 1990 puis Décret du 18 novembre 1998
Guide de l’évaluation des politiques publiques,
Conseil Scientifique de l’Évaluation, 1996
•L’évaluation consiste à tenter de répondre à un ensemble de
questions relatives à une politique, sa mise en œuvre et ses effets.
•L’évaluation cherche à apprécier dans quelle mesure la politique
évaluée possède les principales « qualités » qui caractérisent idéalement une « bonne » politique.
4
CR
IP –
22
juin
200
6 –
D. R
abu
– C
. Le
Mau
gu
en –
A. L
ecle
rcq
5
CR
IP –
22
juin
200
6 –
D. R
abu
– C
. Le
Mau
gu
en –
A. L
ecle
rcq
Des actions publiquesDes actions publiques Des actions publiquesDes actions publiques des initiatives publiques de réseaux
diversifiées Déploiement de réseaux par DSP : Melis@,
S@rtel Achat de services : MEGALIS Achat de mise à disposition de services :
Vendée Déploiement de réseaux en direct : Omega,
BOA Expérimentations diverses :
Sillé le Guillaume Le Lion d'Angers
des chartes « Département innovant » Loire-Atlantique, Mayenne
6
CR
IP –
22
juin
200
6 –
D. R
abu
– C
. Le
Mau
gu
en –
A. L
ecle
rcq
Une mobilisation des Une mobilisation des acteursacteurs
Une mobilisation des Une mobilisation des acteursacteurs
une stratégie régionale un observatoire régional de la société
de l’information - Synapse une section spécialisée de l’évaluation des financements multi-partenaires
7
CR
IP –
22
juin
200
6 –
D. R
abu
– C
. Le
Mau
gu
en –
A. L
ecle
rcq
8
CR
IP –
22
juin
200
6 –
D. R
abu
– C
. Le
Mau
gu
en –
A. L
ecle
rcq
La commandeLa commande La commandeLa commande
Origine demande conjointe du conseil régional
et du SGAR à Synapse mobilisation de la SSE
Problématique mesurer l'impact des initiatives
publiques de réseaux sur l'attractivité et la compétitivité des territoires
IPR vs RIP
9
CR
IP –
22
juin
200
6 –
D. R
abu
– C
. Le
Mau
gu
en –
A. L
ecle
rcq
ObjectifsObjectifs ObjectifsObjectifs
Un objectif double : établir une méthode d’évaluation pour
les IPR fournir aux porteurs de projets un outil
d’évaluation pour leur propre suivi
10
CR
IP –
22
juin
200
6 –
D. R
abu
– C
. Le
Mau
gu
en –
A. L
ecle
rcq
Champs de l’évaluationChamps de l’évaluation Champs de l’évaluationChamps de l’évaluation
Domaines de l'évaluation : la desserte haut et très haut débit
des territoires le développement des usages de
l’Internet le développement économique et
social l’attractivité territoriale
11
CR
IP –
22
juin
200
6 –
D. R
abu
– C
. Le
Mau
gu
en –
A. L
ecle
rcq
Résultats attendusRésultats attendus Résultats attendusRésultats attendus Une méthode d’évaluation
transférable à tout type d’IPR Des grilles d’indicateurs Des protocoles de mise en œuvre
afin d’évaluer de façon homogène l’ensemble des actions menées
L’application à un échantillon représentatif de projets ligériens – voire à tous
L’appropriation de l’outil par les porteurs de projets
12
CR
IP –
22
juin
200
6 –
D. R
abu
– C
. Le
Mau
gu
en –
A. L
ecle
rcq
13
CR
IP –
22
juin
200
6 –
D. R
abu
– C
. Le
Mau
gu
en –
A. L
ecle
rcq
Moyens humainsMoyens humains Moyens humainsMoyens humains
GROUPE DE PROJET ET DE SUIVI (GPS)
prépare et suit les travaux d’évaluation est l’interlocuteur privilégié du prestataire se réunit au minimum lors de la remise de
chaque rapport intermédiaire et lors de la remise du projet de rapport final.
14
CR
IP –
22
juin
200
6 –
D. R
abu
– C
. Le
Mau
gu
en –
A. L
ecle
rcq
Moyens humainsMoyens humains Moyens humainsMoyens humains
GPS (suite)
est composé de membres représentant :• la préfecture de région (SGAR) ; • la région des Pays de la Loire ; • l’ARCEP (autorité de régulation des
communications électroniques et des postes) ; • le CETE de l’Ouest, groupe Aménagement
Numérique des Territoires ; • l’université de Nantes ; • l’Ecole des Mines de Nantes ; • le conseil économique et social régional ; • la trésorerie générale de région ; • la section spécialisée de l’évaluation (experts).
15
CR
IP –
22
juin
200
6 –
D. R
abu
– C
. Le
Mau
gu
en –
A. L
ecle
rcq
Moyens humainsMoyens humains Moyens humainsMoyens humains Groupe de travail
constitué de • l’ensemble des acteurs publics porteurs de
projets d’infrastructures à haut débit en Pays de la Loire
• de personnalités qualifiées • en tant que de besoin, des personnes-
ressources des services de l’Etat, de la région et des structures rattachées pourront être mobilisées.
Consultants retenus par AO
16
CR
IP –
22
juin
200
6 –
D. R
abu
– C
. Le
Mau
gu
en –
A. L
ecle
rcq
Moyens financiersMoyens financiers Moyens financiersMoyens financiers
Etat-Région en financement alterné Montant : 80 000 € TTC Procédure d’appel d’offre en avril
17
CR
IP –
22
juin
200
6 –
D. R
abu
– C
. Le
Mau
gu
en –
A. L
ecle
rcq
Moyens techniquesMoyens techniques Moyens techniquesMoyens techniques
des sources documentaires partagées
Sources Synapse Sources ARCEP Etudes diverses
une plate-forme de travail collaboratif ouvert aux acteurs du projets
18
CR
IP –
22
juin
200
6 –
D. R
abu
– C
. Le
Mau
gu
en –
A. L
ecle
rcq
MéthodeMéthode MéthodeMéthode Un travail en 3 phases
Phase 1 : Analyse des projets déployés ou en cours de déploiement en Pays de la Loire
Phase 2 : Méthodologie de l’évaluation Phase 3 : Application aux projets ligériens
(et recommandations). Des indicateurs s’appuyant sur des
critères d’évaluation des politiques publiques
19
CR
IP –
22
juin
200
6 –
D. R
abu
– C
. Le
Mau
gu
en –
A. L
ecle
rcq
Critères d’évaluationCritères d’évaluation Critères d’évaluationCritères d’évaluation
•Évaluer une politique, c’est rechercher si les moyens juridiques, administratifs ou financiers mis en œuvre permettent de produire les effets attendus de cette politique et d’atteindre les objectifs qui lui sont fixés.
Décret du 22 janvier 1990 puis Décret du 18 novembre 1998
•Pertinence
•Effectivité
•Efficacité
•Impact
•Pérennité
•Efficience
•Cohérence
Les 7 critères
Guide de l’évaluation des politiques publiques, Conseil Scientifique de l’Évaluation, 1996
•L’évaluation consiste à tenter de répondre à un ensemble de questions relatives à une politique, sa mise en œuvre et ses effets.
•L’évaluation cherche à apprécier dans quelle mesure la politique évaluée possède les principales « qualités » qui caractérisent idéalement une « bonne » politique.
20
CR
IP –
22
juin
200
6 –
D. R
abu
– C
. Le
Mau
gu
en –
A. L
ecle
rcq
PertinencePertinence PertinencePertinence
•La construction du réseau s’inscrit-elle dans un schéma directeur, au niveau
départemental ou régional ?
•Un diagnostic a-t-il été réalisé ?
•Une mise à jour du diagnostic a-t-elle été réalisée ? Le projet a-t-il
été conçu en adéquation ou réorienté en fonction du
diagnostic ?
•Une enquête de besoin auprès des opérateurs avant le lancement d’offres de gros a-t-elle été réalisée ?
•Une enquête de besoin auprès des ménages et/ou entreprises a-t- elle été réalisée ?
Définition
•Le bien-fondé de l’action étudiée
•Les objectifs explicites sont-ils adaptés à la nature du ou des problèmes qui sont censés être résolus ou pris en charge ?
Indicateurs
21
CR
IP –
22
juin
200
6 –
D. R
abu
– C
. Le
Mau
gu
en –
A. L
ecle
rcq
•Degré de réalisation des travaux à la fin du processus de réalisation
•Respect des délais:
Part des travaux effectués à la date de fin prévue
Délai entre la fin prévue et la fin effective des travaux
•Surcoûts éventuels en % du coût total
IndicateursDéfinition
•La réalité de la mise en œuvre du projet
•Critère opérationnel intéressant le gestionnaire du projet
EffectivitéEffectivité EffectivitéEffectivité
22
CR
IP –
22
juin
200
6 –
D. R
abu
– C
. Le
Mau
gu
en –
A. L
ecle
rcq
•Couverture du territoire:
Couverture additionnelle de la population
Couverture additionnelle des entreprises (en DSL, en fibre)
Couverture des sites publics
Nombre de mètres linéaires de fibre optique posés
Nombre de zones d’activités desservies en fibre
IndicateursDéfinition
•Le rapport entre les objectifs du projet de réseau et les résultats constatés
•Éventuellement la comparaison entre résultats obtenus et résultats attendus
EfficacitéEfficacité EfficacitéEfficacité
•Attractivité des offres:
•catalogue d’offres de gros ou de détail connu (publié, envoyé) ?
•club d’acheteurs ou comité de l‘interconnexion des clients du délégataire ?
•% de différence entre le tarif à Paris et le tarif local d’un panier type de services? (Indice de spread)
•enquête de satisfaction ménages et des usagers professionnels?
•Disponibilité de nouveaux services:
•Débit maximal des offres
•Présence d’offres triple play
•Présence de VPN IP
Indicateurs (suite)
23
CR
IP –
22
juin
200
6 –
D. R
abu
– C
. Le
Mau
gu
en –
A. L
ecle
rcq
•Évolution des usages chez les particuliers:
Taux de pénétration Internet haut débit
Bande passante moyenne consommée par utilisateur
•Évolution des usages chez les entreprises:
Taux de pénétration des services, Bande passante consommée
Entreprises télédéclarant leur TVA (%)
IndicateursDéfinition
•Les impacts socio-économiques du projet d’investissement
•Séparer les effets du projet lui-même de ceux résultant d’une tendance générale
•L’observatoire des Pays-de-la-Loire SYN@PSE fournit déjà des données.
ImpactImpact ImpactImpact
•Développement des entreprises locales grâce aux TIC:
•Évolution du nombre d’entreprises locales dans le secteur des TIC
•Évolution de l’emploi local dans le secteur des TIC
Indicateurs (suite)
•Développement des usages des TIC par les administrations locales:
•Actes administratifs faisant l’objet d’un contrôle de
légalité dématérialisé (%)
•Achats publics dématérialisés
24
CR
IP –
22
juin
200
6 –
D. R
abu
– C
. Le
Mau
gu
en –
A. L
ecle
rcq
•Évolutivité des services:
•Nombre annuel d’avenants à la grille tarifaire des offres du délégataire
•Insertion ou non de clauses imposant l’évolutivité au délégataire
•Évolution comparée des offres de détail locales avec les meilleurs offres constatées au niveau national
IndicateursDéfinition
•Durabilité des effets observés
•Le projet a-t-il engendré une structure ou des pratiques capables de « vivre » et se développer après la fin de l’intervention publique ?
PérennitéPérennité PérennitéPérennité
•Concurrence de long terme:
•Part de marché du délégataire sur le marché de gros
•Parts de marchés des opérateurs clients, sur les marchés de détail
•Évolution annuelle du nombre de répartiteurs dégroupés (par le délégataire, par les opérateurs clients)
•Concurrence de long terme (suite) :
•Rapport entre la longueur de FON louée aux clients et la longueur du réseau
•Montant minimal d’investissement imposé pour
l’achat (IRU) de FON
25
CR
IP –
22
juin
200
6 –
D. R
abu
– C
. Le
Mau
gu
en –
A. L
ecle
rcq
•Utilisation des infrastructures existantes ou mobilisables
•Cohérence des différents projets publics sur un même territoire
•Analyse coûts/bénéfices
IndicateursDéfinition
•Rapport entre les moyens mis en œuvre et les résultats constatés
•Optimisation des deniers publics
EfficienceEfficience EfficienceEfficience
26
CR
IP –
22
juin
200
6 –
D. R
abu
– C
. Le
Mau
gu
en –
A. L
ecle
rcq
•Analyse qualitative:
•Adéquation entre l’objectif de développement de la concurrence de long terme et la subvention versée au délégataire au titre de l’ouverture du réseau
IndicateursDéfinition
•Compatibilité entre les objectifs poursuivis par la collectivité et la correspondance entre ces objectifs et les moyens mobilisés pour les atteindre
•La collectivité peut-elle atteindre simultanément tous les objectifs
affichés ?
•A-t-elle employé les moyens suffisants, ou adéquats pour cela ?
CohérenceCohérence CohérenceCohérence
27
CR
IP –
22
juin
200
6 –
D. R
abu
– C
. Le
Mau
gu
en –
A. L
ecle
rcq
Management du projetManagement du projet Management du projetManagement du projet GPS
cahier des charges GPS-consultants
réunions mensuelles travail itératif sur les indicateurs questionnaires d'entretien co-construction de la grille d'évaluation
Consultants - Porteurs de projet groupe de travail entretiens individuels
Consultant analyse restitutions
28
CR
IP –
22
juin
200
6 –
D. R
abu
– C
. Le
Mau
gu
en –
A. L
ecle
rcq
LivrablesLivrables LivrablesLivrables Phase 1
inventaire détaillé des projets examinés typologie des projets modalités pour la conduite de l’évaluation
(questionnaires, contacts, validation des travaux…).
liste des acteurs à solliciter sources de données régionales bibliographie thématique
29
CR
IP –
22
juin
200
6 –
D. R
abu
– C
. Le
Mau
gu
en –
A. L
ecle
rcq
LivrablesLivrables LivrablesLivrables
Phase 2 grilles d’indicateurs modes d’emploi d’acquisition des données et
cadre d’utilisation
30
CR
IP –
22
juin
200
6 –
D. R
abu
– C
. Le
Mau
gu
en –
A. L
ecle
rcq
LivrablesLivrables LivrablesLivrables
Phase 3 Bilan d’évaluation obtenu par la mise en
œuvre pratique de la méthode définie dans le cadre de la phase 2.
Recueil d’indicateurs Achèvement de la méthode définie à la phase
2 à la lumière de la mise en œuvre pratique identification et valorisation des moyens externes (enquêtes, …).
Rapport final Rapport complet Rapport de synthèse
31
CR
IP –
22
juin
200
6 –
D. R
abu
– C
. Le
Mau
gu
en –
A. L
ecle
rcq
CalendrierCalendrier CalendrierCalendrier