region bretagne valorisation stratégique des données …...a t-il été selon vous force de...

REGION BRETAGNE

Valorisation stratégique des données dans le pilotage des actions territoriales

Formation du 14 et 15 novembre 2016

Première journée

Formation valorisation des données - 14 novembre 2016

Plan de formation 2015 - 2016

« Approches stratégiques et démarches intégrées de gestion de l’eau »

Objectif

❏ Accompagner les acteurs de l’eau en Bretagne à concevoir des approches intégrées et territoriales de gestion de l’eau

❏ En cohérence avec

Ø les besoins mis en évidence par les travaux évaluatifs ou de recherche

Ø l’esprit et les orientations de la politique régionale (PBE)

Au service des acteurs des territoires bretons :

❏ Animateurs/techniciens de BV, SAGE, bocage, milieux aquatiques

❏ Mais aussi au cas par cas, autres acteurs territoriaux (ex. EPCI, élus)

1Formation valorisation des données - 14 novembre 2016

Quelques mots sur l’esprit des formations…

Des formations pas très … ❏ « académiques »: le « comment agir » ne relève pas nécessairement de la transposition

d’un domaine scientifique

❏ « institutionnelles »: l’efficacité ne dépend pas forcément de la mise en œuvre conforme d’un dispositif public

❏ « clé en main » : comment utiliser le logiciel de suivi régional, appliquer une procédure …

Des formations organisées autour des lignes directrices relatives au pilotage de projet ❏ La gestion stratégique (regard /posture d’acteur)

❏ L’organisation et efficacité des l’action publique (regard évaluatif)

Une combinaison potentielle entre différents registres ❏ compléter les connaissances des acteurs locaux sur les thématiques concernées ;

❏ apporter des éléments de décryptage et d’interprétation des enjeux sous-jacents à chaque thème ;

❏ éclairer le « comment agir » avec des apports stratégiques et opérationnels au service des acteurs locaux.

=> Une large place au retours d’expériences, travaux et échanges collectifs


Organisation de la formation

J1: Sensibilisation à la notion de mobilisation stratégique de la donnée et décryptage du système régional ❏ Matinée : Vision transversale - données et pilotage territorial

Ø La donnée dans le cycle de construction et gestion de projet Ø Les indicateurs dans le suivi-évaluation et au service du pilotageØ La donnée mobilisée dans une posture stratégique : position d’acteur et enjeux

d’argumentation Ø La donnée dans le processus de délibération et pilotage des opérations

❏ Après midi : L’organisation de la donnée au niveau régional

Ø Exemple de l’Observatoire de l’eau

Ø Table ronde partenaires régionaux

J2: Travaux pratiques et échange d’expériences autour de l’utilisation de la donnée ❏ Matinée : Usage de la donnée au service des états des lieux et conception des projets

de territoires

❏ Après midi : Travaux appliqués sur document : préparation, présentation et mise en débat des « bilans annuels »


La donnée dans le cycle de construction et gestion de projet


Le cycle de projet

Un cycle de projet d’après les « standards » institutionnels

5

Identification problèmes et

besoins

Formalisationprojet

Financementcontractualisation

Mise en œuvre, suivi

Evaluation fin programme

Quelle place de la donnée dans ce

cycle ?

Etat des lieux

Diagnostic, enjeux et stratégie

Programmation

PilotageReporting, Bilan

Rendu-compteaux financeurs


LOGIQUE D'INTERVENTIO

N

INDICATEURS VERIFIABLES

SOURCES ET MOYENS DE

VERIFICATION HYPOTHESES

Finalité ou objectif global

service à un niveau élevé usagers autobus

90% de départs à l'heureparts de marché améliorées

données fréquentation SNCF

les usagers continuent à préferer le bus au train

OBJECTIF du Projet

réduction du nombre d'accidents

moins de X accidents ou incidents sur 12 moismoins de Y accidents graves

suivi internedonnées DDTM

maintien ou amélioration état des routes aménagements des croisements sensibles

RESULTATS ATTENDUS (outputs)

1) conducteurs mieux formés 2) de nouveaux autobus 3) atelier d'entretien équipé4) entretien systématisé

— amélioration tests conducteurs — réduction % intermittents

données emplois données formation

les conducteurs formés restent dans la compagnie

ACTIONS A REALISER(inputs)

1) mise en place de formations 2) appel d'offres achat d'autobus3) inventaire et compléments achat matériels atelier4) procédure d'entretien intégrée dans le planning

1) Y formations / an2) 12 mois délais appel d'offre 3) 1 entretien par bus tous les 6 mois

Suivi internes

disponibilité des pièces d'entretien et rechange

appel d'offres fructueux

Conduite en mode projet et cadre logique

Une conduite en mode projet :❏ Une conduite finalisée/planifiée

autour d’objectifs

❏ …qui s’appuie sur des outils de conception, pilotage et évaluation

❏ … organisés autour d’un cadre logique

Le cadre logique : ❏ Méthode de planification des

actions ciblée sur les objectifs

❏ Mode de faire impulsé par l’UE dans les années 90

❏ Liens de causalité recherchés pour passer des actions aux objectifs finaux

6D’après Asdi revu Epices

Conduite en mode projet et cadre logique

L’atteinte des objectifs dépend :

❏ De la réalisation des actions (en interne)

❏ Des résultats auprès des bénéficiaires directs ou indirects (en externe)

❏ De la robustesse de la chaine logique globale et notamment des hypothèses initiales

Ø La théorie d’action

7

politique / projet

Enjeux/ Finalités

Objectifsstratégiques

Objectifs opérationnels

Réalisations(tâches et actions

réalisées)

Résultats(bénéficiaires,

territoire…)

Effets/ impacts

Moyens /Activités

Indicateurs de réalisation(en interne)

Indicateurs de résultat

(en externe)


Les indicateurs de réalisation et de résultat, c’est quoi ?

Les indicateurs de réalisation

❏ Rendent compte de ce qu’on fait ou produit « en interne », de façon directeØ du côté de l’agent, de la chambre

❏ Si possible, des réalisations en référence à une prévision Ø a t-on réalisé les actions envisagées (effectivité) et à hauteur des prévisions (tout, à moitié) ?

❏ Très liés aux tâches élémentaires Ø réunions, livrables, expérimentations, protocoles, outils …

Les indicateurs de résultat ❏ Les effets de notre activité/ projet sur les bénéficiaires ou cibles directes

Ø territoire, agriculteurs, filières, la population des conseillers ou techniciens, les élus locaux communaux, …

Ø Ou sur les organisations, sur les processus de coordination, de gouvernance …

❏ Des résultats en référence aux objectifs et à l’ambition de l’action

Ø Des résultats par rapport aux attentes professionnelles ou celles des pouvoirs publics

❏ Des résultats à l’échelle d’un programme ou d’un projet cohérent plutôt qu’au niveau d’une action élémentaire

Ø Difficile de fixer des indicateurs de résultat en lien avec des tâches élémentaires ou actions courantes


La donnée dans le cycle de construction et gestion de projet « eau »

❏ Quelles types de données mobilisez vous aux différents stades de conception/ pilotage/ évaluation ?

9

Etat des lieux Identification

(re)Conception Evaluation

Etat des lieux

Diagnostic Stratégie Programmation

Mise en œuvre

?? ?

Reporting Bilan Rendu-compte


La donnée dans le cycle de construction et gestion de projet « eau »

10

Etat des lieux Identification

(re)Conception Evaluation

Etat des lieux

Diagnostic Stratégie Programmation

Mise en œuvre

Données Qualité

Données de

contexte

Pressions Pratiques

Données financières/ressources

Données de

réalisation

?

Reporting Bilan Rendu-compte


Au stade de la conception

En théorie ❏ Qualifier/expliciter les enjeux

Ø Légitimer l’interventionØ Se situer (chemin/temps,

espace/autres)

❏ Fixer des objectifs Ø Expliciter le chemin à parcourir

et les changements attendus

❏ Proposer une mise en réponseØ Expliciter des leviers, moyens,

actions…Ø Avec un souci de faisabilité : les

moyens disponibles mobilisables

11

è Données d’étatè Données de

contexte (territorial, acteurs, etc.)

è Données de moyens (financiers, moyens humains)

è Indicateurs de réalisations et résultats

attendus

è Repères sur les cibles (qui), la territorialisation (où),

l’ampleur du changement sur la période (combien sur la période)

è Arbre des objectifs


Au stade de la conception

En théorie ❏ Qualifier/expliciter les enjeux

Ø Légitimer l’interventionØ Se situer (chemin/temps,

espace/autres)

❏ Fixer des objectifs Ø Expliciter le chemin à parcourir

et les changements attendus

❏ Proposer une mise en réponseØ Expliciter des leviers, moyens,

actions…Ø Avec un souci de faisabilité : les

moyens disponibles mobilisables

12

En pratique ❏ Des enjeux souvent sous-

jacents ou formels, notamment sur les contrats

Ø Données disponibles, peu valorisées

❏ Des objectifs institutionnels,plus que locaux

Ø Objectifs peu travaillés

❏ Une mise en réponse Ø Avec des outils et leviers

financiers génériquesØ Sous couvert des missions et

compétences du MO Ø Dans la continuité des moyens


Au stade de la mise en œuvre et évaluation

En théorie, ❏ Constater le respect des objectifs en

cours de route et en fin de projet (logique de conformité)

Surtout d’interpréter / mettre en débat❏ L’avancement des réalisations

❏ La qualité des résultats sur le(s) territoire/ bénéficiaires

❏ L’équilibre d’ensemble de la stratégie

❏ La qualité de la mise en œuvre (animation, partenariats, relais territoriaux)

❏ Tester la véracité des hypothèses, théorie d’action initiale

13

En pratique

❏ Une capacité à porter un regard sur le respect des objectifs souvent tributaire de leur définition initiale

❏ Une description des réalisations plus qu’une mise en débat de l’avancement, de la stratégie

❏ Des indicateurs très « classiques » et peu utilisés

❏ Faible visibilité sur les résultats

❏ Difficultés à se prononcer sur la « qualité » de l’animation, mise en œuvre, plutôt sur sa conformité

❏ Une comitologie animée sur ces bases et donc impactée (peu « réactive » ou « pilote »)

Þ Un déficit d’hypothèses et de théorie d’action sur ce qui est déterminant ou stratégique dans le pilotage


Une faible mobilisation stratégique de la donnée en lien avec une faible visibilité du cadre logique

14

Des objectifs peu formalisés et un cadre logique

implicite(cf. évaluation contrats

AELB)

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Objec2fsglobauxdequalité Objec2fsderésultatsurlesévolu2onsduterritoire(fluxsousracinaires,%d’évolu2ondespra2quesousurfacesagricoles

Objec2fsderéalisa2on(surfacesdeMAE,nbdePVE…)

Laconcep)onduPATat-elledonnélieuàundébatimportantetorienta)onssurlesobjec)fsduPATauseinducomitédepilotage

pourlessujetssuivants:

NR

Non

Plutôtnon

Plutôtoui

Ouivraiment

0%

20%

40%

60%

80%

100%

Leniveaud’ambi4onetl’efficacitédesmesuresmisesen

œuvre

Lesuividulienentreréalisa4onsetobjec4fsini4aux

L’équilibreentrelesdifférentsvoletsduprogramme(conseil,foncier,filières,aménagements

…)

Lecomitédepilotage,danssadiversité,at-ilétéselonvousforcedepilotageetd’orienta8onac8vesur:

Non

Plutôtnon

Plutôtoui

Ouivraiment

Des objectifs et stratégie peu

débattus(cf. évaluation PAT

AEAG)

8%

50%

34%

8%

LesconnaissancesetdonnéesdesuivimobiliséesaucoursdelaphasedemiseenœuvreduPATont-elles

permisd’éclairerlaperAnencedesdifférentesopAonstechniques?

Ouivraiment

Plutôtoui

Plutôtnon

Non

12répondants

Des connaissances peu mobilisées au service des choix stratégiques

(cf. évaluation PAT AEAG)


Les indicateurs dans le suivi-évaluation au service du pilotage

Ou comment sortir de l’usage limité de l’indicateur ?


Une faible valorisation des indicateurs dans le pilotage ?

Des indicateurs souvent formels, peu utilisés ❏ Pourtant des enjeux réels autour de la mobilisation et mise en

débat de la donnée dans les processus de pilotage

Pourquoi ne les utilise t-on pas ?- L’adéquation des indicateurs fléchés dans la contractualisation ( peu

ciblés, spécifiques, …)

- L’identification des données et variables stratégiques (choix, alternatives…) complémentaires

- La disponibilité des données

- Le lieu de mise en débat

- La manière d’utiliser au service du pilotage


Illustration: ex. de la mission « G4 »(guide méthodologique contrats territoriaux AELB)

Au niveau institutionnel, des grilles de pilotage /évaluation construites autour d’un nombre important d’indicateurs peu hiérarchisées

❏ Une « hypertrophie » des indicateurs de pressions/pratiques sans mise en perspective stratégique

Ø Une mise en avant d’indicateurs très techniques mais peu exploitables ou peu robustes au regard des données disponibles

❏ Peu d’indicateurs sur la stratégie du contrat et sa territorialisation

Ø Part relative des différents volets, ciblage territorial, …

❏ Peu d’indicateurs sur les résultats

Ø Évolution des pratiques des bénéficiaires et pérennité, différences bénéficiaires/non bénéficiaires

Une entrée descriptive mais peu stratégique – quelles variables sensibles ?❏ Ex qualité structurante pour légitimer ou juger d’une conformité à une norme mais n’évalue pas

la place de l’action

❏ Ex. la réponse réduite à des variables sectorielles – l’adaptation des pratiques, la réglementation … mais qui n’embrasse pas les domaines transversaux, les leviers altératifs (renvoyés à des variables de contexte)

❏17Formation valorisation des données - 14 novembre 2016


❏ Régionalement, un pilotage et évaluation souvent abordée :

Ø En référence à la grille Pression-Etat–Réponses et qui renvoie davantage à l’évaluation environnementale qu’à l’évaluation de projets/programmes

Ø En référence à des attentes procédurales : état d’avancement SAGE, AAC grenelle, PPC par rapport aux grandes phases administratives

Ø En référence à une logique de conformité : prévu /réalisé, conformité normes, état d’avancement administratif


Illustration

Exemple de la grille de suivi-évaluation des contrats de l’AELB

Evaluation des BV et SAGE - Session du 11 janvier

2013


Différences entre EPP et évaluation environnementale


Une faible valorisation des indicateurs dans le pilotage ?

Face à des cadres publics peu adaptés

Une réponse locale un peu formelle…

❏ Peu d’indicateurs centrés sur les variables sensibles du projet

❏ Des indicateurs standard et plutôt descriptifs Ø avant tout des nombres d’actionsØ un découpage pas toujours pertinent (pressions, état, réponses)

… et un usage limité au service du pilotage

❏ Un devoir/ justification plus qu’un support à l’action

❏ Des indicateurs peu utilisés dans le pilotage / mise en débat


Les « bonnes » pratiques du « bon » indicateur

Un bon indicateur : qui sert et dont on débat

❏ Construire les indicateurs à une échelle de projet, de programme ou d’activité qui fait sens (une entité dont on attend qq chose)

❏ Faire le lien avec les objectifs Ø Se reporter aux mots clé et au sens général de l’objectif pour construire les

indicateurs (ex. autonomie territoriale => ∆ ventes aliment, ∆ surfaces en cultures protéiques / prairies)

Ø Se référer aux territoires, zones ou bénéficiaires cibleØ Faire le lien aux politiques publiques : leurs attentes, leurs cibles ou « unités de

mesure » (ex. plan Bio, objectifs des trames vertes et bleues …)

❏ Introduire des segmentations qui reflètent la théorie d’action Ø % des opérations des actions phyto qui passent par le bocage / les pratiques Ø % des budgets / temps passé sur les aménagements, restaurations, renaturations …

❏ Introduire des segmentations qui reflètent les enjeux opérationnels locauxØ % temps animation passé en courriers, réunions, gestion administrative …Ø Convergence communale sur les actions bocage et ZH…


Les « bonnes » pratiques du « bon » indicateur

❏ Oublier les nombres ou les décliner Ø Nb de jeunes, Nb de pauvres, Nb de riches, Nb de plus que prévu,

Nb de moins que l’année dernière, nombre stable, croissant, variable …

Ø Préférer les pourcentages ou proportions, Ø les évolutions pluriannuelles, Ø les comparaisons interdépartementales, interrégionales ...

❏ Les « bons indicateurs » ne rentrent pas toujours dans les cadres de programmation

Ø Mais se situent souvent aux interstices Ø La requalification de l’existant (descripteur de contexte -

descripteur de pression) – changement de modèleØ Requalification du système de suivi institutionnel ( des pressions à

l’occupation des sols)


L’usage stratégique de la donnée


Un usage de la donnée plus programmatique que stratégique?

Quelles sont pour vous les variables stratégiques en termes de pilotage de projet ?

❏ Ex. quelle serait pour vous une variable stratégique au stade de la conception d’un programme ou au stade du pilotage/ évaluation?

Ø Pourquoi ces données et variables ?


L’usage stratégique de la donnée : vision sociologique

La donnée en prise avec une convention locale – importance du choix des « focales »❏ Le territoire est un nœud d’interactions entre différents types d’acteurs avec des intérêts qui

peuvent converger ou diverger, ce qui complexifie la construction des accords

❏ La mobilisation de la donnée ne résulte pas de l’application d’un protocole prédéfini et standardisé, mais d’un processus collectif relevant de conventions entre acteurs pour lesquelles il n’existe pas de consensus a priori (Gadrey, 2006)

Ø quantifier c’est « convenir pour mesurer » (Desrosières, 2008)

La donnée au service de la démonstration et de conviction : justifier et convaincre❏ D’autant plus probable que la donnée s’inscrit dans une convention locale

❏ Mais un effet partiel au regard des intérêts et postures d’acteurs

La donnée venant appuyer et légitimer les acteurs investis ❏ L’enjeu: contribuer à la mobilisation et valorisation des « chiffres » par les pouvoirs

publics locaux pour bâtir des stratégies environnementales efficaces !

❏ Dans un jeu d’acteurs et d’interactions complexe Ø Des chiffres qui aident à la légitimation de l’action des élus auprès des administrés Ø la légitimation de l’action des services auprès de leurs partenaires/ hiérarchie


Posture d’acteur et la vision stratégique

Vision stratégique du pilotage : au-delà de la planification « formelle » surmonter les freins et contraintes, les blocages

❏ Une vision des arguments les plus structurants

❏ Légitimer un projet, légitimer une stratégie, évaluer les variables structurantes, apprécier l’effet environnemental…

❏ Des hypothèses sur les facteurs limitants, les dimensions à crédibiliser, les …

❏ Des variables qui suscitent le débat:

=> Un pilotage stratégique suppose une vision stratégique du projet


Exemples de variables stratégique

Approche stratégique

❏ L’occupation des sols

❏ Fuites nitrates sous systèmes AB

❏ Surfaces en zones contributives

❏ Surfaces contractualisées sur les territoires SIG à enjeux

❏ Les taux de participation selon catégories d’acteurs

❏ La densité d’animation


Approche descriptives

❏ Pratiques agricole

❏ Baisse des doses d’azote ou amélioration de la balance

❏ Surfaces en zones vulnérables

❏ Surfaces contractualisées

❏ Le nombre de réunions

❏ Les nombres de jours d’animation prévus / réalisés

Un zoom sur l’efficacité environnementale (≠ qualité eau, milieux)

Mettre l’accent sur les variables de résultat et l’efficacité environnementale

❏ Quel est le niveau d’impact actuel ?

❏ Quel est l’efficacité effective des actions menées ?

Ex. évaluation AESN : le premier frein à la mise en place d’actions structurantes – la preuve du besoin

❏ La boite noire de l’inertie

❏ Les solutions « de progrès »

❏ La difficile justification des solutions structurelles

30

flux sous racinaires bassin seine


Un zoom sur l’efficacité environnementale (≠ qualité eau, milieux)


Trouver le bon équilibre dans la nature des données et arguments

Un usage exclusif de la donnée locale,De la donnée technique (Etat des lieux)


Comprendre la mobilisation et circulation de la connaissance

Apporter les bonnes données et connaissances, au bon moment (calendrier de décision), dans les bonnes instances

Savoir interpréter le rôle des différents acteurs et leurs attentes

❏ Connaître les arguments


Souvent, un poids limité des connaissances et expertise dans les contenus des projets

34

— Un enjeu de disponibilité des données et arguments,

— mais aussi un enjeu de mobilisation/ traduction

stratégique dans les instances

- Des études trop descriptives, peu interprétatives- Un pilotage et bilans trop programmatiques Des comités « passifs »Formation valorisation des données - 14 novembre 2016

Recueillir ou construire la donnée stratégique

Bien connaître et mobiliser la donnée externe

❏ Financeurs, Etat, réseaux régionaux, expertise nationale… (cf. après midi)

Mais aussi organiser la connaissance interne (locale)

❏ Tableau de bord

❏ Observatoire local bocage / ZH/ urbanisme

❏ mutualisation et mise en réseau d’info stratégiques …

❏ Réseau de suivi ( flux sous racinaires)

❏ Expertise et références scientifiques

❏ Modélisations


En synthèse

Usage stratégique de la donnée une condition centrale de la conduite stratégique de projet

L’usage stratégique de la donnée dépend avant tout :

=> de la qualité de la structuration du projet – cadre logique

=> de la vision stratégique du projet et des actions/ activités primordiales

=> de la vision stratégique de la place de la connaissance dans les processus de concertation/ négociation


La donnée mise en débat


La donnée mise en débat : pourquoi c’est utile ?

Favoriser l’appropriation des résultats

Rendre les pilotes « acteurs » de l’action publique

❏ Les aider à décrypter les termes du débat

❏ Les aider à développer une capacité de réflexion stratégique

❏ Leur donner des clés pour favoriser les liens entre différents sujets et l’intégration de la gestion de l’eau dans l’action territoriale (aménagement du territoire, qualité de vie, etc.)

❏ Leur donner des arguments pour négocier l’action territoriale de l’eau auprès des financeurs


La donnée mise en débat : le processus ?

L’identification des termes du débat❏ Des problématiques (ex. difficulté à mobiliser tel public cible,

avancement de tel type d’actions, etc.)

❏ Des questions d’arbitrage (ex. poursuivre/arrêter tel champ d’action, ou la manière dont on le met en œuvre, car ça prend trop de temps, etc.)

Le choix de l’information pertinente à nourrir❏ Sélectionner la donnée qui questionne, mais aussi qui justifie le

débat

❏ Développer un discours autour de la donnée et du débat, pas juste décrire

L’animation du débat❏ L’instance propice

❏ La bonne posture : nourrir le débat, faire en sortir qu’il ait lieu


La donnée mise en débat : la temporalité ?


N N+1 N+2 N+3 N+4

Suivi Conception du dispositif de suivi

Suivi des réalisations financièresRecueil d’information sur les réalisations et les résultats

Evaluation« Evaluation ex

ante »Etat des lieux

« Evaluation intermédiaire »(mise en œuvre,

résultats intermédiaires)

Evaluation finale(atteinte des

objectifs, effets du programme)

Saisir les outils et faire vivre la démarche

Bilan annuel « intelligent »

(échange avec le COPIL)

Evènement autour de

l’évaluation (échange COPIL,

séminaire ensemble élus)

Bilan annuel « intelligent »

(échange avec le COPIL)

Evènement autour de

l’évaluation (COPIL spécifique

évaluation,séminaire territorial)

region bretagne valorisation stratégique des données …...a t-il été selon vous force de...

Documents