1

BIEN SE PREPARER A L’EVALUATION EXTERNE

ARS – CG 24 et 27 juin 2013

NB : version avec les commentaires qui complètent les diapositives.

L’évaluation, un processus formalisé mais pas totalement nouveau Les finalités de l’évaluation : un processus de

connaissance, d’analyse et d’appréciation pour améliorer le service rendu.

L’évaluation renvoie à des pratiques multiples : Rapport d’activité ; Projet institutionnel, projet de vie ; Étude de situation…

Des pratiques à articuler avec la commande publique issue de la loi 2002.2.

Pierre Savignat ~Directions ~ 2012 2

3

I) Les quatre objectifs de l’évaluation externe (décret du 15 mai 2007)

BIEN SE PREPARER A L’EVALUATION EXTERNE

4

Porter une appréciation globale (Les quatre objectifs de l’évaluation externe, ¼)► Fournir des éléments synthétiques :

Adéquation du projet aux missions ; Cohérence des objectifs ; Adaptation des moyens aux objectifs ; Efficience des actions et adaptation de

l’organisation Pertinence des dispositifs de gestion et de suivi ; Atteinte des objectifs et effets sur les usagers ; Impact des pratiques des intervenants sur les

effets observés ;

5

MissionsCommande publique

Objectifs

ActionsActivités et prestations

Effets sur la situation des usagers

PROJETStratégie

Organisation, fonctionnement, management,

pratiques professionnelles

6

Suites réservées aux résultats de l’évaluation interne (Les quatre objectifs de l’évaluation externe, 2/4)► Quatre questions :

Le déroulement de l’évaluation interne ;

Les modes d’implication des acteurs ;

Les mesures d’amélioration mises en œuvre et leur suivi ;

La dynamique générale d’amélioration continue.

7

Focus : la question de l’évaluation interne dans les textes (1/2) L’article 312-8 :

« Les résultats de l'évaluation sont communiqués tous les cinq ans à l'autorité ayant délivré l'autorisation. » (Selon une périodicité fixée à 5 ans par le décret du 3 novembre 2010).

Le décret du 3 novembre 2010 :

Les évaluations reposent sur une démarche continue retracée chaque année dans le rapport d’activité des établissements et services concernés.

Pour les établissements et services ayant conclu un contrat pluriannuel, les résultats de ces évaluations sont communiqués lors de la révision du contrat.

Focus : la question de l’évaluation interne dans les textes (2/2) La circulaire du 21 octobre 2011

les ESSMS sont libres de choisir leurs outils d’évaluation interne parmi ceux déjà existants, de les adapter ou même de les créer.

Les domaines incontournables : la promotion de la qualité de vie, de l’autonomie, de la santé

et de la participation sociale ; la personnalisation de l’accompagnement ; la garantie des droits et la participation des usagers ; la protection et la prévention des risques inhérents à la

situation de vulnérabilité des usagers.

Pierre Savignat ~Directions ~ 2012 8

9

Examiner certaines thématiques et registres spécifiques (Les quatre objectifs de l’évaluation externe, 3/4) Deux thèmes centraux :

Droits des usagers et projet personnalisé ; Ouverture sur l’environnement.

15 points spécifiques à examiner « en prenant en compte les particularités de la structure » : Missions, stratégie et objectifs; organisation, fonctionnement, actions ; Pratiques professionnelles collectives ; Réponses aux besoins et effets sur les usagers

10

Formuler des propositions et préconisations (Les quatre objectifs de l’évaluation externe, 4/4)

Objectif : améliorer le service rendu : Plan d’amélioration visant une meilleur qualité de

service ; Modification des modes d’organisation, de

fonctionnement et de management ; Réactualisation du projet d’établissement ; Continuer à bien faire ce qui fonctionne bien.

11

II) Mettre en oeuvre l’évaluation externe (décret du 15 mai 2007)

BIEN SE PREPARER A L’EVALUATION EXTERNE

12

La préparation (les étapes de l’évaluation externe ¼)

L’initiative appartient à l’établissement ou au service

Le pré-diagnostic : Une nécessité : savoir d’où l’on part ; Des premières hypothèses, points forts, points de

fragilité.

Le document de mise en concurrence : Fixe le cadre général de l’évaluation ; Fondement de la relation contractuelle avec l’évaluateur

externe.

L’information préalable aux parties prenantes

13

Focus : le document de mise en concurrence (cahier des charges)1. Présentation de la structure ;2. Projet, contrat, évaluation interne, démarches

d’amélioration… ;3. Premières hypothèses et questions évaluatives ;4. Modalités de concertation initiales (parties prenantes) ;5. Modalités de suivi (pilotage) ;6. Le contexte et les éventuelles contraintes ;7. Les conditions d’accès à l’information ;8. Les modalités d’élaboration et de rendu du rapport ;9. Le temps nécessaire et le calendrier ;10. Les modalités financières.

NB : pour les établissements publics, procédure de marché adaptée (MAPA) si seuil inférieur à 15.000 euros, sinon appel d’offre.

14

Le choix de l’évaluateur (les étapes de l’évaluation externe 2/4)

Qu’est ce que l’habilitation ? ; Une double procédure, écrite et orale. Les critères de choix :

Un ou plusieurs ? Les compétences requises ; La capacité à comprendre les besoins de la

structure ; La qualité des conseils méthodologiques.

La contractualisation.

15

La phase opérationnelle (les étapes de l’évaluation externe 3/4)

Le projet évaluatif : Le questionnement évaluatif ; Les références mobilisées.

La méthode de travail : Des modalités et des outils adaptés ; L’implication des parties prenantes ; Le mode de pilotage ; La temporalité.

16

Focus : un exemple de mode de pilotage, le comité de suivi L’objectif:

Favoriser l’appropriation ; Garantir la transparence ; Valider les différentes étapes du processus.

La composition: Direction ; Evaluateur(s) externe(s) ; Représentants du personnel ; Représentant des usagers ; Autres représentants.

Focus : la temporalité

Importance du temps : Pour impliquer les parties prenantes, il faut des temps de respirations entre deux

journées d’intervention permettant des aller/retour et une appropriation à chaque étape ce que ne permet pas une évaluation concentrée sur deux ou trois jours.

Exemple :

Journées sur site (entre 4,5 et 5,5 j. réparties sur plusieurs semaines) : Bouclage du projet et présentation : ½ j Recueil de l’information : de 3 à 4 j. (par exemple une toutes les 3 ou 4 semaines)) ; Échanges sur le pré-rapport : de 2h à 1/2j; Finalisation : de 2h à 1/2j.

Déroulement d’une journée sur site : Matin : entretiens (usagers, bénévoles), visites… Après midi : groupe de travail, comité de suivi, rencontre des familles.

Journées hors site (2 à 3 j.): Analyse documentaire, rapport…

Durée totale : 6,5 à 8.5 jours sur 4 à 5 mois (répartis sur 2 exercices ?)

18

La finalisation (les étapes de l’évaluation externe 4/4)

De la collecte de l’information à la synthèse et à l’analyse :

Le pré-rapport et sa mise en débat ;

Le rapport final ;

L’abrégé ;

La transmission et la propriété du rapport.

19

L’évaluation externe n’est pas une évaluation extérieure (1/2)

Le rôle du commanditaire ; Document de mise en concurrence ; Choix de l’évaluateur ; Garant du bon déroulement du processus et du

respect des textes ;

Les responsabilités partagées commanditaire et évaluateur ; Le contrat ; Les principes méthodologiques ;

L’évaluation externe n’est pas une évaluation extérieure (2/2)

Les responsabilités propres de l’évaluateur : Les méthodes ; La liberté d’accès à l’information et de rencontres ; La rédaction du pré-rapport, du rapport et de l’abrégé

L’implication des parties prenantes : Information ; Entretiens, groupes de travail, comité de suivi...

Pierre Savignat ~Directions ~ 2012 20

21

En conclusion…

Des enjeux au-delà du renouvellement de l’autorisation :

Renforcer les dynamiques internes ;

Améliorer le service rendu ;

Conforter le dialogue avec les pouvoirs publics.

Un processus collectif qui s’inscrit dans les pratiques…

Les textes de références

Décret n°2012-147du 30 janvier 2012 relatif aux conditions de prise en compte de la certification dans le cadre de l’évaluation externe des établissements et services sociaux et médico-sociaux

Circulaire n° DGCS/SD5C/2011/398 du 21 octobre 2011 relative à l’évaluation des activités et de la qualité des prestations délivrées dans les établissements et services sociaux et médicosociaux  

Décret n°2010-1319 du 3 novembre 2010 relatif aux calendriers des évaluations et aux modalités de restitution des résultats des évaluations des établissements sociaux et médico-sociaux

Décret n°2007-975 du 15 mai 2007 fixant le contenu du cahier des charges relatif aux évaluations externes  

L’article L.312-1 du CASF : "Établissements et services sociaux et médico-sociaux" ; 

L’article L.312-8 du CASF : "Évaluation et systèmes d’information" ; 

L’article L.313-5 du CASF : renouvellement de l’autorisation et résultats de l’évaluation externe

Disponibles sur le site : www.anesm.sante.gouv.fr (rubrique : outils/textes de références).

22

PROJET CONTRÔLEAUDIT

CERTIFICATION

SUIVIBilan

d’activité

DEMARCHE Q. EVALUATION

Base Missions, histoire, culture

Lois, règlements, normes

Objectifs et réalisations

Référentiel, objectifs, plan d’amélioration

qualité

Questionnement :Objectifs-actions

effets

Mode opératoire Réflexion et élaboration

InspectionVérification

Analyse des écarts

Analyse des écarts, relecture

des objectifs

Approche systémique

Domaine Institution Variable Plans d’action, activités,

organisation, fonctionnement.

Organisation, fonctionnement et

pratiques professionnelles

Processus structurants

Résultat Stratégie, principes

d’action et objectifs

Mise à jour des écarts, sanction

Constat, mesure des écarts et

actions correctrices

Diagnostic, analyse, objectifs

d’amélioration qualité

Connaissance, analyse,

appréciation et aide à la décision

Mot clef Construire Vérifier Corriger Améliorer Comprendre