rencontres départementales sur l’évaluation externe dans le secteur social et médico-social
Post on 04-Apr-2015
105 Views
Preview:
TRANSCRIPT
Rencontres départementales sur l’évaluation externe
dans le secteur social et médico-social
Programme de la rencontre Principes et repères pour une mise en œuvre efficace
Maika Berrouet – Chef de projets CCECQA
Les outils de l’évaluation externeFrançois-Emmanuel FAURE – Consultant (secteur enfance
et adultes handicapés)
Retours d’expérience Secteur enfance et adultes handicapés
Delphine Saint-Hubert – Chef de service - ADAPEI 33 Secteur personnes âgées
Laure ESPINASSE – Responsable qualité - CH Saint-Sever
2
3
Repères pour une mise en œuvre efficace de l’évaluation externe
Présentation
Guide pratique et outils concrets pour accompagner les établissements dans … La mise en œuvre de leur évaluation externe L’amélioration continue de cette démarche
5
Réalisation du guide Entre janvier et avril 2014, par des méthodologistes, des
qualiticiens et des professionnels du secteur personnes âgées, secteur enfance handicapée et adultes handicapés
Il s’appuie sur : La bibliographie faisant référence dans le domaine de l’évaluation
externe et dans le domaine du management par la qualité L’expérience de professionnels de terrain
Base d’une campagne de sensibilisation coordonnée par le CCECQA.
Organisation de deux ateliers d’une demi-journée : Mont-de-Marsan le 4 avril Bordeaux le 8 avril
6
Articulation du guide Trois pivots
Un plan en trois parties1) Rappel du contexte réglementaire de l’évaluation externe,2) Réaffirmation des objectifs et enjeux,3) Déclinaison opérationnelle des cinq étapes à réaliser pour mener une
évaluation externe
Des messages clés et concis
Des outils Fiches méthodes Documents opérationnels directement utilisables et adaptables par les
professionnels des structures
7
Ce guide ainsi que les outils proposés n’ont pas vocation à être opposables !
Articulation du guide (suite) Des outils
Exemple de cahier des charges Grille de choix et de sélection d’un organisme habilité Eléments de preuve Formulaire d’observations Grille de lecture d’un pré-rapport Grille d’évaluation et de satisfaction de la démarche et de la prestation
Des fiches méthodes Rédiger son cahier des charges Choisir son organisme habilité Contractualiser avec l’organisme habilité Communiquer des observations sur le pré-rapport de l’évaluation externe
8
Une réglementation sur une dizaine d’années…
Loi n°2002-2 du 2 janvier 2002 rénovant l’action sociale et médico-sociale
Loi n°2009-879 du 21 juillet 2009 portant réforme de l’hôpital et relative aux patients, à la santé et aux territoires
Décret n° 2007-975 du 15 mai 2007 fixant le contenu du cahier des charges pour l’évaluation des activités et de la qualité des prestations des établissements médico-sociaux
Décret n° 2012-147 du 30 janvier 2012 relatif aux conditions de prise en compte de la certification dans le cadre de l’évaluation externe des établissements et services sociaux et médico-sociaux
Circulaire DGCS/SD5C/2011/398 du 21 octobre 2011 relative à l’évaluation des activités et de la qualité des prestations délivrées dans les établissements et services sociaux et médico-sociaux
9
Pour réaffirmer quelques principes…
Obligation d’évaluation pour les établissements et services sociaux et médico-sociaux
Porte de manière privilégiée sur la pertinence, l’impact et la cohérence des actions déployées par les établissements et services, au regard d’une part, des missions imparties et d’autre part des besoins et attentes des populations accueillies
Les champs des évaluations externe et interne sont les mêmes afin d’assurer la complémentarité des analyses portées sur un même établissement ou service et de fait, pouvoir apprécier les évolutions et les effets des mesures prises pour l’amélioration continue du service rendu
10
L’article 312-8 du CASF
« Les établissements et services procèdent à des évaluations de leurs activités et de la qualité des prestations qu’ils délivrent, au regard notamment de procédures, de références et de recommandations de bonnes pratiques professionnelles validées ou, en cas de carence, élaborées par l’ANESM… »
11
Des objectifs à atteindre
12
Dans le cadre de ses missions, les prestations proposées par l’établissement ou le service sont-elles adaptées aux besoins et attentes
spécifiques des personnes accompagnées ?
L’évaluation externe devra porter une appréciation globale sur :la cohérence et l’adéquation du projet institutionnel par rapport aux besoins des usagersle niveau de réalisation des engagements la capacité d’adaptation de l’établissement ou du service au regard des évolutions constatéesla pertinence des activités déployées au regard des effets pour les usagers les conditions de réalisation : moyens matériels et humains, gestion des ressources humaines, intégration des ressources du territoire, articulations interne et externe, cadre de vie…les suites réservées à l’évaluation interne
Des objectifs à atteindre
13
L’évaluation externe évalue un système mais en aucun cas le personnel ou les usagers !
Les enjeux de l’évaluation externe
14
L’enjeu officiel : le renouvellement d’autorisation
Les modalités de renouvellement de l’autorisation sont définies dans l’article L.313-1 du CASF : « Le renouvellement, total ou partiel de l’autorisation, est exclusivement subordonné aux résultats de l’évaluation externe mentionnée au deuxième alinéa de l’article L.312-8 »
Les enjeux de l’évaluation externe (1)
15
L’enjeu principal : une opportunité de valorisation
Indicateur du fonctionnement des organismes gestionnaires, de leur capacité à conduire leurs établissements et services ;
Photographie de l’existant ; Implication des ESMS dans une démarche envisagée à la fois
sous l’angle d’une évaluation des pratiques et d’une évaluation des résultats.
L’établissement doit apporter la preuve qu’il maîtrise l’ensemble des dispositifs garants du respect des droits des usagers
En synthèse
16
Quels objectifs, missions, valeurs de l’ESMS ?
Quels résultats attendus ? Quelles caractéristiques de la population accompagnée ?
Quelles dispositions mises en place ? Quelles pratiques effectivement mises en œuvre ?
Quels effets observés pour les usagers ?
Quels constats ? Quels écarts entre ce qui est attendu et ce qui est observé ? Quelles raisons ?
Quelles priorités ? Quels objectifs ? Quels résultats attendus ? Quels moyens ? Quels délais ?
En synthèse (1)
17
Elle s’appuie sur :
Une organisation en mode projet : pilotage, planification, définition d’objectifs ;
Une démarche collective, participative et co-construite ; Des outils de collecte, d’analyse et de suivi des informations ; Des compétences spécifiques et un processus maîtrisé
En synthèse (2)Evaluer, c’est comprendre !
Utile aux décideurs, dirigeants, professionnels, usagers, elle permet de porter une appréciation globale sur un établissement ou un service et de mettre en valeur actions, savoir-faire, visions de l’action sociale et service rendu
L’évaluation n’est pas une fin en soi ! Démarche d’amélioration continue à poursuivrePAQ à suivre
18
Les étapes de la mise en œuvre Pour rendre efficace et efficiente la démarche d’évaluation, il est
nécessaire de:
Définir son projet Respecter les règles établies Appliquer le rythme et la tonalité fixés Suivre les cinq étapes identifiées
19
Les étapes de la mise en œuvre
Pour chaque étape, un focus sera réalisé sur des actions et des outils spécifiques à mettre en place
Ces outils constituent une base support et de référence pour chaque structure et ne sont en aucun cas opposables. Ils doivent être réactualisés et adaptés au contexte et à l’organisation de chacun
20
1. Réunir les conditions nécessaires Engagement dans le processus = moment stratégique S’assurer pour l’ESMS qu’il est prêt à réaliser un examen tel
que défini réglementairement par le décret du 15 mai 2007 Mise en place d’un système d’enregistrements d’éléments
de preuves Participation collective volontaire et pluridisciplinaire
Processus-clés
21
Satisfaction aux conditions de
mise en œuvre de l’évaluation
externe
Choix du bon moment pour
engager la procédure
Satisfaction aux exigences
réglementaires et aux RBPP
2. Elaborer les documents de mise en concurrence
« La sélection de l’organisme habilité est réalisée dans le cadre habituel des procédures de mise en concurrence, et pour les établissements publics dans le respect des règles du Code des marchés publics ».
Elaboration du cahier des charges
Processus-clés
22
Outil
Exemple de cahier des charges
Présentation de l’ESMS
Formulation des questions
ou des hypothèses à
soumettre
Précision sur les éléments de réponse
attendus
Quoi ? La présentation de l’établissement ou du service ; L’articulation avec le projet d’établissement ou de service, l’évaluation interne et les démarches formalisées visant à améliorer le service rendu (informations de portée générale) ; Les premiers éléments permettant de formuler des hypothèses et les premières questions susceptibles d’être posées ; Les modalités de concertation ; Les modalités de suivi de l’évaluation externe ; Le contexte et les contraintes liées à l’organisation ou aux particularités des activités ; Les conditions d’accès à l’information et aux documents disponibles (questions de méthodes dont notamment la dimension participative ) ; Les modalités concrètes d’élaboration et de rendu du rapport ; Le temps nécessaire et le calendrier ; Les modalités de facturation.
23
Comment ? Prendre en compte la spécificité de sa structure (nombre d’établissements à évaluer..) ; Consulter la liste des organismes habilités (site ANESM) ; Publier éventuellement l’annonce sur un site officiel ; Sélectionner au préalable 5 à 6 organismes habilités par l’ANESM ; Adresser par courrier ou par mail le dossier en fixant une date limite de réponse ; Demander aux organismes un dossier de réponse contenant :
Première note synthétique , Présentation d’une première trame d’un déroulé d’évaluation , Eléments d’information sur l’organisme , Références récentes d’interventions, Cv des personnes chargées de l‘évaluation ; les conditions habituelles de tarification.
24
Exemple de cahier des charges
25
3. Choisir l’organisme habilité
Réalisé à partir d’une analyse des offres reçues Caractère objectif de l’analyse Nécessité de repérer en amont les dimensions et critères de
sélection Plusieurs dimensions à prendre en compte Contrat fixant les obligations des deux parties élaboré au terme de
la procédure
Processus-clés Outils
Grille de priorisation et de sélection
26
Pré-sélection des organismes
habilités sur dossier
Choix de l’organisme
habilité
Organisation des entretiens
Rédaction du contrat de prestation
Comment ? En questionnant quatre dimensions à cotation variable :
Qualification et compétences des évaluateursUne expérience professionnelle dans le champ social ou médico-
socialUne formation aux méthodes évaluativesUne expérience de l’évaluation dans le secteur social ou médico-
socialUne pluridisciplinarité des évaluateurs
Qualité technique de l’offreClarté et précision du plan d’interventionCohérence du plan d’intervention au regard des hypothèses
évaluatives de la structureCapacité de l’évaluateur à se situer dans une logique d’écouteGarantie d’un examen contradictoire des points
27
Comment (suite) ?
Modalités de réalisation
Nombre de journées sur placeNombre de journées au totalNombre d’évaluateurs sur le terrain
Modalités financières
GarantiesCoût
28
Outil : grille de priorisation et de sélection
29
Focus sur le contrat avec l’organisme habilité
5 parties généralement prévues dans le contrat :
Description du projet évaluatifComposition de l’équipe d’évaluateurs (vigilance :
modification de la composition de l’équipe des évaluateurs)Description précise du contenu du rapport d’évaluation
externe (vigilance : contenu en adéquation avec le décret du 15 mai 2007)
Modalités de facturation (vigilance : pénalités de retard si rapport non remis dans les délais ; exonération de paiement si contenu du rapport non réglementaire)
Annexes au contrat (déclarations sur l’honneur)
30
4. Veiller au bon déroulement de l’évaluation externe
Mise en place d’un comité de suivi de l’évaluation
Accessibilité facilitée pour les évaluateurs à toute l’information nécessaire
Attitude des évaluateurs : l’évaluation n’est pas un contrôle
Etape qui sera développée lors des retours d’expérience
Processus-clésOutils
Documents de preuve
Exemple de questionnement évaluatif
31
Organisation et animation d’un comité de suivi
Organisation et préparation du recueil de données
Contrôle de la posture des évaluateurs ; communication
Outil : Eléments de preuve
Exemple de questionnement évaluatif
32
5. Communiquer des observations sur le pré-rapport d’évaluation externe
Rapport : élément de sortie du processus évaluatif
ESMS « gardien» de la qualité du rapport qui sera transmis sur deux critères d’appréciation
Possibilité pour l’ESMS de faire part de ses réserves à l’autorité de tarification
Processus-clés
Outils
Grille de lecture du pré-rapport
Questionnaire d’évaluation et de satisfaction de la démarche et de la prestation
33
Réception et lecture du
pré-rapport
Navette jusqu’à
entente avec l’organisme
Envoi du rapport final à l’autorité de tarification
Modification du PAQ et mise
en œuvre d’actions
d’amélioration
Quoi ?
Durant cette phase, le chef de projet organise avec le COPIL une relecture critique du pré-rapport afin de s'assurer :
De l'objectivité des constats ; Du respect des attendus énoncés dans le cahier des charges ; Du respect du Décret n°2012-147 du 30 janvier 2012 ; De la clarté des observations formulées.
34
Focus sur les critères Le COPIL procède à la relecture du pré rapport en s’assurant du respect d’un certain nombre de critères :
La lisibilité du rapport L’exactitude des éléments administratifs relatifs à l’établissement La qualité de l’analyse Le niveau de documentation de l’analyse Le rapprochement avec les constats effectués sur les mêmes thèmes lors de l’évaluation interne La qualité et la faisabilité des préconisations Les propositions d’axes de travail susceptibles d’apporter des améliorations dans la prise en compte des besoins des usagers
35
Comment ?
36
Étape Qui ? Quoi ?
1 Chef de projet
Diffuser le pré rapport à l'ensemble des membres du comité de pilotage ainsi qu'à l'ensemble des personnes ayant participé l'évaluation externe, afin d'en assurer une lecture pluridisciplinaire.Définir pour chacun un temps de lecture individuelle avec pour premiers objectifs de vérifier l'objectivité des constats, les erreurs d'interprétation.
2 Chaque lecteur
Formuler les observations sur la fiche prévue (cf. outil CCECQA) en identifiant les éléments de preuves nécessaires à l’argumentation.
3 Chef de projet Colliger l’ensemble des fiches d’observations et réunir le COPIL.
4 COPIL Passer en revue l’ensemble des observations et valider celles qui seront retenues.
5 COPIL Vérifier que le contenu du pré rapport respecte le décret n°2012-147 du 30 janvier 2012 (cf. outil "Grille de lecture").
6 COPILValider les commentaires touchant aussi bien le fond que la forme du pré-rapport.Réunir les éléments de preuves nécessaires (copies ou scans).
7 Chef de projet
Envoyer à l’organisme évaluateur la grille de lecture complété, les fiches d’observation définitives accompagnées des éléments de preuves idoines.
8 COPIL Valider la prise en compte des observations par l’organisme évaluateur.
Outil : Grille de lecture
Formulaire des observations
37
Focus sur l’évaluation et la satisfaction de la démarche et de la prestation
38
2 questionnaires de retour d’expérience sur la thématique de l’évaluation externe envoyés en mars 2014 :
Aux ESMS de la région Aquitaine : 1419 contacts, 103 retours sans relance, soit 8 %
Dont : 50 % s. adultes handicapés, 22 % s. enfance handicapée, 28 % s. personnes âgées
40 % ont terminé leur évaluation externe17 % en cours de réalisation
Aux organismes habilités de la région Aquitaine : 104 contacts, 19 retours, soit 12 %
Versus établissements (40 ESMS)
39
95 % ont utilisé cahier des charges (dont 12 base de l’UNAPEI)+ de 50 % des ESMS : de 4 à 10 mois pour sélectionner leur organismeCritères de sélection les plus cités :
Expérience des évaluateursCoût Compétences Qualité méthodologique
Difficultés rencontrées lors de la préparation: Implication des professionnelsImplication de la directionCraintes des professionnelsDifficultés organisationnellesCommunicationManque de recul
Versus établissements (40 ESMS)
40
100 % répondants : expression libre des parties prenantes
Etat d’esprit des professionnelsAdhésion (12) Crainte (22)Pression + (6) Appréhension (5)Curiosité (4) Négatif (4)
Difficultés rencontrées phase de réalisationRespect du calendrierDisponibilité de l’évaluateurDifficultés de planificationLimites des modalités de réalisation
Délai de réception du pré-rapport : pour 50 %, de 2 sem à 1 mois
Versus établissements (40 ESMS)
41
Difficultés rencontrées phase de validation pré-rapportDésaccords avec évaluateurs externesNon transmission de l’abrégéCorrections sur la formeChronophage Longueur du rapportForme très négative
+ de 90 % très satisfaits / satisfaits de :DisponibilitéÉcoute Professionnalisme
Versus établissements (40 ESMS)
42
+ de 82 % très satisfaits / satisfaits de :Rapport qualité / prixDélais de réalisationQualité du pré-rapportDéroulement de l’évaluation externeRespect du cahier des charges
Globalement :51 % très satisfaits36 % satisfaits
Versus organismes (18)
43
Nombre d’évaluateurs sur site de 1 à 5 10 à 20 documents demandés la majorité du temps Réalisation systématique d’entretiens avec :
ProfessionnelsUsagersFamillesQualité méthodologique
Ces entretiens sont :Rarement réalisés en présence d’un responsableAvec des réponses non préparéesEt qui reflètent les pratiques habituelles
Pour 1/3 des répondants, délai de restitution du pré-rapport d’un mois
Versus organismes (18)
44
17 répondants : Proposent une amélioration du PAQAident à la priorisation des actions d’amélioration
Ces entretiens sont :Rarement réalisés en présence d’un responsableAvec des réponses non préparéesEt qui reflètent les pratiques habituelles
7 organismes seulement distribuent un questionnaire de satisfaction en fin de prestation….
Versus organismes (18)
45
Les difficultés rencontrées : Expression orale et écrite de certains professionnelsCulture du soin trop dominanteCrainte des professionnelsProblèmes de gestion documentaireMéconnaissance de la réglementationAbsence de culture d’évaluationDisponibilité des professionnelsStructuration de la démarchePréparation logistiqueRestitution des résultats
Regards croisés sur les points forts
46
Analyse des pratiques selon une méthode objective Valorisation des pratiques Identification d’axes d’amélioration Regard extérieur Prise en compte du point de vue de toutes les parties prenantes, notamment des usagers Démarche formative et participative Prise de recul Favorise le développement de la culture d’amélioration de la qualité Apport de connaissances Dédramatisation de l’évaluation État des lieux Confirmation résultats de l’EI
Regards croisés sur les limites
47
Aspects chronophages et financiers Absence de retour sur l’impact de la démarche d’évaluation externe Absence de référentiel unique Complexité de la demande Inquiétude des professionnelsCalendrier réglementaire Incompétence de certains organismes Doutes sur les bénéfices en termes de changement et d’apports
Des leviers à actionner !!!
48
Pour les établissements :
Compétences de terrain des évaluateursAnticipation du recueil des éléments de preuve Bonne définition du cahier des charges Planification Evaluation de la charge de travail Communication Disponibilité Cadrage de la démarche Inscription dans une démarche d’amélioration
continue de la qualité Vigilance lors de la relecture du pré-rapport
Des leviers à actionner !!!
49
Pour les organismes :
Bonne communicationImplication de l’ensemble des parties prenantes Démarche structuréePréparation de la démarche (documents..)Climat de confianceInscription dans une démarche d’amélioration continue
de la qualitéSoutien de l’encadrementCompétences méthodologiques des évaluateurs
Pour finaliser cette étape…
50
Questionnaire d’évaluation et de satisfaction de la démarche et de la prestation
MERCI POUR VOTRE ATTENTION
51
top related