Evaluation Externe

Un levier pour le changement

Delphine SAINT-HUBERT – Chef de service Projet-Evaluation- Qualité

Le contexte de l’ADAPEI de la Gironde

2

Le contexte de l’ADAPEI de la Gironde

Un calendrier associatif qui doit conjuguer toutes les exigences 36 autorisations soumises à l’évaluation externe dont 21 avant le 3 janvier 2015 mais aussi une logique de complexes (ESAT/STP/UH…) visant à une optimisation des coûts et

de l’organisation18 sites (soit 29 autorisations) à faire évaluer avant le 3 janvier 2015

Face au risque « d’embouteillage » Dès 2011, 3 sites (soit 5 autorisations) ont inauguré le processus (ESAT Villambis,

ESAT/STP/FH Gujan Mestras, IME Taussat) 2012: 4 sites (8 autorisations), 2013: 4 sites (6 autorisations), 2014: 7 sites (10

autorisations) 1 cas épineux: le FO/FAM de St Michel de Rieuffret autorisé avant HPST mais ouvert après

(nov 2013)…Autorisation du CG pour le FO (51 places) en date du 29 avril 2008Autorisation conjointe du CG et de l’ARS pour le FAM (17 places) en date du 2 aout 2010 des calendriers d’évaluations différents éval interne du FO avant 29 avril 2013 soit avant l’ouverture éval externe du FO avant 29 avril 2015

3

4

Porter une appréciation globale sur l’établissement sur la pertinence, l’impact, la cohérence et l’efficience des actions déployées par les établissements et services, au regard des missions imparties et des besoins et attentes des populations accueillies . Examiner les suites réservées aux résultats issus de l’évaluation interne: Apprécier la dynamique générale de la démarche d’amélioration continue de la qualité des prestationsExaminer certaines thématiques et des registres spécifiques(construction du questionnement évaluatif)

Restituée dans un rapport, une synthèse, un abrégé…S’approprier ces outils

(décret n° 2007-975 du 15 mai 2007)

Les Objectifs de l’évaluation Externe :

5

De l’évaluation interne à l’évaluation externe : un processus continu d’amélioration des activités et de la qualité des prestations.

Porter un regard sur pertinence, cohérence, efficacité, effectivité: Produire de la connaissance Former un jugement Etre dans une logique d’aide à la décision

Promouvoir une appropriation collective et critique des recommandations des bonnes pratiques de l’ANESM

Valoriser le rapport d’évaluation interne

Faire du rapport d’évaluation externe un levier de changement et d’amélioration continue

Permettre le renouvellement de l’autorisation

Les enjeux:

6

Document de mise en concurrence Eté 2010: Rédaction sur la base du décret du 15 mai 2007 et peaufiné par la

suite avec le modèle UNAPEI

Présélection de plusieurs organismes Automne 2010: 38 contactés (principalement Aquitaine) 18 réponses dont 7 présélectionnées Sur critères : maîtrise du décret, méthodologie, expérience du médico-social

Appel d’Offres Janv. 2011: 6 réponses-5 reçus en entretien, 3 retenus Renouvelé janv. 2012: 7 réponses (dont 5 nouveaux), 3 retenus (dont 1

nouveaux) Sur critères : compétences (droit de regard sur les CV détaillés), expérience,

coût Pour composer l’équipe d’évaluateurs, l’organisme s’adjoint les compétences

spécifiques nécessaires à l’évaluation de chacune des prestations déployées (médicale, sociale, sociologique, éducative) au sein de l’établissement. (avis n°2009-23 du conseil scientifique de l’ANESM).

Pôle Adultes Pôle Enfance Pôle Travail et Hébergements

L’évaluation externe : un marché652 organismes habilités (au 15/12/2010)

7

Contrat d’engagement entre l’organisme gestionnaire et l’organisme habilité Obligations réciproques

Conditions d’exécution (contractualisation des délais et de la composition de l’équipe d’évaluateurs)

J-6 semaines: remise des documents institutionnels

J-2 semaines: projet évaluatif validé

J+4 semaines: pré-rapport

J+6 semaines: rapport final

L’évaluation externe : un marché652 organismes habilités (au 15/12/2010)

nd d'évaluateurs ds équipe

nb jours hommes facturés (dont sur

site) ttcRapport d'Activité ANESM 2012 IME 2,2 6,5 7337

ESAT 2,2 5,5 6011 MAS/FAM 2,3 5,8 6121

ADAPEI de la Gironde IME (4) 2 9,5 (5) 8680 ESAT (7) 2 8,07 (4) 9177 MAS/FAM (3) 2 8,5 (4) 8044

8

Une planification anticipée Préparer l’établissement bien en amont de l’évaluation proprement dite

pour l’appropriation de la démarche par l’institution. Programmer notre action et donner de la clarté dans l’organisation de

cette évaluation

Collecte documentaire Photo de l’établissement et de son organisation Trace de sa dynamique

Les risques Lourdeur de réalisation du document préparatoire Vouloir tout refaire pour bien présenter Communiquer des documents qui ne sont pas connus, pas utilisés

La préparation

9

Le projet évaluatif a défini pour chaque thématique: Les priorités évaluatives Le constat suite à l’analyse des documents par les évaluateurs Les éléments de réponse complémentaires recherchés Les modalités de recueil de chacun des éléments de réponses et

notamment en termes d’évaluation de l’impact. Les critères en liens avec la législation et les recommandations de bonnes

pratiques professionnelles. Prévoit les modalités de participation des usagers/entourage, des

professionnels, des partenaires

Rester vigilant Un projet évaluatif co-construit avec modération Organise précisément les étapes du calendrier des visites en prenant en

compte les impératifs de fonctionnement (présences de certains professionnels, disponibilité des familles, perturbations minimisées des activités)

Le cadrage de la démarche

10

Méthodologie du recueil d’informations auprès des usagersRéunion avec les représentants des personnes accueillies et les représentants des familles (CVS).Réunion avec les personnes accueillies.Réunion avec les familles et représentants légaux.Enquête de satisfaction préalable…

Une implication claire de l’équipe de directionL’évaluation externe vue comme une étape du plan d’amélioration globalVolonté d’un positionnent assumé du regard extérieur

La participation: pour un diagnostique partagé

11

Modalités d’implication des équipesComité de pilotage interface privilégiée et impliquée (validation projet évaluatif, échanges contradictoires, relecture du pré-rapport)Organisation en amont (réunion de cadrage) du plan de communication.Présentation liminaire de la démarche aux professionnels.Audition de la majeure partie des professionnels en groupe.Des entretiens formels mais aussi des rencontres informelles, des visites…Débriefings quotidiens avec la direction pendant les visites sur site et débriefing avec le comité de pilotage le dernier jour des visites sur site.Réflexion contradictoire sur la base d’un pré rapport lors d’une réunionRestitution des résultats aux professionnels.

Modalités d’implication des partenairesCibler des partenariats structurants avec des objectifs partagés

La participation: pour un diagnostique partagé

12

Les leviers pour une visite fructueuse Un climat propice à une expression libre des personnes auditées et de disponibilité

de tous les acteurs. Une coopération des responsables de l’établissement et des professionnels entière

permettant d’obtenir les réponses aux questions posées. Le calendrier de la visite respecté. Les entretiens avec les parents et/ou représentants légaux déroulés comme

convenu dans le projet évaluatif. Les évaluateurs ont eu facilement accès aux documents identifiés dans le

questionnement évaluatif ou complémentaires identifiés lors des entretiens. La quasi-totalité des professionnels rencontrés au cours des différents entretiens.

Les freins potentiels Malaise ressenti par certains personnels interviewés (aspect remise en cause ou

questionnement « éloigné » de leurs pratiques quotidiennes) Respect exigent du planning serré des entretiens communiqué par tous les acteurs Indisponibilité au dernier moment d’acteurs extérieurs (familles, partenaires) Une équipe d’évaluateurs qui ne maîtriserait pas les enjeux, us et coutumes de la

typologie de l’établissement (temps passé, incompréhensions, interprétations)

La visite

13

Le débriefing à chaud Les débriefings ont été riches en échange. Lors de la rencontre

contradictoire, nos remarques ont été entendues. Les restitutions des observations et des préconisations ont été étayées d’explications.

L’analyse du pré-rapport Le pré-rapport a été discuté lors d’une réunion dédiée en présence du

Copil Apport d’éléments de preuves.

Les échanges contradictoires

14

Les conclusions et les préconisations Encourageantes (valorisation des points forts qui deviennent un appui à l’adhésion) Pertinentes Conformes à la perception que nous avions de l’établissement. Issues d’un diagnostique partagé facilitant l’adhésion Certaines préconisations sont inscrites aux plans d’actions de l’évaluation interne ou

au plan directeur du projet d’établissement, Certaines autres vont venir enrichir les projets d’amélioration de la qualité . Légitimer les actions en cours et à venir (aide à la décision , appui au management). Des préconisations concrètes simples à mettre en œuvre avec un effet visible

immédiatement, d’autres plus stratégiques

Risques Des conclusions plates ou superficielles Des préconisations pauvres Non priorisées L’organisme n’a pas pris en compte l’intégralité de l’établissement, et s’est contenté

de lister l’existant sans en vérifier l’opérationnalité. Discontinuité du comité de pilotage dans sa mission de suivi du plan directeur Ne pas relier les préconisations du rapport à la dynamique d’évolution globale de

l’établissement au sein du projet associatif (logique de plan directeur global).

Les suites ….

15

En moyenne 30 à 40 préconisations classées selon les champs de l’abrégéLa démarche d'évaluation interne " Garantir la participation des usagers et de leur entourage à l'évaluation interne" " Soutenir et valoriser la dynamique d'amélioration en procédant à l'état des lieux des

changements engagés et tracer les avancements (évaluation d'impacts, d'atteinte des objectifs)"

" Aborder l'évaluation interne comme une démarche globale intégrant également les EPP, les audits, les évaluations des risques professionnels."

La garantie des droits et la politique de prévention et de gestion des risques " Garantir l'utilisation de la procédure de gestion des évènements indésirables. Procéder à

l'évaluation de sa mise en œuvre. Communiquer auprès des usagers et familles sur ces modalités."

" Améliorer le bâti pour garantir l'accès aux droits et la protection (hygiène des offices, de la gestion du linge, isolation phonique, intimité....)"

La prise en compte des RBPP publiées par l'ANESM " Etablir un plan d’intégration"

L'expression et la participation individuelle et collective des usagers " Développer des livrets d'accueil/documents/internet adaptés aux capacités de

compréhension (sensibiliser à la prolongation au quotidien de l'effort d'information de manière circonstanciée et adaptée à chaque usager)"

" Information et formation des membres du Conseil sur l'ensemble des prérogatives qui peuvent entrer dans le champ de ses compétences. "

Les précos ….

16

Les conditions d'élaboration, de mise en œuvre et d'actualisation du PE ou de service et l'organisation de la qualité de la prise en charge ou de l'accompagnement des usagers « Elaborer un PE conforme à la recommendation de l'ANESM, décrivant de manière

explicite, structurée et détaillée l'offre de service." " Articuler et valoriser les compétences professionnelles en clarifiant la répartition

des rôles en fonction de la technicité des métiers (linge sur les maisons, préparation des repas par les encadrants, AMP versus AS...)"

" Développer les prestations d'éducation à la santé, de promotion de la santé et de l'accès aux soins"

L'ouverture de l'établissement ou du service sur son environnement institutionnel, géographique, socioculturel et économique " Formaliser les partenariats récurrents et/ou nécessitant d'être valorisé (y compris ceux

concernant les usagers individuellement) et les objectifs partagés" " Développer une démarche d'évaluation des partenariats (indicateurs, enquêtes de

satisfaction des partenaires, bilans des actions mises en œuvre)"

Personnalisation de l'accompagnement " Informatiser la gestion des PP (traçabilité, optimisation de l'organisation, objectivation

de l'évaluation ...)" " Favoriser la participation des bénéficiaires et de leur famille aux différentes étapes du

PP"

Les précos ….

17

Points forts Mise à plat du fonctionnement Regard extérieur Rappel du cadre réglementaire de nos missions, des attentes au regard des politiques

publiques Sur le plan managérial : l’évaluation est un levier pour conduire les changements et

les améliorations à mettre en place Sur le plan de la direction de l’établissement, c’est un outil stratégique d’aide à la

décision, qui met en valeur les points forts et points à améliorer. Pour les équipes, cela permet une mise en dynamique et une prise de conscience (si

besoin est) des enjeux liés à la Qualité. C’est également un vecteur de professionnalisation, mais aussi de reconnaissance du travail réalisé.

Vigilance Anticipation des programmations Identification des acteurs Information des professionnels, des usagers, des parents et des partenaires Choix de l’organisme évaluateur au regard de sa connaissance du secteur Faire vivre la démarche dans le temps …

En somme, l’évaluation externe