Bienvenue à la conférence en ligne Violence au travail : apport potentiel de la recherche évaluative à l’étude des interventions

Conférencière : Henriette Bilodeau, Ph. D., chercheure au Centre d’étude sur le trauma et professeure au département d’organisation et ressources humaines à l’École des sciences de la gestion de l’Université du Québec à Montréal.

- La conférence en ligne commence à 13 h

1

Apport potentiel de la recherche évaluative à l’étude des interventions en violence au travail

18 mars 2014

Henriette Bilodeau, Ph.D.

ESG-UQAM

Plan de la présentation

1. Qu’est ce que l’évaluation?

2. Pourquoi faire de l’évaluation?

3. Présentation d’un cadre conceptuel de l’évaluation

4. Exemple d’application sur une intervention post traumatique au Centre jeunesse de Montréal-institut universitaire

3

Qu’est ce que l’évaluation?

Plusieurs définitions

Dictionnaire:

« Déterminer plus ou moins approximativement la valeur de quelque chose »

Suchman:

La mesure des résultats obtenus par une activité qui avait été établie pour accomplir un (des) but(s) quelconque(s).

Rossi et coll. 2004 :

Activité des sciences sociales qui vise à recueillir, analyser, interpréter des données et à communiquer les informations sur le processus et l’efficacité du programme social

4

Qu’est ce que l’évaluation?

Plusieurs définitions et aucun consensus…

Arnold :

l’évaluation est une rétroaction systématique permettant de recueillir des informations nécessaires pour guider les actions futures.

Mark et coll.:

« Evaluation assists sensmaking about policies and programs through the conduct of systematic inquiry that describes and explains the policies’ and the programs’ operations, effects, justifications and social implications » (2000; p.3)

Source: Mark M.M., Henry G.T., Julnes G. (2000): Evaluation: An Integrates framework for

understanding, guiding and improving policies and programs, Jossey Bass, CA, 400p.

5

Qu’est ce que l’évaluation

Plusieurs définitions, plusieurs façon de concevoir …

Définition retenue…

Contandriopoulos et coll.:

Évaluer consiste fondamentalement à porter un jugement de valeur sur une intervention ou sur n’importe laquelle de ses composantes dans le but d’aider à la prise de décision

Ce jugement peut résulter de l’application de critères et de normes (approche normative) ou s’élaborer à partir d’une démarche scientifique en investiguant les liens entre diverses composantes de l’intervention (approche relationnelle-recherche évaluative*)

Les critères utilisés et les questions peuvent concerner la pertinence, le bien fondé, la qualité, les effets, les modalités de production des effets et les coûts.

Source: Contandriopoulos et coll. 2000. L’évaluation dans le domaine de la santé: concepts et méthodes –

Revue d’épidémiologie et Santé Publique, 48: 517-539.

6

Définitions de l’évaluation

Particularités de la définition retenue:

1. Appréciation normative vs recherche évaluative (rigueur, validité)

2. Plusieurs critères ou questions possibles

3. Effets > objectifs

4. Besoins d’information de « décideurs »

7

Définitions de l’évaluation

Avantages d’une définition plus exhaustive,

Peut être réalisée à tous les stades de la vie d’une intervention:

La situation problématique à l’origine de l’intervention jusqu’à la fin de sa mise en place et sa durée de vie

Permet de s’intéresser à un nombre varié de questions d’évaluation

La pertinence, la qualité, l’implantation, les coûts, efficience, les effets…

Permet l’utilisation de différentes approches, d’une variété de méthodes de recherche, d’outils de collecte des données

8

Pourquoi évaluer?

Prendre une décision

intuitions et les perceptions basées sur les expériences passées (connaissances du travail)

compréhension de la situation locale (connaissance du contexte)

la présence d’enjeux politiques (connaissance politique) peut influencer le processus décisionnel

Besoin :

De données systématiques qui seront utilisées dans le processus décisionnel

Rareté des ressources -----» Imputabilité

9

Pourquoi évaluer?

Ces données systématiques permettront:

Comparer, faire des choix éclairés entre plusieurs interventions

Éliminant les biais ou du moins les minimiser

Vérifier si l’intervention répond aux standards

Vérifier l’implantation d’une intervention (fidélité)

Comprendre la logique de l’intervention

Accroître la capacité des organisations à évaluer

Processus amélioration continue…

10

Évaluer quoi? Définition d’une intervention

L’ensemble des moyens (physiques, humains, financiers, symboliques) organisés dans un contexte spécifique, à un moment donné pour produire des biens ou des services dans le but de modifier une situation problématique

Par exemple une intervention peut être:

un traitement

une pratique, une technique

un programme

une organisation, un département, une unité

une politique

11

Les composantes d’une intervention

Situation Problème / besoin

C o n t e x t e

Effets Objectifs

Services

Ressources

12

Situation problématique

C o n t e x t e

Effets Objectifs

Services

Ressources Analyse du rendement

Analyse stratégique

Analyse de l’intervention

Analyse de la productivité

Analyse de l’implantation

Cadre conceptuel de l’évaluation (Contandriopoulos A.P. et coll.; 2000 )

Analyse des effets

Appréciation des résultats

Appréciation du processus

Appréciation de la structure

RECHERCHE ÉVALUATIVE

ÉVALUATION NORMATIVE

13

Évaluation

normative

Recherche

non

évaluative

Apport potentiel du cadre conceptuel ÉVALUATION VS RECHERCHE

ÉVALUATION RECHERCHE

14

Recherche

évaluative /

Approche

relationnelle

DÉFINITION DE LA RECHERCHE ÉVALUATIVE

LA RECHERCHE ÉVALUATIVE EST UNE DÉMARCHE QUI PERMET DE

POSER UN JUGEMENT EX-POST SUR UNE INTERVENTION EN

EMPLOYANT DES MÉTHODES SCIENTIFIQUES.

PLUS SPÉCIFIQUEMENT, IL S’AGIT D’ANALYSER LA PERTINENCE, LES

FONDEMENTS THÉORIQUES, LA PRODUCTIVITÉ, LES EFFETS ET LE

RENDEMENT D’UNE INTERVENTION AINSI QUE LES RELATIONS

EXISTANTES ENTRE L’INTERVENTION ET LE CONTEXTE DANS LEQUEL

ELLE SE SITUE GÉNÉRALEMENT DANS LE BUT DE MIEUX

COMPRENDRE L’INTERVENTION ET D’AIDER À LA PRISE DE

DÉCISION.

15

Source: Contandriopoulos et coll. 2000. L’évaluation dans le domaine de la santé: concepts et

méthodes – Revue d’épidémiologie et Santé Publique, 48:517-539.

QUESTIONS DE RECHERCHE ÉVALUATIVE

Analyse stratégique

L’intervention est-elle justifiée par rapport aux problèmes de la

population?

Est-il pertinent que ce soit cet intervenant qui prenne la

responsabilité de l’intervention?

Analyse logique (de l’intervention)

L’intervention permet-elle d’atteindre les objectifs de façon

satisfaisante?

Analyse de la productivité

Les ressources sont-elles utilisées de façon à maximiser la valeur

des services produits?

16

QUESTIONS DE RECHERCHE ÉVALUATIVE suite...

Analyse des effets

Quels sont les effets attribuables à l’intervention?

* Selon le contexte: contrôlé, utilisation ou populationnel

Analyse du rendement

À quel coût les effets de l’intervention sont-ils obtenus?

Analyse de l’implantation

Comment et pourquoi les effets varient-ils dans les différents

milieux? (3 sous-questions)

Quelle est l’influence du milieu d’implantation sur le degré de mise en œuvre

d’une intervention?

En quoi les variations dans la mise en œuvre influencent-elles les effets

observés? Quelle est la contribution de chacune des composantes dans la

production des effets?

Quelle est l’influence de l’interaction entre le milieu d’implantation et

l’intervention sur les effets observés?

17

L’enjeu en recherche évaluative -» analyse des effets

Établir des inférences de causalité

• Démontrer (vérifier si)

Cause reliée à effet présumé

Modifications apportées à la cause précèdent celles qui surviennent dans les effets

Existence d ’une seule explication possible de la relation cause à effet i.e. “ cause telle que traitée a influé sur effet tel que mesuré”

Cook et al., 1982

Validité (Shadish, Cook, Campbell, 2002)

Propriété d’une inférence et non d’un devis ou de méthodes

Le choix d’un devis et de méthodes a une incidence sur les différents types de validité La solution à un problème de validité entraîne souvent un

autre problème…

Réfère à la véracité approximative

À quel point les informations pertinentes disponibles confirment-elles que l’inférence est véridique?

Résultats empiriques de l’étude

Consistance avec d’autres sources de connaissances incluant des résultats antérieurs et des théories

Comprendre le pourquoi des effets

Documentation de l’inférence de causalité:

La recherche évaluative propose:

une connaissance approfondie de l’intervention

Modèle logique de l’intervention

Composantes (quantité, intensité, qualité)

Hypothèses sous-jacentes (d’intervention, causale)

Mise en lumière des différents effets (chaîne des effets- temps)

une connaissance du niveau d’implantation selon le contexte

Comment le contexte influence le degré d’implantation?

Comment le degré d’implantation (« dose ») influence les résultats?

Comment l’interaction « contexte -- degré d’implantation » influence les résultats?

l’utilisation de méthodes mixtes (Shadish, 1994)

Implique le choix d’un devis de recherche (expérimental ou quasi-expérimental et qualitatif)

20

Application de la démarche au cas d’un protocole d’intervention post traumatique au CJM-IU

21

Objectif 1

Dégager le modèle théorique de l’intervention et la théorie sous-jacente de l’IPT du CJM-IU

-----» Analyse logique de l’intervention

22

Méthodologie - objectif 1

Recension de la documentation relative à l’IPT

Politiques, guides de pratique,…

Validation du modèle de l’IPT auprès des concepteurs

Entrevues individuelles avec 6 des 11 concepteurs

Présentation du modèle aux concepteurs pour validation finale

Logique théorique sous-jacente

Examen de la littérature scientifique

23

Résultats – objectif 1

L’étude a permis d’établir le modèle théorique de l’IPT du CJM-IU

L’étude a permis de démontrer la pertinence théorique et empirique de l’intervention

L’IPT intègre les principales données scientifiques disponibles concernant la prévention des réactions post-traumatiques

Les interventions immédiates et post-immédiates de l’IPT s’appuient sur les recommandations des organismes officiels américains et britanniques œuvrant en santé mentale

24

Objectif 2

Décrire les variations dans l’implantation de l’IPT :

Les caractéristiques des ressources

La formation des membres de l’ÉIPT

Les activités dispensées par les membres de l’ÉIPT

L’information distribuée aux gestionnaires de premier niveau

L’information distribuée à l’ensemble des employés du CJM-IU

---» Analyse de l’écart dans l’implantation

25

Méthodologie – objectif 2

Volet Quantitatif

• Questionnaires (en ligne ou papier)

• 838 des 2059 employés à risque d’être exposés ou témoins d’un événement à potentiel traumatique (ÉPT) – Connaissance de leur rôle dans l’IPT

• 80 des 122 gestionnaires de premier niveau – Connaissance de leur rôle dans l’IPT

– Application de l’IPT lors des ÉPT survenus au cours de la dernière année (2011 ou 2010)

26

Méthodologie – objectif 2

Volet Qualitatif • Entrevues individuelles

• La consultante psychologue externe de l’IPT

– Les activités de formation et de supervision dispensées

• 7 des 12 intervenants actifs de l’ÉIPT (2011)

– Les activités de formation et de supervision reçues

– Déroulement des 2 dernières interventions IPT de 2011

• 11 des 17 gestionnaires impliqués dans un comité de coordination au cours des 3 dernières années

– Déroulement des activités du comité de coordination

• Observation de la formation initiale de 2011

27

Méthodologie – objectif 2 • Analyse des données

– Analyse quantitative des questionnaires

– Analyse de contenu des entrevues individuelles

• Analyse des écarts

– Comparaison de chacune des composantes de l’intervention (objectif 1) avec les données quantitatives et qualitatives (objectif 2)

• Données quantitatives: Conformité lorsque 90% des répondants ont identifié correctement ou réalisé (systématiquement ou souvent) chacune des actions prévues par le protocole d’IPT (actions jugées essentielles)

• Données qualitatives: Conformité établie par jugement consensuel

28

Quelques résultats – objectif 2

Volet quantitatif

La connaissance des employés

• La majorité (71,6%) des employés sondés avait entendu parler de l’IPT

• La moitié des actions (4 sur 8) prévues par le protocole dans la phase immédiate (0-4 heures) ont été identifiés correctement par 90% des répondants

La connaissance des gestionnaires de premier niveau

• Les gestionnaires ont tous entendu parler de l’IPT et en ont informé leurs employés

• Les gestionnaires semblent assez bien connaître leur rôle dans la phase immédiate de l’IPT, mais leur connaissance des actions à réaliser diminue à chacune des périodes temporelles subséquentes de l’intervention (4-72 heures et 72 heures et +)

29

Quelques résultats – objectif 2

Volet quantitatif

Nous avons pu observé que:

• Les gestionnaires ont peu recours à l’ÉIPT dans la phase immédiate et post-immédiate pour :

– Analyser la situation, obtenir des conseils et offres de soutien

• Les gestionnaires ont peu recours aux mesures administratives associées à l’IPT :

– Signalement de l’événement à la DRH (SS)

– Soutien dans les démarches administratives et judiciaires

– Compensation des dommages matériels

30

Résultats – objectif 2

Volet qualitatif

• Stratégies d’interventions des membres de L’EIPT

– Les intervenants utilisent les stratégies prévues

Systématique Au besoin /selon le cas

- Consentement éclairé - Récit de l’événement - Psychoéducation - Évaluation des symptômes ESA, ESPT - Évolution des symptômes (> 1 rencontre) - Évolution dans le milieu de travail - Sensibilisation à la mise en place d’un réseau de

soutien

- Sensibilisation à la mise en place de mécanismes d’adaptation positifs

- Réduction de l’activation neurovégétative

- Recommandation d’un suivi médical

- Restructuration cognitive par questionnement socratique

- Prévention de l’évitement par l’inoculation au stress

31

Résultats – objectif 2

Volet qualitatif

• Écarts dans l’application des stratégies d’intervention

– Réduction de l’activation neurovégétative par la respiration diaphragmatique et la relaxation • Respiration: 7/14 cas

• Relaxation: 2/14 cas

• Suggestion de comportements présents dans le répertoire de la personne touchée (ex. activité de loisir, détente, etc.).

– L’analyse qualitative ne permet pas de tirer de conclusions sur l’utilisation : • Du questionnement socratique

• De l’inoculation au stress • Ces techniques sont perçues comme étant moins bien maîtrisées par les

intervenants

32

Utilité de ces étapes pour la suite…

Analyse logique de l’intervention

Faire un consensus sur l’intervention et ses composantes

Démontrer la validité théorique de l’intervention

Plausibilité de produire les effets attendus

Analyse de l’implantation en contexte réel

Identifier les écarts et leur importance

Donne des indications claires sur les éléments « critiques » à documenter dans l’analyse des effets

33

iusmm.ca/recherche

À la fine pointe des connaissances, le Centre de

recherche de l’Institut universitaire en santé mentale de

Montréal est le plus important lieu de recherche en santé

mentale dans le milieu francophone canadien.

Grâce à son partenariat avec le Service de la recherche

de l’Hôpital Rivière-des-Prairies et le Centre de recherche

de l’Institut Philippe-Pinel de Montréal, il regroupe le plus

important nombre de chercheurs en santé mentale des

facultés de médecine, des arts et des sciences et des

sciences infirmières de l’Université de Montréal et

d’autres universités.

34