le concept de mécanisme et l'approche réaliste en évaluation de programme

Le concept de mécanisme et l‘approche réaliste en évaluation: clarifier le concept

pour en faciliter son opérationnalisation.

Anthony Lacouture, PhD(c) Santé publique (ESPUM)

Valéry Ridde, PhD (CRCHUM); Eric Breton, PhD (EHESP); Anne Guichard, PhD (ULaval)

A. LACOUTURE – Concours étudiant – 22ème colloque annuel SQEP – 18 octobre 2013 – 1

Programme AAPRISS (Lang et al, 2012)

- Tâche 1: Analyse et théorisation des programmes visant la réduction des ISS avant la mise en œuvre d’une intervention.

Evaluations fondées sur la théorie de programme (Chen et Rossi, 1980, 1987; Weiss, 1997)

- Expliciter la théorie (logique d’intervention et mécanismes).

Contexte (1)


Pourquoi l’approche réaliste ? (Pawson et Tilley, 1997)

- Explique comment et POURQUOI une intervention fonctionne

(ou non) dans quelles circonstances et auprès de qui.

- Prise en compte d’une multiplicité de CONTEXTES.

- Spécificité des interventions en santé des populations dans un système OUVERT.

Contexte (2)


Fondements épistémologiques

- Evaluation fondée sur la théorie de programme

- Réalisme critique

Outils conceptuels et méthodologiques

- Configurations CME / Semi-régularités

- Théorie de programme

- Théorie de moyenne portée

Focus sur le concept de mécanisme

Un nouveau visage de l’évaluation de programme?


Fondements épistémologiques


Contexte (C)

Mécanisme (M)

Effet (E)

Intervention (I)

(Pawson et Tilley, 1997)

Semi-régularités (Lawson, 1997)

« Semi » en raison des variations des effets qui peuvent être attribués

aux différences de contexte.

Effet (E’)

Causalité

générative

M.Plazy - Conséquences conjugales d'une intervention de COC prénatal du VIH - M2 Epidémio ISPED - 17 janvier 2010 - 6 M.Plazy - Conséquences conjugales d'une intervention de COC prénatal du VIH - M2 Epidémio ISPED - 18 avril 2011 - 3

Outils conceptuels (1) Théorie de programme


THEORIE DE PROGRAMME

(Logique d’une intervention CME)

DONNEES EMPIRIQUES

(C) (M) (E)

Ensemble des hypothèses qui expliquent la manière

dont (comment et pourquoi) l’intervention est

supposée produire ses effets (Ridde et al, 2012)

(Pawson, 2006)


Outils conceptuels (2) Configuration(s) CME




DONNEES EMPIRIQUES

(C) (M) (E)

(D’après Pawson et Tilley, 2004)

Raisonnement abductif


Outils conceptuels (3) Théorie de moyenne portée




(Abstraction)

THEORIE DE MOYENNE PORTEE

(Un ensemble d’interventions CME)

Niveau d’abstraction théorique qui

permet d’expliquer les tendances

et les régularités observées dans

les interactions contexte-

mécanisme-effet d’un ensemble

d’interventions (Ridde et al, 2011)

Une étude

empirique

DONNEES EMPIRIQUES

(C) (M) (E) Semi-régularités CME (Empirie)

Outils méthodologiques


Revue réaliste - Une famille

d’interventions

- TMP

2 démarches

évaluatives

complémentaires

Evaluation réaliste - Une intervention

- Théorie de programme

TMP initiale

Etudes

primaires

empiriques

TMP affinée

(provisoire)

(D’après Robert, 2012)


Le concept de « mécanisme », de quoi parle-t-on?



Concept de mécanisme (1) Ce que disent les auteurs-utilisateurs


Débat très récent dans le domaine de l’évaluation à l’instar des sciences sociales

- Un article (Astbury & Leeuw, 2010)

- Deux recensions (Marchal et al, 2012; Ridde et al, 2012)

Nécessité de clarifier le concept de mécanisme (Marchal et al, 2012)

- Pour une pratique des plus cohérentes

- Démarche évaluative imprécise


Concept de mécanisme (2) Méthode


Scoping study (Mays et al, 2001; Arskey et O’Malley, 2005; Grimshaw, 2011)

- Analyser les définitions théoriques du concept de mécanisme s’inscrivant dans le courant de l’approche réaliste

- Proposer une définition du concept

Cadre conceptuel

Figure 1 : Les trois dimensions d’un concept (adaptée de Gerring, 1999 ; Sartori, 2009 ; Daigneault &

Jacob, 2012)

CONCEPT

Terme Référent

PRECISION

(Pouvoir discriminant)

CLARTE

(Qualité terminologique)

Sens


Concept de mécanisme (3) Résultats



Concept de mécanisme (4) Proposition d’une définition


1) Caché mais réel

– A caractériser selon l’enchâssement de l’intervention dans les différentes strates de la réalité sociale (réel, actuel et empirique)

– Sensible aux variations du contexte (micro, méso et macro)

– Produit des effets

2) Résultante de l’interaction entre agent et structure

– Elément de raisonnement individuel ou collectif face à une intervention au regard de la capacité à utiliser les ressources disponibles

3) Elément de processus dynamique(s) au sein d’un système spatio-temporel et social ouvert

– Famille de mécanismes (multiplicité)

– Feedbacks


Concept de mécanisme (5) Exemple (Evans et Killoran, 2000)


Contexte: La politique de santé du gouvernement britannique soutient fortement le travail en partenariat au niveau local et le présente comme un mécanisme clé pour lutter contre les inégalités de santé. Intervention: Programme de deux ans de l’Health Education Authority. Objectif: Comprendre comment les mécanismes ont fonctionné dans le cadre d'un changement de politique nationale et locale, quels sont ceux qui ont été mobilisés, dans quelles circonstances et pour qui. Méthode: Etude de cas - Test de 5 modèles différents de travail partenarial. Regroupement des mécanismes en 6 thèmes: 1) vision stratégique partagée, 2) leadership et gestion, 3) relations et appropriation au niveau local, 4) responsabilité, 5) préparation organisationnelle locale et 6) réactivité à un environnement changeant.




Contexte: La politique de santé du gouvernement britannique soutient fortement le travail en partenariat au niveau local et le présente comme un mécanisme clé pour lutter contre les inégalités de santé.

CONTEXTE : Conditions dans lesquelles l’intervention est introduite, qui préexistent même avant sa mise en œuvre. - Social, culturel, historique ou politique. - Permet ou limite l’action des agents. - 4 niveaux: individuel, interpersonnel, institutionnel, contexte plus large (Pawson et al, 2005)

Favorable ou non au fonctionnement des mécanismes

Possibilité de modifier la capacité des mécanismes à produire l’effet

Possibilité de modifier leur comportement




Contexte: La politique de santé du gouvernement britannique soutient fortement le travail en partenariat au niveau local et le présente comme un mécanisme clé pour lutter contre les inégalités de santé. Intervention: Programme de deux ans de l’Health Education Authority.

Les attributs du concept de l’INTERVENTION découlent d’une approche plus globale (de l’ordre des stratégies et

des activités mises en œuvre)




Contexte: La politique de santé du gouvernement britannique soutient fortement le travail en partenariat au niveau local et le présente comme un mécanisme clé pour lutter contre les inégalités de santé. Intervention: Programme de deux ans de l’Health Education Authority. Objectif: Comprendre comment les mécanismes ont fonctionné dans le cadre d'un changement de politique nationale et locale, quels sont ceux qui ont été mobilisés, dans quelles circonstances et pour qui. Méthode: Etude de cas - Test de 5 modèles différents de travail partenarial. Regroupement des mécanismes en 6 thèmes: 1) vision stratégique partagée, 2) leadership et gestion, 3) relations et appropriation au niveau local, 4) responsabilité, 5) préparation organisationnelle locale et 6) réactivité à un environnement changeant.

Identification et caractérisation des

mécanismes

Niveaux d’analyse des mécanismes en sciences sociales (Astbury et Leeuw,

2010; Hedström & Swedberg, 1998; Anderson et al, 2006)

Niveau Macro

Niveau Micro

Mécanismes situationnels

Mécanisme action-formation

Mécanismes transformationnels

INTERVENTION

Concept de mécanisme (6) Vers une typologie de mécanismes?



Conclusion


L’approche réaliste en évaluation de programme…

Une

courtepointe

en construction!

Remerciements


Pr Thierry Lang et l’équipe du programme de recherche interventionnelle AAPRISS financé par l’ Agence Nationale de la Recherche (ANR 11 INEG 003 01).

Pr Eric Breton, titulaire de la Chaire Inpes « Promotion de la santé » à l’EHESP, financée par l’Institut national de prévention et d’éducation pour la santé (Inpes). Pr Valéry Ridde et Pr Anne Guichard.

M.Plazy - Conséquences conjugales d'une intervention de COC prénatal du VIH - M2 Epidémio ISPED - 17 janvier 2010 -

7 M.Plazy - Conséquences conjugales d'une intervention de COC prénatal du VIH - M2 Epidémio ISPED - 18 avril 2011 - 10

Merci de votre attention !


[email protected]

Bibliographie


Astbury, B., & Leeuw, F. L. (2010). Unpacking Black Boxes: Mechanisms and Theory Building in Evaluation. American Journal of Evaluation, 31(3), 363-381.

Daigneault P-M. & Jacob, S. (2012), « Les concepts souffrent-ils de négligence bénigne en sciences sociales? Éléments d’analyse conceptuelle et examen exploratoire de la littérature francophone à caractère méthodologique », Social Science Information-Information sur les Sciences Sociales, vol. 51, n°2, pp. 188-204.

Lang, T. (2012). Un programme de recherche interventionnelle pour réduire les inégalités sociales de santé : Aapriss (Apprendre et Agir pour réduire les inégalités sociales de santé). Atelier Prévenir les problèmes liés au poids de façon durable et équitable : un regard France-Québec. JASP, 28 novembre 2012.http://jasp.inspq.qc.ca/Data/Sites/1/SharedFiles/presentations/2012/jasp2012_28nov_problemepoids_france_qc_tlang.pdf

Marchal, B., Van Belle, S., Van Olmen, J., Hoerée, T., & Kegels, G. (2012). Is Realist Evaluation Keeping Its Promise? A Review of Published Empirical Studies in the Field of Health Systems Research. Evaluation, 18(2), 192-212.

Pawson, R., & Tilley, N. (1997). Realistic Evaluation. Sage publications. 235p.

Ridde, V., Robert, E., Guichard, A., Blaise, P., & Van Olmen, J. (2012). L’approche Realist à l’épreuve du réel de l’évaluation des programmes. Revue canadienne d’évaluation de programme, 26(3), 14.

Robert, E. (2012). The realist approach: epistemological foundations and conceptual tools. Seminar on the realist approach and its application in global health. GHR-CAPS program. Montreal University, November 2012. http://fr.slideshare.net/EmilieRobert/emilie-robert-the-realist-approach-2012

http://jasp.inspq.qc.ca/Data/Sites/1/SharedFiles/presentations/2012/jasp2012_28nov_problemepoids_france_qc_tlang.pdf

http://jasp.inspq.qc.ca/Data/Sites/1/SharedFiles/presentations/2012/jasp2012_28nov_problemepoids_france_qc_tlang.pdf

http://fr.slideshare.net/EmilieRobert/emilie-robert-the-realist-approach-2012











le concept de mécanisme et l'approche réaliste en évaluation de programme

Documents