concepts statistiques des méta-analyses
DESCRIPTION
Séminaire méta-analyse Lyon mai 2010TRANSCRIPT
Analyse, présentation et interprétation des résultats d'une méta-analyse
Michel Cucherat
TrialResults-center.org
Hypothèse - Modèle
Les résultats des essais varient d'un essai à l'autre du fait du hasard
Ces résultats fluctuent de manière aléatoire autours d'une valeur commune
But de la MA : estimer cette valeur commune
Valeur
commune
Vraie valeur - valeur observée
Réalité
(modèle)
vraie valeur valeur observée
Résultat de
l'essai
vrai OR OR observé
fluctuations
aléatoires
vrai ET ET observé
Principe statistique
Le but de la MA est de prendre en compte ces fluctuations dues au hasard (suppression du bruit de fond)
et de fournir une estimation moins sujette à ces variations que l'estimation donnée par un seul essai
Combinaison des effets traitements correcte
T. étudié T. contrôle Effet du traitement
Essai 1 x1/n1 x0/n0
Essai 2 x1/n1 x0/n0
Essai 3 x1/n1 x0/n0
Essai 4 x1/n1 x0/n0
regroupement regroupementEffet
global
Paradoxe de Simpson
Essai T+ T- OR
1 18/60 36/120 1.00
30% 30%
2 84/120 42/60 1.00
70% 70%
Total 102/180 78/180 0.58
56% 43%
Combinaison des effets traitements
T. étudié T. contrôle Effet du traitement
Essai 1 x1 x0 e
Essai 2 x1 x0 e
Essai 3 x1 x0 e
Essai 4 x1 x0 e
Effet
global
Principe fondamental de la méta-analyse
Ne pas regrouper les patients– car les sujets ne sont pas comparables d'un essai à l'autre
Regrouper les estimations de l'effet traitement– en faisant l'hypothèse que le traitement a le même effet dans tous les
essais
hypothèse d'homogénéité
Essai 1
Essai 2
Essai 3
vrai ET
vrai ET
vrai ET
ET observé 1
ET observé 2
ET observé 3
Modèle Résultats
MA vrai ET estimation MA
Modèle fixe
– à partir d'une série d'estimation du même effet traitement
– trouver la meilleure estimation possible du vrai effet traitement1ˆ ˆ
k
ˆi iY
Résultats statistiques
Effet traitement commun
– moyenne pondérée par l'inverse de la variance
– plus un essai est précis,plus sa contribution est forte
– si un essai est prépondérant il masque complément les autres essais
– intervalle de confiance
Test de l'existence de l'effet traitement– test d’association
Test de l'hypothèse d'homogénéité– test d’hétérogénéité ou mesure de l’hétérogénéité
Graphique de méta-analyse
1 . 0 0 . 8 0 . 6 0 . 5 0 . 4 R i s q u e r e l a t i f
C a s / E f f e c t i f s
E v é n e m e n t s c o r o n a r i e n s R i s q u e r e l a t i f , m o d è l e f i x e
T + T -
H e t . C o c h r a n Q p = 0 . 7 0
T o t a l 7 8 7 / 1 7 0 4 3 1 0 3 0 / 1 6 9 4 9 0 . 7 6 1 , p < 0 . 0 0 1
A F C A P S / T e x C A P S 1 6 3 / 3 3 0 4 2 1 5 / 3 3 0 1
W e s t o f S c o t l a n d 1 7 4 / 3 3 0 2 2 4 8 / 3 2 9 3
H H S 5 6 / 2 0 5 1 8 4 / 2 0 3 0
L R C C P P T 1 5 5 / 1 9 0 6 1 8 7 / 1 9 0 0
W H O c l o f i b r a t e 1 8 5 / 5 3 3 1 2 2 2 / 5 2 9 6
C o l e s t i p o l 5 4 / 1 1 4 9 7 4 / 1 1 2 9
in-hospital mortality Risque relatif, modèle fixe (IC 95%)
Essai T. étudié
n/N
T. controle
n/N Graphique RR [IC95%]
Ribichini 0 / 24 0 / 26 1.08 [0.00; 269.25]
Gibbons 2 / 47 2 / 56 1.19 [0.17; 8.14]
PAMI 5 / 195 13 / 200 0.39 [0.14; 1.09]
Grinfeld 5 / 54 6 / 58 0.90 [0.29; 2.76]
Ribeiro 3 / 50 1 / 50 3.00 [0.32; 27.87]
Zwolle 3 / 152 11 / 149 0.27 [0.08; 0.94]
Global p ass=0.07 0.58 [0.32; 1.05]
Het. entre les 6 essais p=0.38 , I2=5% 0.0 5.0 1
A comparison of the analgesic efficacy and side-effects of
paravertebral vs epidural blockade for thoracotomy
British Journal of Anaesthesia 96 (4): 418–26 (2006)
A comparison of the analgesic efficacy and side-effects of
paravertebral vs epidural blockade for thoracotomy
British Journal of Anaesthesia 96 (4): 418–26 (2006)
Calcul (1)
Effectifs Evénements Risques
Essai n1 n0 x1 x0 r1 r0
Essai A 100 100 24 35 0.24 0.35
Essai B 234 242 55 95 0.24 0.39
Essai C 56 34 12 12 0.21 0.35
Essai D 345 500 77 180 0.22 0.36
r1 = x1 / n1
Calcul (2)
Risques
Essai r1 r0 RR d=Log(RR) Var (log RR) w
Essai A 0.22 0.37 0.595 -0.520 0.0525 19.1
Essai B 0.24 0.38 0.634 -0.456 0.0199 50.3
Essai C 0.21 0.38 0.560 -0.579 0.1130 8.9
Essai D 0.21 0.36 0.577 -0.551 0.0145 68.9
RR = r1 / r0
var = 1/x1-1/n1+1/x0-1/n0
w=1/var
147.1
Calcul (3)
Essai d=Log(RR) w d*w
Essai A -0.377 19.9 -7.51
Essai B -0.513 49.3 -25.26
Essai C -0.499 8.4 -4.18
Essai D -0.478 73.3 -35.04
150.8 -71.99
dc -0.48
RRc=Exp(dc) 0.62
var( log RRc) 0.0066
dc = Sd*w / Sw
var( log RRc) = 1 / Sw
Hétérogénéité - graphique
0 0.5 1 1.5 2
Essai 1
Essai 2
Essai 3
Essai 4
Global
Absence d'hétérogénéité
OR0 0.5 1 1.5 2
Essai 1
Essai 2
Essai 3
Essai 4
Essai 5
Global
Hypothèse d'homogénéité
Hypothèse omnibus
– H0 :
Hétérogénéité– rejet de l'hypothèse nulle
– Acceptation de l'hypothèse alternative :
i 21
jijj ,
Hétérogénéité
Sous l'hypothèse d'homogénéité
– vaut en moyenne zéro
Test d'hétérogénéité
– distance pondérée
– nulle en cas d'homogénéité parfaite
– Chi² à k-1 ddl
ii ˆ
ˆˆ i
2
ˆˆ iiwQ
I²
% de la variabilité totale non explicable par le hasard, du à une vraie variabilité de l'effet traitement dans les essais
varie de 0% à 100%
Problème d'extrapolabilité du résultat si I²>70%
Il existe un autre indice important tau 2– Lié au modèle aléatoire
2
2
2max 0, 100%het
het
ddlI
Deux types d’hétérogénéité
Hétérogénéité des caractéristiques des essais
– patients
– traitements
– etc.
Hétérogénéité statistique des résultats– taille de l’effet obtenu différente d’un essai à l’autre
Statut de l'hétérogénéité
Nuisance– utilisation d'un modèle aléatoire
– hypothèse forte sur l'hétérogénéité (gaussienne)
Informative – recherche des sources de l'hétérogénéité
– "explication" de l'hétérogénéité en fonction des caractéristiques des études
– témoin de l'existence d'interactions
– Sous groupe, méta-régression
Modèle aléatoire
Essai 1
Essai 2
Essai 3
vrai ET 1
vrai ET 2
vrai ET 3
ET observé 1
ET observé 2
ET observé 3
Modèle
essaiRésultats
MA estimation MA
Modèle
général
vrai ET
vrai ET
var. intra essaivar. inter essai
var = t2
i
Modèle fixe - aléatoire
Modèle fixe
– modèle simple
Modèle aléatoire– variabilité structurelle de l'effet traitement
– variabilité aléatoire ?
– forme de la distribution ?
– prise en compte d'une certaine hétérogénéité (mais ne l'explique pas)
– diminution de puissance
Analyse en sous groupeanalyse de sensibilité
•essai 1
•essai 2
•essai 3
•essai 4
•essai 5
MA SG 1
MA SG 2
Analyse en sous groupe Analyse de sensibilité
•essai 1
•essai 2
•essai 3
MA n° 1(SG 1)
•essai 1
•essai 2
•essai 3
•essai 4
•essai 5
MA n° 2(SG1 +SG2)
Analyse de sensibilité
étude de l’influence d’un facteur pouvant biaisé la méta-analyse
Analyse en sous groupescomparaison indirecte de l’influence d’un facteur sur l’effet du traitement
Utilisation
bonne
qualité
qualité
moyenne
Duke B
Duke C
bonne
qualité+
Constitution des sous groupes (1)
Essai 1(10 mg)
Essai 2(10 mg)
Essai 3(10 mg)
Essai 4(20 mg)
Essai 5(20 mg)
Sous groupe
10 mg
Sous groupe
20 mg
Constitution des sous groupe (2)
Essai 1<=60 ans
>60 ans
Essai 2<=60 ans
>60 ans
Essai 3<=60 ans
Essai 4>60 ans
Sous groupe
<= 60 ans
Sous groupe
> 60 ans
Méta-régression
ORi=a+b*Xi+ei
difficultés– OR n'est pas distribué normalement
– OR est une variable bornée à gauche par 0
– log(OR) mais interprétation difficile
– en général peu de dispersion des valeurs Xi
solution – analyse en sous groupes
– univarié
Méta-régression - Exemple
Lancet online sept 2005
Retour sur l’hétérogénéité - Tau 2
Variance du vrai effet traitement dans le modèle aléatoire
Meilleure mesure de l’hétérogénéité– Insensible au nombres d’essais
• Contrairement à Q
– Insensible à la taille des essais
• Contrairement au I2
• 1-I2 = pourcentage de variabilité du aux erreurs d’échantillonage
• Quand les essais augmentent en taille 1-I2 diminue I2 tends vers 100%
Utilisation– Prendre tau = racine (tau2)
– Unité de la variable (log RR pe)
– Mesure la pertinence clinique de l’hétérogénéité
CAD devant l’hétérogénéité
Tau2 =0
– Regroupement des résultats
• Avec un modèle fixe ou un modèle aléatoire
Tau2 <>0 mais cliniquement non pertinente– Regroupement des résultats avec un modèle aléatoire
– Recherche de l’explication de l’het. non obligatoire
Tau2 <>0 et mais cliniquement pertinente– Recherche de l’explication de l’het. obligatoire
– Eventuellement regroupement des résultats avec un modèle aléatoire
Logiciels
Meta-analyst
Revman– www.cochrane.org
Macro stata
Comprehensive MA
EasyMA.net– www.spc.univ-lyon1.fr/easyma.net
EasyMA– www.spc.univ-lyon1.fr/~mcu/easyma
Multiplicité des méthodes de calcul
Mesure multiplicative
– Risque relatif
• modèle fixe, variance minimum
• Greenlands et Robins
• modèle aléatoire
– Odds ratio
• modèle fixe, variance minimum
• Mantel-Haenszel (Greenlands et Robins)
• modèle aléatoire
• Peto
• Maximum de vraisemblance
Multiplicité des méthodes de calcul
Mesure additive
– Différence des risques
• modèle fixe, variance minimum
• Greenlands et Robins,
• modèle aléatoire
RECHERCHE D’UN BIAIS DE PUBLICATION
Funnel plot - sans biais de publication
0
100
200
300
400
500
-0.04 -0.02 0 0.02 0.04
Taille de l'effet traitement
Effectif
Funnel plot - avec biais de publication
0
100
200
300
400
500
-0.04 -0.02 0 0.02 0.04
Taille de l'effet traitement
Effectif
Funnel plot of randomised controlled trials comparing topical non-
steroidal anti-inflammatory drugs with placebo (asymmetry P=0.04)Jinying Lin,Weiya Zhang, Adrian Jones, Michael Doherty. Efficacy of topical non-steroidal anti-
inflammatory drugs in the treatment of osteoarthritis: meta-analysis of randomised controlled trials. BMJ,
doi:10.1136/bmj.38159.639028.7C (published 30 July 2004)
Funnel plot des résultats concordants
Egger M BMJ 1996
Funnel plot des résultats discordants
Egger M BMJ 1996
A meta-analysis of the angiotensin-converting enzyme gene polymorphism
and restenosis after percutaneous transluminal coronary revascularization:
Evidence for publication bias.Willem R. P. Agema, MD^J. Wouter Jukema, MD, PhD, FESC, FACC,-*^ Aeiiko H. Zwinderman, PhD,1' and E. E. van der
Wall, MD, PhD, FESC, FACC'1'" Leiden and Utrecht, The Netherlands
Am Heart J 2002; 144:760-8.
Test simple du biais de publication
Log (OR) = a +b *precision
si FP symétrique – b = 0
– a = Log(OR commun)
si FP asymétrique– b <> 0
INTERPRÉTATION – NIVEAU DE PREUVE
Niveau de preuve
Place de la méta-analyse dans la démonstration de l'effet
Effet démontré (plus haut niveau de preuve)– MA concluante sans hétérogénéité
– avec au moins un essai concluant
Effet suggéré– MA concluante sans hétérogénéité
– sans essai concluant
Etidronate for treating and preventing postmenopausal osteoporosis
Cranney A, Welch V, Adachi et al.
Osteoporosis International, 2001
Conclusions raisonnable d’une méta-analyse
Le bénéfice clinique est démontré par au moins un essai concluant, la méta-analyse :
– vérifie la cohérence externe de ce (ces) résultats et permet de démonter définitivement l’efficacité
– permet d’estimer au mieux la taille de l’effet
– permet d’explorer les sous groupes, etc.
Il n’y a pas d’essais concluant, la méta-analyse :
– permet d’explorer si les 1er données disponibles laissent espérer une efficacité
– permet de construire l’essai de confirmation
Dans tous les cas, la méta-analyse permet de faire l’état des lieux de façon objective et performante
Utilisation de la MA en safety
MA montrant un surcroit d’EI
– Intérêt : seule approche à même de détecter un signal en cas d’EI rares
– Limites : multiplicité, post hoc, zéros, recueil de l’information
– À interpréter comme un signal
Essai montrant un surcroit d’EI– MA test la cohérence externe de ce résultat
– Protection contre les résultats du au hasard
Avantages de l’interprétation globale - 3 exemples
1er exemple
Un essai de grande taille (1000 patients) montre bien l’efficacité du traitement
Lancet 2003; 361: 2017–23
2ème exemple
Deux essais
– le premier mené en Europe de l’Est est concluant
– le second réalisé aux US est non concluant
Conclusion– l’effet du traitement n’est pas le même aux US et en Europe
– car les contextes de soins sont différents
3ème exemple
3 essais ont été réalisés pour évaluer le même traitement
ils sont tous négatifs
conclusion : ce traitement n’a pas d’efficacité
MÉTA-ANALYSE EN RÉSEAU
MA en réseau
OBJECTIVE: To summarize the available clinical trial evidence concerning the safety and efficacy of various antihypertensive therapies used as first-line agents and evaluated in terms of major cardiovascular disease end points and all-cause mortality
Psaty BM, Lumley T, Furberg CD, Schellenbaum G, Pahor M, Alderman MH,
Weiss NS.
Health outcomes associated with various antihypertensive therapies used as first-
line agents: a network meta-analysis.
JAMA. 2003 May 21;289(19):2534-44.
PMID: 12759325
Difficultées
Utilisation d’une méthode Bayesienne– introduction d’une information initiale (apriori)
– l’apriori doit être non informatif• normal (mean=0, variance=100) pour les paramètres
• gamma (0·0001, 0·0001) pour les précisions
– le résultat ne soit pas dépendre de l’apriori
Utilisation d’une méthode itérative– test de la convergence
– pour obtenir la convergence il faut souvent mettre un apriori pas trop non-informatif
Effet « boite noire »– Estimation global
– La précision de A vs C dépend de toutes les autres comparaisons du réseaux
Incohérence du réseau
A
C
B
0.4
0.6
D
0.6
0.5
A
C
B
-0.6
-0.4
D
0.5
0.6
A vs B /C = 0.4+0.6=1
A vs B /D = 0.6+0.5=1.1
A vs B /C=-0.6-0.4=-1
A vs B /D = 0.6+0.5=1.1
Mesure de l'effet traitement
Quantification de la taille de l'effet du traitement
Quantité d'effet• mesurée par des indices d'efficacité
Indices – critères binaires
• risque relatif
• odds ratio
• différence des risques
• nombre de sujet nécessaire de traiter
– critères continus
• différence des moyennes
• "effect size"
Mesure de l'effet traitement : Critères binaires
Les plus utilisés
Fréquence de survenu (risque) d'un événement– dans de groupe contrôle R0
– dans le groupe traité R1
Comparaison directe de R0 et R1
– courante
– mais valeur de R0 très sensible
• à la définition du critère
• aux caractéristiques des patients
• aux fluctuations aléatoires (comme R1)
RR = RT / RC
Ev. Effectif Risque
Grp T 45 180 45 / 180 = 0.25
Grp C 56 176 56 / 176 = 0.32
RR = 0.25 / 0.32 = 0.79
Réduction Relative de RisqueRRR = 1 - 0.79 = 21%
Risque Relatif
1effet bénéfique
fréquence sous traitement < fréquence sans traitement
effet délétèrefréquence sous traitement > fréquence sans traitement
0 0.25 0.5 0.75 1 1.25 1.5 1.75 2RR
Risque relatif, interprétation
– RR < 1 (RT < RC)
• le traitement réduit la fréquence de l'événement
• effet bénéfique
– RR > 1 (RT > RC)
• le traitement augmente la fréquence de l'événement
• effet délétère
– RR = 1 (RT = RC)
• le traitement est sans effet
Exemple
Odds ratio
Ev. Effectif Risque
Grp T 45 180 45 / 180 = 0.25
Grp C 56 176 56 / 176 = 0.32
OR = (0.25/(1-0.25) /( 0.32/(1-0.32)) = 0.71
L'odds ratio est une approximation du risque relatif
ORR R
R R
T T
C C
/
/
1
1
Relation entre RR et OR
L’OR n’est proche du RR que si le risque de base est faible (<0.4)
1.0
0.0
0.2
0.4
0.6
0.8
0.00 0.25 0.50 0.75 1.00Risque de base dans le groupe contrôle
Od
ds
-ra
tio
RR=0.8
Mesure de l'effet : Différence des risques
DR = RT - RC
Ev. Effectif Risque
Grp T 45 180 45 / 180 = 0.25
Grp C 56 176 56 / 176 = 0.32
DR = 0.25 - 0.32 = -0.07 = -7%
Absence d’effet DR = 0
Différence des risques - Interprétation
Absence d’effet DR = 0
0
-0.20 -0.15 -0.10 -0.05 0 0.05 0.10 0.15 0.20DR
effet bénéfique
fréquence sous traitement < fréquence sans traitement
effet délétèrefréquence sous traitement > fréquence sans traitement
Mesure de l’effetNombre nécessaire de traiter NNT
NNT = Nb de patients nécessaire de traiter pour éviter UN événement
NNT = 1 / DR1 / 0.07 = 14
Intérêts– signification «clinique»
Limites– personnalise trop le bénéfice
– calcul de l’intervalle de confiance
NNTerreurs d’interprétation
14 sujets à traiter pour éviter 1 événements
sur 14 patients un seul bénéficie du traitement
NNT = Nombre moyen– tous les patients bénéficient un peu du traitement
– en moyenne cela équivaut à un événement évité pour NNT patients traiter
There's a lot of expensive technology. Some of it provides benefit
for only a tiny fraction of patients and at great cost" to everybody
else, Sox says. With breast cancer, for example, 800 women must
be screened for 13 years to prevent a single death.
Application numérique (1)
4S : statine, prévention secondaire
– n = 2223 + 2221
– 11,5% vs 8,2%
– 4,9 ans
WOSCOPS : statine, prévention primaire
– n = 3293 + 3302
– 4,1% vs 3,2%
– 5,4 ans
ISIS 2 : fibrinolyse, IDM
– n = 8595 + 8592
– 12,0% vs 9,2%
– 5 sem.
Application numérique (2)
RR DR NNT
4S 0.71 3.3% 30
WOSCOPS 0.78 0.9% 112
ISIS 2 0.77 2.8% 36
Relation entre Rc et BA
R0=50% R1=25% RR=0.5 DR=25%
R0=1% R1=0.5% RR=0.5 DR=0.5%
R0=10% R1=5% RR=0.5 DR=5%
Bénéfice absolu - relative
Bénéfice absolu
– Différence de risque
– Santé publique
– Conséquence du traitement
Bénéfice relatif– Risque relatif
– Indice "explicatif"
– Efficacité du médicament
BA et durée de suivi
0 5 10 15 20 25 30
t
0
0.2
0.4
0.6
0.8
1
S t
0 5 10 15 20 25 30
t
0
0.02
0.04
0.06
0.08
0.1
DRfig . d
critères quantitatifs