1

Analyse d’un essai

P. Villani

2

But d’un essai thérapeutique

Tenter de répondre à une question Mise en place d’un plan expérimental

– Respect d’un certain nombre d’exigences méthodologiques

• Existence d’un groupe témoin• TAS• Procédure du double insu• NSN• Définition des hypothèses à tester• …

3

Analyse

Description de la population randomisée Description des écarts au protocole Analyse et discussion des résultats

4

Description de la population

Description de tous les patients inclus dans l’essai

Doivent apparaître clairement – Les effectifs des groupes– Les données démographiques (âge, sexe, taille…)– Les caractéristiques de la maladie

Le recours à des tests statistiques pour comparer les populations à l’inclusion n’est pas nécessaire

5

Analyse

Description de la population randomisée Description des écarts au protocole Analyse et discussion des résultats

6

Description des écarts au protocole Non respect du protocole fréquent

– Erreur et/ou manque de rigueur de l’investigateur et/ou du patient

– Intolérance ou inefficacité des traitements– Refus du patient de poursuivre l’essai

Ces patients doivent – Faire l’objet d’une description– Etre pris en compte dans l’analyse statistique

Seule attitude qui permet de maintenir la comparabilité initiale et de minimiser les biais

7

Ecarts au protocole : trois grandes catégories

Sujets inclus à tort Sujets ayant arrêté

temporairement ou définitivement leur traitement

Sujets perdus de vue

8

Sujets inclus à tort (1)

Sujets qui ne répondent pas aux critères d’inclusion et de non-inclusion prévus par le protocole

Reflet direct de la qualité de l’essai Solution pour réduire ces inclusions à

tort– TAS centralisé après vérification des

critères

9

Sujets inclus à tort (2)

Inclus à tort à la limite de l’inclusion– Ex: sujet de 39 ans et six mois pour une borne

minimale d’inclusion de 40 ans– Ce type d’inclusion à tort devra, sauf raison

médicale particulière, être traité et suivi normalement jusqu’à la fin de l’essai

Inclusion à tort vraie– Ex: inclusion d’un sujet avec une glycémie

normale pour l’évaluation d’un ADO– Interruption du traitement pour des raisons

éthiques

10

Inclus à tort et analyse

Si le nombre d’inclus à tort est faible– On peut les exclure de l’analyse– Décision prise par un comité indépendant dans

l’ignorance du traitement reçu et des résultats

Le nombre de sujets inclus à tort doit être – Clairement donné par groupe de traitement – Ainsi que les motifs

11

Sujets ayant arrêté temporairement ou définitivement leur traitement (1) Dans la plupart des essais tout peut se voir

– Ceux qui n’ont jamais pris leur traitement– Ceux qui ont augmenté ou diminué les doses– Ceux qui ont pris un traitement interdit– Ceux qui ont pris le traitement de l’autre groupe…

Leur exclusion peut aboutir à des résultats biaisés Tous ces sujets doivent être

– Suivis normalement jusqu’à la fin de l’essai– Etre analysés dans le groupe de traitement attribué par le

tirage au sort

12

Lors d’arrêts prématurés pour inefficacité, on peut réaliser– Une analyse en intention de traiter– Une analyse en « end point » qui prendra

en compte la dernière valeur du patient encore sous traitement

Sujets ayant arrêté temporairement ou définitivement leur traitement (2)

13

Sujets perdus de vue

Sujets pour lesquels– Absence des critères de jugement au moment

prévu de l’évaluation

Exclusion de l’analyse faute de résultats– Les motifs qui président à la non-évaluation

rarement indépendants du traitement– Analyse excluant les perdus de vue fortement

baisée– Hypothèse du biais maximum peu réaliste

14

Analyse

Description de la population randomisée Description des écarts au protocole Analyse et discussion des résultats

15

Analyse des résultatsRègles générales

Analyses trop souvent compliquées et confuses pour le lecteur

Toutes les analyses, tableaux et figures présentés s’accompagnent de commentaires identifiant la population dont ils proviennent

Analyse– Critère de jugement principal– Critères secondaires définis par le protocole– Non sur des paramètres a posteriori

16

Analyse des résultatsComparaisons multiples

Lors de mesures répétées dans le temps pour une variable donnée– Soit résumer l’information par la moyenne

ou par une aire sous la courbe– Soit privilégier a priori un seul temps en

réalisant un seul test

17

Analyse des résultatsAnalyses intermédiaires

Analyse réalisée avant la fin de l’essai– Soit parce que tous les sujets n’ont pas été

inclus– Soit parce qu’ils n’ont pas tous été suivis

pendant la durée prévue par le protocole But

– Avoir des résultats plus précoces– Prendre plus rapidement des décisions

18

Analyse des résultatsAnalyses intermédiaires

Analyses planifiées par le protocole Concernent

– Des essais de longue durée– Des pathologies graves– Des médicaments potentiellement toxiques

Le nombre d’analyses doit – Etre réduit– Etre indiqué dans des publications

19

Analyse des résultats Analyses par sous-groupes (1) Recherche de l’effet du traitement dans une sous-population

des patients d’un essai Un essai

– Evaluation moyenne d’un traitement sur l’ensemble d’une population

– Population logiquement hétérogène– Qui sont les sujets répondeurs ?

Sur l’ensemble de la population– Différence significative

• Etude des sous-groupes pas déraisonnable• Probabilité d’observer une différence à tort élevée

– Différence non significative• L’effet du hasard trop important

Ces résultats ne peuvent servir qu’à formuler des hypothèses

20

Analyse des résultats Analyses par sous-groupes (2)

Essais stratifiés– Réponse fiable à une question de type analyse en

sous-groupe– Consiste à séparer dans l’essai différents types de

patients à l’aide de strates• Randomisation indépendante réalisée dans chaque

strate• Equilibre des effectifs entre deux groupes de chaque

strate

– Stratification utilisée pour :• Ajuster un facteur pronostic• Tester deux hypothèses simultanément

21

Résultats et discussionPremière situation : pas de différence significative

L’absence de différence ne permet pas de conclure à l’équivalence

Calcul a posteriori de la puissance– En fonction de la puissance calculée

• Soit le traitement n’est vraisemblablement pas efficace

• Soit réalisation d’un autre essai avec des patients mieux sélectionnés et surtout plus nombreux

22

Résultats et discussionDeuxième situation : différence significative

S’assurer que les résultats sont en accord avec les hypothèses définies a priori par le calcul du NSN

Valeur du « p » – Mesure le risque de conclure à tort– Aucune indication quantitative sur l’importance de

la différence Intérêt de l’intervalle de confiance de la

différence – Quantification du bénéfice du traitement– Quantification de la précision de ce bénéfice

23

Intervalle de confiance (1)

L'intervalle de confiance (IC) à 95% – Intervalle de valeurs qui a 95% de chances de

contenir la véritable valeur du paramètre estimé «Fourchette de valeurs à l'intérieur de

laquelle nous sommes certains à 95% de trouver la vraie valeur recherchée»

L'intervalle de confiance permet de visualiser la précision avec laquelle l'effet du traitement est connu

24

Intervalle de confiance (2)

25

Relation entre intervalle de confiance et test statistique (1) Bien que basés sur des philosophies différentes,

relation entre – Test statistique– Intervalle de confiance

Lorsque l’intervalle de confiance contient la valeur caractéristique de l’effet nul– Impossible d’exclure le fait que la vraie valeur soit cet effet

nul– Ainsi la différence observée ne peut pas être considérée

comme statistiquement significative Lorsque l’intervalle de confiance à 95% ne

contiennent pas la valeur de l’effet nul– Un test significatif au seuil de 5% conduit à dire qu’il y a

95% de chances que la vraie valeur de l’effet soit différente de l’effet nul

26

Relation entre intervalle de confiance et test statistique (2)

27

La Méta-Analyse

Synthèse de plusieurs résultats d’essais thérapeutiques qui répondent à une question définie commune

Nécessité d’une méthodologie dont le but est d’assurer – son objectivité – sa reproductibilité

28

Problématique : multiplicité de l'information

Conclusion pour la pratiqueConclusion pour la pratique

Essai 1

Essai 4Essai 2Essai 5Essai 3

Synthèse

29

Recherche systématique et quantifiée Systématique

– Recherche exhaustive de tous les essais publiés et non publiés

– Dans les limites de temps et de langues Quantifiée

– Repose sur des calculs statistiques – Estimation de l’intensité de l’effet du

traitement

30

Buts et intérêts de la méta-analyse (1) Augmenter la puissance statistique de

l’analyse d’un effet thérapeutique– Démontrer l’effet statistique d’un traitement là où,

individuellement, les essais antérieurs ne permettaient pas de conclure

Homogénéiser et réconcilier des résultats apparemment discordants

Préciser l’estimation de l’intensité de l’effet Synthétiser une somme importante

d’informations

31

Buts et intérêts de la méta-analyse (2) Permettre d’extrapoler un résultat à un large

éventail de patients– La méta-analyse offre une plus grande diversité

des sujets soumis à la comparaison– Meilleure approche du patient « moyen »

Expliquer la variabilité des résultats entre essais, notamment par l’effet des biais

Objectiver l’insuffisance des données fiables dans un domaine particulier – Montrer l’intérêt de mettre en place un essai

spécifique

32

Méta-Analyse

Particulièrement utiles– Essais individuels de taille trop réduite– Réalisation impossible d’un essai de

grande taille– Résultats des essais déjà réalisés

• Discordants• Non concluants

33

Technique de calcul

A partir des effectifs et des nombres d’événements de chaque essai

Pour chaque essai– Indice d’efficacité : risque relatif et son intervalle

de confiance à 95 %

Combinaison des indices d’efficacité de chaque essai– Indice synthétique qui résume l’ensemble des

essais et son intervalle de confiance à 95 %

34

Hypothèse fondamentale

L’effet du traitement est une constante dont chaque essai offre une estimation soumise à des fluctuations aléatoires

Modélisation de la série d’essais– Série de mesures d’un même effet soumis

à des fluctuations d’échantillonnage – Fluctuations uniformément distribuées

autour d’une valeur moyenne

35

Les étapes de réalisation

Définir l’objectif de la méta-analyse en précisant– La maladie– Le type de traitement– Les critères de jugement envisagés– Le type de patients

Etablir a priori la liste des critères d’inclusion des essais Rechercher tous les essais publiés ou non pouvant répondre à

l’objectif Eliminer les études de qualité méthodologique discutable ne

garantissant pas l’absence de biais Relever et synthétiser les caractéristiques des essais Estimer l’effet du traitement sur les critères de jugement

36

Les sources de données Un exigence importante : l’exhaustivité

– Toutes les bases bibliographiques informatisées– Références des comptes rendus d’essais– Registres d’essais randomisés– Abstract d’essais aux résultats communiqués oralement– Registres d’essais thérapeutiques (cancer, thrombose…)– Service documentation des laboratoires

pharmaceutiques– Littérature grise (thèses, rapports internes…)– Registres prospectifs – www.trialscentral.org– www.controlled-trials.com

37

Bernstein,

1988

Maladies hépato-

biliaires

155/195 (80%)

Poynard & Conn,

1985

Maladies hépato-

biliaires

107/208 (51%)

Source Thème Sensibilité

Performances des recherches informatiques

Dickersin et al.

1985

Hyperbilirunémie

néonatale

28/88 (32%)

Dickersin et al.

1985

Hémorragie

intracérébrale

19/29 (88%)

38

Biais de publication

Les essais positifs sont plus facilement publiés que les négatifs

Différence significative

Différence significative

Différencenon-significative

Différencenon-significative

PublicationPublication

39

Biais et erreurs potentiels

Une source des biais de la méta-analyse– Biais des essais eux-mêmes

Seule une sélection appropriée des essais garantit la qualité méthodologique

« Dilution » de biais introduits par un ou quelques essais au niveau d’une méta-analyse qui compte majoritairement des essais de méthodologie correcte

40

Evaluation de la qualité méthodologique (1) But

– Déterminer si l’absence de biais est suffisamment probable pour que le résultat soit une bonne approche de l’estimation correcte de l’effet réel du traitement

Problème comment évaluer la qualité méthodologique d’un essai ?

41

Evaluation de la qualité méthodologique (2) Nombreuses échelles On peut écarter la possibilité de biais avec

suffisamment de certitude– La répartition aléatoire des patients soumis à

comparaison– Surveillance et mesure du résultat en situation de

double insu– Absence ou taux faible de patients randomisés

mais non inclus dans l’analyse finale

42

Recherche des autres biais

Insuffisance de la recherche de biais Exclusion arbitraire de biais Publications multiples d’une même

étude Erreurs des données des essais

– Absence de vérification du recueil des données

– Erreurs typographiques des publications

43

Représentation graphique

Pour chaque essai – L’estimation de l’effet thérapeutique est

encadrée par un intervalle de confiance– La valeur 1 est matérialisée par un axe

vertical qui exprime l’absence de liaison statistique

– Si l’intervalle de confiance englobe cet axe, le résultat au niveau de l’essai est tenu pour non significatif

44

45

Apports de la méta-analyse par rapport à un seul essai

Synthèse de l'information– Réduction de la quantité d'information

Clarification des situations contradictoires– Peser les arguments en faveur ou en défaveur de

l'effet du traitement

Meilleure précision dans l'estimation de la taille de l'effet

Gain en puissance Représentativité accrue

46

Conclusion

Danger = regrouper des informations différentes– patients différents– traitements différents– des critères différents– des essais de qualité différente

Comparer ce qui n’est pas comparable ! La synthèse de l’information a-t-elle un sens ?

Solution :

question précisequestion précise