vérification et validation de méthode: de la théorie à ... · quantitatives ou...
TRANSCRIPT
Synapse Consulting sprl
Vérification et validation deméthode:
De la théorie à la pratique
1Synapse Consulting sprl
Journée des utilisateurs ImmuliteSiemens
Jeudi 20 octobre 2016
Méthode quantitative vs qualitative
� Méthodes quantitatives:
?Elles fournissent des résultats issus de donnéesnumériques.
?Les résultats issus d’un ratio (%) sont égalementconsidérés comme des résultats quantitatifs.
Synapse Consulting sprl 3
Méthode quantitative vs qualitative
� Méthodes qualitatives:
? Elles fournissent des résultats issus de données nonnumériques
? Des méthodes qualitatives basées sur des donnéesnumériques, c’est-à-dire basées sur une évaluation parrapport à un seuil, doivent être vérifiées/validées commedes méthodes quantitatives (par exemple : sérologieHIV).
Synapse Consulting sprl 4
Méthode quantitative vs qualitative
EXIT les méthodes semi-quantitatives
? Les résultats de méthodes assimilées comme semi-quantitatives ou semi-qualitatives sont à considérer commeétant des méthodes quantitatives.
Synapse Consulting sprl 5
Chronologie et recommandation� Choisir un guideline pour votre validation !!! (SH-GTA-
04)
� Fixer les contours de l’étude« méthode/équipement/réactif »
� Que veut-on étudier?� Corrélation / non corrélation� Linéarité� Limites de détection ?
� Réaliser l’étude sur le site de production
� Par le personnel du laboratoire qui va utiliser la technique
Synapse Consulting sprl 6
Chronologie et recommandation� Etablir un planning
� Etablir les coûts, si possible avant lanégociation avec le fournisseur
� Etudier les données bibliographiques et lesréférentiels
� (Guideline reconnu, recommandations fabricants, ISP,Publication scientifique, Consensus de clinicien… )
� Fixer la performance à atteindre et leslimites d’acceptabilité
Synapse Consulting sprl 7
Chronologie et recommandations
� Analyses et traitement des résultats
� Détermination des conclusions
� Finalisation du dossier et diffusion auxpersonnes concernées
Synapse Consulting sprl 8
Tableau résumé des performances àévaluer
Synapse Consulting sprl 9
Items Vérification ValidationQuantitative Qualitative Quantitative Qualitative
Répétabilité Site Site Site SiteReproductibilité Site Site Site SiteExactitude Site Site Site SiteIncertitude Maîtrise des
facteurs devariabilité
Maîtrise desfacteurs devariabilité
Comparaison avec méthode déjàutilisée au laboratoire ou autreméthode du laboratoire (appareilen miroir…)
site site site site
Limite de quantification etlimites de linéarité
Bibliographie NA Site NA
Interférence Bibliographie Bibliographie Site SiteCross contamination Bibliographie Bibliographie Site SiteRobustesse Bibliographie Bibliographie Site SiteStabilité réactif Bibliographie Bibliographie Site SiteIntervalle de référence Bibliographie Bibliographie Site SiteLimite de détection NA Bibliographie NA SiteSensibilité / spécificité NA Bibliographie NA SiteVérification des transferts électroniques Site
Choisir ses limites
Ne vous tirez pas une balle dans le pied …vous n’aurez pas de médaille
Synapse Consulting sprl 10
Exemple : FerValeurs de référence homme
65 – 175 µg/dl
Ricos donne pour la reproductibilité
Synapse Consulting sprl 11
Eliminer les valeurs aberrantes
Test de GrubbsCe test permet le rejet de points aberrants dans une série de
mesures.
Synapse Consulting sprl 12
Répétabilité� Sur chaque niveau pertinent, avec au moins 2 niveaux et dans
des zones de comparabilité par rapport à la bibliographie.
� La matrice de premier choix sera un échantillon patient. Endeuxième intention, un contrôle peut être utilisé.
� Les essais doivent être réalisés sur un même échantillon avecle même opérateur, même lot de réactif, même instrument,même étalonnage et dans un délai le plus court possible.
� L’effectif idéal est de 30 mesures. Si un nombre d’essaisinférieur est utilisé, alors le biologiste doit argumenter.
Synapse Consulting sprl 13
Répétabilité
� Calcul :
� CVrepet %= sd/M * 100
� Acceptabilité:
◦ CV firme◦ le CVrepet doit être < CVreprod / 1,33
Synapse Consulting sprl 14
Reproductibilité� L’étude porte sur chaque niveau pertinent, avec au
moins 2 niveaux et dans des zones de comparabilitépar rapport à la bibliographie.
� La matrice de premier choix sera un contrôle quiest également utilisé par des laboratoires pairs
� L’effectif idéal est de 30 mesures sur 15 joursdifférents, dans des séries différentes.
Synapse Consulting sprl 15
Reproductibilité� Calcul :
CVreprod %= sd/M * 100
� Le CVreprod est comparé aux limites préalablement définies
� 2x CVreprod doit être < CVreprod limite qui se calcule de lamanière suivante :◦ Calculer la valeur de X = (borne supérieure de la valeur de référence –
borne inférieure de la valeur de référence)/ 4◦ Calculer la valeur de référence centraleVRC = (Valeur supérieure de la
valeur de référence + valeur inférieure de la valeur de référence)/ 2◦ Calculer CVreprod limite = (X/VRC) * 100◦ Acceptabilité 2xCVreprod < CVreprod lim
◦ Si acceptabilité différente, alors le biologiste responsable doitargumenter
Synapse Consulting sprl 16
Exactitude� L’étude porte sur chaque niveau pertinent, avec au
moins 2 niveaux et dans des zones de comparabilitépar rapport à la bibliographie.
� La matrice de premier choix sera un contrôle dequalité interne, externalisé c'est-à-dire utilisé par ungrand nombre de laboratoires pairs. En deuxièmeintention, un contrôle de qualité externe sera utilisé.
� La moyenne obtenue lors de la reproductibilité estcomparée à la valeur moyenne du groupe des pairs(appelé V) pour les contrôles internes externalisés.
� Calcul : Biais %= ((M-V)/V) * 100
Synapse Consulting sprl 17
Incertitude� Elle est calculée à partir de la reproductibilité et
du biais suivant le calcul de TE de Ricos
� TE % = (1,65 x CV) + Biais
� Le TE est comparé en première intention auTEA des tables de Ricos. Si les valeurs de Ricosne sont pas disponibles, le biologiste utiliserad’autre référentiel qu’il documentera
Synapse Consulting sprl 18
Incertitude� Autre méthode de calcul:
◦ Incertbiais: Bias / √3◦ Incertreprod: sd
◦ Incertitude totale : √(Incertbiais)² +(Incertreprod)²
◦ Incertitude élargie = 2 x incertitude totale
Synapse Consulting sprl 19
ExempleFer : 115 µg/dl
CV : 2,1 %Biais : 1,8 %
Méthode TEA
TE% = (1,65 x CV) + Biais
= (1,65x2,1)+1,8 = 5,265 %
TEA Ricos Min : 15,3 %
Autre méthode
Incertbiais: Bias / √3 = 1,196 µg/dl
Incertreprod: sd = 2,415 µg/dl
Incertitude totale : √(Incertbiais)²+(Incertreprod)² = 2,69 µg/dl
Incertitude élargie = 5,39 µg/dlsoit 4,69 %
Synapse Consulting sprl 20
Comparaison de méthodes
Un écart entre 2 méthodes est acceptables’il ne modifie pas le diagnostic ou le suivimédical.
Le coefficient de corrélation mesurel’intensité de la liaison entre 2 variables etnon leur concordance
Synapse Consulting sprl 22
Comparaison de méthodes
� Utiliser au minimum 30 échantillonspatients couvrant l’ensemble du domainede mesure de façon homogène.
� Dosage en simple sur chaque appareildans un délai le plus court possible
� La méthode à tester est appelée Y� La méthode de référence est appelée X
Synapse Consulting sprl 23
Comparaison de méthodes
Exemple : comparaison automate XE vs XNpour RBC (106/µl)
Synapse Consulting sprl 24
Comparaison de méthodes
Exemple : comparaison automate XE vs XNpour RBC (106/µl)
Synapse Consulting sprl 28
Concordance de 2 tests qualitatifs
Synapse Consulting sprl 29
Calcul
Po= 1/200 x (72+87)= 0,795
Pe= 1/200² x ((88x97)+(112x103)) = 0,5018
K = (0,795-0,5018)/(1-0,5018)= 0,5885
Test de contamination
� La matrice de premier choix sera unéchantillon patient fortement dosé avecun marqueur (p.ex HCG). En deuxièmeintention, un contrôle hautement dosépeut être utilisé.
� Passage de 3 essais hautementdosés appelé H1, H2 et H3 suivis de 3blancs appelés B1, B2 et B3
� Réaliser 5 fois cette opération
Synapse Consulting sprl 30
Test de contamination
Synapse Consulting sprl 31
Si contamination, alors calculer le pourcentage:
Cont = ((Moyenne B1 – Moyenne B3) / (Moyenne des H –Moyenne B3)) * 100
NB: tester également, s’il y a eu, sur la contamination des réactifs via lesaiguilles de prélèvement
Transfert électronique� Les cas suivants seront vérifiés, s’il y a eu lieu :◦ Valeurs normales◦ Valeurs avec le signe <◦ Valeurs avec le signe >◦ Valeurs avec un commentaire◦ Valeurs avec calcul◦ Valeurs paniques
� 5 dossiers par cas sont étudiés. Ils reprennent lesvaleurs brutes, les valeurs dans le middleware etles valeurs dans le LIS.
Synapse Consulting sprl 33
Un mot sur la limite dequantification
� C’est le plus petit dosage obtenu avec unCV max de 10 %
� A faire uniquement en cas de validation
� Pour éviter les coûts supplémentaire, nepas aller au-delà des valeurs« intelligentes » ....
Synapse Consulting sprl 34