critères de qualité de l'information de santé su...

© Consortium UMVF - Faculté de médecine - Rouen

Projet co-financé par le Ministère de la Recherche et de la Technologie

Créer de nouveaux outils mettant à profit la puissance des technologies Internet à l'intention des enseignants et des étudiants en médecine

Critères de qualité de l’information

de santé sur l’Internet

Stéfan J. Darmoni

Professeur associé d’informatique médicale

Faculté de médecine de Rouen

L@STICS, PSI, FRE CNRS 2645

Corte 2003




“Maison UMVF”=> GIP ?

Normes & standards

Bureau du

professeur

Pupitre de

l’étudiant

Plateforme de E-learning

Indexation des documents - Video - Satellite

Sécurité - Qualité

Coordination

Communication




Plan

• Introduction

• Evaluation de la qualité de

l’information de santé

• Grilles de critères de qualité

• Qualité de l’information

Projets Européens

• Net Scoring

Huit catégories de critères

• Groupe de travail

Ethique & Transparence

• Impact d’un sceau de qualité

auprès du grand public

• Tâche 8 UMVF RNTS 2000

• Perspectives




Introduction

• Informations de santé

prévenir et gérer ses maladies et son capital santé

prendre des décisions concernant la santé

niveau individuel ou général

• Internet

diffusion variable (texte, audio, vidéo)

Chaque année, l’accès aux services et outils de l’Internet

augmentent

=> média majeur pour disséminer la connaissance

6 108 Internautes en janvier 2003

> 108 pages répondant à « health » sur Google




Introduction (suite)

• Pas ou peu de comités de pairs

Evaluer la qualité de l’information +++ (Chaque cyber-citoyen est un nouveau Gutenberg => l’information de

santé peut être produite par n’importe qui et sans contrôle)

• Sources hétérogènes

produits commerciaux

documents gouvernementaux

documents d’agences institutionnelles




Introduction (suite)

• La santé est le domaine où une information fausse,

incomplète ou biaisée est la plus dangereuse.

• Souvent difficile pour l’utilisateur, qu’il soit

professionnel de santé ou cyber-citoyen, de

déterminer quelle information est fiable et crédible,

et comment elle peut-être évaluée, critiquée ou

vérifiée.




Création d'un site Web :

aspects pratiques

• création et maintenance d’un site Web : projet en tant que tel => définition d’une équipe mutli-disciplinaire ; l’étape de conception est

primordiale

• nécessité absolue de trouver sa «niche informationnelle»avant de se lancer, vérifier si personne n’a eu cette idée avant [recherche extensive sur l’Internet]

• créer facilement des sites de qualité avec outils de bureautique

• mesurer avec précision le temps pour créer et surtout maintenir le site => trouver les financements adéquats +++

• respecter des critères de qualité

• mesurer l’importance de la maintenance




Evaluation de la qualité de


• Eysenbach G, et coll. JAMA. 2002 May 22-

29;287(20):2691-700

• 80 études

• Méthodologie constante :

un domaine étudié (ex : fièvre chez l’enfant) ;

recherche des sites répondant à cette problématique par différents

moteurs de recherche (ex : Google)

Évaluation du contenu des sites par un expert (ou un “gold

standard” : le plus souvent une RBPC ou une conf. de consensus)




Evaluation de la qualité de


Résultats

• Très hétérogène

• Mais il existe un gradient de qualité en fonction de la

spécialité du domaine étudié (données non encore

publiées)

Cancérologie : 90% de qualité

…

Bien-être : 5%




Grilles de critères de qualité

• Depuis six ans, plusieurs initiatives ont vu le jour pour définir des critères de qualité de l’information de santé sur l’Internet

• Gagliardi A, Jadad AR. Examination of instruments used to rate quality of health information on the internet: chronicle of a voyage with an unclear destination. BMJ 2002; 324: 569-573http://bmj.com/cgi/content/full/324/7337/569?ijkey=3770456037bb285af8c3008348e89f749fa41483

51 grilles ; aucune n’a été validée

Numéro spécial du BMJ sur cette problématique

• Risk A, Dzenowagis J. Review of Internet information quality initiatives. J Med Internet Res 2001;3(4):e28 http://www.jmir.org/2001/4/e28/

Premier journal de la discipline « informatique médicale » / « technologies de

l’information et de la communication (TIC) » uniquement en ligne




Grilles de critères de qualité (suite)

• Dans la plupart des cas, les critères de qualité

évaluent le site lui même (le contenant) et pas le

contenu

Code d’éthique pour l’étudiant => contenant

Contenu => indication du niveau de preuve

(Groupe 3 Ethique & Transparence)




Principales grilles

• Code d’Health On the Net (HON) Suisse

http://www.hon.ch/HONcode/Conduct.html

> 3.300 sites Web (sous forme d'auto-labellisation)

1. Formulaire rempli volontairement par le site Web : engagement sur

l’honneur à respecter le code HON

2. Validation de ce respect par le comité HON

3. Modification et amélioration si nécessaire (cycle vertueux)

4. HON délivre le sceau dynamique HONcode

5. Résultat sur le site Web évalué :

We subscribe to the HONcode principles.

Verify here.




Principales grilles (suite)

• Net Scoring Centrale Santé France http://www.chu-rouen.fr/netscoring

Travail coopératif au sein de Centrale Santé

• ingénieurs, médecins, bibliothécaires, juristes

• multi-disciplinarité de l’équipe +++

S’appuie sur un travail Nord-Américain :

http://hitiweb.mitretek.org/docs/policy.pdf

Double objectif :

• Informer les maîtres-toiles francophones (les producteurs

d’informations) +++

• Informer le grand-public (le cyber-citoyen) (les lecteurs)





• Ministère de la Santé & Conseil National de l'Ordre des

Médecins France

http://www.sante.gouv.fr/htm/pointsur/qualite/objectifs.htm

Travaux débutés en juin 2000

4 groupes de travail

• Groupe 1 : Identifier les besoins des usagers

• Groupe 2 : Ethique et transparence des sites et des services

• Groupe 3 : Contenu de l’information médicale

• Groupe 4 : Démarche pérenne





• Discern UK http://www.discern.org.uk Documents papier grand public

• Union Européennehttp://europa.eu.int/information_society/europe/ehealth/quality/index_en.htm

• British Health Internet Association http://www.bhia.org/ (grille simple)• URAC USA

http://www.urac.orgAccréditation de site santé10.000 US $Une vingtaine de sites accrédités (source HON)

• Travaux Nord-Américains Internet Healthcare Coalition http://www.ihealthcoalition.org/ … d’autres grilles plus orientées commerciales




Qualité de l’information

Projets Européens

WRAPIN Worldwide online Reliable Advice to Patients and Individuals http://www.wrapin.org/

Projet Européen financé par le plan d’action IST Information Society Technology http://www.cordis.lu/ist/

MedCIRCLE Collaboration for Internet Rating, Certification, Labeling and Evaluation of Health Information

http://www.medcircle.orgProjet Européen financé par le plan d’action « Internet plus

sûr » http://www.saferinternet.org

http://www.cordis.lu/ist/




Qualité de l’information

Projets Européens

WRAPIN Worldwide online Reliable Advice to Patients and Individuals http://www.wrapin.org/

Permettre la comparaison de n’importe quel document de santé quelque soit son format ou sa taille avec la base de connaissance de WRAPIN, afin de découvrir si l’information recherchée existe dans la littérature publiée et de fournir un résumé de ses principales idées

Partenaires : HON, HUGE, LERTIM, MISS

Objectifs: - Améliorer les services existants d’HON avec la mise en place d’un processus éditorial semi-automatique- Optimisation de la recherche d’information HON en utilisant les outils LERTIM fondés sur UMLS- Interconnexion avec différentes bases de connaissances distribuées en utilisant des outils en langage naturel




MedCIRCLE

• Collaboration for Internet Rating, Certification, Labeling and

Evaluation of Health Information http://www.medcircle.org

• Partenaires :

l’université d’Heidelberg, Allemagne (partenaire en charge du projet,

avec le Dr Gunther Eysenbach

l’Agence de Qualité en Médecine d’Allemagne

le collège des médecins de Barcelone

l’équipe CISMeF (URL : http://www.chu-rouen.fr/cismef) du CHU de

Rouen

• Début : mars 2002 et durera 18 mois

• MedCIRCLE fait suite au projet Européen MedCERTAIN




MedCIRCLE

• Langage HIDDEL : langage de méta-données pour qualifier la qualité de l’information de santé sur l’Internet Dublin Core : langage de méta-données pour décrire et indexer l’information disponible sur le Web

• Mode décentralisé et collaboratif

• Les membres du consortium vont implanter le langage de méta-données HIDDEL pour faire la preuve de l’interopérabilité des différents services d’évaluation

Exemple : deux sites Web évalués par des services d’évaluation différents,

le code HON (URL : htpp://www.hon.ch) ou le Net Scoring (URL :

htpp://www.chu-rouen.fr/netscoring) pourraient être comparés entre eux

• Développement de tiers de confiance capables d’évaluer, de certifier voire de labelliser l’information de santé sur l’Internet.




MedCIRCLE (suite)

• Au terme des 18 mois de ce projet, les membres deMedCIRCLE devront avoir réalisé :

L’implantation d’ HIDDEL en France, Espagne et Allemagne sur 1.000 sites institutionnels, c’est-à-dire une évaluation par des tiers de confiance de ces sites ;

Poursuivre le développement et l’amélioration de ce langage de méta-données dans une environnement opérationnel et non plus uniquement de recherche et développement ;

Aboutir en collaboration avec les principales instances responsables de la standardisation (CEN/TC251 ; ISO ; W3C) à une standardisation formelle du langage HIDDEL ;

Former les principales catalogues Européens dans l’utilisation d’HIDDEL et les encourages à l’utiliser dans les méta-données de leurs sites, et utiliser leur expérience pour améliorer ce langage d’évaluation




CISMeF & MedCIRCLE

• CISMeF est un catalogue recensant des ressources

francophones de qualité et agissant en réalité dès sa création

comme un « filtre » sur ces ressources de santé francophones,

en provenance de sites institutionnels

• Jusqu’alors, pour inclure uniquement des ressources de

qualité, CISMeF utilisait les principaux critères du Net Scoring

qui est une grille de 49 critères pour évaluer la qualité de

l'information de santé sur l'Internet

• Passage d’un mode IMPLICITE à un mode EXPLICITE




Langage HIDDEL

• 3 niveauxniveau 1 : saisi par le producteur d ’information

niveau 2 : vérifié par un expert non médical

niveau 3 : vérifié par un expert médical

• infoprovider_identity_dc.publisher

niveau 1 : "What is the URL of the webpage disclosing

the owner of the site? »

niveau 2 : "Who is the publisher, i.e. the entity

responsible for making the resource available (owner of

the site)?"




Archer and CISMeF




Net Scoring

Huit catégories de critères *

1. Crédibilité

2. Contenu

3. Hyper-liens

4. Design

5. Interactivité

6. Aspects quantitatifs

7. Aspects déontologiques

8. Accessibilité

* N (critères) = 49

Echelle de Likert avec 4 modalitésTM M B TB

Chaque critère est pondéré, en trois classes :

critère essentiel, coeff. 3

critère important, coeff. 2

critère mineur, coeff. 1

Note maximum sur 312 points




1. Crédibilité (sur 100 points)

1.4 Pertinence / utilité (critère essentiel)

1.5 Existence d’un comité éditorial (critère essentiel)

1.5a Existence d'un administrateur de site ou maître-toile

(critère important)

1.5b Existence d ’un comité scientifique (critère important)

1.6. Cible du site Web ; accès au site (libre, réservé, tarifé) (critère important)

1.7. Qualité de la langue (orthographe et grammaire) et/ou de la traduction (critère important)

1.8. Utilisation de méta-données (critère essentiel)




2 Contenu (sur 87 points)

2.1 Exactitude (critère essentiel)

2.2 Hiérarchie d’évidence et indication du niveau de

preuve (critère essentiel)

2.3 Citations des sources originales (critère

essentiel)

2.4 Dénégation (critère important)

2.5 Organisation logique (navigabilité) (critère

essentiel)




2 Contenu (sur 87 points)

2.6 Facilité de déplacement dans le site

2.6a Qualité du moteur interne de recherche (critère important)

2.6b Index général (critère important)

2.6c Rubrique "quoi de neuf " (critère important)

2.6d Page d'aide (critère mineur)

2.6e Plan du site (critère mineur)

2.7 Exclusions et omissions notées (critère essentiel)

2.8 Rapidité de chargement du site et de ses différentes pages (critère important)

2.9 Affichage clair des catégories d’informations disponibles (informations factuelles, résumés, documents en texte intégral, répertoires, banque de données structurées) (critère important)




3 Hyper-liens (sur 45 points)

3.1 Sélection (critère essentiel)

3.2 Architecture (critère important)

3.3 Contenu (critère essentiel)

3.4 WIF (Web Impact Factor) (critère important)

3.5 Vérification régulière de l'opérationnalité des hyper-liens (critère important)

3.6 En cas de modification de structure d'un site, lien entre les anciens documents HTML et les nouveaux (critère important)

3.7 Distinction hyper-liens internes et externes (critère mineur)




Web Impact Factor

Nombre de pages Web (externes) pointant vers un site X

Utilisation du moteur AltaVista

Formule : +link:nom-de-domaine.nom-de-pays –host: nom-de-domaine.nom-de-pays

Ex : +link:chu-rouen.fr –host:chu-rouen.fr

CHU WIF 2000 * WIF 2003

Rouen 4086 10514

Paris 1773 1395

Lille 342 464

* Revue du Praticien - Médecine Générale 2000;14 (516):2079-2080.

Mais WIF(HON) = 372.767

Très important dans l’utilisation de Google : PageRank…




Critères de « visibilité » d’un site

• La majorité des accès aux sites Web s’effectuent par les outils de rechercheCHU Rouen : 2/3 des accès dont 80% Google (outil Web Trends)

• Visibilité relative de sites proches (catalogues: HON, CISMeF, Cliniweb, OMNI, DDRT) en utilisant différents outils de recherche

• Mesure du résultat des requêtes en tenant compte que des 30 premiers résultats

• Application au site Orphanet et ses 6.000 syndromes=> intérêt de l’indexation par CISMeF




4 Design (sur 21 points)

4.1 Design du site (critère essentiel)

4.2 Lisibilité du texte et des images fixes et animées

(critère important)

4.3 Qualité de l’impression (critère important)




Web design

Dix principales erreurs à ne pas commettre par Jakob Nielsen (1996) : http://www.useit.com/alertbox/9605.html

• Utilisation de « frames »

• Utilisation « gratuite » de la dernière technologie innovante

• Animations qui « tournent » sans cesse, quelles soient sur du texte, de l’image ou de la vidéo

• URLs complexes

• Pages orphelines (navigabilité)

• Pages trop longues

• Manque de support à la navigation

• Utilisation de couleurs non-standard

• Information « hors d’âge »

• Page trop longue à charger (en testant avec un modem à 56K)




5 Interactivité (sur 18 points)

5.1 Mécanisme pour la rétroaction, commentaires

optionnels : courriel de l’auteur de chaque document du

site (critère essentiel)

5.2 Forums, chat ("causette") (critère mineur)

5.3 Traçabilité : informations des utilisateurs de l’utilisation de

tout dispositif permettant de récupérer automatiquement

des informations (nominatives ou non) sur leur poste de

travail (cookies,...) (critère important)




6 Aspects quantitatifs (sur 12 points)

6.1 Nombre de machines visitant le site et nombre

de documents visualisés (critère important)

6.2 Nombre de citations de presse (critère mineur)

6.3 Nombre de productions scientifiques issues du

site, avec indices bibliométriques (critère mineur)




7 Aspects déontologiques

(sur 18 points)

7.1 Responsabilité du lecteur (critère essentiel)

7.2 Secret médical (critère essentiel)

Le non-respect des règles déontologiques est un

élément disqualifiant d’un site




8 Accessibilité (sur 12 points)

• 8.1 Présence dans les principaux répertoires et moteurs

de recherche (critère important)

• 8.2 Adresse intuitive du site (critère important)




Groupe de travail

Ethique & Transparence

• Ministère de la Santé & CNOM

• Travaux débutés en juin 2000

• 4 groupes de travail

Groupe 1 : Identifier les besoins des usagers

Groupe 2 : Ethique et transparence des sites et des services

Groupe 3 : Contenu de l’information médicale

Groupe 4 : Démarche pérenne




Indication du niveau de preuve

critère de qualité de contenu

de l’information de santé sur l’Internet

• Indication du niveau de preuve = candidat potentiel pour qualifier le

contenu de l’information médicale sur l’Internet, pour les données et

informations « sensibles »

Br Med J 2001; 322:1367 + Methods Inf. Med 2003 (in press)

• Informations « sensibles » = toutes celles où une prise de décision

médicale pouvait être effectuée, par exemple les informations concernant

l’efficacité et la toxicité des interventions de santé, notamment dans la

thérapeutique

• Informations « non sensibles » : adresse d’une association de patients

(concerne les 2/3 des informations)




Prévalence de documents textuels ‘sensibles’

indiquant le niveau de preuve selon le type de ressources

Type Nb ressources Nb INP Prévalence (%)

Recommandations 1360 256 18,9

Dont :

Reco. Santé Publique 167 16 9,6

Reco. Politique Santé 113 5 4,4

Reco. BonnePratique Clinique 381 152 39,9

Texte 5911 272 4,6

Enseignement 2106 8 0,4

Rapport technique 967 10 1,0




Impact d’un sceau de qualité


• Deux papiers publiés

• Shon J, Marshall J, Musen MA. The impact of displayed

awards on the credibility and retention of Web site

information. Proc AMIA Symp 2000;794-798

Étude “in-vitro” sur des patients

Sujet choisi : “cartilage du requin”

Pas de différence significative avec ou sans “sceau de qualité”




Impact d’un sceau de qualité


• Fallis D, Fricke M. Indicators of accuracy of consumer health information

on the Internet: a study of indicators relating to information for managing

fever in children in the home. J Am Med Inform Assoc 2002 Jan-

Feb;9(1):73-9

Etude “in-vivo”

Trois critères significativement corrélé à la qualité des sites Web (contenu) :

• “Sceau HON”

• Nom de domaine .org

• Existence d’un copyright




Tâche 8 UMVF RNTS 2000 :Critères de qualité de l’information incluse dans l’UMVF

Objectif : évaluer la variabilité inter-expert de la grille UMVF




Méthode

• Trois responsables de cette tâche au sein du

consortium (Marseille, Rennes, Rouen)

grille de critères de qualité : 10 critères

=> faciliter compréhension par leurs futurs utilisateurs

=> grille inspirée des principales grilles (« HON-like »)

étudier la reproductibilité

Mesure de la variabilité entre trois experts lors de l’évaluation

de 30 ressources éducatives francophones




Méthode

• Trois évaluateurs : M. Joubert, F. Leduff, SJ. Darmoni

• 30 ressources éducatives

15 sites

• ex : Enseignement de la Faculté de médecine de

Genève

15 documents

• ex : La pression artérielle et sa mesure clinique

Faculté de médecine de Marseille

• Echelle de Likert (4 réponses possibles : TB ; B ; M ; TM) ; réponse obligatoire




10 critères du code d’éthique

Source

1 Nom, logo, références de l'institution. Nom et

titres de l'auteur

2 Source de financement, indépendance de(s)

l'auteur(s), conflit d'intérêt, …

3 Existence d’un comité éditorial, avec un

administrateur de site (maître-toile)

4 Citations des sources originales




Contenu

5 Cible du site Internet

6 Mise à jour

7 Pertinence des hyper-liens

Interface

8 Organisation logique (navigabilité)

9 Design du site

10 Interaction avec l’utilisateur




Résultats

Sur les 30 concordances analysées,

• 5 apparaissent très mauvaises (kappa < 0)

• 17 mauvaises (kappa entre 0 et 0.2)

• 8 médiocres (kappa entre 0.21 et 0.4)

• meilleure concordance entre expert 2 (FLD) et

3 (MJ) k=0.33 (navigabilité)




Discussion

• Résultats médiocres de cette étude =>

confrontation aux résultats d’autres travaux

• Mauvaise qualité de l’instrument de mesure ?

• Manque de concertation suffisante entre les

experts pour l’attribution des différentes

occurrences possibles à chaque critère ?




Seconde étude de

concordance inter-experts

• Tester la robustesse de la grille (3 « experts » : SJ. Darmoni, M. Joubert, F.

Leduff) sur 24 documents pédagogiques (plus de sites trop difficiles à

évaluer)

• 9 critères au lieu de 10 (Source de financement)

• Echelle de Likert (4 réponses possibles : TB ; B ; M ; TM) ; réponse

obligatoire

• Réunions téléphoniques pour déterminer avec précision quelles

occurrences répondre pour chacun des neuf critères

• Plusieurs méthodes statistiques utilisées : Cohen’s kappa, gamma,

Spearman, Kendall’s W

• Collaboration entre Biostats. et informatique médicale




Criterion Simple

Kappa

Spearman Gamma Homogeneity Global Kappa Kendall Final

assessment

Source ns (1,3) (2,3)

ns

(1,3) (2,3) ns No for (1,2) NA Low

Editorial

Committee

ns Ns ns 0.25 ns Low -> Good

(see

Discussion)

References (2,3)

0.52

(1,2) (1,3)

ns

(1,2) (1,3) ns 0.45 Average

Target 0.69

0.57

0.55

0.60 Good




Update ns (1,2) (2,3)

ns

(1,2) (2,3) ns 0.24 Low

Links ns No for (2,3) NA Low

Navigability 0.37

0.42

0.43

(1,3) (2,3)

ns

(1,3) (2,3) ns 0.39 Good

Design (2,3)

0.39

(1,2) ns (1,2) ns 0.27 Average

Feedback 0.41

0.69

0.44

0.51 Good

Soumis au JMIR




Seconde étude de

concordance inter-experts

• 4 critères montrent une forte concordance, 2 une

concordance moyenne, et 3 une faible concordance

• Conclusion: Nous suggérons de sélectionner SIX critères

parmi les neuf étudiés pour la création d’un code d’éthique

de l’UMVF

• Existence d’un comité éditorial, citation des sources

originales, cible du site, navigabilité, design et interaction

avec l’utilisateur




Expérience vécue dans l’enseignement

des TIC dans une faculté de médecine

• APP pour enseigner TIC (Rennes & Rouen)

Séance « aller » : en petit groupe « standard » sans micro

Séance « intermédiaire » : utilisation intensive de l’Internet

Séance « retour » : en petit groupe + un micro unique + vidéoproj

• Un des objectifs : faire comprendre l’importance pour un

étudiant de savoir « lire » des documents pédagogiques

sur l’Internet

Savoir interpréter une URL




Evolution et perspectives des

grilles de critères de qualité

• Utilisation d’une grille simplifiée pour le grand-public

Un succès indéniable : le code HON

• Généricité de cette grille vers d’autres disciplines

sciences de l’ingénieur (INSA)

qualité de l’information sur l’Internet préoccupe de nombreuses

disciplines

Étude avec des chercheurs Tunisiens : littérature, sciences physiques




Evolution et perspectives de la qualité de

l’information de santé sur l’Internet

• Tiers de confiance, désigné par nos institutions, sans

doute indépendantes d’elles

=> vérification du contenant

=> impact auprès du grand-public ???

• Assurance qualité ou certification du contenu

Faisabilité : ? une solution à taille humaine sachant qu’il existe

plusieurs milliers de sites francophones dans la santé +

gestion de la temporalité

Le projet Ethique et Transparence n’a pas abouti…




Evolution et perspectives de la qualité de

l’information de santé sur l’Internet

Regulation does not seem like the right strategy

for improving the quality of health information on

the internet.

Other approaches, such as educating the

producers of this content, look like a better long

term bet.

Purcell GP, Wilson P, Delamothe T. BMJ. 2002

Mar 9;324(7337):557-8.




Merci de votre attention

Courriel : [email protected]




• Message pour les futurs hospitalo-universitaires

en 2005

• Attention à la question pédagogique au CNU

• Elle peut retomber à l’école d’été suivante…

Conclusion

On est jamais tranquille