1

« Management de la qualité favorisant

une recherche robuste et fiable »

Réseau Inserm qualité ( RIQ)

Catherine Chevalier, Inserm US16, Nantes

Marion Alvarez, Cermep, Lyon

Valérie Gall, Cerimed, Marseille

Elisabeth Moreau, Inserm US 019, Villejuif

Martine Pégorier-Lelièvre, Inserm U 1138

Isabelle Rémi-Jouet, UMR 1096, Rouen

Séverine Rémy, Inserm U 1064, Nantes

Corinne Schiltz, Inserm DRH, Paris

Eva Giesen, Inserm DG, Paris

2

Réseau INSERM Qualité

• RIQ (2009) : Promouvoir la démarche qualité 80 experts (100 % qualité ou autres missions)

~ 35 certifications Iso 9001

(Unités, laboratoires, plateformes, délégations régionales,

centres investigations cliniques,…)

• Groupes de travail

• Formations

• Audits

Nantes

Rennes

Bordeaux

Poitiers

Montpellier

Toulouse

Limoges

Nice

Marseille

Grenoble

Lyon

Strasbourg

Dijon

Rouen

Lille

Besançon

Paris - IdF Brest

3

Réseau INSERM Qualité

Quelques exemples de groupes de travail

– Valeurs-objectifs-actions-indicateurs – Intégrité – alertes - « compliance » – Management qualité en animalerie – Travailler pour un tiers (PF) – Qualité de vie au travail – Accueillir-pérenniser-transmettre – Former à et par la recherche – Collaborations-management projet – Validité des Résultats de la Recherche – Archivage / gestion électronique des documents – Suivi-bilan-indicateurs-impact – …

4

« L’Inserm s’engage pour une recherche de qualité »

• « Nous incitons nos laboratoires à mettre en place une démarche qualité solide, pour

• Une recherche fiable

• Des données expérimentales solides et reproductibles

• La capacité d’apporter rapidement les preuves

• Un management éthique et efficace

• … »

Prof. Yves Lévy, PDG Déclaration de politique qualité INSERM

5

- Erreur scientifique « honnête »

- Incapacité à reproduire les résultats

38 %

Nature - 2011

Constat/ Causes des rétractations

6

Que veut dire « recherche de qualité »

« Valeur » des résultats de la recherche ?

Que peut apporter la démarche qualité pour

favoriser «une recherche de qualité»?

Contexte INSERM

7

Des résultats fiables, robustes,…

Qu’est-ce que c’est?

Reproductibilité ?

Répétabilité ? Robustesse ?

Résultats fiables /

Fiabilité ?

Sensibilité ?

Validation ?

…

Significativité ?

Fidélité ?

8

Définitions ?

Métrologie Afnor

Langage courant

Statistiques

Différentes mais concordantes

9

Afnor FOQ-VI-20-10

Variation dans les mesures obtenues à partir d'un seul moyen quand un opérateur

l'utilise plusieurs fois pour mesurer la même caractéristique de la même entité (par

exemple, un produit, une pièce).

mesure

Étroitesse de l'accord entre les résultats de mesurages successifs de la même mesure,

mesurages effectués avec l'application de la totalité des mêmes conditions de mesure.

Métrologie (VIM: Vocabulaire international de métrologie, bureau International des Poids et Mesure)

Larousse

Qualité d’une mesure qui donne le même résultat si on la répète dans les mêmes conditions

et dans un court intervalle de temps

Répétabilité ?

Mêmes conditions, même opérateur, laps de temps court

10

Reproductibilité ?

ISO 17025 (compétence des laboratoires d'étalonnages et d'essais)

Conditions de reproductibilité: applicables dans des milieux différents par des opérateurs

différents, en utilisant des équipements physiquement différents, même si conceptuellement

analogues tout en obtenant des résultats similaires cad compris dans la marge d’incertitude

attribuée à la méthode

Étroitesse de l'accord entre les résultats des mesurages du même mesurande,

mesurages effectués en faisant varier les conditions de mesure

mesure, méthode

Métrologie

Qualité d'une mesure qui donne les mêmes résultats si on la répète dans des conditions

différentes et à des époques différentes

Larousse

La reproductibilité est toujours moins bonne que la répétabilité( plus de

facteurs varient)

ISO 3534-1 (Statistique - Vocabulaire et symboles)

Conditions où les résultats d'essai sont obtenus par la même méthode sur des individus d'essais

identiques dans différents laboratoires, avec différents opérateurs et utilisant des équipements

différents

Conditions et temps différents

11

Robustesse ?

Afnor MAQ-VII 33

Méthode, appareil

un résultat est robuste s'il est peu sensible aux facteurs externes non maîtrisésun appareil

ou une méthode est robuste s’il résiste aux variations des conditions externes non

maitrisées

Caractère de quelqu’un ou quelque chose qui résiste bien aux sources d’agressions ou

d’altérations extérieures

Larousse

Résistance aux facteurs externes non maitrisées

12

Fiabilité ?

Afnor X60-500 Terminologie relative à la fiabilité - Maintenabilité - Disponibilité

appareil, méthode ou mesure

Dans des conditions données, aucune déviation n’est constatée durant un laps de temps

donné. Des données expérimentales ne sont pas fiables quand elles dérivent en fonction du

temps, même si l’espèce animale, le poids, le sexe ou l’âge ont été standardisés dans une

étude

Se dit d'un composant, d'un circuit, d'un appareillage, d'une installation industrielle capable de

fonctionner sans défaillance pendant une période de temps déterminée.

Larousse

« Auquel on peut se fier, à qui on peut faire confiance »

Fiable Larousse

13

Fiabilité des résultats de la recherche ?

Capacité à prouver que la méthodologie utilisée donne confiance

dans les résultats fournis

Sources de variations nombreuses :

Maitrisables ou non

- Sources de matériel biologique

- Méthodes de prélèvement, de dosages, d’analyses

- Opérateurs

- Temps

- Lieu

- Appareil

- ….

14

Quel est l’objectif de l’étude ?

Savoir ce que l’on mesure ?

Dans quelles conditions ?

Comment mesure-ton les données ?

Par quelles méthodes ?

Comment les valide t-on?

Quels contrôles sont possibles?

Quelles mesures (qualitatives, quantitatives)?

Quelles sont les variables extérieures ?

…..

Choix de ce que l’on veut tester selon quel usage et dans quelles

conditions?

« Cahier des charges » et objectifs différents à chaque étude

15

Modélisation d’une activité / projet ++++

Cahiers des charges en amont ++++

• Conditions d’utilisation et d’expérimentations précises

• Connaitre les sources de variations non maitrisées

• Valider la méthode utilisée dans les conditions définies

• Traçabilité des méthodes

• Analyse et maitrise des étapes sensibles (à risques)

• …

Reproductibilité ?

Répétabilité ?

Robustesse ?

Fiabilité ?

Etre le plus exhaustif possible

16

Outils de Description et suivi de projet:

• Cartographie

• Logigramme

• Fiches processus

• Fiches projets

• Suivi des dysfonctionnements

• Indicateurs

• ….

17

Etapes à risques

Risques d’une dérive ?

Quelles Conséquences ?

18

Enquête auprès des membres du Riq

• Risques potentiels de non « validité » des résultats de

vos activités?

• Actions pour éviter ces risques ?

19 > 50 % Difficile d’identifier les risques à l’intérieur des projets

- Rétraction d’une publication par manque de reproductibilité

- Perte de preuve

- Prendre une décision basée sur des données erronées

Difficile de savoir quels contrôles mettre en place

et à quelles étapes

« apparait compliqué de penser à tout»

Facile d’identifier les Equipements sensibles

Actions de contrôles mises en place

100 %

Quelques exemples :

20

• Méthode des QQOQCP (Quoi? Qui? Où? Quand? Comment? Pourquoi?)

• Méthodes et outils de gestion

• Amdec (Analyse des Modes de Marche et De leur Criticité)

• 5 ou 6 M (Main d’œuvre, Machines ou Moyens , Méthodes ou

Modes Opératoires, Milieu, Matériaux, Management )

• Brainstorming

• …..

Identification et Maîtrise des risques

Analyse des étapes à risques

Outils de la démarche qualité

21

Exemple: Modélisation du déroulé d’une étude

• Modélisation du déroulé de l’obtention des

résultats

• Identification des étapes à risques

• Etapes où un produit non-conforme peut

être généré

• Validation des méthodes

• Définition des Contrôles qualité

22

Conduite d’un projet de

recherche

23

Traçabilité ?

Où sont les données ?

Maitrise ?

Enregistrements, Preuves ( cahier

de labo, données numériques,….)

Suivi dysfonctionnements,

produit non-conformes, dérive

dans le temps,…

Conservation, archivage, stockage et protection des données

Pendant et après l’étude

24

Oppositions de certains chercheurs

Evolution des projets, modifications des conditions en

cours de projet, changements de technologie, aléas

techniques, découvertes fortuites ….

Démarche qualité =

• « Diminution de la créativité individuelle »

• « Trop de contraintes »

• « Remise en cause du travail »

• « Trop d’ investissement en temps »

• « Pression sur l’expérimentateur »

25

Arguments du Riq ?

Des résultats impossibles à

• Reproduire

• Retrouver

• Prouver

ont-ils de la valeur?

Origine :Sérimédis Inserm

26

Outils de la démarche qualité

• Assurer des résultats « objectifs »

• Résultats « trouvables » et « prouvables »( donc publiables)

• Etablir des relations de transparence entre collaborateurs

• Garantir le respect des règlementations

• Diminuer les sources d’erreurs (Ne pas refaire inutilement = gain de temps, d’énergie,

d’argent )

• Maitriser ses activités

• De la communauté scientifique

• Des bailleurs de fond

• Des collaborateurs

• De la société

• De soi-même

• …

Confiance Guide du

Management efficace

de la recherche

27

Merci de votre attention

Contacts Riq:

catherine.chevalier@inserm.fr

eva.giesen@inserm.fr (chargée de mission qualité – Direction INSERM)

mailto:catherine.chevalier@inserm.frmailto:eva.giesen@inserm.fr