Des données de qualité

Contexte : Cours DataWerhouse

Elaboré par : Nassim BAHRI

Présenté le 10 Mars 2015

Plan de la présentation

I. Introduction

II. Le coût de la non qualité

III. Démarche de qualité

IV. Le socle technologique

V. Scénarios de mise en œuvre

VI. Conclusion and Q&A

Introduction

• Avoir un capital de données de qualité est une nécessité incontournable pour la réussite de toute entreprise.

• La qualité des données collectées

• La maitrise de la qualité est un enjeu important

3

Introduction

4

Données

correctes

Complètes

À jour

cohérentes

Indicateurs

Compréhensibles

Faciles à communiquer

Peux coûteux

Simples à calculer

Une version unifiée et exploitable des informations

Introduction

5

Tronquées?Erronées ?

Redondantes ?

Les données issues de l’application sont :

Le coût de la non qualité

• Cet article a traité les coût de la non qualité sur trois niveaux:

– Lors de la saisie,

– Au cours d’exploitation des données,

– Lors de l’analyse.

6

Le coût de la non qualité

1. Lors de la saisie :

• Plus de 600 milliard de dollars perdu chaque année,• Mauvaise qualité due à : erreur de saisie de l’information, fautes

d’orthographes, codes incorrectes, abréviation, duplication,…

7

610 000 titres à 1 yenAu lieu de 1 titre à 610 000 yen

286 millions €

Le coût de la non qualité

2. Au cours de l’exploitation des données:

• Beaucoup d’entreprises négligent la qualité de leurs données, Exploiter des données fausses ou erronées

8

Détruit pendant sa mise en orbite autour de Mars à une altitude 50km de la surface au lieu de 150

Mars Climate Orbiter

Malentendu au niveau de l’unité de mesure

Perte de 125 millions de dollars

Le coût de la non qualité

3. Lors de l’analyse:

• Lors de l’analyse et la présentation, l’entreprise doit garantir la qualité de ses données

• Données de qualité analyse décisionnelle correcte et de qualité

9Compagnie d’assurance

Décide de fusionner sa base de données client pour avoir une meilleur compréhension

Je peux avoir 13 millions de client

5 millions de clients

Enregistrement dupliqués

Le coût de la non qualité

• La direction informatique n’est pas impactée par la mauvaise qualité des données

– « Ces données viennent de l’application, elles doivent être correctes »– « voila une technologie qui va me garantir la qualité des données », …

Garbage In – Garbage Out

10

Démarche de qualité

• Dans une démarche qualité il est important de définir les caractéristiques attendu et les critères d’évaluation de la qualité des données

1. Données, informations et connaissances

11

Données

• Une description élémentaires d’un objet

Informations

• Transformation significative des données

Connaissances

• Le traitement des informations : compréhension et apprentissage

Démarche de qualité

1. Données, informations et connaissances• Le but de cette étape est de définir des familles de données

12

Client

Numéro compte

Nom

Adresse

Téléphone

Transaction

Date

Quantité

Prix

Démarche de qualité

2. Qualités des données• Expliquer ce qui fait la qualité des données

13

Qualités des

données

Utilité

Accessibilité

Crédibilité

Interopérabilité

PertinenceUsageOpportunité

Disponibilité des systèmesPrivilèges

StandardisationCohérenceExactitude

Format cohérent et sansAmbiguïté (exemple date)

Démarche de qualité

3. Indicateurs et mesures• Les organisations doivent créer leurs propres définitions

opérationnelles en fonctions des objectifs et priorités de l’entreprise

14

Critères de qualité des données

Caractéristiques Exemples d’indicateurs

Cohérence Quelles sont les données sources des informations contradictoires?

-Vérification de la plausibilité-Valeur de la déviation standard

Exactitude Les valeurs représentent-elles la réalité?

-Fréquence de changement des valeurs

Duplication Quelles sont les données répétées?

-Nombre d’enregistrements dupliqués

Démarche de qualité

La gouvernance

• La direction générale et les directions opérationnelle : doivent être impliqués dans le processus de collecte et de mesure de qualité des données.

• La comité qualité des données : qui sera chargé de la suivi et de l’amélioration de la qualité des données

15

Le socle technologique

• La plupart les solutions technologique de qualités de données intègre des outils qui offre :

– Profilage : analyse de la qualité des données

– Standardisation : s’assurer que les données sont conformes aux règles de

qualité

– Rapprochement : comparaison des données

– Nettoyage : correction des données (inexactes)

– Enrichissement : utilisation des sources externes pour annoter les données

– Décomposition : décomposer les éléments par zone de saisie

– Surveillance : suivi de la qualité des données dans le temps 16

Le socle technologique

17

Un processus de qualité

Le socle technologique

• Rôle central des services de qualité dans l’architecture globale des données

18

Scénarios de mise en œuvre

• Parmi les domaines stratégique qui dépondent fortement de la qualité des données:

– Le business intelligence

– La conformité réglementaire

– Les données de référence

– Le service aux clients

– La consolidation et l’intégration des données

19

Conclusion

• L’amélioration de la qualité des données passe principalement par une réflexion et une initiative du démarche qualité

• La technologie permet d’automatiser les tâches de contrôle

• La qualité des données n’est pas un problème informatique mais plutôt un problème métier.

• Suggestion : ajouter un moyen de feedback des utilisateurs finaux.

20

Références

[1] Christophe TOULEMONDE. «Des données de qualité». Livre blanc de JEMM research, Janvier 2008.

21

22

Merci pour votre attention