la qualité des données - salonbi.com · • indicateurs de gestion de la performance données...

La qualité des données : la garantie de prendre les bonnes décisionsPrésentation dans le cadre du Salon du BI4 avril 2007

Éric Blanchet, M.Sc.

Directeur régional des services-conseilsEst du Canada – Québec et provinces de l'AtlantiqueServices Cognos, Amérique du NordCOGNOS INCORPORATED

Plan de la présentation

Parlons des données… Au fait, qu’est-ce qu’UNE donnée ?

Pourquoi faut-il se préoccuper de la qualité des données…?

Les problèmes de qualité des données : les raisons les plus fréquentes

Défis liés au processus d’intégration des données

Pourquoi un processus d’intégration…et non uniquement des outils d’intégration ?

Catégories des outils spécialisés en intégration et en qualité des données et exemples d’outils

Cadre de référence en gestion de la qualité

Pourquoi un CCBI ? Qu’est-ce qu’un CCBI ? Avantages d’un CCBI

Fonctions et services assumés par un CCBI

Structure type d’un CCBI

Approche de mise en œuvre d’un CCBI

Approche Cognos en CCBI

Conclusion

Parlons des données…Au fait, qu’est-ce qu’UNE donnée ?

Applications d’analyse avancée• Informations consolidées au niveau de l’entreprise• Indicateurs de gestion de la performance

Données détaillées transactionnelles• Données granulaires• Données opérationnelles

Applications analytiques

Transactions

Entrepôts de données magasins de données

Information stratégique• Information à caractére stratégique• Indicateurs corporatifs verticaux

Données agrégées• Données intégrées• Données cohérentes, fiables

KPI

Hiérarchie de l’information : de la donnée… à la décision

Se préoccuper de la qualité des données…?

Mais, en réalité…

Décisions ?

Ce que devraient être les données…

Données éparpillées,disparates

Information non fiable

Information fiable

Décisions

Données intégrées

Connaissancesnon appropriées

Présence généralisée dans les systèmes sources de données erronées, non fiables ou difficilement accessibles au sein des applications d’entreprise (ERP, SCM, CRM, DW, etc.).

Des problèmes de standardisation des données à l’échelle de l’entreprise se posent car les applications développées à l’interne ont été conçues pour répondre àdes besoins locaux et ponctuels

Les problèmes de qualité des donnéesRaisons les plus fréquentes

Les données sont hétérogènes, réparties dans de multiples systèmes et difficiles d’accès

Des modèles de représentation différents coexistent dans les systèmes existants

Les données changent rapidement, elles sont de ce fait volatiles, avec une durée de vie très variable

Besoins relatifs à des données en temps réel

Les coûts liés aux réplications ne se justifient plus

• Chacun veut avoir accès à ‘ses’ données : le ‘5A’

• Volumes de données importants

Aspects liés à la confidentialité et à la sécurité des données (data ownership)

Des réglementations (SOX, Accord de Bâle I et II) imposent des contraintes de traçabilité et de qualité des données

AieAie

AieAie

AieAie




Pourquoi un processus d’intégration…et non uniquement des outils d’intégration ?

Information fiable

Décisions

Données intégrées

Nettoyage

• Analyse des sources

• Sélection• Audit qualité

des données• Nettoyage

Transformation

• Arrimage• Transfor-

mation• Règles

d’affaires

Consolidation

• Intégration des données

• Enrichissement• Consolidation

Chargement

• Chargement des données dans les systèmes cibles

L’intégration des données

reste unprocessus complexe




Défis liés au processus d’intégration

Approche de déploiementcentrée sur l’entrepôt

Approche de déploiementcentrée sur le data mart

Services d’intégration

BDERP

Fichiersplats Cubes

Entrepôtde

données

Datamart

Datamart

Datamart

Services ETL

Metadata

Services d’intégration

BDERP

Fichiersplats Cubes

Entrepôtde

données

Datamart

Datamart

Datamart

Services ETL

Metadata

Défis liés au processus d’intégration

Approche centrée entrepôt

Avantages :Maîtrise de la complexitéPrise en compte des besoins informationnels de l’ensemble de l’entreprise tôt dans le projetModèle de données et services ETL conçus de manière à assurer les besoins futursAccent sur les méta données

Défis :Délais de mise en œuvre parfois long (approche ‘data centric’)Modélisation des données

Il est crucial de résoudre les problèmes de qualité des données dans les systèmes sources

Approche centrée data mart

Avantages :Quick hit au niveau des applications de présentation des données et de reportingRapidité et relative facilité de déploiementModèle de données spécifiques à des domaines fonctionnels

Défis :Attention aux dimensionsconformes !Modélisation des données (réaliser l’entrepôt après-coup)

Il est crucial de disposer de données de qualité dans l’entrepôt

Catégories d’outils spécialisés

Positionnement général des outils spécialisés

Nettoyage des données

Donnéesréférentielles et métadonnées

Profilagedes données

ET(M)L

Processus complexe

Processus simple

Détection et extraction Correction et gestion du cycle de vie

Catégories d’outils spécialisés

Nettoyage des données

Donnéesréférentielles et métadonnées

Profilagedes données

ET(M)L

Quatre grandes catégories d’outils

Aucun outil ne couvre toutes les catégories, ni tous les besoins fonctionnels

Toutes les catégories ne sont pas requises

Plusieurs outils comportent des fonctions dans plus d’une catégorie

Il reste à améliorer leur intégration

Gestion de qualité des données

Une approche typique de mise en œuvre d’un programme de gestion de la qualité des données (ex.: Redman, 1996, 1998, 2000 ; English, 1999) comporte 5 étapes :

ÉvolutionÉvolutionNettoyageNettoyageÉvaluation

de la qualité des données

Évaluationde la qualité des

donnéesDéfinitionDéfinition

Élaboration de la stratégie et des

critères de qualité



Gestion du cycle de vie des donnéesGestion du cycle de vie des données

Gestion de qualité des donnéesÉtape 1










La première étape vise à élaborer la stratégie générale de gestion de la qualité des données :

Définir la stratégie de qualitéDéterminer les exigences fonctionnellesÉlaborer le plan d’assurance qualité des donnéesEstimer les efforts et assigner les ressources











La deuxième étape vise à élaborer un plan du projet de la gestion de la qualité, à la manière d’un projet à part entière :

Définir l’envergure du projetIdentifier les catégories de données critiquesIdentifier les problèmes connusDéfinir les critères de qualité des donnéesDéfinir les métriques de qualité des données











La troisième étape vise à procéder à une évaluation de la qualité des données, selon les critères établis lors de l’étape précédente :

Évaluer la qualité des données

Évaluer l’extraction et le stockage des données

Réaliser une analyse des causes premières











La quatrième étape vise à définir et à mettre en place un environnement de nettoyage des données :

Définir l’environnement de nettoyage

Mettre en place l’environnement de nettoyage

Nettoyer et corriger les données

Évaluer les résultats obtenus











La dernière étape vise à mettre en place un nouvel environnement permettant de maintenir le niveau de qualité des données atteint suite au processus de détection et de nettoyage des données:

Définir le nouvel environnement

Mettre en place le nouvel environnement

Faire la transition vers le nouvel environnement

Évaluer les résultats obtenus

Cadre de référence en gestion de la qualitéDes ingrédients multiples pour une recette gagnante










Cadre de référenceen gestion

de la qualitédes données

Programme de qualité des données

Organisation (ex.: CQO, Data Stewardship)

Gestion du programme

Architecture référence

métadonnées

Procédures supportant le

cycle de vie des données

Approche d’amélioration

continue(ex.: PCDA)

Critères et métriques de qualité des données

Rapports et pilotage du processus

Organisation dépourvue de données de

qualité

AieAie

AieAie

Organisation avec des

données de qualité

Centre de compétences en BI (CCBI)

Qu’est-ce qu’un CCBI ? Un concept simple mais une mise en œuvre complexe

Le concept est simple :

Un CCBI est une initiative stratégique de l’entreprise

Ayant une existence organisationnelle physique ou virtuelle

Permanente et gérée par une équipe dédiée

Pilotant le système d’information BI pour le mettre au service de la stratégie d’entreprise

Rassembler les spécialistes métier,

en TI et les utilisateurs

pour développer la valeur stratégique

du BI et le projet BI

à l’échelle de l’entreprise.

Le BI dans les organisations aujourd’hui

Développer une culture des meilleures pratiques et une communauté de pratiques

Avantages d’un CCBIPrincipaux avantages

Project Silos Architectural ApproachLe BI est vital au succès de l’entrepriseCompétences éparpillées

BICC

Implantations ponctuelles, sans continuitéCompétences fonctionnelles et techniques fragmentéesCoûts élevés, faible réutilisationEfforts importants

Meilleures pratiques exploitées au travers des projetsHaute réutilisation, ROI importantMaîtrise du TCO et des risques associés au déploiementGestion du cycle de vie BIDéploiements prévisibles, reproductibles et cohérents des initiatives BI dans toute l’entreprisePromotion des standards et encouragement à les appliquer

Fonctions et services d’un CCBIDéfinition des services selon les objectifs de chaque entreprise

Il n’existe pas de CCBI identique :

Chaque CCBI est spécifique : il est composé de secteurs fonctionnels et de services différents, selon l’entreprise

Chaque entreprise doit définir ses propres fonctions et services proposés par le CCBI, selon la stratégie d’entreprise, les besoins des utilisateurs et les orientations BI de manière à mettre en œuvre le CCBI le plus adéquat.

Définirla stratégie BI, la

mission et les objectifs du CCBI

Déterminer les compétences BI présentes et à

développer

Définir les dispositifs

et les meilleures pratiques

Définir les fonctions et les

servicesà mettre en œuvre

Fonctions et services d’un CCBIFonctions principales

Fonctions et services d’un CCBIConstruire une équipe multi-disciplinaire au travers de l’entreprise

Groupe TI

Analystes et utilisateurs principaux

Utilisateurs fonctionnels• Prioriser les livrables• Obtenir du financement• Revoir les objectifs du

CCBI selon la stratégie d’entreprise

• Revoir les objectifs du CCBI selon les processus

• Tests d’utilisabilité et d’efficacité

• Identifier les données• Obtenir du financement• Développer les règles

d’affaires

• Construire et exploiter l’infrastructure

• Valider la méthodologie• Valider la technologie et

les outils

• Valider les activités exploratoires et de découverte

• Déterminer et maintenir les standards

• Évaluer les besoins de formation et de développement des compétences

CCBI

• Expertise combinée de toutes les parties prenantes

Structure type d’un CCBI

Executive Sponsor (CIO ou CFO) / Directeur du CCBI / Direction générale / Représentants influenceurs fonctionnels et TIVision stratégique - Standards BI – Gestion du portefeuille de projets – Financement

Lignes d’affairesDir. des lignes d’affaires & Dir. de projet

Project Sponsorship, Financement des projetsBesoins d’affaires

Administration du réseau et de la sécuritéSupport de l’infrastructure (HW, gestion de capacité et sécurité)

DBAs ERP et EDWGouvernance des données et Stewardship

Services BI – Analyses d’affaires

Programme CCBIDirecteur de programme

Conception du CCBI, Mesures,Évangélisation

Promotion, Suivi

Équipe du programme CCBIAssistance et coaching

Contrôle des projets / Health CheckRessources

ChampionsSupport,

Formation et développementdes compétences

Équi

pe v

ituel

le o

u dé

diée

Équi

pe v

ituel

le o

u dé

diée

Cen

tral

isé

/Déc

entr

alis

éC

entr

alis

é/D

écen

tral

isé

BI Steering CommitteeBI Steering Committee

Administrateurs systèmeAdministrateurs système

DBAsDBAs

Analystes d’affairesAnalystes d’affaires

Approche Cognos en CCBI

Évaluer le niveau de maturité de l’organisation

Élaborer un plan de déploiement qui vise àrépondre en priorité aux besoins principaux

Privilégier une approche structurée, par phase et par petits pas

Faire passer les initiatives BI de projets départementaux (isolés) à des projets d’entreprise (transverses)

Passer de l’absence de standards à des standards fondés sur les meilleures pratiques, communiqués et appliqués

Passer d’un point de vue tactique à un point de vue stratégique

INFORMEL NOUVEAUCONCEPT FORMEL MATURE ÉVOLUÉ

Meilleures pratiques CCBI ‘LITE’ CCBI

fonctionnelCCBI

évoluéCC en

gestion de performance

Niveau 1 Niveau 2 Niveau 3 Niveau 4 Niveau 5

La mise en œuvre d’un CCBI est non seulement un projet d’entreprise mais doit être envisagé comme un ‘voyage’

Niveaux de maturité croissants

Approche Cognos en CCBI (suite)

BICC Awareness

Approche conçue pour une montée graduelle en capacité (niveaux de maturité) et promouvoirl’autonomie

Options de servicespartagés pourcomplémenterles services existants

Favorise le développementdes capacités et des compétences internes par le biais d’activités de coaching

Permet d’optimiser l’exploitation et l’efficacitédes solutions Cognos au travers de l’entreprise

MANAGEDSERVICES

Le fait d’obtenir des succès répétés dans les déploiements BI permet de donner plus de valeur, au moindre coût, et en moins de temps

Conclusion

Les problèmes de qualité des données sont hélas encore trop courants dans les systèmes sources et dans l’environnement informationnel, et souvent ignorés

Il ne suffit pas de se doter d’outils d’intégration de données et de nettoyage des données, il faut mettre en place un processus de gestion de la qualité et du cycle de vie des données

La gestion de la qualité des données doit devenirun volet de la culture d’entreprise

La mise en place d’un CCBI constitue l’une des approches globales les plus performantes pour résoudre les problèmes de qualité et rehausser de manière durable le niveau de qualité des données de l’organisation

La qualité des données : la garantie de prendre les bonnes décisionsPrésentation dans le cadre du Salon du BI4 avril 2007

Éric Blanchet, M.Sc.

Directeur régional des services-conseilsEst du Canada – Québec et provinces de l'AtlantiqueServices Cognos, Amérique du NordCOGNOS INCORPORATED

la qualité des données - salonbi.com · • indicateurs de gestion de la performance données...

Documents