devops et gouvernance des données db2...sommaire : 1. introduction 2. qui sommes nous 3....
TRANSCRIPT
DevOps et gouvernance des données DB2
Sommaire :
1. Introduction
2. Qui sommes nous
3. Gouvernance des Données : enjeux
4. Retour d’expérience de LANDAUER Europe
5. Questions/réponses
DevOps et gouvernance des données DB2
Les intervenants
Thierry
LABRUNIE
Cédric
CHAPUIS
Pascal
BLANDIN
ITHEIS
Directeur
technique
LANDAUER
Responsable
informatique
ITHEIS
Directeur
Thierry.labrunie@itheis.
com
cchapuis@landauer-
fr.com
om
Qui sommes-nous ?
Modernisation accompagnée
AUDIT INTERVENTIONTECHNIQUE
FORMATION SUPPORTA.M.O
Méthodologie :
Solution DevOps IBM i
3 niveaux de
transformation et
1 processus de pilotage
Solutions de modernisation IBM i
Méthodes et outils
intégrés RDi
Approche « Best of breed » *
Best of breedest un positionnement marché qui consiste, pour une solution logicielle, à viser l'excellence sur un segment
spécifique. A l'opposé, les "généralistes" cherchent à offrir la couverture fonctionnelle la plus large possible,
c'est-à-dire à intégrer de nombreuses fonctionnalités.
Solution complète de modernisation
• Découverte relations
• Intégrité référentielle
• Migration SQL
• Cleaning données
• Modèle graphique
• Documentation
• Migration ouverte
• Gestion data de test
• Mobiles
• Revamping
• Emulation Web
• Charte graphique
• UNICODE
• Full SOA
• Intégration .NET
• Découpage en Aires
• Analyse d’impacts
• Diagrammes de flux
• Externalisation I/O
• Intégré à RDi
• RPG à FreeForm
• Synon2E Modernize
• Règles de gestion
User Interface Applications Database
• Gestion des versions et des mises en production
• Conformité règlementaire Sarbannes-Oxley
Solution complète de modernisation
• Découverte relations
• Intégrité référentielle
• Migration SQL
• Cleaning données
• Modèle graphique
• Documentation
• Migration ouverte
• Gestion data de test
• Mobiles
• Revamping
• Emulation Web
• Charte graphique
• UNICODE
• Full SOA
• Intégration .NET
• Découpage en Aires
• Analyse d’impacts
• Diagrammes de flux
• Externalisation I/O
• Intégré à RDi
• RPG à FreeForm
• Synon2E Modernize
• Règles de gestion
User Interface Applications Database
• Gestion des versions et des mises en production
• Conformité règlementaire Sarbannes-Oxley
Enjeux autour de la donnée
Montée en puissance du digital
Des données de plus en plus volumineuses
Intelligence concurentielle
Nouveaux enjeuxrèglementaires très
forts
Nécessité de pilotage
Multiplicité des Bases
DB2 for i : SQL
Intégration
Un monde qui change
Intégration Les applications orientées « traitements » sont :
- Plus chères à fabriquer, maintenir, tester, intégrer
- Peu compréhensives
- Difficiles à sécuriser
Préambule : Data Centric
IntégrationLes applications « Data Centric » :
- Concentrent règles, calculs et contrôles en un point unique pour tous : DB2 for i
- Soulagent les traitements
- Sont faciles et moins cher à définir, tester et intégrer
- sécurisées
DB2 for i : SQL
Intégration
Favoriser la création de valeur
Sécurité
des
données
Maitriser la qualité
Réglementaire
Organisation
(DBA)
PilotageEchantillon
nage
Partage
Référentiel
Unique
Analyse
d’impact
DATA
Intelligence
Confiance
Agilité
Intelligence
• Référentiel unique avec Noms longs et Meta données
• Exprimer les relations et le modèle
• Partager le Modèle relationnel
• Documentation et compréhension
• Modèle et sous modèle (embeded Diagram)
Confiance
• Qualité des données (DDS vs DDL)
• Nettoyage Physique et Logique
• Identifier les programmes qui ne respectent pas l’IR• Traçabilité des données (Temporal Tables)
• Cryptage (RCAC)
• GDPR
• Anonymisation des environnements DEV et RECETTE
• Pistes d’audit au niveau de chaque enregistrement
Agilité
• Transformation de DDS à SQL sans recompilation
• Pilotage depuis le modèle : génération des scripts SQL
• Générations des SQL Views depuis le modèle
• Automatisation du design (PK et FK automatiques)
• Génération de Bases de Test compactes, cohérentes et
représentatives (Importance des relations)
Outillage implémenté sur ces projets
• Pour gouverner la base
• Pour gouverner les opérations de maintenance
Agilité 1/3 : Vue d’un domaine
• Les embeded Diagrams : Liste des tables
• Les Tables : Clefs Primary et Foreign
Agilité 2/3 : Modèle relationnel
• Double click sur un « Embedded Diagram »
• Tables et relations d’un sous-modèle
Agilité 3/3 Vue détaillée d’une table
• Avec ID ajouté (en jaune)
• Avec dates « Time Stamp » (en vert)
• Avec Date ajoutée (en bleu) renseignée par Trigger selon la date native DDS
• Avec noms longs Tables et champs,…
Une image vaut mieux qu’un long discours
Contact_ldr_du_client_pk
Code_site [table catégorie client]
N_interne_client [fichier des clients]
Categorie_client [table catégorie client .code_parametre]
Contact ldr du client
Fichier_des_adresses_pk
N_adresse
Fichier des adresses
Fichier_des_clients_pk
Code_site [table act iv ité client]
N_interne_client
Secteur_act ivite [table act ivité client.code_parametre]
Secteur_commercial [table secteur commercial.code_parametre]
N_adresse_client [ fichier des adresses.n_adresse]
Type_tiers_groupe [ table type tiers.code_parametre]
N_tiers_groupe [ fichier des tiers.numero_t iers]
Type_tiers_don_ordre [table type tiers.code_parametre]
N_tiers_don_ordre [fichier des t iers.numero_tiers]
Fichier des clients
Fichier_des_t iers_pk
Code_site [table type t iers]
Type_de_tiers [table type t iers.code_parametre]
Numero_tiers
N_adresse [ fichier des adresses]
Fichier des tiers
Fichier_domiciliations_bancaires_clients_pk
N_interne_client [fichier des clients]
Fichier domiciliations bancaires clients
Fichier_facturat ion_clients_pk
N_interne_client [fichier des clients]
N_adr_facturation [fichier des adresses.n_adresse]
Mode_envoi_facture [table mode d'env oi de factures.code_parametre]
Monnaie [table monnaie/devise.code_parametre]
Terme_facture [ table emission facture.code_parametre]
Periodicite_facture [table périodicité facturation.code_parametre]
Moyen_de_paiement [ table moyen paiement .code_parametre]
Delai_de_paiement [table délai paiement .code_parametre]
Code_tv a [ table tv a.code_parametre]
N_adresse_facturat ion [f ichier des adresses.n_adresse]
N_adr_envoi_facture [ fichier des adresses.n_adresse]
Code_site [table tva]
Fichier facturation clients
Fichier_r_sultats_clients_pk
N_interne_client [fichier des clients]
Type_adresse [ table type d'adresse.code_parametre]
N_adresse_resultat [f ichier des adresses.n_adresse]
Type_de_tiers [table type t iers.code_parametre]
N_de_tiers [f ichier des tiers.numero_tiers]
Moyen_livraison_resultats [table moyen liv raison.code_parametre]
N_base_adresse_res [f ichier des adresses.n_adresse]
Code_site [table moyen liv raison]
Fichier resultats clients
Fichier_sous_comptes_clients_pk
N_interne_client [fichier des clients]
N_adresse_s [f ichier des adresses.n_adresse]
Moyen_livraison_produit [ table moyen livraison.code_parametre]
N_adresse_livraison [f ichier des adresses.n_adresse]
Code_site [table moyen liv raison]
Fichier sous-comptes clients
Is_tabpap_sql_table_pk
Table pays
Is_tabtv p_sql_table_pk
Code_site
Code_parametre
Table tva
Table_activite_client_pk
Code_site
Code_parametre
Table activité client
Table_categorie_client_pk
Code_site
Code_parametre
Table catégorie client
Table_delai_paiement_pk
Code_site
Code_parametre
Table délai paiement
Table_emission_facture_pk
Code_site
Code_parametre
Table emission facture
Table_langue_pk
Table langue
Table_mode_d_envoi_de_factures_pk
Code_site
Code_parametre
Table mode d'envoi de factures
Table_monnaie_devise_pk
Code_site
Code_parametre
Table monnaie/devise
Table_moyen_livraison_pk
Code_site
Code_parametre
Table moyen livraison
Table_moyen_paiement_pk
Code_site
Code_parametre
Table moyen paiement
Table_periodicite_facturation_pk
Code_site
Code_parametre
Table périodicité facturation
Table_secteur_commercial_pk
Code_site
Code_parametre
Table secteur commercial
Table_tit re_pk
Table titre
Table_type_d_adresse_pk
Code_site
Code_parametre
Table type d'adresse
Table_type_tiers_pk
Code_site
Code_parametre
Table type tiers
Model: Landauer SQL
Diagram: --Main-- Display: --Main--
Designer: Company:
Version: 51 1/28/2015 7:56:50
A faire / à ne pas faire
• Evitez les projets sous marins. Il faut un sponsoring fort.
• Pensez à accompagner les métiers dans les phases de cleaning
C’est un projet d’entreprise1
C’est un projet à découper en étapes courtes2
• Pensez à communiquer et impliquer les équipes de DEV
C’est un projet ambitieux et stratégique3
• Peut être à initier à l’occasion d’un projet métier• Déployez la gouvernance de manière progressive en valorisant les 1er
succès
ALM : Gestion du cycle de vie applicatif
Demande
Planification
Analyse
Developpement
Tests
Deploiement
Retour d’expérience : LANDAUER Europe
• Leader mondial en fourniture d’équipements et de services de dosimétrie passive
Cédric
CHAPUIS
Responsable
informatique
LANDAUER Europe
Landauer Europe
• Appartient au groupe Landauer Inc, leader de la dosimétrie passive.
• 50 personnes en France (Vélizy-Villacoublay)
• 13,5M d’eu o de CA
Landauer Europe : IT
• 4 personnes :
• Un Responsable systèmes et applications
• Un Développeur IBM i
• Un Développeur C#
• Un Responsable IT
• Landauer Eu ope utilise l’IBM i pou g e toute l’a tivit de suivi dosimétrique
Contraintes SOX
• L’e vi o e e t de d veloppe e t doit t e s pa de la
production.
• SoD : Segregation of Duty (Séparation des tâches)
• Les opérations de mise en production doivent être tracées
Contraintes GDPR
• Landauer est concerné par la GDPR
• Faut-il encore la présenter ?
Le développement sur le i chez
Landauer
Le développement i chez Landauer
• RPG IV en environnement ILE• Modules ILE + programmes de services
• Tout nouveau programme doit être :• De type SQL RPG ou SQL (Procédures stockées)
• Si RPG, il est soit FREE soit FULL-FREE
• Un source = Un objet• Une table SQL, un module RPG, une procédure stockée etc.
• E vi o e e ts g s pa l’ALM TD/OMS
Organisation des environnements
Développement Production réelleTest
ObjetsSources Objets
• 2 partitions pour 3 environnements
• Chaque environnement utilise un jeu de données qui lui est propre
• Les t a sfe ts e t e e vi o e e ts so t g s pa l’ALM
Iso Production
Données dév.
Sources Objets Sources Objets
Données test Données Iso prod. Données
ALM = Application Lifecycle Management (TD/OMS)
ALM = Application Life Cycle Management
Ce terme couvre l'ensemble des moyens nécessaires au développement
ou à la maintenance d'une application.
(Wikipedia)
ALM, concrètement
• Automatise les transferts entre environnements
• Gère les dépendances entre les objets
• Gère les développements concurrentiels
• Assure la traçabilité de toutes les opérations
ALM, appliquée aux données
Gestion des environnements
• Les do es e so t ja ais t a sf es d’u e vi o e e t à l’aut e
Gestion des dépendances
• Le maintien du référentiel de dépendance Programmes/Données est automatisé
et e ous de a de plus d’effo t
ALM, appliquée aux données
Automatisation des déploiements : Gestion des droits
• Changement du propriétaire des objets programmes lors du passage en PROD
réelle + exécution en *OWNER
• Ta les / Fi hie s : Adoptio des d oits de l’o jet e pla ou, si atio , attribution de droits définit par défaut.
ALM, appliquée aux données
Automatisation des déploiements
• Permet de découper un développement en petites unités
• La mise en production ne demandant aucun effort
• …Et do la possi ilit de d veloppe des fo tio s p o du es testa les unitairement par le développeur
• …Ce ui li ite le esoi de jeux d’essais volu i eux
Nous contacter
Pour nous joindre pour toute question ou demande
ITHEIS
Pascal BLANDIN
General [email protected]+33 (0)4 4221 5702www.itheis.com
LANDAUER EUROPE
Cédric CHAPUIS
Responsable Informatique | IT [email protected]+33 (0)6 73 16 44 77www.landauer-fr.com