zos10 - la gestion de la performance de l'entreprise … · – processeurs spécialisé : ifl...

© 2009 IBM Corporation

La gestion de la performance de l’entreprise avec Cognos sur System z

Guy Delaporte Spécialiste Information Management

AGENDA

� Introduction : Tendances

� Architecture

� COGNOS 8 BI pour LINUX sur système z

� La gestion des gros volumes de données dans DB2 z

� Infosphere Warehouse

� La maitrise des performances

� Les processeurs spécialisés zIIP , IFL

� Conclusion

Warehouse

Business Intelligence: donner du sens à l’information

AnalysisApplications

AnalysisApplications

Portals &DashboardsPortals &

Dashboards

AnalysisTools

AnalysisTools

Access & Transformation

Processes

Transactions

LegacySystems

Financials

Real-time Information

+ + +

Data MartsETL

SourcesExtraction

TransformationManage Access

Les 4 nouvelles tendances du datawarehouseselon le Gartner Group

� Alimentation des données au fil de l’eau (near-real-time)

� Grand nombre de rapports standard et un nombre croissa nt d’utilisateurs avec des requêtes spécifiques ( ad h oc queryusers )

� Un niveau accru de fonctions analytiques et BI inté grées dans les applications Temps réel

� Besoins liés aux réglementations( Regulatory Complia nce )besoin d’une solution de PRA Audit des données et des changements

� Plus grande protection des données– Données sécurisées (contre les risques d’intrusion)

� BI opérationnel en temps réel– Fournir des informations fraiches à vos utilisateurs

– Proximité des données décisionnelles et des applications temps réel

� Compression hardware des données – Compression des tables dans DB2 (ratio moyen > 50 %)

� Disponibilité supérieure de la plate forme z – Sysplex : meilleur taux de disponibilité 99,999 %

– PRA plus fiable qu’avec multiplicité de serveurs hétérogènes

� TCO– Processeurs spécialisé : IFL pour LINUX zIIP pour DB2

Les raisons de choisir la plate forme z pour une nouvelle application décisionnelle

© 2009 IBM Corporation

Architecture du datawarehouse

LEGACY SOURCES

DATAMARTSDATA INTEGRATION

WAREHOUSE

OLAP

REPORTS

MASTER DATA

REFERENCE DATA

‘

Le z dispose de toutes les briques logiciels d’un datawarehouse

ENTERPRISE CONTENT DATA

InfoSphereInfoSphere WarehouseWarehouse

InfoSphereInfoSphere MDM ServerMDM Server

InfoSphereInfoSphere Information ServerInformation Server

IBM IBM CognosCognos 8 BI8 BI

FileNetFileNet Content ManagementContent Management

DB2 for z/OSDB2 for z/OS

© 2009 IBM Corporation

COGNOS 8 BI pour LINUX sur système z

Les 3 Questions qui pilotent la Performance

Comment nous portons-nous?

Pourquoi ?Que devrions nous faire ?

Les 3 Questions qui pilotent la Performance

IT

VENTES

MARKETING

SERVICECLIENT

RESSOURCESHUMAINES

OPERATIONS

R&D

FINANCE

Pourquoi ?Comment nous Portons-nous?

Quedevrions-nous faire ?

How are we doing?

Tableaux de bord et Indicateurs Clefs de Suivi de la Per formance

Comment nousportons-nous ?

How are we doing?Comment nousportons nous ?

Reporting et Analyse

Pourquoi ?

How are we doing?Comment nousportons-nous ?

Pourquoi ?

Prévision, Planification et Simulation

Que devrions-nous faire ?

CEC One

Member A

OLTP

CP z/OS

Member A

DWH

ICF

Query

DB2 z Data

Warehouse

Linux on zIFL

Cognos 8 BIfor LINUX

On System z

DB2 LUWContentstore

DB2 LUWCognos 8 BIContentstore

DB2 CONNECT

Architecture COGNOS 8 BI et Datawarehouse sur system z

© 2009 IBM Corporation

La gestion des gros volumes de données dans DB2 z

Taille maximum des tables au fil des versions de DB2

DB2 Version 8 : extension des limites

2 GB

DBM116 EB

Buffer pool

0

The bar

16M - Line

EDM pool

RID pool

Sort pool

Comp dict

�Augmentation pour les Tablespaces Partitionnés:ƒ Taille Maximum d'un Tablespace (pages de 32K): de 16 TB à 128 TBƒ Nombre de partitions: de 254 à 4096

�Support du 64 bitsƒ Mémoire virtuelle: de 2 31 à 2 64 (2 GB à 16 ExaBytes)ƒ Au dessus des 2GB:

Bufferpools, EDMPool, SortPool, RIDPool, verrous IRLM dictionnaires de compression

Tablespaces Partitionnés: index DPSI

�DPSI = index secondaire physiquement partitionné

ƒ Nombre de partitions du DPSI = nombre de partitions de la tableƒ Les clés de la partition 'n' du DPSI réfèrent seulement aux lignes

de la partition 'n' de la tableƒ Exemple:

�Partition des données par mois�Clustering par nomà l'intérieur de chaquepartition de l'index DPSI

ƒ CREATE INDEX ......PARTITIONED...

jan

fev

dec

a-z

a-z

a-z

TS PI

jan/a-z

fev/a-z

dec/a-z

Part 1

Part 2

Part 12

DPSI

DB2 Version 8: améliorations SQL

�Tables de requêtes matérialisées (Materialized Query Tables ou MQT)

ƒ dites aussi Tables d’agrégats ou Summary Tables

ƒ Deux types de MQT�maintenue-par-le-système via ordre SQL REFRESH�maintenue-par-l'utilisateur via triggers, mises à jours batch, ..

ƒ Le DBA peut utiliser une MQT pour l'optimisation comme il utiliserait un index

ƒ L'optimiseur peut réécrire une requête soumise sur la table de base afin d'utiliser la MQT

ƒ La MQT peut être nommée directement dans l'ordre SQLƒ Information pré-calculée

�Meilleures performances

transitem(LLL)

trans (LL)

Location hierarchyprodline (s)

pgroup (s)

acct (L) cust (L)

year

N : 1 N : 1N : 1

(S)

WarehouseDB

Join

Aggregation

Join

Aggregation

Q11,Q12, ... Q21,Q22, ...

Compute Many Times

Join

Aggregation

Join

AggregationJoin

Aggregation

Join

Aggregation

Join

Aggregation

Join

Aggregation

transitem(LLL)

trans (LL)

Location hierarchyprodline (s)

pgroup (s)

acct (L) cust (L)

year

N : 1 N : 1N : 1

(S)

WarehouseDB

Q11,Q12, ... Q21,Q22, ...

MQT MQT

Precompute Once

Reuse Many Times

DB2 Version 8: améliorations SQL

�Tables de requêtes matérialisées (MQT): utilisation

Sans les MQT Avec les MQT

� Meilleures performances pour requête décisionnelle

DB2 SQLz z/OS V8commonLUW Linux, Unix & Windows V8.2

Multi-row INSERT, FETCH & multi-row cursor UPDATE, Dynamic Scrollable Cursors, GET DIAGNOSTICS, Enhanced UNICODE for SQL, join across encoding schemes, IS NOT DISTINCT FROM, Session variables, range partitioning

Inner and Outer Joins, Table Expressions, Subqueries, GROUP BY, Complex Correlation, Global Temporary Tables, CASE, 100+ Built-in Functions including SQL/XML, Limited Fetch, Insensitive Scroll Cursors, UNION Everywhere, MIN/MAX Single Index Support, Self Referencing Updates with Subqueries, Sort Avoidance for ORDER BY, and Row Expressions, 2M Statement Length, GROUP BY Expression, Sequences, Scalar Fullselect, Materialized Query Tables, Common Table Expressions, Recursive SQL, CURRENT PACKAGE PATH, VOLATILE Tables, Star Join Sparse Index, Qualified Column names, Multiple DISTINCT clauses, ON COMMIT DROP, Transparent ROWID Column, Call from trigger, statement isolation, FOR READ ONLY KEEP UPDATE LOCKS, SET CURRENT SCHEMA, Client special registers, long SQL object names, SELECT from INSERT

Updateable UNION in Views, ORDER BY/FETCH FIRST in subselects & table expressions, GROUPING SETS, ROLLUP, CUBE, INSTEAD OF TRIGGER, EXCEPT, INTERSECT, 16 Built-in Functions, MERGE, Native SQL Procedure Language, SET CURRENT ISOLATION, BIGINT data type, file reference variables, SELECT FROM UPDATE, DELETE & MERGE, multi-site join

z

LUW

common

DB2 SQLz z/OS V9commonLUW Linux, Unix & Windows V8.2

Multi-row INSERT, FETCH & multi-row cursor UPDATE, Dynamic Scrollable Cursors, GET DIAGNOSTICS, Enhanced UNICODE for SQL, join across encoding schemes, IS NOT DISTINCT FROM, Session variables, range partitioning, TRUNCATE, DECIMAL FLOAT, VARBINARY, optimistic locking, FETCH CONTINUE, ROLE , MERGE

Inner and Outer Joins, Table Expressions, Subqueries, GROUP BY, Complex Correlation, Global Temporary Tables, CASE, 100+ Built-in Functions including SQL/XML, Limited Fetch, Insensitive Scroll Cursors, UNION Everywhere, MIN/MAX Single Index Support, Self Referencing Updates with Subqueries, Sort Avoidance for ORDER BY, and Row Expressions, 2M Statement Length, GROUP BY Expression, Sequences, Scalar Fullselect, Materialized Query Tables, Common Table Expressions, Recursive SQL, CURRENT PACKAGE PATH, VOLATILE Tables, Star Join Sparse Index, Qualified Column names, Multiple DISTINCT clauses, ON COMMIT DROP, Transparent ROWID Column, Call from trigger, statement isolation, FOR READ ONLY KEEP UPDATE LOCKS, SET CURRENT SCHEMA, Client special registers, long SQL object names, SELECT from INSERT, UPDATE, DELETE & MERGE, INSTEAD OF TRIGGER, Native SQL Procedure Language, BIGINT, file reference variables, XML, FETCH FIRST & ORDER BY in subselect and fullselect, caseless comparisons, INTERSECT, EXCEPT, not logged tables

Updateable UNION in Views, GROUPING SETS, ROLLUP, CUBE, 16 Built-in Functions, SET CURRENT ISOLATION, multi-site join, MERGE

z

LUW

common

© 2009 IBM Corporation

Infosphere Warehouse

Vos nouvelles applications décisionnelles se réalisentsimplement en quatre étapes

25

1. Modeliser vos données pour un accès OLAP en utilisant ‘InfoSphere Warehouse Design Studio’

2. Peupler votre schéma en étoile en utilisant des scripts ‘InfoSphere Warehouse SQW’

3. Construire une ou plusieurs structures de cubes en utilisant ‘InfoSphere Warehouse Cubing Services’

4. Accéder aux données avec Cognos ou Excel

InfoSphere WarehouseDesign Studio

Cognos

Excel

L’environnement du système z est amélioré avec ‘InfoSphere Warehouse’

z/OS Linux for System z

OLTP DB2 DWH DB2

SQW

Requêtes MDX

Cubing Services1

2

3

4

Modélisation de données� Concevoir et modifier des modèles physiques de données (design de schema de

stockage; cubes, dimensions, hierarchies)

Fonctionnalités:

� Créer un nouveau design de base de données

� Faire du ‘ Reverse engineering’ à partird’une base existante

� Créer des diagrammes

� Modifier graphiquement les schémas

� Comparer les objects DB entre eux

� Générer le DDL et le déployer

� Analyses d’impact

� Modélisation physique DB2: Tablespace, Buffer Pools, Partitions

� Outil qui génère des instructions SQL, pour déplacer e t transformer les données au sein de la base de données

– Facilité d’utilisation, drag and drop pour la constitution rapide de warehouse

– Intégré avec les modèles de données physiques pour les tables sources et cibles

– Mouvement de données avec transformation (+ de 30 opérateurs SQL)

– Test et debug des mouvements de données

� Fabriquer des entrepôts construits dans un environnemen t “homogène”

– S’appuyer sur les insfrastructures de base de données existantes

– S’appuyer sur les compétences des DBAs,

– Intégration native pour le déploiement rapide d’application de Business Intelligence

• Administration de base de données

• Préparation des données pour des tableaux de bords, Mining & OLAP

Transformation et mouvement de données au sein de la b ase de données

Cubing Services (OLAP)

‘Cubing Services’ est un serveur d’analysemultidimensionnelle qui permet l’accès aux applications OLAP

Benefices�Utilise les interfaces OLAP standards pour une large variété d’outils de

présentation et de reporting (Cognos, Excel)

�Permet l’accès jusqu’à 1 TB de données OLAP

IBM InfoSphereWarehouse

Data Warehouse and BI System z Solution

DB2 for z/OS

OLTPdata

Data Warehouse

Cognos 8 BIfor LINUX

On System z

Mettre à dispostiondes applications BI

d’entreprisesTransformation d’information

The Enterprise Data Warehouse

InfoSphere Warehouse Cubing

Services

InfoSphere Warehouse

SQW

Source Systems :DB2IMS

VSAM

Combiner la fiabilité et la disponibilité de DB2 for z/OS avec des applications àmoindre coût sur Linux on systeme z

© 2009 IBM Corporation

La maitrise des performances sur z

Maitrise des performances

� Indépendance des partitions PR/SM

� WLM :

– attribution des ressources CPU et mémoire en fonction des objectifs fixés

– Cohabitation requêtes lourdes et légères

� RLF : garde-fou contre requêtes trop gourmandes

� DB2 Query Monitor

– Capture des requêtes pour tuning

– Aide au choix des bonnes tables d’agrégats (MQT)

� Optimisation Expert :

– advisors pour index , queries , statistiques

Capture des requêtes SQL et de leurs consommations

Affichage , Export , Explain des requêtes SQL

Détails des acces et temps par objet DB2 dans une joint ure

© 2009 IBM Corporation

Les processeurs spécialisés IFL (LINUX)zIIP (DB2 z)

CP CP zIIP

Big Green

© 2009 IBM Corporation

Conclusion

� Qualité de Service

– Disponibilité 24 h / 24 7 j / 7

– Conformité aux règlementationset à la sécurité des données

– Scalabilité

– Backup and recovery

– PRA Plan de reprise d’activité

� Concentration de serveurs

– Meilleur TCO ( Total Cost of Ownership)

� zIIP et autres moteurs spécialisésaméliorent le TCO ( Total Cost of Ownership)

� Données de production et ODS surmême plate forme signifie

– Moins de complexité

– Reduction de coût

– Mise en commun des process, tools, procedures

– compliance and sécurité rationalisée

� Meilleur utilisation des compétenceset de l’investissement sur System z

� Positioné pour le futur

– Web-based applications

– XML support

Points forts du Datawarehouse sur z