big data & bi : retour d'expérience

31
#JSS2013 Les journées SQL Server 2013 Un événement organisé par GUSS

Upload: romain-casteres

Post on 26-Dec-2014

399 views

Category:

Technology


0 download

DESCRIPTION

Besoin Clients : APVX Pourquoi la Big Data ? Présentation de Hadoop Offre Microsoft : HDInsight Complémentarité BI & Big Data Architecture mise en place Démos :-)

TRANSCRIPT

Page 1: Big Data & BI : Retour d'expérience

#JSS2013

Les journées

SQL Server 2013

Un événement organisé par GUSS

Page 2: Big Data & BI : Retour d'expérience

#JSS2013

Les journées

SQL Server 2013

Un événement organisé par GUSS

Big Data & BI

Romain Casteres

MVP SQL Server

Consultant BI

@PulsWeb

Yazid Moussaoui

Consultant Senior BI

MCSA 2008/2012

Etienne Pommier

Ingénieur Etude &

Développement .Net

Retour d’expérience

Page 3: Big Data & BI : Retour d'expérience

#JSS2013

Merci à nos sponsors

Page 4: Big Data & BI : Retour d'expérience

#JSS2013

Agenda

o Besoin Clients : APVX

o Pourquoi la Big Data ?

o Présentation de Hadoop

o Offre Microsoft : HDInsight

o Complémentarité BI & Big Data

o Architecture mise en place

o Démos

Planning

Page 5: Big Data & BI : Retour d'expérience

#JSS2013

Aide à la prévision des ventes

Besoin d’analyse des réseaux sociaux

Poids des campagnes réalisées sur les réseaux

Trouver une relation entre les ventes et ce qui se dit

sur les réseaux

Besoin Client : APVX

Page 6: Big Data & BI : Retour d'expérience

#JSS2013

Pourquoi la Big Data ?Volume,

Variété & Vitesse

Page 7: Big Data & BI : Retour d'expérience

#JSS2013

La tendance

Page 8: Big Data & BI : Retour d'expérience

#JSS2013

HDFS

Ecriture

Framework Apache Hadoop

Lecture

Page 9: Big Data & BI : Retour d'expérience

#JSS2013

Map & Reduce

Framework Apache Hadoop

Page 10: Big Data & BI : Retour d'expérience

#JSS2013

Apache Hadoop, Hortonworks, Hdinsight

Apache Hadoop HDInsight

• Hive : Gestionnaire des données distribuées (SQL Like)• Pig : Scripting ETL• Sqoop : Transfer des données entre Hadoop et des SGBDR• Hbase : Base de données non relationnelle• Hcatalog : services de méta données• Mahout : Langage de programmation pour le Machine Learning• Flume : Intégrateur de logs• Oozie : Ordonnanceur

• HDP 1.3 pour Windows On Azure On Premise

• Scale Out for Pay As You Go• Windows Azure PowerShell• CodePlex .Net SDK

• Microsoft Hive ODBC Driver

Page 12: Big Data & BI : Retour d'expérience

#JSS2013

Architecture

WASB

Page 13: Big Data & BI : Retour d'expérience

#JSS2013

Architecture

WASB

Page 14: Big Data & BI : Retour d'expérience

#JSS2013

• Un Azure Web Site (ASP.Net MVC 4)

• Un Cloud Service

• Un Compte de stockage (Tables et Blobs)

• Une SQL Database

La solution sur Windows Azure

Page 15: Big Data & BI : Retour d'expérience

#JSS2013

• Interface de gestion

• Azure Active Directory Authentification

Le site

Page 16: Big Data & BI : Retour d'expérience

#JSS2013

Le Cloud Service

Page 17: Big Data & BI : Retour d'expérience

#JSS2013

RÉCUPÉRATION DE DONNÉES TWITTER

Page 18: Big Data & BI : Retour d'expérience

#JSS2013

Architecture

WASB

Page 19: Big Data & BI : Retour d'expérience

#JSS2013

Nombre de Nœud

Hive Meta Données

Stockage

Activation de l’accès distant

Installation du Driver Hive ODBC

Linked Server

Création du cluster HDInsight

Page 20: Big Data & BI : Retour d'expérience

#JSS2013

Table Externe

Table Interne

UDF : User Defined Functions

Hive

Page 21: Big Data & BI : Retour d'expérience

#JSS2013

Flux des données

Windows Azure Storage Blob

Azure Network

Hadoop On Azure

Compute Node

Page 22: Big Data & BI : Retour d'expérience

#JSS2013

Automatisation via SSIS

Création d’un package SSIS

Création d’une source de données ODBC

http://tinyurl.com/HDInsightSSIS | Livre Blanc HDInsight & Visual Studio : aka.ms/lbhdinsight

SSIS HDInsight Tasks

Page 23: Big Data & BI : Retour d'expérience

#JSS2013

Architecture

WASB

Page 24: Big Data & BI : Retour d'expérience

#JSS2013

Exploitation des données

SSAS

Tabular

Integration

Services

Power View

SharePointSQL Server

Power View

Excel

Power

Query

Excel

Power Pivot

Excel

2 scénarios : « BI d’entreprise » ou « BI en Self-Service »

BI

d’entreprise

POWER BI

Page 25: Big Data & BI : Retour d'expérience

#JSS2013

Integration des données avec SSIS

Connexion ODBC

Source : Table Hive

Destination : Table SQL Server

SELECTTheater,ScreenAuthorizationNumber,Screen,Title,TitleIdFROM lecture

SQL Server Integration

ServicesImportation des table Hive vers une

base de donnée locale

BI

d’entreprise

Page 26: Big Data & BI : Retour d'expérience

#JSS2013

Analyse et restitution des données

Analysis Services• Mode Serveur

• Cube tabulaire

• Langage DAX

Power View for SharePoint• Intégration à SharePoint

• Publication et partage

• Création de rapports en self-service

• Drag & Drop

• Analyse des données issues de

PowerPivot ou d’Analysis Services

• PowerPoint

SharePoint

Server

DWH

SQL Server

2012

Instance Analysis

Services

Instance SQL Server

BI

d’entreprise

Page 27: Big Data & BI : Retour d'expérience

#JSS2013

BI en self-service avec Excel 2013

Excel 2013

POWER QUERY

POWER PIVOT

POWER VIEW

POWER BI

Page 28: Big Data & BI : Retour d'expérience

#JSS2013

Power Query

• ETL destiné à l’utilisateur

• Import Data

From Hadoop File (HDFS)

From Windows Azure HDInsight

POWER BI

Page 29: Big Data & BI : Retour d'expérience

#JSS2013

• Création du modèle de données à partir de sources

distinctes :

– Tables SQL Server

– Table hive intégrés au modèle via Power Query

Power Pivot POWER BI

Page 30: Big Data & BI : Retour d'expérience

#JSS2013

• Création de rapport Ad-hoc interactif

• Source de donnée :

– Classeur de Modèle Power Pivot

– Modèle Tabulaire SSAS (Power View mode SharePoint)

Power View POWER BI

Page 31: Big Data & BI : Retour d'expérience

#JSS2013#JSS2013

Merci !

Questions ?