modèle td 2014 v0download.microsoft.com/documents/france/msdn/2014/mva/la... · 2018-12-05 · 1....

Architecture/Azure/Cloud

La démystification

du Big Data

Romain Casteres

MVP SQL Server

Consultant BI

@PulsWeb

Benjamin Guinebertière

Technical Evangelist

Microsoft France

@benjguin

François Simoës

V-Traffic ( Mediamobile)

www.v-traffic.com

Sébastien Etcheverry

V-Traffic ( Mediamobile)

www.v-traffic.com

Architecture/Azure/Cloud#mstechdays

Depuis votre smartphone sur :

http://notes.mstechdays.fr

De nombreux lots à gagner toute les heures !!!

Claviers, souris et jeux Microsoft…

Merci de nous aider à améliorer les Techdays !

Donnez votre avis !

http://notes.mstechdays.fr/

Master Chief utilise Big Data

Une analyse du jeu permet de

détecter les tricheurs et améliore

l'expérience pour tous

Permet des campagnes ciblées qui

améliorent la fidélisation des

clients


Big Data – tendances du marché

Attentes desutilisateurs

Création des données en temps réel

Coûts du stockage et des matériels

Grands volumes de données Nombreux types de données


Plateforme Big Data de Microsoft – vue d’ensembleVolume x Variété x Vélocité x Visualisation = Valeur

MA

RK

ETP

LAC

E

SER

VIC

ES E

T D

ON

NEES

EX

TER

NES

Polybase

http://www.google.com/imgres?imgurl=http://richfrombechtle.files.wordpress.com/2008/10/vs2010archexplorer.jpg&imgrefurl=http://richfrombechtle.wordpress.com/2008/10/13/&usg=__qPArABkba3JddWP-O2AT7MRoU1s=&h=500&w=749&sz=95&hl=en&start=3&zoom=1&itbs=1&tbnid=mMsoPo--rTSTfM:&tbnh=94&tbnw=141&prev=/images?q=visual+Studio+Application&hl=en&sa=X&tbs=isch:1&prmd=ivns&ei=TGhwTYmPNsKTtwflnuiTDw

http://www.google.com/imgres?imgurl=http://richfrombechtle.files.wordpress.com/2008/10/vs2010archexplorer.jpg&imgrefurl=http://richfrombechtle.wordpress.com/2008/10/13/&usg=__qPArABkba3JddWP-O2AT7MRoU1s=&h=500&w=749&sz=95&hl=en&start=3&zoom=1&itbs=1&tbnid=mMsoPo--rTSTfM:&tbnh=94&tbnw=141&prev=/images?q=visual+Studio+Application&hl=en&sa=X&tbs=isch:1&prmd=ivns&ei=TGhwTYmPNsKTtwflnuiTDw


Hadoop ouvert,

partenariat stratégique Hortonworks

+Hortonworks Data Platformfor Windows

HDInsight


Map/Reduce: Word Count

Extrait de « Hadoop Tutorial from Yahoo!" (Yahoo! Inc.) / CC BY 3.0 »

http://developer.yahoo.com/hadoop/

http://creativecommons.org/licenses/by/3.0/


Hive


Gérez des données de tous types et toutes tailles

Sécurisez votre cluster Hadoop avec un nœud de sécurité dans HDInsight

Intégration étroite avec la plateforme de données Microsoft

HDInsight

Nœud de sécurité

Nœud de tête

Nœuds de traitement,HDFS local

Stockage Windows Azure

Stockage à long terme

redondélocalement

[et géographiquement]

hdfs:// wasb://


Architecture


Cas d’usage : APVX Aide a la Prévision des Ventes


Cas d’usage : APVX


HDINSIGHT

• Création d’un cluster

• Hive : Table Externe - Table Interne – View - UDF …

• Sqoop : Transfert


BI & POWER BI

• Automatisation : SSIS & PowerShell

• Power Pivot, Power Query

• Power View, Power Q&A

SSIS HDInsight Tasks


V-TRAFFIC

Notre Ambition : Offrir les informations les plus pertinentes et fiables

pour le confort des utilisateurs, sur n’importe quel support


Publiques

Privées

Partenariats

FCD/FMD

RDS TMC

DAB

GPRS/3G

WEB

Récolte des données avec plus de 100 sources

Analyse, modélisation, traitement et édition

Distribution par des multiples canaux

TIC

V-Traffic Spécialistes en solution d’aide à la mobilité depuis 1996


Utilisations des véhicules traceurs (FCD) - Suivi de véhicule

1. Les taxis envoient leurs positions lors de leurs déplacements via leur GPS et un accès à internet mobile

2. Nos fournisseurs récoltent les données de géo-localisation

3. Mediamobile collecte ces données

Lat2,Long2,D2

4. Suivi du véhicule : localisation sur le réseau routier

Lat1,Long1,D1

5. Détermination de la vitesse du véhicule sur le réseau


Cartographie du trafic routier avec FCD:Exemple : une journée de conditions de circulation à Toulouse 7h-21h (25/05/2010)

Fusion

Capteurs statiques Véhicules traceurs

Diffusion


• Localisation de chaque position dans une des 36000 villes de France

• 1 job Hive qui réalise 3 tâches :

-Load des données dans des tables Hive (external)

-Traitement Python ( PointInPolygon)

-GroupBy

• Le volume : 3777912 véhicules envoient 77 millions de positions pour 30 j

• Outil d’aide à la décision( comparer les fournisseurs )

HDInsight pour V-Traffic


DÉMO


Architecture


Visualisation/Résultat SSRS


Benchmarks / Performances29

19

16 16 16 16

0123456789

101112131415161718192021222324252627282930

3 nodes 6 nodes 9 nodes 15 nodes 18 nodes 30 nodes

Temps de traitement par cluster

77 millions de positions en 16 minutes =

80208 points/sec !!


Benchmarks / Performances

10 MAP 22 MAP 30 MAP 30 MAP 30 MAP 30 MAP

12 mapMAX

24 mapMAX

36 mapMAX

60 mapMAX

72 mapMAX

120 mapMAX

29 mins

19 mins16 mins 16 mins 16 mins 16 mins

0

5

10

15

20

25

30

35

40

45

50

55

60

65

70

75

80

85

90

95

100

105

110

115

120

3 nodes 6 nodes 9 nodes 15 nodes 18 nodes 30 nodes

Max MAP Capacity

Real MAP Nb

Duree (mins)

1,192 €/h

4,767 €/h

7,389 €/h

1,907 €/h

2,622 €/h

4,052€/h

29 Mars 2014

http://bit.ly/GWAB2014Paris

http://bit.ly/GWAB2014Paris

Testez dès maintenant Windows Azure !

MSDN:

150€ de ressources

Poursuivez la discussion

sur le stand “au coeur du SI”

Partenaires:

http://aka.ms/Azure/Partner

http://aka.ms/free/trial

http://aka.ms/MSDN/Avantages/Abo

Digital is business

modèle td 2014 v0download.microsoft.com/documents/france/msdn/2014/mva/la... · 2018-12-05 · 1....

Documents