plateforme bigdata orientée bi avec hortoworks data platform et apache spark

Charly CLAIRMONTCTOALTIChttp://altic.org

charly.clairmont@altic.org@egwada

Plateforme Big Data orientée BI avecHadoop et Spark

petite bio

Depuis 10 ans Altic

Une évolution permanente avec les technologies suivantes :

Un des animateurs de l'écosystème Hadoop en France

Un groupe de plus en plus actif !(messages échangés sur l'année)

Altic@Altic_Buzz

Métier

Informatique Décisionnelle

Intégration de données

Valeurs

– Innovations

– Open Source

Une maîtrise de toute la chaîne de valeur du Big Data

Notre approche historique de la BI

● Intégration de données

– Talend

● Reporting :

– JasperReports,

– Birt

● OLAP :

– Mondrian,

– Jedox

● Portail décisionnel :

– SpagoBI,

– JasperServer

Tout le monde parle de déluge de données !

Chez Altic nous aimerions déjà décloisonner l'entreprise !

Et lui rappeler qu'elle est une « Entreprise étendue »

Toute organisation peut désormais avoir son « lac de données »,

construire une vision unifiée de ses clients, ses produits, ses partenaires, ses

processus

Le standard du Big Data : « Hadoop », et son compagnon par défaut « Spark »

Hadoop est robuste !

● Stable

– Testé - Yahoo! (40 000 nœuds)

● Fiable

– Tolérant à la panne

● Flexible

– Schéma à la lecture !

– Passage à l'échelle

● Économique

– Prédictibilité des coûts

Hadoop,système d'exploitation de la donnée

Vous connaissez ?

Spark, Simple et rapide

Iter. 1

LectureHDFS

ÉcritureRAM

Iter. 2

LectureRAM

ÉcritureRAM

. . .

LectureHDFS

ÉcritureHDFS

LectureHDFS

ÉcritureHDFS

. . .Iter. 1 Iter. 2

Hadoop Map / Reduce

Spark

Spark,meilleur compagnon d'Hadoop

Construire sa plateforme Big Data

Une architecture BI à l'heure du Big Data

Collecter, Transformer, avec Talend Big Data

Des jobs Talend Pig !

Des composants toujours plus riches

Hortonworks HDP, une distribution open source

Analyser de larges volume de données en SQL avec

InfiniDB

● Sans doute le moteur SQL pour Hadoop le plus performant du moment

Reporting

● JasperReports

– Connecteur Hive

– Connecteur HBase

– Connecteur Avro

● Birt

– Connecteur pour Hive

Visualisation, Exploration

Datameer Tableau Software

Via Hive (Odbc, Jdbc)

Cas d'utilisation

Oui, mais concrètement...

– Groupe bancaire de plein exercice

– 3.2 millions de sociétaires et clients

– 9000 salariés

– 84 milliard d'euros de total de bilan (2011)

Hadoop dans le monde bancaire : Crédit Mutuel Arkea

Hadoop dans le monde bancaire : Crédit Mutuel Arkea

http://www.journaldunet.com/solutions/dsi/big-data-dans-les-dsi/l

● Offrir une meilleure expérience aux utilisateurs

– Les clients peuvent accéder à leur historique de paiements depuis 2001 !

● Dé-silotage l'organisation

– Avoir une vision à 360° des clients, des produits

Quelle démarche pour votre projet Big Data !

Commencer petit !

Oublier les démarches classiques ! Trop long !

Oublier les démarches classiques ! Trop long !

Soyez Lean !

Big Data, BI,le tout en mode agile

Commencer petit !

Y aller pas à pas

● Télécharger une VM prêt à l'emploi (Pseudo cluster)

– Tester les démos / tutoriels

– Essayer avec vos données

● Passer à la vitesse supérieure avec une offre hébergée

● Formez vous, faites vous accompagner

● Lancez vous avec vos propres machines, hébergées ou non !

Questions

Charly CLAIRMONTcharly.clairmont@altic.org@egwada@ALtic_Buzz

Merci !

Plateforme Big Data orientée BI avecHadoop et Spark