plateforme bigdata orientée bi avec hortoworks data platform et apache spark
DESCRIPTION
Description de l'architecture bigdata chez Altic Hortonworks HDP Apache Spark InfiniDB Tableau Software JasperReports Birt TalendTRANSCRIPT
Charly CLAIRMONTCTOALTIChttp://altic.org
[email protected]@egwada
Plateforme Big Data orientée BI avecHadoop et Spark
petite bio
Depuis 10 ans Altic
Une évolution permanente avec les technologies suivantes :
Un des animateurs de l'écosystème Hadoop en France
Un groupe de plus en plus actif !(messages échangés sur l'année)
Altic@Altic_Buzz
Métier
Informatique Décisionnelle
Intégration de données
Valeurs
– Innovations
– Open Source
Une maîtrise de toute la chaîne de valeur du Big Data
Notre approche historique de la BI
● Intégration de données
– Talend
● Reporting :
– JasperReports,
– Birt
● OLAP :
– Mondrian,
– Jedox
● Portail décisionnel :
– SpagoBI,
– JasperServer
Tout le monde parle de déluge de données !
Chez Altic nous aimerions déjà décloisonner l'entreprise !
Et lui rappeler qu'elle est une « Entreprise étendue »
Toute organisation peut désormais avoir son « lac de données »,
construire une vision unifiée de ses clients, ses produits, ses partenaires, ses
processus
Le standard du Big Data : « Hadoop », et son compagnon par défaut « Spark »
Hadoop est robuste !
● Stable
– Testé - Yahoo! (40 000 nœuds)
● Fiable
– Tolérant à la panne
● Flexible
– Schéma à la lecture !
– Passage à l'échelle
● Économique
– Prédictibilité des coûts
Hadoop,système d'exploitation de la donnée
Vous connaissez ?
Spark, Simple et rapide
Iter. 1
LectureHDFS
ÉcritureRAM
Iter. 2
LectureRAM
ÉcritureRAM
. . .
LectureHDFS
ÉcritureHDFS
LectureHDFS
ÉcritureHDFS
. . .Iter. 1 Iter. 2
Hadoop Map / Reduce
Spark
Spark,meilleur compagnon d'Hadoop
Construire sa plateforme Big Data
Une architecture BI à l'heure du Big Data
Collecter, Transformer, avec Talend Big Data
Des jobs Talend Pig !
Des composants toujours plus riches
Hortonworks HDP, une distribution open source
Analyser de larges volume de données en SQL avec
InfiniDB
● Sans doute le moteur SQL pour Hadoop le plus performant du moment
Reporting
● JasperReports
– Connecteur Hive
– Connecteur HBase
– Connecteur Avro
● Birt
– Connecteur pour Hive
Visualisation, Exploration
Datameer Tableau Software
Via Hive (Odbc, Jdbc)
Cas d'utilisation
Oui, mais concrètement...
– Groupe bancaire de plein exercice
– 3.2 millions de sociétaires et clients
– 9000 salariés
– 84 milliard d'euros de total de bilan (2011)
Hadoop dans le monde bancaire : Crédit Mutuel Arkea
Hadoop dans le monde bancaire : Crédit Mutuel Arkea
http://www.journaldunet.com/solutions/dsi/big-data-dans-les-dsi/l
● Offrir une meilleure expérience aux utilisateurs
– Les clients peuvent accéder à leur historique de paiements depuis 2001 !
● Dé-silotage l'organisation
– Avoir une vision à 360° des clients, des produits
Quelle démarche pour votre projet Big Data !
Commencer petit !
Oublier les démarches classiques ! Trop long !
Oublier les démarches classiques ! Trop long !
Soyez Lean !
Big Data, BI,le tout en mode agile
Commencer petit !
Y aller pas à pas
● Télécharger une VM prêt à l'emploi (Pseudo cluster)
– Tester les démos / tutoriels
– Essayer avec vos données
● Passer à la vitesse supérieure avec une offre hébergée
● Formez vous, faites vous accompagner
● Lancez vous avec vos propres machines, hébergées ou non !
Questions
Charly [email protected]@egwada@ALtic_Buzz
Merci !
Plateforme Big Data orientée BI avecHadoop et Spark