hadoop unit

19
Hadoop Unit par Khanh Tuong MAUDOUX @jetoile 1 11/06/2022

Upload: khanh-maudoux

Post on 22-Jan-2017

142 views

Category:

Engineering


1 download

TRANSCRIPT

Page 1: Hadoop unit

Hadoop Unitpar Khanh Tuong MAUDOUX

@jetoile

101/05/2023

Page 2: Hadoop unit

Hadoop Unit

Qui je suis…• Khanh Tuong Maudoux

• Développeur Java, JavaEE, BigData indépendant

• blog : blog.jetoile.fr• @jetoile• [email protected]

201/05/2023

Page 3: Hadoop unit

Hadoop Unit

Contexte

301/05/2023

Page 4: Hadoop unit

Hadoop Unit

Contexte• Big Data : écosystème composé

éventuellement d’Hadoop mais pas que…

• Hadoop = HDFS + YARN?

01/05/2023 4

Page 5: Hadoop unit

Hadoop Unit

Les « officiels »

01/05/2023 5

Page 6: Hadoop unit

Hadoop Unit

Les spécifiques…

01/05/2023 6

Page 7: Hadoop unit

Hadoop Unit

Et les « non officiels »…

01/05/2023 7

Page 8: Hadoop unit

Hadoop Unit

Et nous…?

801/05/2023

Page 9: Hadoop unit

Hadoop Unit

Et nous…?• Comment qu’on fait???– en mode de développement?– pour tester?– …

01/05/2023 9

Page 10: Hadoop unit

Hadoop Unit

Et nous…?• Mais…– quand on est sous windows?– quand on travaille dans une « grosse société »

avec des process lourd et que l’on n’est pas admin?

01/05/2023 10

Page 11: Hadoop unit

Hadoop Unit

Hadoop Unit

1101/05/2023

Page 12: Hadoop unit

Hadoop Unit

Hadoop Unit• S’appuie sur Hadoop Mini Cluster (https://

github.com/sakserv/hadoop-mini-clusters)• Supporte :

– Hdfs– Zookeeper– Hivemetastore– Hiverserver2– Solr 6.1.0– SolrCloud 6.1.0– Oozie– Kafka 0.10.0– HBase– MongoDB– Cassandra 3.4– Elasticsearch 5.0.0-alpha4

01/05/2023 12

Page 13: Hadoop unit

Hadoop Unit

Hadoop Unit• Compatible avec les REPL :– HDFS– Kafka– HBase Shell– Hive Shell

• Fonctionne sous Linux/Mac/Windows

01/05/2023 13

Page 14: Hadoop unit

Hadoop Unit

Hadoop Unit• Démarre dans une même JVM les

composants nécessaires– En mode embedded (setup de test)– En mode standalone (en tache de fond)

01/05/2023 14

Page 15: Hadoop unit

Hadoop Unit

Hadoop Unit• En mode embedded :

01/05/2023 15

Page 16: Hadoop unit

Hadoop Unit

Hadoop Unit• En mode standalone :

01/05/2023 16

Page 17: Hadoop unit

Hadoop Unit

Hadoop Unit• Avec Maven en phase de pré-integration :

01/05/2023 17

Page 18: Hadoop unit

Hadoop Unit

Questions ?

1801/05/2023

Page 19: Hadoop unit

Hadoop Unit

Merci !

1901/05/2023