glusterfs vfinale 2 - gelitgelit.ch/td/linux/basbous_pps.pdf · glusterfs • logiciel sous licence...

17
GlusterFS Étudiant : Khaled Basbous Professeur : Gérald Litzistorf 23 avril 2012 1

Upload: others

Post on 07-Jul-2020

6 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: GlusterFS vfinale 2 - gelitgelit.ch/td/linux/Basbous_PPS.pdf · GlusterFS • Logiciel sous licence GPLv3 • Racheté par RedHatpour 136 Mio$ en 2011 • Système de fichier distribué,

GlusterFSÉtudiant : Khaled BasbousProfesseur : Gérald Litzistorf

23 avril 2012

1

Page 2: GlusterFS vfinale 2 - gelitgelit.ch/td/linux/Basbous_PPS.pdf · GlusterFS • Logiciel sous licence GPLv3 • Racheté par RedHatpour 136 Mio$ en 2011 • Système de fichier distribué,

GlusterFS

• Logiciel sous licence GPLv3

• Racheté par Red Hat pour 136 Mio $ en 2011

• Système de fichier distribué, répliqué

• Cluster de stockage

• Espace de stockage jusqu’à n pétaoctets

• Sur matériels usuels

• Performances linéaires !

2

Page 3: GlusterFS vfinale 2 - gelitgelit.ch/td/linux/Basbous_PPS.pdf · GlusterFS • Logiciel sous licence GPLv3 • Racheté par RedHatpour 136 Mio$ en 2011 • Système de fichier distribué,

Points forts

• Espace de stockage

• Performances linéaires

• Divers architecture (Distribué, répliqué, découpé)

• Géo-Réplication

• Access Control List

• Augmentation de l’espace de stockage à la volé

• Facilité de déploiement

• Compatibilité avec d’autres protocoles

• Quotas

3

Page 4: GlusterFS vfinale 2 - gelitgelit.ch/td/linux/Basbous_PPS.pdf · GlusterFS • Logiciel sous licence GPLv3 • Racheté par RedHatpour 136 Mio$ en 2011 • Système de fichier distribué,

Performance

4

Page 5: GlusterFS vfinale 2 - gelitgelit.ch/td/linux/Basbous_PPS.pdf · GlusterFS • Logiciel sous licence GPLv3 • Racheté par RedHatpour 136 Mio$ en 2011 • Système de fichier distribué,

Ext2/3

5

Page 6: GlusterFS vfinale 2 - gelitgelit.ch/td/linux/Basbous_PPS.pdf · GlusterFS • Logiciel sous licence GPLv3 • Racheté par RedHatpour 136 Mio$ en 2011 • Système de fichier distribué,

Exemple Ceph

Serveur

MétadonnéeServeur

MétadonnéeServeur

Métadonnée

Serveurs de

stockage

Clients

6

Page 7: GlusterFS vfinale 2 - gelitgelit.ch/td/linux/Basbous_PPS.pdf · GlusterFS • Logiciel sous licence GPLv3 • Racheté par RedHatpour 136 Mio$ en 2011 • Système de fichier distribué,

Serveur GlusterFS

7

Page 8: GlusterFS vfinale 2 - gelitgelit.ch/td/linux/Basbous_PPS.pdf · GlusterFS • Logiciel sous licence GPLv3 • Racheté par RedHatpour 136 Mio$ en 2011 • Système de fichier distribué,

Vue d’ensemble

8

Page 9: GlusterFS vfinale 2 - gelitgelit.ch/td/linux/Basbous_PPS.pdf · GlusterFS • Logiciel sous licence GPLv3 • Racheté par RedHatpour 136 Mio$ en 2011 • Système de fichier distribué,

Ce qui change avec GlusterFS

• Pas de serveur(s) de métadonnées• Emplacement fichier calculé

• Sur filesystem de la brique où est stocké le fichier• Block données fichiers

• Date de création, dernier accès,…

• Propriétaire

• Quel droit d’accès et à qui

• Taille

9

Page 10: GlusterFS vfinale 2 - gelitgelit.ch/td/linux/Basbous_PPS.pdf · GlusterFS • Logiciel sous licence GPLv3 • Racheté par RedHatpour 136 Mio$ en 2011 • Système de fichier distribué,

Client Natif

Client

Traducteur

distribution

Serveur 1: brique A

Serveur 2 : brique B

Serveur 3 : brique C

Traducteur

réplication

Composition cluster

(

Serveur 1 : Brique A

Serveur 2 : Brique B

Serveur 3 : Brique C

)

Hash

nom

fichier2

10

Page 11: GlusterFS vfinale 2 - gelitgelit.ch/td/linux/Basbous_PPS.pdf · GlusterFS • Logiciel sous licence GPLv3 • Racheté par RedHatpour 136 Mio$ en 2011 • Système de fichier distribué,

Exemple

• Sur serveur 1 :

glusterd start

mkdir /gluster/brique1

• Sur serveur 2 :

gluster peer probe serveur1

gluster volume create replica 2 vol_deux_briqueserveur1:/gluster/brique1 serveur2:/gluster/brique2

gluster volume start vol_deux_brique

• Sur client n :

mount –t glusterfs serveur1:/vol_deux_brique /mnt/vdb

11

Page 12: GlusterFS vfinale 2 - gelitgelit.ch/td/linux/Basbous_PPS.pdf · GlusterFS • Logiciel sous licence GPLv3 • Racheté par RedHatpour 136 Mio$ en 2011 • Système de fichier distribué,

Méthodologie de teste

• Benchmark basique [ time,dd ]

• Benchmark disque local [IOzone ]

• Débit pratique du réseau Gb [ iperf ]

• Taille fichier et débit utile sur le réseau [ wireshark ]

• Analyse du protocole GlusterFS [ wireshark ]

• Analyse débit différent scénario [ IOzone ]

12

Page 13: GlusterFS vfinale 2 - gelitgelit.ch/td/linux/Basbous_PPS.pdf · GlusterFS • Logiciel sous licence GPLv3 • Racheté par RedHatpour 136 Mio$ en 2011 • Système de fichier distribué,

Problèmes rencontrées

• Le daemon GlusterFS ne démarre pas

• Différence non négligeable des benchmarking

• Décodage Wireshark

13

Page 14: GlusterFS vfinale 2 - gelitgelit.ch/td/linux/Basbous_PPS.pdf · GlusterFS • Logiciel sous licence GPLv3 • Racheté par RedHatpour 136 Mio$ en 2011 • Système de fichier distribué,

Résultats obtenu

14

0

50

100

150

200

250

300

350

1 2 3 4

Débit global en MB/S

# de serveurs

GlusterFS écriture

GlusterFS lecture

Page 15: GlusterFS vfinale 2 - gelitgelit.ch/td/linux/Basbous_PPS.pdf · GlusterFS • Logiciel sous licence GPLv3 • Racheté par RedHatpour 136 Mio$ en 2011 • Système de fichier distribué,

Wireshark sans module GlusterFS

15

Page 16: GlusterFS vfinale 2 - gelitgelit.ch/td/linux/Basbous_PPS.pdf · GlusterFS • Logiciel sous licence GPLv3 • Racheté par RedHatpour 136 Mio$ en 2011 • Système de fichier distribué,

Wireshark avec le module GlusterFS

16

Page 17: GlusterFS vfinale 2 - gelitgelit.ch/td/linux/Basbous_PPS.pdf · GlusterFS • Logiciel sous licence GPLv3 • Racheté par RedHatpour 136 Mio$ en 2011 • Système de fichier distribué,

Merci pour votre écoute

17