gds : grid data service gabriel antoniu irisa / inria rennes réunion de lancement du projet gdx de...

GDS : Grid Data Service

Gabriel AntoniuIRISA / INRIA Rennes

Réunion de lancement du projet GdX de l’ACI Masses de Données16 septembre 2003

2

Le projet GDS

Projet de l’ACI Masses de Données (2003)

PARIS (IRISA, Rennes) REGAL (LIP6 et INRIA Rocquencourt) ReMaP (LIP, ENS Lyon)

Partenaire du projet GdX (utilisateur)

3

Contexte : gestion de données sur la grille

Simulations numériques distribuées Exemple: couplage de code Nécessite un partage des données

Mécanique des structures

Thermodynamique

Optique

Dynamique

Conception d’un satellite

4

Partage de données : l’existant

Partage explicite à grande échelle

GridFTP (Globus) et MPI-IO Sécurité, hétérogénéité

Internet Backplane Protocol (IBP) Contrôle

Gestion explicite Pas de garanties de cohérence

5

Partage de données : l’existant (2)

Partage transparent à petite échelle

Mémoire virtuellement partagée (MVP) Modèles et protocoles de cohérence Accès transparent Localisation transparente des données Architecture statique, non extensible et

homogène

6

Partage de données : l’existant (3)

Systèmes pair-à-pair (P2P) Systèmes distribués (grande échelle) Pairs volatiles Capacités responsabilités identique des pairs

Partage de données non-modifiables Centralisé (Napster) Inondation (Gnutella, KaZaA) Table de hachage distribuée (CFS, PAST)

Partage de données modifiables Un seul écrivain par donnée, peu de modifications

(OceanStore) Résolution des conflits à la « main » (Ivy)

7

Idée : service de partage de données

Proposition : approche hybride MVP : cohérence et accès transparent P2P : extensibilité et haute dynamicité

MVP Service pour la grille P2P

Échelle 101-102 103- 104 105-106

Topologie Plate Hiérarchique Plate

Dynamicité Nulle Moyenne Forte

Ressources Homogènes (grappes)

Plutôt hétérogènes (grappes de

grappes)

Hétérogènes (Internet)

Données Modifiables Modifiables Non-modifiables

Applications typiques

Calcul scientifique

Calcul scientifique et stockage de données

Partage et stockage de

fichiers

8

Service de partage de données pour la grille

Internet

Persistance

9

Service de partage de données pour la grille

Internet

Transfert de données

?

Transparence de la localisation

10

Service de partage de données pour la grille

Transfert de données

Internet

Optimisation des accès

Cohérence des données

Optimisation des accès

Cohérence des données

Internet

11

Service de partage de données pour la grille

Internet

Extensibilité de l’architectureExtensibilité de l’architecture

Internet

12

Service de partage de données pour la grille

Internet

Support de la volatilité

Internet

Support de la volatilité

13

ACI MD GDS

Objectifs Service de partage de données : architecture,

implémentation, expérimentations Intégration dans l’environnement ASP DIET

(ReMaP, LIP) Etudes

Tolérance aux fautes : stratégies de réplication Protocoles de cohérence Stratégies d’observation/introspection Ordonnancement conjoint calcul-

communication

14

Possible API du service GDS…

Alloc (size, attribs) Map (id, attribs) Put (id, value) Get (id) Lock (id) Unlock (id)

À suivre…

15

GDS : Architecture généraleGroupe global

Groupe cluster A

Groupe cluster B

Groupe cluster C

Groupe data

Architecture physique

Achitecture virtuelle

16

Prototype JuxMem

Stage de DEA de Mathieu Jan (projet PARIS, IRISA, 2003)

Utilisation de JXTA 2.0 Gestion des pairs, des groupes, des communications, etc Implémentation en tant que service utilisateur Prototype en Java

JuxMem Service JXTA + 5 000 lignes de code

http://www.irisa.fr/paris/Juxmem/welcome.htm

17

ACI MD GDS : participants

Projet PARIS (IRISA) 3 Permanents : Gabriel Antoniu, Luc Bougé, Thierry Priol 2 Doctorants

Mathieu Jan (INRIA/Région Bretagne) Sébastien Monnet (ACI MD)

Projet REGAL (LIP6/INRIA Rocquencourt) 2 Permanents : Luciana Arantes, Pierre Sens 2 Doctorants : Jean-Michel Busca, Fabio Picconi

Projet ReMaP (LIP) 2 Permanents : Eddy Caron, Frédéric Desprez 1 Doctorant : Antoine Vernois

http://www.irisa.fr/GDS

18

Interactions GDS - GdX

En deuxième partie du déroulement des projets GDS : expérimentations visées

Plates-formes « réelles »1. Grappes locales

Quelques dizaines de nœuds2. Fédération de 3 grappes (IRISA, LIP, LIP6)

De l’ordre d’une centaine de nœuds3. Fédération de quelques dizaines de grappes (GRID

5000 ?) Plusieurs milliers de nœuds

Plate-forme d’émulation GdX Emulation des configurations réelles de type fédération de

grappes

19

Expériences GDS / GdX

Topologie hiérarchique Fédération de grappes Liens rapides intra-grappes, liens lents inter-

grappes Configuration

Nombre de noeuds Topologie des interconnexions Capacité des liens : SAN, LAN, WAN Capacité de stockage en mémoire vive Capacité de stockage sur disque OS: Linux, Solaris, … Volatilité des nœuds

Simulation de pannes/déconnexions