B. Del-Fabbro CFSE’05 LIFC p.1

Data Tree Manager : Un service de gestion des données persistantes pour le calcul ASP sur la grille

Bruno DEL-FABBRO

LIFCBesançon, France

delfabbro@lifc.univ-fcomte.fr

B. Del-Fabbro CFSE’05 LIFC p.2

Plan

● Introduction: Le modèle GridRPC● Motivation de la gestion des données● Le modèle GridRPC et la gestion des données● L’approche DIET de gestion des données ● Expériences● Conclusion

B. Del-Fabbro CFSE’05 LIFC p.3

Introduction

● Calcul sur la grille = aggrégation de ressources hétérogènes Très grand potentiel Difficile pour les non spécialistes Pas ou peu de standards

● GridRPC: standard pour l’approche de calcul client-serveur (Global Grid Forum)– API basée sur le modèle RPC– Quelques Environnements ASP ; NetSolve, Ninf,

DIET…

B. Del-Fabbro CFSE’05 LIFC p.4

Modèle GridRPC

AGENT(s)

S1 S2

S3 S4

Client

A, B, C

Réponse (C)

S2 !

Requête

Op(C, A, B)

B. Del-Fabbro CFSE’05 LIFC p.5

Gestion des données

Pas de gestion des données dans le modèle GridRPC:● Un serveur de calcul ne peut pas conserver des

données localement et les réutiliser pour d’autres calculs (persistance).

● Un serveur ne peut pas émettre une donnée vers un autre serveur (redistribution).

B. Del-Fabbro CFSE’05 LIFC p.6

Limitation du modèle actuel

AGENT(s)

S1 S2

S3 S4

Client

A, BC

S2 !

C=A*B

C=A*B

S1 !

D=C-1

C

C ???D=C-1

D

B. Del-Fabbro CFSE’05 LIFC p.7

Données dans le GridRPC

Pourquoi:● Grandes à très grandes taille des

données● Eviter les transferts de données

inutiles● Localiser les données

● Mais...pas toujours utile

Client Serveur

Stockage de données

B. Del-Fabbro CFSE’05 LIFC p.8

Extension du modèle GridRPC à la gestion des données

● Accès aux données● Localisation des

données:– Données Externes – Données Internes

● !! Ne pas modifier l’API standard

Client Service

Registre

handle enregistrement

résultats

call

lookup

Stockage des données

API de gestion des données

B. Del-Fabbro CFSE’05 LIFC p.9

Gestion des données dans les plateformes GridRPC (existant)

Client ServeurClient Serveur

call

API GridRPC standard Données externes

Client Serveurresultats

call

Résultats intermédiaires

call

B=F(A)C=G(B)

A B

Client Serveur

Données externes résultats

call

B. Del-Fabbro CFSE’05 LIFC p.10

Extension à la gestion des données

Client ServeurClient Serveur

call

API GridRPC standard Utilisation de données externes

Client Serveurretour

call

persistance des données

call

B=F(A)C=G(B)

A B

Client Serveur

Transfert vers des serveurs externes

call

B. Del-Fabbro CFSE’05 LIFC p.11

Distributed Interactive Engineering Toolbox● Structure hiérarchique facilitant la mise à l’échelle● Informations distribuées le long des la hiérachie d’agents● Courtage / Ordonnancement● Persistance des données / Redistribution

MAMAMA

MAMA

LA

LALA

LA

Direct connection

Computational server (SeD)Master Agent

Local Agent

C, Fortran, Java

B. Del-Fabbro CFSE’05 LIFC p.12

DIET Data Tree Manager

DTM

DIET

Agent

SeD DataMover

DataManager

LocManager

Motivations générales :Persistance et redistribution des donnéesAPI client simple : pas de modification de l’API standardDonnées accessibles dans d’autres sessions par d’autres clients Transparence d’accès aux données (identification)

FAST :PerformanceForecasting tool

B. Del-Fabbro CFSE’05 LIFC p.13

Avantages

API simple à utiliser

Placement et mouvement des données transparents au client.

Données proches des serveurs de calcul

Inconvénients actuels

Pas de réelle politique de stockage

DIET Data Tree Manager

B. Del-Fabbro CFSE’05 LIFC p.14

Platforme de tests

•Machines Linux 0.8 up to 1.5 Ghz

•LAN : 100 Mbytes

•WAN : 16 Mbytes

•Tests réalisés en conditions réelles

•Séquence d’appel : opérations sur des matricesC = A*BD = C+EA = tA

B. Del-Fabbro CFSE’05 LIFC p.15

Résultats Experimentaux

DIET tests

0

200

400

600

800

1000

1200

1400

1600

1800

0.8 1.6 4 6 8 16 24 32 64 128Matrix size (Mbytes)

Com

puta

tion

time

without persistencewith DTM : local datawith DTM : remote Data

B. Del-Fabbro CFSE’05 LIFC p.16

Quelques exemples d’applications cibles● Modélisation Numérique de Terrain:

– Calcul du modèle numérique de terrain– + rendu 3D ou + positionnement d’antennes

● Simulation de physique moléculaire:– Simulation Monte Carlo de la cinétique de déposition

d’atomes sur substrat– Visualisation Povray

● Dividing cube:– Extraction d’ISO surfaces– Reconstruction d’images– Visualisation

B. Del-Fabbro CFSE’05 LIFC p.17

Client

Div Cube ?

MA

LA

SeD1 DM1

LM1

LM0

ID1, file, /../../file1.vox, …, ..

SeD1!

Ajout fichier vox

id1,

jpeg

_file Id1, DM1

Id1, LM1

Exemple d’utilisation : Dividing Cube

Algorithme d’extraction d’iso surfaces

Vox_file

Calcul

B. Del-Fabbro CFSE’05 LIFC p.18

Use Case : Dividing Cube

Client

Div Cube ?

MA

LA

SeD1 DM1

LM1

LM0

ID1, file, /../../file1.vox, …, ..

Id1, DM1

Id1, LM1SeD1!

Solve(id1,..)

getData(id1)

Calcul

Jpeg file

Donnée déjà présente

B. Del-Fabbro CFSE’05 LIFC p.19

Exemple d’utilisation : Dividing Cube

Temps d'exécution avec ou sans DTM

0

200

400

600

800

1000

1200

1400

1600

0,031 0,25 1 2 4 16 32 64 128 256 512File size (MBytes)

com

puta

tiona

l tim

e

without DTMwith DTMserver time 52%

B. Del-Fabbro CFSE’05 LIFC p.20

Conclusion et Perspectives

Conclusion Intérêt de l’approche : gain en temps de calcul total, transparence

Proposition de normalisation en cours de discussion dans la cadre du GridRPC Working Group au GGF pour la gestion des données.

Perspectives Politique de conservation de la donnée :

Combien de temps ? Valeur de TTL, algorithme type LRU

Hétérogénéité : récupérer ou fournir des données externes à la plateforme.

Service de Réplication : API pour la réplication : fournie à l’ordonnanceur Evaluation de performances = FAST (meilleurs candidats pour les transferts) Cohérence des données ? Intérêt ?

B. Del-Fabbro CFSE’05 LIFC p.21

Bruno DEL-FABBRO

LIFCBesançon, France

delfabbro@lifc.univ-fcomte.fr

Data Tree Manager : Un service de gestion des données persistantes pour le calcul ASP sur la grille