olivier soyez directeurs de thèse : cyril randriamaro – vincent villain stockage dans les...

Olivier Soyez Directeurs de Thse : Cyril Randriamaro Vincent Villain Stockage dans les systmes Pair Pair

2 Un pair? Internet

3 Emule

4 14 Millions dutilisateurs 1,4 Milliards de fichiers = Plusieurs Po

5 Pair Pair (P2P) ? Qui possde les ressources qui alimentent le systme ? lensemble des pairs

6 Plan Les systmes de stockage Pair Pair Le projet Us Politiques de distribution Conclusion / Perspectives

7 Applications du P2P Partage des fichiers Diffusion de MP3, DIVX Pionnier : Napster (Shawn Fanning) Emule (Open Source) Partage de CPU Applications scientifiques Seti@Home (Berkeley) Dcrypthon (Tlthon) XtremWeb (Paris XI - LRI) Partage des disques

8 OceanStore (Berkeley) CFS (MIT) PAST (Rice) PASTA (Microsoft) Farsite (Microsoft) InterMemory (NEC) Ivy (MIT) PlanetP (Rutger U.) Mnemosyne (sprintlab) Clique (HP) Mammoth (BC U) Ficus (UCLA) Tornado (Tsing Hua U.)... Projet IRIS (12 M$) MIT, Berkeley, Rice,... (http://project-iris.net) Projet DELIS (http://delis.upb.de) Projet IRIS (12 M$) MIT, Berkeley, Rice,... (http://project-iris.net) Projet DELIS (http://delis.upb.de) Projets stockage P2P

9 Indexation centralise IBP (LoCI) Intermemory (NEC) Indexation distribue PAST (Rice) PASTIS (Paris VI - LIP 6) Ivy (MIT) OceanStore (Berkeley) Deux grandes classes DHT

10 Table de Hachage Distribue (DHT) Ensemble des identifiants cods sur m bits 1 2 3 5 4

11 Modle en couches (CFS : Chord File System ) Primitives simples (put, get) Table de hachage distribue Application distribue get (cl) donne put(cl, donne) Service de localisation lookup(cl) Adresse IP (Application) (DHT) (Overlay) Table de Hachage Distribue (DHT) (Pairs) (Routage) (Prennit)

12 Routage dynamique (Overlay) 0 2 m-1 1 9 Chaque pair mmorise k pairs de distance 2 i, 1 i k 64 32 16 8 4 2 128 137 Chord

13 criture dun fichier (DHT) 8 19 41 56 30 1 4 14 12

14 Lecture dun fichier (DHT) 8 19 41 56 30 1 4 fichier 12? 12 14

15 criture dun fichier (DHT) 8 19 41 56 30 1 4 14 12

16 Prennit? (DHT) 8 19 41 56 30 1 4 14 12

17 Le projet Us

18 Sauvegarde

19 Incident

20 Restauration

21 A)Rplication (DHT) - Donnes dupliques : k fois - Espace utile : 1/k - Tolrance : k-1 pannes k = 2 vs (s,r)=(4, 4) Redondances B)Codes Correcteurs (Us) - Donnes fragmentes : s - Redondance : r - Espace utile : s / (s+r) - Tolrance : r pannes Reconstruction = s quelconques parmi s+r

22 Redondance : vie des donnes ? Temps Fragments disponibles s+r s 0 Seuil critique Fragments d1 bloc avec s=3, r=5

23 Redondance + Maintien Temps s+r s 0 Fragments d1 bloc avec s=3, r=5 Fragments disponibles

24 Us = Disque Dur Virtuel P2P Prenne

25 Architecture Us Systme de fichier UsFS Client Us Utilisateur Us Fragments Blocs Fournisseur

26 Stockage dun fichier f=s+r fragments s fragments blocs fichier fragmentation redondance dcoupage Us UsFs

27 Distribution des donnes

28 Environnement Pair Pair Pannes Dconnections frquentes Couche communication Internet (ADSL) : Rception >> Envoi Bande passante limite des Pairs Contexte Us

29 Chaque pair stocke 100 fragments de taille 1 Mo Un bloc est compos de f=31 fragments Rgnrer un fragment perdu Envoi des f-1 fragments Exemple A la mort dun seul pair 100*30=3000 fragments 3 Go

30 Exemple 2 minutes ! 128 Kb 10 Mb 4 heures !

31 Cot de reconstruction lev Nombreuses reconstructions Problmatique XY Cot de reconstruction = Nombre maximum de fragments envoys dans le pire des cas

32 Le cot de reconstruction est linaire et facteur du nombre de blocs stocks Thorme du repliement XY Cot=2 X Y Trouver une distribution optimale de cot de reconstruction = 1

33 Maximiser le nombre de blocs Cot de reconstruction = 1 Intersection entre 2 blocs 1 Formulation du problme XY

34 Cas idal BiBi BjBj Et a, pour tous les pairs !

35 Trouver un ensemble maximal de listes de f lments parmi N Intersection entre 2 listes distinctes 1 1 liste de f lments = 1 bloc f=5 X : {1,2,3,4,5} et Y : {5,6,7,8,9} N = nombre total de pair Formulation mathmatique SOLUTION ?

olivier soyez directeurs de thèse : cyril randriamaro – vincent villain stockage dans les...

Documents