Téléverser un fichier

contribution à la conception et à limplantation de la structure de données distribuée et...

  • Home
  • Documents
  • Contribution à la Conception et à lImplantation de la Structure de Données Distribuée et Scalable à Haute Disponibilité: LH* RS Rim Moussa [email protected]
of 63 /63
Contribution à la Conception et à l’Implantation de la Structure de Données Distribuée et Scalable à Haute Disponibilité: LH* RS Rim Moussa Rim Moussa [email protected] [email protected] http://ceria.dauphine.fr/rim/ http://ceria.dauphine.fr/rim/ rim.html rim.html Présentation de Thèse en Informatique Directeur de Thèse: Pr. Witold Litwin Rapporteurs: Pr. Thomas J.E. Schwarz Pr. Toré Risch Suffrageant: Pr. Gérard Lévy Université Paris Dauphine *CERIA Lab. *04 Octobre 2004

Author: donatienne-duriez

Post on 03-Apr-2015

111 views

Category:

Documents


4 download

Report

Embed Size (px)

TRANSCRIPT

  • Page 1
  • Contribution la Conception et lImplantation de la Structure de Donnes Distribue et Scalable Haute Disponibilit: LH* RS Rim Moussa [email protected]://ceria.dauphine.fr/rim/rim.html Prsentation de Thse en Informatique Directeur de Thse: Pr. Witold Litwin Rapporteurs: Pr. Thomas J.E. Schwarz Pr. Tor Risch Suffrageant: Pr. Grard Lvy Universit Paris Dauphine *CERIA Lab. *04 Octobre 2004
  • Page 2
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 2 Plan 1. Problmatique 2. Etat de lArt 3. Fondements Thoriques de LH* RS 4. Le Gestionnaire LH* RS 5. Exprimentations 6. Cration dun Fichier LH* RS 7. Rcupration de Cases 8. Ajout de Cases de Parit 9. Conclusion & Travaux Futurs
  • Page 3
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 3 Faits Volume dInformation de 30% /an Technologie Infrastructure Rseau >> Daprs la loi de Gilder, la bande passante triple tous les ans. Evolution en Capacits de Stockage & de Calcul des PCs >> Daprs la loi de Moore, les capacits de stockage & de calcul des PCs doublent tous les 18 mois. Diffrentiel Disques & CPUs Besoin de Systmes de Stockage de Donnes Distribus les SDDS: LH*, RP* Haut Dbit
  • Page 4
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 4 Faits Rseau checs Frquents et Coteux >> Stat. publies par le Contingency Planning Research en 1996: le cot dinterruption de service/h dune app. de courtage est $6,45 million. Besoin de Syst mes de Stockage Distribu s et Haute Disponibilit Multiordinateurs >>Architecture Modulaire >>Bon Rapport Prix Performance
  • Page 5
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 5 Etat de lArt Calcul de Parit (+) (+) Bon Temps de Rponse, les miroirs sont fonctionnels (-) Cot de Stockage ( n si n rpliquas) Rplication des Donnes Critres dvaluation de Codes de Correction dEffacements (ang. Erasure-resilient codes): Taux de Codage (volume parit / volume donnes) Pnalit de Mise Jour (des volumes de parit) Taille du Groupe utilis pour la Rcupration Complexit du Codage & du Dcodage Capacit de Rcupration
  • Page 6
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 6 Schmas de Parit Schmas 1-disponibles Schmas k-diponibles Codes Linaires Binaires: [H94] Tolrent au max. 3 checs Array Codes: EVENODD [B94 ], X-code [XB99], RDP [C+04] Tolrent au max. 2 checs Codes Reed Solomon: IDA [R89], RAID X [W91], FEC [B95], Tutorial [P97], LH* RS [LS00] Tolrent k checs Calcul de parit par XOR : Technologie RAID [PGK88], SDDS LH*g [L96]
  • Page 7
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 7 Plan 1. Problmatique 2. Etat de lArt 3. Fondements Thoriques de LH* RS LH* RS ? SDDSs? Codes Reed Solomon? Optimisations Codage/Dcodage 4. Le Gestionnaire LH* RS 5. Exprimentations .
  • Page 8
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 8 LH* RS ? Distribution par Hachage Linaire (LH* LH [KLR96]) des Donnes sur les Serveurs. Gestionnaire LH* LH [B00] Scalabilit & Haut Dbit Haute Disponibilit LH*: Structure de Donnes Distribue & Scalable Calcul de Parit par les Codes Reed-Solomon [RS63] LH* RS [LS00]
  • Page 9
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 9 Principes des SDDSs (1) Extension Dynamique du Fichier Client Rseau Client Cases de Donnes SURCHARGEE Eclatement Insertions Coordinateur Transfert Enregistrements
  • Page 10
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 10 Principes Principes des SDDS (2) Rseau (2) Absence de Rpertoire dAccs Centralis Cases de Donnes Client Requte Renvoi de Requte Message Ajustement Image Client Image Fichier
  • Page 11
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 11 Codes Reed-Solomon Intrt A partir de m symboles de donnes calcul de n symboles de parit Reprsentation des Donnes Corps de Galois Corps de taille finie: q Proprit de fermeture sous: Addition, Soustraction, Multiplication, Division. Dans un CG(2 w ) (1) Addition (XOR) (2) Multiplication (Tables: gflog et antigflog) e 1 * e 2 = antigflog[ gflog[e 1 ] + gflog[e 2 ] ]
  • Page 12
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 12 100000 C 1,1 C 1,j C 1,n-m 01000 0 C 2,1 C 2,j C 2,n-m 00100 0 C 3,1 C 3,j C 3,n-m 0 0000 1 C m,1 C m,j C m,n-m Codage RS S 1 S 2 S 3 S i S m S 1 S m P 1 P 2 P j P n-m = C 1,j C 2,j C 3,j C m,j PjPj (S 1 C 1,j ) (S 2 C 2,j ) (S m C m,j ) m-1 XORs CG m Multiplications CG S 1 S 2 S 3 S i S m ImIm P(m (n-m)) (1) Codage Systmatique: Matrice de la forme (Im|P) (2) Toutes m colonnes doivent tre linairement indpendantes Matrice de Codage
  • Page 13
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 13 Dcodage Optimis Multiplier lesm symboles OK par seulement les colonnes de H -1 correspondant aux symboles perdus m symboles OK H m : m colonnes correspondantes H -1 = [ S 1 S 2 S 3 S 4 .. S m ] Pivot de Gauss 100000C 1,1 C 1,2 C 1,3 C 1,n-m 01000 0 C 2,1 C 2,2 C 2,3 C 2,n-m 00100 0 C 3,1 C 3,2 C 3,3 C 3,n-m 0 00 0 0 1 C m,1 C m,2 C m,3 C m,n-m Dcodage RS S 1 S 2 S 3 S 4 S m P 1 P 2 P 3 P n-m
  • Page 14
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 14 Corps de Galois Matrice de Parit Optimisations Pr-calcul du log (+) CG(2 16 ) vs. CG(2 8 ) rduit de 1/2 le #Symboles #Oprations dans le CG. CG(2 8 ) 1 symbole = 1 Octet CG(2 16 ) 1 symbole = 2 Octets (-) Tailles des Tables de Multiplication CG(2 8 ): 0,768 Ko CG(2 16 ): 393,216 Ko (512 0,768)
  • Page 15
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 15 Corps de Galois Matrice de Parit Optimisations (2) Pr-calcul du log 1re Colonne de 1s La 1re case de parit se code en XOR gain en codage/dcodage 1re Ligne de 1s Toute Mise jour parvenant de la 1re case de donnes est traite en XOR gain en performance de 4% (Cration case de parit, m =4) 0001 0001 0001 0001 eb9b 2284 0001 2284 974 0001 9e44 d7f1
  • Page 16
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 16 Corps de Galois Matrice de Parit Optimisations (3) Pr-calcul du log Codage Pr-calcul du log des coef. de la matrice P Amlioration de 3,5% 0000 0000 0000 0000 5ab5 e267 0000 e267 0dce 0000 784d 2b66 Dcodage Pr-calcul du log des coef. de la matrice H -1 et des symboles OK Amlioration de 4% 8% en fonction du #Cases rcuprer But: Rduire la complexit de la Multiplication CG e 1 * e 2 = antigflog[ gflog[e 1 ] + gflog[e 2 ] ]
  • Page 17
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 17 Groupe de Parit LH* RS Cases de Donnes Cases de Parit : Cl; Champs Donnes Rang Insertion r : Rang; [Liste-cls ]; Champs Parit Cl r 210 210 210 210 Un groupe k-disponible permet des survivre lchec de k cases Concept de Groupage m: #cases de donnes k: #cases de parit
  • Page 18
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 18 Plan 1. Problmatique 2. Etat de lArt 3. Fondements Thoriques de LH* RS 4. Le Gestionnaire LH* RS Communication Gross Architecture 5. Exprimentations 6. Cration dun Fichier LH* RS 7. Rcupration de Case
  • Page 19
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 19 Communication TCP/IPUDPMulticast Requtes Individuelles (Insertion, MAJ, Suppression, Recherche) Rcupration Enregistrement Messages de Service Rapidit
  • Page 20
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 20 Communication TCP/IPUDPMulticast Transfert de Gros Volumes de Donnes Ajout Case de Parit Transfert MAJ parit et Enregistrements (clatement Serveur) Rcupration Serveurs Performance & Fiabilit
  • Page 21
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 21 Communication TCP/IPUDPMulticast Recherche de Nouveaux Serveurs de Donnes ou de Parit Communication Multipoints
  • Page 22
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 22 Architecture (1)Gestionnaire de Connexions TCP/IP Principe de Crdit dEnvoi & Conservation de Messages jusqu Rception ACK [J88, GRS97, D01] Rcupration 1 Case (3,125 MO ): SDDS 2000: 6,7 s SDDS2000-TCP: 2,6 s (Config. Matrielle: CPU 733MhZ machines, Rseau 100Mbps) Avant Amlioration de 60% Les connexions TCP/IP sont ouvertes (ang. passive OPEN), RFC 793 [ISI81], TCP/IP sous Win2K Server [MB00] (2)Contrle de Flux & Acquittement Messages (CFAM) Par rapport, l Architecture SDDS2000 du Gestionnaire LH* LH [B00],
  • Page 23
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 23 Architecture (2) Avant Ajout de Serveurs (de donnes ou de parit) par Multicast: (3)Structure dAdresses IP dynamique Table dallocation de serveurs, pr-dfinie et rplique sur tous les serveurs Groupe Multicast de Cases de Donnes Groupe Multicast de Cases de Parit Coordinateur Cases Cres
  • Page 24
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 24 Architecture (3) Port coute Multicast Port Envoi UDP Port TCP/IP Port coute UDP Thread coute UDP File Messages Thread coute TCP Thread coute Multicast File Messages Threads de Travail Rseau Thread Gestion Ack Zones Libres Messages en attente ACK. Messages non acquitts Structure Acquittement
  • Page 25
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 25 Exprimentations Evaluation des Performances * Temps CPU *Temps de Communication Environnement Exprimental *5 Machines (Pentium IV: 1.8 GHz, RAM: 512 Mb) *Rseau Ethernet de 1 Gbps *Systme dexploitation: Win2K Server *Configuration teste: Un Client, Un groupe de 4 Cases de Donnes, k Cases de Parit (k = 0,1,2,3).
  • Page 26
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 26 Plan 1. Problmatique 2. Etat de lArt 3. Fondements Thoriques de LH* RS 4. Le Gestionnaire LH* RS 5. Exprimentations 6. Cration dun Fichier LH* RS MAJ des Cases de Parit Performances 7. Rcupration de Cases 8. Ajout de Cases de Parit
  • Page 27
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 27 Cration Fichier Manipulations Client Propagation des Insertions/ Mises Jour / Suppressions des enregistrements de donnes vers les cases de parit. MAJ: Transmission du enregistrement. Suppression: Gestion de Rangs Libres dans les cases de donnes. Eclatement dune Case de donnes N1: #Enregistrements restants N2: #Enregistrements partants Groupe de Parit de la Case en clatement N1+N2 Suppressions + N1 Insertions Groupe de Parit de la Nouvelle Case de Donnes N2 Insertions
  • Page 28
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 28 Performances Config. Crdit Envoi Client = 1 Crdit Envoi Client = 5 Max Taille Case = 10 000 enregistrements Fichier de 25 000 enregistrements 1 enregistrement = 104 Octets Peu de diffrence entre CG(2 8 ) et CG(2 16 )
  • Page 29
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 29 Performances Config. Crdit Envoi Client = 1 Crdit Envoi Client = 5 k = 0 ** k = 1 Dgradation des Perf. de 20% k = 1 ** k = 2 Dgradation des Perf. de 8%
  • Page 30
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 30 Performances Config. Crdit Envoi Client = 1 Crdit Envoi Client = 5 k = 0 ** k = 1 Dgradation des Perf. de 37% k = 1 ** k = 2 Dgradation des Perf. de 10%
  • Page 31
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 31 Plan 1. Problmatique 2. Etat de lArt 3. Fondements Thoriques de LH* RS 4. Le Gestionnaire LH* RS 5. Exprimentations 6. Cration dun Fichier LH* RS 7. Rcupration de Cases Scnario Performances 8. Ajout de Cases de Parit
  • Page 32
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 32 Dtection dchecs tes-vous OK? Cases de Donnes Cases de Parit Scnario Coordinateur
  • Page 33
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 33 Attente de Rponses OK Cases de Donnes Cases de Parit Scnario (2) OK Coordinateur
  • Page 34
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 34 Recherche de Serveurs de Secours tre Serveur ? Scnario (3) Groupe Multicast de Cases de donnes Coordinateur
  • Page 35
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 35 Attente de Rponses Lancer Ecoute UDP, Lancer Ecoute TCP, Lancer Threads de Travail *Attente Confirmation* Si Time-out expire Tout annuler OK Scnario (4) Groupe Multicast de Cases de donnes Coordinateur
  • Page 36
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 36 Slection de Serveurs de Secours Scnario (5) Groupe Multicast de Cases de donnes Confirm Annul Confirm Confirmation Coordinateur
  • Page 37
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 37 Cases de Parit Rcuprer Scnario (6) Slection du Gestionnaire de Rcupration Coordinateur
  • Page 38
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 38 Cases de Donnes Cases de Parit Gestionnaire de Rcupration Cases de Secours Cases participant la rcupration Recherche Enregs Scnario (7) Phase dInterrogation
  • Page 39
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 39 Phase de Dcodage Tranches Rcupres Cases de Donnes Cases de parit Cases de Secours Cases participant la rcupration Tampons Scnario (8) Phase de Reconstruction Gestionnaire de Rcupration Phase dInterrogation en //
  • Page 40
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 40 2 Cases1 Case XORConfig. 1 Case RS XOR vs. RS Performances Info Fichier Fichier de 125 000 Enregs Taille Enreg. = 100 octets Taille Case = 31250 enregs 3.125 MO Groupe de 4 Cases de Donnes (m = 4), k-disponible avec k = 1,2,3 Dcodage * CG(2 16 ) * Dcodage RS + (RS +Pr-calcul du log de H -1 et des Symboles OK) Rcupration par Tranche (auto-adaptation aux capacits des PCs)
  • Page 41
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 41 2 Cases1 Case XORConfig. 1 Case RS XOR vs. RS Performances Tranche Temps Total (sec) Temps Trait. (sec) Temps Com. (sec) 12500,6250,2660,348 31250,5880,2550,323 62500,5520,2400,312 156250,5620,2550,302 312500,5780,2500,328 Tranche (de 4% 100% du contenu de la case) Temps Total constant 0,58
  • Page 42
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 42 2 Cases1 Case XORConfig. 1 Case RS XOR vs. RS Performances Tranche Temps Total (sec) Temps de Trait. (sec) Temps de Com. (sec) 12500,7340,3490,365 31250,6880,3590,323 62500,6560,3540,297 156250,6670,3600,297 312500,6880,3600,328 0,67 Tranche (de 4% 100% du contenu de la case) Temps Total constant
  • Page 43
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 43 2 Cases1 Case XORConfig. Performances Temps rcupration d1 case -XOR : 0,58 sec XOR dans CG(2 16 ) ralise un gain de 13% sur le Temps Tot. (et de 30% sur le Temps CPU) Temps rcupration d1 case RS : 0,67 sec 1 Case RS XOR vs. RS
  • Page 44
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 44 3 Cases2 CasesRcapitulatifXOR vs. RS1 Case RS Performances Tranche Temps Total (sec) Temps Trait. (sec) Temps Com. (sec) 12500,9760,5770,375 31250,9320,5890,338 62500,8830,5620,321 156250,8750,5620,281 312500,8750,5620,313 0,9 Tranche (de 4% 100% du contenu de la case) Temps Total constant
  • Page 45
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 45 3 Cases2 CasesRcapitulatifXOR vs. RS1 Case RS Performances TrancheTemps Total (sec) Temps Trait. (sec) Temps Com. (sec) 12501,2810,8280,406 31251,2500,8280,390 62501,2110,8520,352 156251,1880,8230,361 312501,2030,8280,375 1,23 Tranche (de 4% 100% du contenu de la case) Temps Total constant
  • Page 46
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 46 Performances 3 Cases2 CasesRcapitulatifXOR vs. RS1 Case RS f Taille Case (MO) Temps Total (sec) Vitesse de R cup.( MO/sec ) 1 (XOR) 1 (RS) 3,125 0,674,46 0,583,65 26,2500,95,21 39,3751,235,86 Temps rcupration de f cases f Temps rcupration d1 case Mme Phase dInterrogation Donc, le + est du au temps de dcodage et denvoi de tampons de rcupration
  • Page 47
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 47 Performances CG(2 8 ) XOR dans CG(2 8 ) amliore les temps de 60% p.r. un dcodage RS dans CG(2 8 ) Un dcodage RS/RS+ dans CG(2 16 ) ralise un gain en performance de 50% p.r. CG(2 8 ). 3 Cases2 CasesRcapitulatifXOR vs. RS
  • Page 48
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 48 Plan 1. Problmatique 2. Etat de lArt 3. Fondements Thoriques de LH* RS 4. Le Gestionnaire LH* RS 5. Exprimentations 6. Cration dun Fichier LH* RS 7. Rcupration de Cases 8. Ajout de Cases de Parit Scnario Performances
  • Page 49
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 49 Scnario Groupe Multicast de Cases de Parit Rejoindre groupe g ? Recherche dune Nouvelle Case de Parit Coordinateur
  • Page 50
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 50 Scnario (2) Coordinateur OK Lancer Ecoute UDP, Lancer Ecoute TCP, Lancer Threads de Travail *Attente Confirmation* Si Time-out expire Tout annuler Attente de Rponses Groupe Multicast de Cases de Parit
  • Page 51
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 51 Scnario (3) Vous tes Slectionne Confirm Annul Slection Groupe Multicast de Cases de Parit Coordinateur
  • Page 52
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 52 Demande denregistrements ! Scnario (4) Groupe de Cases de Donnes Nouvelle Case de Parit Auto-cration *Phase interrogation
  • Page 53
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 53 Tampons Scnario (5) Groupe de Cases de Donnes Traitement Tampon Auto-cration *Phase de Codage Nouvelle Case de Parit
  • Page 54
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 54 Performances Max Taille Case : 5000.. 50000 enregs Taux Remplissage Cases: 62,5% Taille Enreg: 100 octets Groupe de 4 Cases de Donnes Codage CG(2 16 ) RS++ ( Pr-calcul du log & la ligne de 1s Trait. tampon 1re case de donnes en XOR) XORRS XOR vs. RS Config.CG(2 8 )
  • Page 55
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 55 Performances Taille Case Temps Total (sec) Temps Trait (sec) Temps Com. (sec) 50000.1900.1400.029 100000.4290.3040.066 250001.0070.7380.144 500002.0621.4840.322 Taille Case: T.Trait 74% T.Total 0.659 0.640 0.686 0,608 Vitesse Codage MO/sec XORRS XOR vs. RS Config.CG(2 8 )
  • Page 56
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 56 Performances Taille Case Temps Total (sec) Temps Trait (sec) Temps Com. (sec) 50000.1930.1490.035 100000.4460.3280.059 250001.0530.7660.153 500002.1031.5310.322 0.673 0.674 0.713 0,618 Vitesse Codage MO/sec Taille Case: T.Trait 74% T.Total XORRS XOR vs. RS Config.CG(2 8 )
  • Page 57
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 57 Performances Vitesse Codage XOR : 0,660 MO/sec Vitesse Codage RS: 0,673 MO/sec XOR ralise un gain en performance de trait. de 5% ( seulement 0,02% sur le temps total) Pour Taille Case = 50000 enregs. XORRS XOR vs. RS Config.CG(2 8 )
  • Page 58
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 58 XORRS XOR vs. RS Config.CG(2 8 ) Performances Idem que CG(2 16 ), le Temps Trait. = Temps Total XOR dans CG(2 8 ) amliore le temps de trait. de 22%
  • Page 59
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 59 Conclusion Les exprimentations ont prouv que: Les Optimisations apportes Codage/dcodage Architecture Impact sur les Performances Bonnes Performances de Rcupration
  • Page 60
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 60 Travaux Futurs Propagation des MAJs vers les cases de parit Fiabilit Rapidit Dcharger le Coordinateur Parity Declustering Recherche de codes + optimiss
  • Page 61
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 61 Rfrences [PGK88] D. A. Patterson, G. Gibson & R. H. Katz, A Case for Redundant Arrays of Inexpensive Disks, Proc. of ACM SIGMOD Conf, pp.109-106, June 1988. [ISI81] Information Sciences Institute, RFC 793: Transmission Control Protocol (TCP) Specification, Sept. 1981, http://www.faqs.org/rfcs/rfc793.htmlhttp://www.faqs.org/rfcs/rfc793.html [MB 00] D. MacDonal, W. Barkley, MS Windows 2000 TCP/IP Implementation Details, http://secinf.net/info/nt/2000ip/tcpipimp.html http://secinf.net/info/nt/2000ip/tcpipimp.html [J88] V. Jacobson, M. J. Karels, Congestion Avoidance and Control, Computer Communication Review, Vol. 18, No 4, pp. 314-329. [XB99] L. Xu & J. Bruck, X-Code: MDS Array Codes with Optimal Encoding, IEEE Trans. on Information Theory, 45(1), p.272-276, 1999. [CEG+ 04] P. Corbett, B. English, A. Goel, T. Grcanac, S. Kleiman, J. Leong, S. Sankar, Row-Diagonal Parity for Double Disk Failure Correction, Proc. of the 3 rd USENIX Conf. On File and Storage Technologies, Avril 2004. [R89] M. O. Rabin, Efficient Dispersal of Information for Security, Load Balancing and Fault Tolerance, Journal of ACM, Vol. 26, N 2, April 1989, pp. 335-348. [W91] P.E. White, RAID X tackles design problems with existing design RAID schemes, ECC Technologies, ftp://members.aol.com.mnecctek.ctr1991.pdfftp://members.aol.com.mnecctek.ctr1991.pdf [GRS97] J. C. Gomez, V. Redo, V. S. Sunderam, Efficient Multithreaded User-Space Transport for Network Computing, Design & Test of the TRAP protocol, Journal of Parallel & Distributed Computing, 40 (1) 1997.
  • Page 62
  • 04 Oct. 04 * Prsentation de Thse R. Moussa, U. Paris Dauphine 62 Rfrences (2) [BK+ 95] J. Blomer, M. Kalfane, R. Karp, M. Karpinski, M. Luby & D. Zuckerman, An XOR-Based Erasure- Resilient Coding Scheme, ICSI Tech. Rep. TR-95-048, 1995. [LS00] W. Litwin & T. Schwarz, LH* RS : A High-Availability Scalable Distributed Data Structure using Reed Solomon Codes, p.237-248, Proceedings of the ACM SIGMOD 2000. [KLR96] J. Karlson, W. Litwin & T. Risch, LH*LH: A Scalable high performance data structure for switched multicomputers, EDBT 96, Springer Verlag. [RS60] I. Reed & G. Solomon, Polynomial codes over certain Finite Fields, Journal of the society for industrial and applied mathematics, 1960. [P97] J. S. Plank, A Tutorial on Reed-Solomon Coding for fault-Tolerance in RAID-like Systems, Software Practise & Experience, 27(9), Sept. 1997, pp 995- 1012, [D01] A.W. Dine, Contribution la Gestion de Structures de Donnes Distribues et Scalables, PhD Thesis, Nov. 2001, Universit Paris Dauphine. [B00] F. Sahli Bennour, Contribution la Gestion de Structures de Donnes Distribues et Scalables, PhD Thesis, Juin 2000, Universit Paris Dauphine. + Rfrences: http://ceria.dauphine.fr/rim/theserim.pdf
  • Page 63
  • Merci de votre Attention Questions ?

CV BOOK PROMOTION 2015 - master4206.dauphine.frmaster4206.dauphine.fr/.../master4206/2014-2015/CV_Book_Promo_20… · Mehdi BELARBI E-mail : mmbelarbi@gmail.com Langues parlées :
IH* – Hachage Multidimensionnel Distribu é et Scalable
CIP – 2010 Ressources numériques de Dauphine Ressources numériques de Dauphine Guillaume Bézier support.intercours@dauphine.fr
- Prévention Santé Environnement - Mr Boutin1 Empêche limplantation de lœuf dans lutérus Fiable à …… LE STERILET
1 Manipulations Multibases et Distribuées (Partie 2) Witold.Litwin@dauphine.fr litwin/witold.html
ScaleCom: Scalable Sparsified Gradient Compression for ......ScaleCom: Scalable Sparsified Gradient Compression for Communication-Efficient Distributed Training Chia-Yu Chen 1,
Le test de concordance de scripts dans les facultés de ... 13/Memoire Dr... · retard très net à limplantation des TCS en France en 2013. Limplantation des TCS semble nécessaire
François Breton Limplantation des systèmes dinformations cliniques: Description du processus et évaluation partielle du succès
1 Manipulations Multibases et Distribuées (Partie 2) Witold.Litwin@dauphine.fr
1 Manipulations Multibases et Distribuées (Partie 2) Witold.Litwin@dauphine.fr
NOSE: a Nomadic, Modular, Scalable IT Platform for Pervasive Sensing
Limplantation des rayons en grande et moyenne surface
SVG: Scalable Vector Graphics
Scalable energy-efficient magnetoelectric spin–orbit logicsasikanth.us/static/Papers/Scalable energy_effificient.pdfreversal of the material’s order parameter (such as ferromagnetism,
Implantation - adressage ? Limplantation des produits dans un lieu de stockage
CV BOOK - controle202.dauphine.frcontrole202.dauphine.fr/fileadmin/mediatheque/masters/master202/... · Master 1 : Management général – IAE Aix – Graduate School of Management
SVG: Scalable Vector Graphics Exemple: Vienne. AWEB - 21-02-06 SVG: Scalable Vector Graphics Dialecte dXML pour la représentation de graphique vectoriel
Anne-Marie Kermarrec – Scalable personalization infrastructures
Master Sciences des Organisations M1 Economie Frédéric Peltrault Responsable du M1 Economie frederic.peltrault@dauphine.fr
Les sujets de séparation et dissociation comptables …chairgovreg.fondation-dauphine.fr/sites/chairgovreg.fondation... · ... la consolidation et la ... Quels sont les avantages
Marc Raffinot Université Paris Dauphine, DIAL raffinot@dauphine.fr
ASSET MANAGEMENTmaster222.dauphine.fr/fileadmin/mediatheque/masters/...continue master222.dauphine.fr MASTER FINANCE 222 GESTION D’ACTIFS ASSET MANAGEMENT • Créé en 2000, le
UNIVERSITÉDEMONTRÉAL FAST,SCALABLE,ANDFLEXIBLEC+
SD-SQL Server: Un Système de Gestion de Bases de Données Distribuées et Scalables Soror Sahri Soror.Sahri@dauphine.fr
Limplantation de la méthodologie Gineste- Marescotti au Centre hospitalier universitaire de Québec Gilles Le Beau, Ingénieur, Directeur de lamélioration
Dominique MEDA - IRISSOirisso.dauphine.fr/.../irisso/documents/CV_D._MEDA_2013.pdf · Dominique MEDA dominique.meda@dauphine.fr ... Méda Dominique, 2009, « Trabajo, identitad »
SVG: Scalable Vector Graphics Exemple: Vienne Christine Potier, INF347, 20 juin 2008
Patrice.geoffron@dauphine.fr 1 «Cadrage géostratégique : les enjeux des marchés mondiaux des énergies » Patrice Geoffron Professeur, Université Paris-Dauphine
Rim Moussa Rim.Moussa@dauphine.fr ceria.dauphine.fr/rim/rim.html
NodeJS et SocketIO en mode scalable dans le Cloud - GAB 2015
Scalable SCM: Avoiding the Trauma, Disruption and ... - IBM€¦ · scalable SCM—allows organizations to start small with a simple SCM solution that enables them to grow without
Numérique et facilités essentielleschairgovreg.fondation-dauphine.fr/sites/chairgovreg.fondation... · du Net est souvent appréhendée par le prisme restrictif de la neutralité
1 Manipulations multibases et distribuées Partie 3 Witold Litwin Witold.Litwin@dauphine.fr
SVG: Scalable Vector Graphics Christine Potier INF347 - 23-06-09 1 Christine Potier Télécom-ParisTech INF347 – 22 juillet 2009
Marie-Agnes.Gheeraert@dauphine.fr Salahddine.Aberkan@dauphine.fr, Lionel.Lenoble@dauphine.fr ESUP DAY – 3 juillet 2013 E-candidat Dématérialisation des