vers l'orchestration des grilles de pcs par les mécanismes...

ContexteProblematiques

ContributionsTravaux en cours & travaux futurs

Vers l’orchestration des grilles de PCs par lesmecanismes de publication-souscription

issus des technologies du WEB

Presente parLeila Abidi

sous la direction deChristophe Cerin & Mohamed Jemni

Universite de Paris 13, LIPN UMR CNRS 7030, France

Universite de Tunis, LaTICE ENSIT, Tunisie

Vichy, 3 juin 2014

1/28 L.ABIDI Vers l’orchestration des grilles de PCs pas les mecanismes de pub-sub

Outline

1 Contexte

2 Problematiques

3 Contributions

4 Travaux en cours & travaux futurs

Outline

1 Contexte

2 Problematiques

3 Contributions

Nous etudions les Grilles de PC, lecalcul volontaire... pour aller vers lesorganisations de type Clouds ;Nous sommes partis d’une certainesituation (plus de 15 ans de travauxdans le domaine)Nous cherchons a repenser lesinteractions entre les composantstraditionnels d’une grille de PCs :- en terme de technologies liees auWEB- en terme formel (a l’aide des outilsde CPN) pour acquerir de laconfiance dans les protocolesd’interaction

Outline

1 Contexte

2 Problematiques

3 Contributions

Faits et questions cles

Les systemes deviennent assez complexes qu’il faut les verifierformellement : Besoin de consolider le protocole existant(BonjourGrid dans notre cas)

Le paradigme de communication (pour la coordination, non paspour l’echange de donnees) doit avoir un haut niveaud’asynchronisme afin d’assurer la scalabilite

Les technologies Web sont l’avenir de la conception dessystemes distribues. Comment les technologies du Web et lestechnologies des grilles peuvent-elles fusionner ?

Le nombre croissant d’appareils mobile intelligents pousse lesapplications de grille existantes a s’integrer dans ces nouvellesplateformes a base de technologies du Web

Champs disciplinaires et communautes

Specification formelle : les CPN sont un outil qui guident ledeveloppement et qui permettent de verifier de ”bonnesproprietes”

La communaute qui developpe des intergiciels de grilles (HPC...evoluant vers les organisations de type Clouds)

Architecture des systemes : la structure generale inherente a unsysteme informatique (grille de PCs), l’organisation desdifferents elements et des relations entre eux.

Service computing : discipline transversale qui couvre lessciences et les technologies de l’information afin de combler lefosse entre les services aux entreprises et les servicesinformatiques plus classiques (serveur Web...).

Difficultes majeures

Comment reconsiderer les intergiciels de grille de PC pour lescloudifier ?L’utilisateur du cloud est au centre des preoccupations : il doitpouvoir deployer une application sans avoir besoin d’unadministrateur systemeLes interactions entre :

les composants ”traditionnels” (master/worker, certification desresultats, monitoring...)et ”nouveaux” : la facturation (en n’oubliant pas que lestechnologies pour l’implementation sont issues du Web - on ne faitplus du ad-hoc comme par le passe)

Histoire des grilles de PCs : premiere generation

! "#$%&!'()*+,-!-)(./ 0

!"#$%&'()&*#+,"%(+%-#(

!#$#%&'&$(

")*&+',#--)*.#'*/+,!#$#%(0,1$&(2)'(0

3&(2)'(

"//$4*+#'/$13&(/2$.&,5*(.0

!"#$%&'()"*+&%,-($",$.%" /0#0'1$-(2."+&%,-($",$.%"3

45"%+3+6*7(#+(#$"%8&,"

9(%":&'';<6=

6>>'(,&$(0#

?,-"*.'"%=&5@+3+A&$&+3+<"$+

B?+3+?&#*C0D

E%0$0,0'5

Histoire des grilles de PCs : deuxieme generation

! "#$%&!'()*+,-!-)(./ &

!"#$%&'("%')*#+,-"#-.*"

!"#$%&'()"*+&%,-($",$.%"/01'($+$&0203*&$&+45#$67#$"%+#8*"+,8409

:8#8';$-(<."+&%,-($",$.%"=

>0"%+=+?*4(#+(#$"%@&,"

?11'(,&$(8#

A,-"*.'"%B&02+=+C&$&+=+D"$+

EA+=+A&#*F8G

H%8$8,8'0!"!#$#%&'&$(

")*&+',#--)*.#'*/+,!#$#%(0,1$&(2)'(0

3&(2)'(

"//$4*+#'/$15.6&42)&$,78#(9(:

I(%"J&''3D?B

;#'#,<#+#=&$5.6&42)&$,78#(9(:

Histoire des grilles de PCs : BonjourGrid

BonjourGrid : comment ca marche ?

L’utilisateur lance une requete pour le calcul ;

L’utilisateur fournit le graphe du controle du flux, lesbinaires et les donnees en entree ;

L’utilisateur deploie localement un coordinateur et lesrequetes pour les participants ; Nous assurons lesupport de XtremWeb, Condor et Boinc.

Le coordinateur selectionne un ensemble de machines

A la fin, le coordinateur retourne a l’etat ”idle”

Les machines esclaves sont liberees et

Le protocole de coordination :- gere et controle les ressources, les services et leselements de calcul ;- ne depend d’aucune machine en particulier ou d’unelement central.

Outline

1 Contexte

2 Problematiques

3 Contributions

Plan theorique et methodologique

Assurer une confiance dans le protocole grace aux methodes deverification formelleModeliser et verifier un protocole pour les grilles de PCs basesur le paradigme de publication-souscriptionRepenser les interactions entre les composants d’une grille dePCs par rapport aux technologies modernes du WebAssurer un degre de securite en implementant des mecanismespour la verification/certification des resultats

Developpement logiciel

Developper un nouveau middleware de grille pour les PCs, maisaussi pour smartphones et tablettesIntegration du nouveau middleware dans le cloud

Plan theorique et methodologique

Assurer une confiance dans le protocole grace aux methodes deverification formelleModeliser et verifier un protocole pour les grilles de PCs basesur le paradigme de publication-souscriptionRepenser les interactions entre les composants d’une grille dePCs par rapport aux technologies modernes du WebAssurer un degre de securite en implementant des mecanismespour la verification/certification des resultats

Developpement logiciel

Developper un nouveau middleware de grille pour les PCs, maisaussi pour smartphones et tablettesIntegration du nouveau middleware dans le cloud

Publication-Souscription : Adequat pour la scalabiliteEvent Service

Notify()Subscribe()

Unsubscribe()

Storageand managementof subscriptions

Publish

Publisher

Subscribe

Un-subscribe

Notify

SubscriberNotify()

Mode de communication : multi-point, anonyme, implicite, etasynchroneDecouplage total entre les evenements :- Spatial (les entites en interaction ne se connaissent pas)- Temporel (pas besoin d’interagir en meme temps)

Modelisation formelle du paradigme depublication-souscription

Modelisation formelle de BonjourGrid

Resultats

Proprietes generales

Pas de deadlocks : toutes les transitions sont executables (toutles evenements peuvent se produire)L’espace d’etats est construit a partir d’une seule composantefortement connexe (la propriete de vivacite est verifiee)

Proprietes specifiques

Chaque evenement publie est recu par tous les souscripteursinteressesUn coordinateur commence l’execution de son application s’ilexiste au moins une machine acceptant de participerSi un coordinateur finit l’execution de son application alors toutles ”Workers” associes doivent etre liberesUn ”Worker” ne peut etre attache qu’a un seul coordinateur

Resultats

Proprietes generales

Pas de deadlocks : toutes les transitions sont executables (toutles evenements peuvent se produire)L’espace d’etats est construit a partir d’une seule composantefortement connexe (la propriete de vivacite est verifiee)

Proprietes specifiques

Chaque evenement publie est recu par tous les souscripteursinteressesUn coordinateur commence l’execution de son application s’ilexiste au moins une machine acceptant de participerSi un coordinateur finit l’execution de son application alors toutles ”Workers” associes doivent etre liberesUn ”Worker” ne peut etre attache qu’a un seul coordinateur

Evolution de BonjourGrid

Proposition d’un nouvel intergiciel (incluant lestechnologies du Web)

Base sur le paradigme de publication-souscription –Co-developpement entre code et specificationAspects requis :

Stocker le code d’executionStocker les donnees d’entree et de sortieOffrir un mecanisme de publication-souscription

Etat de l’art : Redis peut satisfaire tous les aspects requis

Redis : fait partie de la mouvance NoSQL

Un systeme de gestion de base de donneesclef-valeur scalable,Propose differents types de donnees :chaines de carcteres, listes, ensemblesordonnes, hashes...Offre differentes options pour la persistancede donneesOffre de tres hautes performancesFacile a integrer dans differentesarchitecturesSupporte le paradigme depublication-souscription

RedisDG : schema d’interaction

WaintingTasks

TasksToDo

TasksInProgress

TasksToCheck

FinishedTasks

VolunteerWorkers

SelectVolunteer

Emergency

Monitor

Checker

Broker

Workers

Coordinator

Feedback

Notre systeme est operationnel : leger en termes de codeEntierement specifie en termes de notification d’evenements :non conventionnel mais pertinent pour un middleware de grillede PCsCapable de gerer des graphes series-parallelesCertification des resultatsLe Monitoring vise a remonter de l’information sur l’etat dusysteme (verifier si tous les workers attaches a une applicationsont vivants)

Outline

1 Contexte

2 Problematiques

3 Contributions

Travaux en cours

RedisDG est en cours d’integration dans le Cloud SlapOS del’universiteRemontee des informations de monitoringEvaluation des performances sur Grid5000

Travaux futurs : long terme

Objectif (contribution au FUI Resilience) : pousser et montrer leslimites de la technologie SlapOS en cherchant a integrer desintergiciels qui ne sont pas architecturer comme les logiciels dufond de commerce de SlapOS (Blogs, serveurs Apache, suitebureautique en ligne...)Objectif moins lie a Resilience : montrer que l’architectureSlapOS est ou n’est pas tres conforme a ce que propose lesstandards (NIST...) pour architecturer un Cloud.

Travaux futurs : moyen terme

Depasser les limites en termes de scalabilite pourl’implementation actuelle du sous-systeme de monitoringMener des experimentations sur des clusters a large echelleRendre accessible les technologies des DG pour la communauted’E-science a travers l’automatisation des deploiements (sansintervention d’un administrateur systeme)

Publications

2013 : Grid and Pervasive ComputingLeila Abidi, Christophe Cerin, Mohamed Jemni : Desktop GridComputing at the Age of the Web.2013 : ACM Symposium On Applied ComputingLeila Abidi, Christophe Cerin, Jean-Christophe Dubacq,Mohamed Jemni : A Publication-Subscription Interaction Schemafor Desktop Grid Computing.2012 : Grid and Pervasive ComputingLeila Abidi, Christophe Cerin, Kais Klai : Design, Verification andPrototyping the Next Generation of Desktop Grid Middleware.2011 : IEEE Services Computing ConferenceLeila Abidi, Christophe Cerin, Sami Evangelista : A Petri-NetModel for the Publish-Subscribe Paradigm and Its Application forthe Verification of the BonjourGrid Middleware.

vers l'orchestration des grilles de pcs par les mécanismes...

Documents