introduction aux grilles de calcul utic - heithem abbes 28-04-2005 journées du parallélisme 2005
TRANSCRIPT
Introduction aux Grilles de Calcul
UTIC - Heithem ABBES28-04-2005
Journées du Parallélisme 2005
Introduction aux Grilles de
Calcul 2
Plan
Introduction. Avantages des grilles de calcul. Applications des grilles de calcul. Évolution technologique et économique. Caractéristiques de la grille. Architecture de la grille. Problématique de recherche.
Introduction aux Grilles de
Calcul 3
Introduction (1/2)
Inspiration de la grille d’électricité (power grid) Disponibilité universelle et économie viable. Par analogie:
une infrastructure matérielle et logicielle Accès fiable, cohérent et bon marché à des capacités
de stockage et de calcul.
Introduction aux Grilles de
Calcul 4
Introduction (2/2)
Grille de calcul (Grid Computing) coordinated resource sharing and problem solving in
dynamic, multi-institutional virtual organizations (VO). [I.Foster]
VO : Groupement d’utilisateurs selon leurs différents besoins et
intérêts. Politique. Offre une grille de calcul pour ses utilisateurs.
Introduction aux Grilles de
Calcul 5
Avantages des grilles de calcul Exploiter les ressources sous utilisées
Taux d’utilisation des PC et des stations de travail 30% (milieux académiques et industriels) 5% (machines grand public)
Meilleure utilisation de certaines ressources Partage des ressources spéciales Équipements spécifiques (microscope, bras robotique…) Logiciels dont le prix de la licence est élevé.
Fournir une importante capacité de calcul parallèle Assurer la fiabilité et la disponibilité des services
Dispersion géographique des ressources Mécanismes de contrôle et de gestion
Fiabilité Continuité
Introduction aux Grilles de
Calcul 6
Applications des grilles de calcul (1/6) Supercalculateur réparti (Distributed supercomputing)
Agréger une importante quantité de ressources Fournir une puissance de calcul
Calcul haut-débit (High-Throughput Computing) Exécution parallèle des tâches.
Calcul sur demande (On-Demand Computing) Utilisation temporaire de ressources Possession permanente n’est pas rentable. Capacités de calcul, logiciels, bases de données…
Introduction aux Grilles de
Calcul 7
Applications des grilles de calcul (2/6) Calcul Collaboratif (Collaborative Computing)
Interaction entre humains. Environnements de simulation en temps réel. Systèmes de réalité virtuelle à objectifs éducatifs.
Génération, traitement et stockage d’énormes
quantités de données (Dataintensive Computing) Stockage d’une quantité importante d’informations
générées.
Introduction aux Grilles de
Calcul 8
Applications des grilles de calcul (3/6) CERN (European Organization
for Nuclear Research) Large Hardron Collider (LHC)
en 2007 Plus puissant accélérateur des
particules qui n’a jamais été construit.
15 Péta byte chaque année LHC Computing grid (LCG)
5200 CPU 7,5 TB capacité du stockage 68 sites [ERCIM NEWS, OCTOBER 2004]
Introduction aux Grilles de
Calcul 9
Applications des grilles de calcul (4/6) SETI@home
Recherche de l’Intelligence Extraterrestre.
programme qui télécharge et analyse les données du télescope de la radio.
Introduction aux Grilles de
Calcul 10
Applications des grilles de calcul (5/6) Prédiction de climat
Simulation pour la prévision du météo à long terme.
12 semaines pour certaines simulations.
Introduction aux Grilles de
Calcul 11
Applications des grilles de calcul (6/6)
Bioinformatique Simulation des molécules et l’analyse de génome et
d’ADN.
Introduction aux Grilles de
Calcul 12
Évolution technologique et économique Les applications scientifiques demandent:
Rapidité. Puissance calculatoire. Grande mémoire.
Machine parallèle Super-calculateurs Inconvénients:
Coût !!! Performance
Évolution des performances Serveurs de calcul et de stockage Technologies réseaux et la bande passante
Introduction aux Grilles de
Calcul 13
Évolution technologique et économique Réseaux vs. Performance des PC
La vitesse des CPU double tous les 18 mois. La vitesse de débit double tous les 9 mois.
1986 - 2000 PC: x 500 Réseaux: x 340,000
2001 - 2010 PC: x 60 Réseaux: x 4000
Moore’s Law vs. storage improvements vs. optical improvements. Graph from Scientific American (Jan-2001) by Cleo Vilett, source Vined Khoslan, Kleiner, Caufield and Perkins.
Introduction aux Grilles de
Calcul 14
Évolution technologique et économique
ClusterCluster
(par Christophe Jacquet)
Autrefois…
Super-calculateurSuper-calculateur
Introduction aux Grilles de
Calcul 15
Évolution technologique et économique…Aujourd’hui
(par Christophe Jacquet)
Modèle informatique réparti : Grid Computing
Introduction aux Grilles de
Calcul 16
Caractéristiques des grilles de calcul Les principales caractéristiques des grilles de calcul:
Existence de plusieurs domaines administratifs Distribution géographique des ressources. Différentes organisations avec leurs propres politiques. Respecter les politiques de chaque organisation.
Hétérogénéité des ressources Matérielles et logicielles
Passage à l’échelle (scalability) Contraintes sur les applications et les algorithmes de gestion de
ressources. Nature dynamique des ressources
Changement du nombre de ressources (retrait/ajout) Tolérance aux pannes
Introduction aux Grilles de
Calcul 17
Caractéristiques d’une grille de calcul
Plusieurs institutions Plusieurs domaines
administratifs Hétérogénéité des
ressources Passage à l’échelle Dynamicité
Une seule institution Un seul domaine
administratif
Grille de calcul & Grappe de calculateurs
Introduction aux Grilles de
Calcul 18
Architecture d’une grille Modèle en couches. Couches hautes axées sur l'utilisateur. Couches basses plus orientées vers les ordinateurs et les réseaux.
Introduction aux Grilles de
Calcul 19
Architecture d’une grille Couche réseau :
Connectabilité des ressources sur la grille. Niveau matériel
Introduction aux Grilles de
Calcul 20
Architecture d’une grille Couche ressources :
constituée des ressources de la grille, Ordinateurs, systèmes de mémoire, catalogues de données
électroniques, capteurs, télescopes…
Introduction aux Grilles de
Calcul 21
Architecture d’une grille Couche intergiciel :
Ensemble de fonctions permettant aux ressources (serveurs, mémoires, réseaux, etc.) de participer à un contexte de grille unifié.
le cerveau de la grille ! Gestion de ressources Ordonnancement (scheduling) Réservation Services d’information.
Introduction aux Grilles de
Calcul 22
Architecture d’une grille Couche application : située au
niveau le plus élevé qui comprend: Types d’applications: scientifiques,
techniques, gestion, financières, portails…
C'est la couche des utilisateurs de la grille.
Introduction aux Grilles de
Calcul 23
Services (1/3)
Service de sécurité et d’authentification Garantir la confidentialité, l’intégrité et
l’authentification Clé de réussite ou d’échec de la grille
Service de désignation Grande variété d’objets (ordinateurs, services, données) Espace de noms uniforme et complet à travers
l’environnement distribué.
Certificate Authorities
User Accounts
Introduction aux Grilles de
Calcul 24
Service d’information Environnement dynamique (endroit et type des
ressources) Nécessité de la disponibilité des ressources
indépendamment de l’emplacement de l’utilisateur. Environnement riche en informations sur la grille Fournir des moyens pour enregistrer et obtenir des
informations sur la structure, les services, statut…
Services (2/3)
Introduction aux Grilles de
Calcul 25
Services (3/3)
Service de communication Protocoles variés prévus pour différents types de trafic Qualité de service
Garantie de la bande passante.
Gestion des ressources et ordonnancement Transparence pour l’utilisateur Optimisation des performances
Service de suivie de l’état de la grille et la tolérance aux pannes.
Introduction aux Grilles de
Calcul 26
Outils pour la gestion de grille
Security
Scheduling and resourcesallocation
Data locality
Network Management
System management
Ressources discovery
Uniform access
Economy
Introduction aux Grilles de
Calcul 27
Étapes de déploiement d’une grille Intégration des différents composants matériels et
logiciels en une ressource globale à travers le réseau. L’implémentation d’intergiciels offrant une vue
transparente et consistante à cette ressource. Développement d’outils permettant le contrôle et la gestion
de l’infrastructure et des applications. Développement d’applications exploitant cette
infrastructure.
Introduction aux Grilles de
Calcul 28
Problématiques de recherche
Gestion de ressources (Ressources Management) Ordonnancement Économique
Gestion des données (Data Management) Découverte des services et des ressources.
Scheduling Economics
Grid
Grid Economy
Introduction aux Grilles de
Calcul 29
Problématiques de recherche
Qualité de service (QOS) Réservation et co-allocation
Datamining & Grid Computing Operating System ???
Introduction aux Grilles de
Calcul 30
Grid Computing, une nouvelle vague!