les projets à la pointe en sciences, ingénierie, finance… nécessitent des capacités...
Post on 04-Apr-2015
104 Views
Preview:
TRANSCRIPT
Eric Vernié, Ramin Barreto & Fabrice MeillonMicrosoft France
Vue d’ensemble Compute Cluster Server 2003
Calcul Haute Performance (HPC)Les projets à la pointe en sciences, ingénierie, finance…
nécessitent des capacités supérieures à celles offertes par les machines indépendantesBesoin d’accélérer les cycles de recherche, d’innovation, de développement de produits tout en améliorant la qualité des résultats et en diminuant les coûts
Conception d’aéronefs utilisant des matériaux compositesAmélioration de la consommation et de la sécurité des véhiculesSimulations de catalyse d’enzymesSimulation de réservoir et traitements sismiquesConception de matériaux et de médicamentsSimulation électronique nanoscopiqueModélisation du risque des portefeuilles financiersCréation et traitement de contenu numériqueModélisation et optimisation de la chaine de production
Les économies de volume apportées par les composants standard et les logiciels commerciaux contribuent à rendre les capacités du HPC de plus en plus disponibles pour un plus grand nombre d’utilisateurs
Tendances Top 500 Supercomputer
Usage dans l’ industri
e augme
nte
GigE augmente (50%
des systeme
s)
Clusters plus
de 70%
x86 est leader(Pentium 41%,EM64T 16%,
Opteron 11%)
Perspectives du marché1991 1998 2005
Système Cray Y-MP C916 Sun HPC10000 Small Form Factor PCs
Architecture 16 x Vector4GB, Bus
24 x 333MHz Ultra-SPARCII, 24GB, SBus
4 x 2.2GHz Athlon644GB, GigE
OS UNICOS Solaris 2.5.1 Windows Server 2003 SP1
GFlops ~10 ~10 ~10
Top500 # 1 500 N/A
Prix $40,000,000 $1,000,000 (40x drop) < $4,000 (250x drop)
Clients Government Labs Large Enterprises Every Engineer & Scientist
Applications Classified, Climate, Physics Research
Manufacturing, Energy, Finance, Telecom
Bioinformatics, Materials Sciences, Digital Media
Les problématiques du monde HPC
“…mettre en place un cluster est trop complexe”
“.. Faire plus de science et moins d’informatique”“..Disposer d’une solution simple d’utilisation”
“...le développement d’applications parallèles est difficile”“.. Pas suffisamment d’outils”
Utilisateurs
IT Pros
Développeurs
La vision Microsoft pour le HPC
Permettre aux chercheurs et ingénieurs d’utiliser des ressources de calcul massives pour résoudre les problèmes techniques complexes
Faciliter le développement sur les ressources de calcul distribuées et diminuer la complexité et le coût d’opérations
Packaging de Windows CCS
Windows Server 2003 Compute Cluster Edition
Compute Cluster Pack (CCP)+ =
Microsoft Windows Compute Cluster
Server (CCS) 2003
• Identique à Windows Server 2003 x64 Standard Edition
• Tarif plus agressif mais l’utilisation est limitée aux solutions de calcul
• Support RDMA pour les connexions inter-noeuds de haute performance (Gigabit Ethernet, Infiniband, Myrinet, et autres)
• Composants additionnels pour les calculs parallèles
• Support du standard de l’industrie : MPI2
• Ordonnanceur intégré• Outils de gestion du
cluster• Options d’installation :
Head Node, Compute Node, machine cliente,
• Solution intégrée “out of the box”
• Tire parti des investissements réalisés dnas les compétences et outils Windows
• Rend l’opération du cluster aussi simple et sécurisée que celle d’un système unique
Partenaires
Windows Compute Cluster Server 2003 vue de l’IT Pro
Réseau MPI
Réseau privé
Réseau public
Infrastructure IT
NœudNœud maître
AD
DNS
DHCP
Windows Update
Supervision
• MOM• 3rd party
Administration des systèmes• SMS• 3rd party
Compute Cluster
Topologie du cluster de calcul
Admin / User Cons
RIS(optional)
Job Scheduler
Management
NAT (optional)
Node Manager
MPI
Management
Nœud
Node Manager
MPI
Management
Installation et configuration du nœud maître
Démo
Installation du noeud maître (Head Node)
Le nœud maitre doit hébergé la version Windows Server 2003, Compute Cluster Edition ou une version Windows Server 2003 X64 EditionLe nœud maître doit être connecté à au moins un réseau dépendant du choix de la topologie de cluster que vous avez retenu et vous devez posséder les privilèges administrateur local de la machineLe nœud maître doit être membre d’un domaine Active Directory (recommandé) ou être contrôleur de domaine du domaine du cluster (non recommandé)
Ajout d’un nœud de calcul
Démo
Mode d’installation souple des nœuds
3 façons pour ajouter un nœud au clusterAutomatiquement via RIS. “Simplement démarrer le nœud et F12”
Outils de déploiement tierce partie : setup.exe -
computenode:<Headnodename>
Manuellement via le setup CCP-CD2Nœuds sont déjà installé via une solution tierce ou manuellement
Lancer l’assista
nt ajouter
un nœud
Manuelle
Automatique (RIS)
Nœuds (OS+CCP) installés automatiquement
Automatique ou
Manuelle?
Réseau privé
Réseau public
Nœud de calcul Nœud maître
AD
Console Admin / User
AdministrationAdministration
Corp\John
Corp\Sally
Administrators LocalUsers Local
Administrators Local
Users Local
Propagation
Administration du cluster basée sur des rôles
Administration du cluster de calcul CCS 2003
Démo
Fonctions clés d’administration
Intégration avec l’infrastructure existantePrise en charge d’Active Directory et des concepts de sécurité WindowsPas de permission spéciale pour installer un cluster de calculIntégration avec les solutions d’administration Microsoft et tierces parties (MOM, SMS, etc…)
Opérations d’administration et de déploiement simplifiées
Configuration basée sur un séquencement des taches pour le nœud maitre et les nœuds de calculDe multiples façons d’ajouter un nœudGestion des nœuds au travers d’une console graphique, la ligne de commande et le scriptingSupervision au travers de MOM ou de solutions tiercesAdministration en ligne de commande cluscfg.exe
Windows Compute Cluster Server 2003
Ordonnanceur de travaux (“Job Scheduler”)
User App
MPI
Node Manager
Job Execution
DB/FS
Utilisateur
Ligne de commande
Application
Job Mgr UI
Admin
Console
Admin
Ligne de
commande
Head Node
Job Mgmt
Resource Mgmt
Cluster Mgmt
Scheduling
High speed, low latency interconnect
Tasks
Man
ag
em
en
t
Jobs Policy, reports
Active Directory
Données
Inp
ut
Domaine\Utilisateur
Job Scheduler Windows CCS 2003
ConceptsTerme Description
Cluster L'unité d'organisation de CCP: Un « Head Node » et un ensemble de nœuds de calcul « Compute Node », une file d'attente et des Jobs.
Queue Contient des jobs en attente, en cours d’exécution ou terminés. Il y a seulement une file d'attente dans un cluster CCP. Les jobs terminés sont purgés périodiquement de la file d'attente.
Job Une collection de tâches. Les Jobs sont utilisés pour allouer des ressources pour l'usage d’un ou plusieurs tâches.
Tâche(Task) Une tâche représente l'exécution d'un programme sur des noeuds de calcul. Une tâche peut être un programme séquentiel ou un programme MPI avec multiples processeurs.
Nœud(Node)
Un simple noeud de calcul, avec un ou plusieurs processeurs.
Model Conceptuel Job/Tâche(Task)Serial Job
Tâche
Proc
Parallel MPI Job
Tâche
Proc ProcIPC
Parameter Sweep Job
Tâche
Proc
Tâche
Proc
Tâche
Proc
Task Flow Job
Tâche
Tâche
Tâche
Tâche
Ordonnanceur de travaux Windows CCS 2003
Démo
L’interface en ligne de commande (CLI)Job job new [job_terms] create a job container
job add jobID [task_terms] add tasks to a job
job submit /id:jobid submit job / tasks
job submit [job_terms][task_terms] submit a job
job cancel jobID cancel a job
job modify [options] modify a job
job requeue JobID requeue a job
job list list jobs in the cluster job listtasks list tasks of a job job view JobID view details of a job
Tâche (Task)
task view view details of a task
task cancel cancel a task
task requeue requeue a task
Cluscfg cluscfg view view details of a cluster
cluscfg params/setparams view/set config params
cluscfg listenvs/setenv list / set cluster wide env
cluscfg delcreds/setcreds set /delete user cred
Job
Terme Descriptionnumprocessors
Indique le nombre de processeurs à réserver à travers un ensemble de noeuds
askednodes Spécifie la liste des noeuds
priority Highest Cluster AdminAboveNormal Cluster AdminNormal Cluster UserBelowNormal Cluster UserLowest Cluster User
runtime Indique le temps limite d'exécution d‘un Job
exclusive Indique si les noeuds sont assignés au Job exclusivement
name Indique le nom associé au Job
project Indique le nom de projet associé au Job pour l’accounting
license Indique les licences nécessaires pour l’exécution du Job
Windows Compute Cluster Server 2003
vue du developpeur
L’environnement de développement de Windows CCS
Job Scheduler de CCSSoumission de job via une interface de programmation
MPI (Message Passing Interface) de CCSOpenMPVisual Studio 2005
Nouveau débuggeur parallèle
Utilisation des APIs du job Scheduler
Démo
En résumé …
Le calcul parallèle est un domaine d’utilisation de l’informatique en pleine croissance et appelé à se développer fortement
Windows Compute Cluster Server 2003 est la première étape de l’initiative de Microsoft visant à rendre le HPC accessible à tous les chercheurs, ingénieurs et à tout type d’entreprise
Windows Compute Cluster Server 2003 permet …Une obtention plus rapide des résultats grâce à une simplification du déploiement du cluster, de la soumission et du suivi d’un jobL’intégration avec l’infrastructure Windows permettant d’utiliser la technologie et les compétences existantesUn environnement de développement intégré permettant aux développeurs d’écrire et de déboguer des applications parallèles depuis l’environnement Visual Studio 2005
Feuille de route Windows CCS
Windows Compute Cluster Server 2003Lancé officiellement le 12 juinDisponible sur le marché depuis le 1er aoûtPack d’administration pour Microsoft Operations
Manager
2006
Windows CCS 2003 Service Pack 1Support de Windows Deployment ServicesSupport de Windows Server 2003 SP2Améliorations ergonomiques
2007
Windows CCS V2
2008
Parcours CCS/HPC aux TechDays
SessionsIntroduction au HPC pour les développeurs
Mardi 6 février 17h30 – 18h30
Migration de code de calcul Unix/Linux vers une plate-forme cluster Windows
Mercredi 7 février 13h – 14h
RessourcesSite produit Microsoft HPC
http://www.microsoft.com/france/hpchttp://www.microsoft.com/hpc
Site technique Microsoft HPC (articles, webcasts et e demos)http://www.microsoft.com/france/technet/produits/ccs/default.mspx.http://www.microsoft.com/windowsserver2003/ccs/techresources/default.mspx
Sites communautaireshttp://windowshpc.net/
GotDotNet Gallery pour HPChttp://www.gotdotnet.com/codegallery/codegallery.aspx?id=0c12237e-58e3-4a9f-9637-ec6a4b9efe4d
Bloghttp://blogs.msdn.com/hpc
Newsgrouphttp://www.microsoft.com/france/communautes/webnews/France/default.mspx?dg=microsoft.public.fr.hpc
La référence technique
pour les IT Pros :technet.microsoft.com
La référence technique
pour les développeurs :
msdn.microsoft.com
S’informer - Un portail d’informations, des événements, une newsletter bimensuelle personnalisée
Se former - Des webcasts, des articles techniques, des téléchargements, des forums pour échanger avec vos pairs
Bénéficier de services - Des cursus de formations et de certifications, des offres de support technique
Visual Studio 2005 +
Abonnement MSDN Premium
Abonnement TechNet Plus :
Versions d’éval + 2 incidents support
© 2007 Microsoft France
Votre potentiel, notre passion TM
top related