utilisation de la grappe de calcul antares · fftw 3.2.2 8 librairies de format de données 8 hdf5...

Utilisation de la grappe de calcul ANTARES

Référence du document: iData-vsr-02 - Révision 02 - Date de création : 06/11/2010

Validation : PBM, le 06/11/2010

Documents référencés : aucun

Résumé : Utilisation du cluster ANTARES

Ce document résume les informations nécessaires au portage et à l’utilisation d’un code sur la grappe de calcul ANTARES.

Dans sa première version, il permet aux utilisateurs d’exploiter la machine pendant la phase de VSR (Vérification de Service Réguler).

Révisions :• 01 : 02/07/2010 P. Bousquet-Mélou• 02 : 06/11/2010 P. Bousquet-Mélou

AccessibilitéCRIHAN : OUIEXTÉRIEURS : OUIRESTREINT : OUI, liste de diffusion VSR, juin 2010

TCD-GA-v1

CRIHAN

Technopôle du Madrillet 745, avenue de l’Université 76800 SAINT-ÉTIENNE DU ROUVRAYTél. : 02 32 91 42 91 - Fax : 02 32 91 42 92 - mailto:[email protected] – www.crihan.fr

SIRET Nº 383 599 990 00025 - CODE APE 7219Z

mailto:[email protected]

mailto:[email protected]

http://www.crihan.fr

http://www.crihan.fr

Table des matières

Description de la configuration (14 TFlops) 3

Matériel 3

Logiciel 3

Environnement de compilation 4

Compilation des codes séquentiels 4

Compilation des codes parallèles MPI 4

Compilation avec la librairie Intel MPI 4.0 4

Compilation avec la librairie Open MPI 1.4 4

Options de compilation Intel 5

Options d’optimisation 5

Options de débogage 6

Options utiles 7

Options de gestion des formats libre ou fixe des fichiers Fortran 7

Librairies mathématiques 7

MKL 10.2.2 (Intel Math Kernel Library) 7

FFTW 3.2.2 8

Librairies de format de données 8

HDF5 1.8.5 8

HDF5 1.8.4 9

NETCDF 4.1.1 9

Soumission des travaux 10

Batch LoadLeveler 10

Modèles de scripts de soumission 10

Commandes du batch 11

Classes de soumission 12

Mode interactif 13

Calcul interactif avec Intel MPI 13

Calcul interactif avec Open MPI 13

TECHNIQUE Réf. iData-vsr-02

Utilisation de la grappe de calcul ANTARESRévision 02

Utilisation de la grappe de calcul ANTARES /13

Juillet 2010

1. Description de la configuration (14 TFlops)La grappe de calcul ANTARES est une solution IBM iDataPlex d’une puissance de 14 TFlops. Elle est constituée de deux armoires de nœuds de calcul identiques à celle représentée ci-dessous.

1.1. Matériel• 158 nœuds de calcul• 3,7 To de mémoire DDR3• Réseau d’interconnexion InfiniBand 4X QDR à faible latence et haut débit (40 Gbit/s)• 210 To d’espace disque rapide (brut)

• nœud de calcul dx360-m2 :• bi-processeurs quadri-cœurs Intel Nehalem EP @ 2,8 GHz• 24 Go de mémoire DDR3

1.2. Logiciel• Système d’exploitation Linux 64 bits (RHEL5)• Gestionnaire de soumission de travaux IBM LoadLeveler• Système de fichiers rapide IBM GPFS• Environnement de développement :

• compilateurs Intel 11.1 Fortran, C, C++ (support OpenMP)• librairies Intel MPI et Open MPI• librairie mathématique Intel MKL (dont BLAS, LAPACK et FFTW)

Grappe de calcul ANTARES de type IBM iDataPlex (réduite à une armoire)




Juillet 2010

2. Environnement de compilationSur l’architecture d’ANTARES, les compilateurs Intel sont naturellement conseillés.Les compilateurs Gnu g77 (Fortran 77), gfortran (Fortran 90), gcc (C) et g++ (C++) sont aussi disponibles.

2.1. Compilation des codes séquentielsLes commandes de compilation Intel pour un code séquentiel sont les suivantes :

• pour le Fortran 77 / 90 / 95 : ifort• pour le C : icc• pour le C++ : icpc

Des modèles élémentaires de de fichiers Makefile ainsi qu’un README se trouvent dans le répertoire :

/soft/makefiles/SERIALCODES

2.2. Compilation des codes parallèles MPIDes modèles élémentaires de fichiers Makefile ainsi qu’un README se trouvent dans le répertoire :

/soft/makefiles/MPICODES

Les deux librairies Intel MPI 4.0 et Open MPI 1.4 sont disponibles.Elles supportent la norme MPI 2 et n’ont pas de différences fonctionnelles particulières.

Lors du portage d’un code sur ANTARES, il est conseillé de tester les deux librairies MPI. Si elles se situent souvent au même niveau de performance, toutefois, il peut arriver que certains codes soient plus performants avec Intel MPI, d’autres avec Open MPI.

2.2.1. Compilation avec la librairie Intel MPI 4.0L’environnement de la librairie Intel MPI 4.0 est activé par défaut.

Les commandes de compilation avec Intel MPI sont les suivantes :• pour le Fortran 77 / 90 / 95 : mpiifort• pour le C : mpiicc• pour le C++ : mpiicpc

Ces trois commandes utilisent respectivement les compilateurs Intel ifort, icc et icpc avec Intel MPI.

ATTENTION :• Noter les deux «i» dans le nom de la commande mpiicc précédente• Avec Intel MPI, les commandes mpif90, mpicc (un seul «i») et mpicxx existent

également, mais elles utilisent respectivement les compilateurs de Gnu gfortran, gcc et g++, moins conseillés que les compilateurs Intel.

2.2.2. Compilation avec la librairie Open MPI 1.4L’environnement de la librairie Open MPI 1.4 n’est pas activé par défaut.

Avant de compiler un code avec Open MPI, il faut activer son environnement avec la commande suivante :login@antares-adm:~: source /soft/environment/openmpi/openmpi-intel.sh

Les commandes de compilation avec Open MPI sont les suivantes :• pour le Fortran 77 / 90 / 95 : mpif90• pour le C : mpicc• pour le C++ : mpicxx




Juillet 2010

Après exécution de la commande «source» précédente, mpif90, mpicc et mpicxx utilisent respectivement les compilateurs Intel ifort, icc et icpc avec Open MPI.

Pour l’utilisation des compilateurs Gnu (moins conseillés) avec Open MPI, il faut mettre à jour l’environnement avec la commande suivante :login@antares-adm:~: source /soft/environment/openmpi/openmpi-gnu.sh

Les commandes mpif90, mpicc et mpicxx, dans ce cas, utilisent respectivement les compilateurs Gnu gfortran, gcc et g++ avec Open MPI.

2.3. Options de compilation IntelLa documentation Intel fournit les guides utilisateur (html ou PDF) des compilateurs Intel 11.1 pour Linux :

• Fortran : http://software.intel.com/en-us/articles/intel-fortran-compiler-professional-edition-for-linux-documentation/

• C et C++ : http://software.intel.com/en-us/articles/intel-c-compiler-professional-edition-for-linux-documentation/

2.3.1. Options d’optimisationLes options d’optimisation conseillées sont les suivantes (compilation et édition de lien) :

Option d’optimisation Description

-O2 Optimisation de base

-O2 -xSSE4.2Optimisation de base, avec instructions SSE spécifiques

Nehalem (vectorisation)

-O3 Optimisation avancée

-O3 -xSSE4.2Optimisation avancée, avec instructions SSE spécifiques

Nehalem (vectorisation)

-openmp Activation des directives OpenMP

Lors du portage d’un code sur ANTARES, il est conseillé de tester la validité et la performance des quatre premières options du tableau précédent.

Pour les codes multi-threadés contenant des directives OpenMP, l’option «-openmp» doit être utilisée à la compilation et à l’édition de lien.

D’autres options peuvent parfois améliorer les performances ; leur validité sur un code donné doit être vérifiée :




Juillet 2010

http://software.intel.com/en-us/articles/intel-fortran-compiler-professional-edition-for-linux-documentation/




http://software.intel.com/en-us/articles/intel-c-compiler-professional-edition-for-linux-documentation/





-ipo

Interprocedural optimization («inlining» de sous-programmes par le

compilateur)

-no-prec-div Optimisation du calcul de divisions de nombres réels

-fast

Correspond au jeu d’instruction :

«-O3 -xHost -ipo -no-prec-div -static»

où «-xHost» génère le même niveau

d’optimisation que «-xSSE4.2» sur l’architecture du processeur Nehalem

«-fast» peut s’utiliser pour produire les fichiers objets, mais pas à l’édition de lien d’un code MPI : l’instruction «-static» (utilisation de librairies statiques) est incompatible avec les librairies dynamiques MPI.

Si l’option «-fast» est utilisée à la compilation (création des objets) d’un code MPI, l’option «-O3 -xHost -ipo -no-prec-div» peut être utilisée à l’édition de lien.

2.3.2. Options de débogageL’option «-g» est indispensable pour obtenir des informations des débogage.

Les trois instructions suivantes sont conseillées, la première à essayer en premier :• -O2 -g -traceback• -O2 -g -traceback -check bounds• -O0 -g -traceback -check bounds

«-traceback» permet d’obtenir la pile d’exécution des sous-programmes d’un code jusqu’à un arrêt provoqué par une exception : le nom du fichier source et le numéro de ligne de l’instruction de code où l’erreur se produit sont obtenus.

«-check bounds» permet de détecter à l’exécution, et parfois à la compilation, les débordements d’indices de tableaux hors des limites déclarées ; cette option peut toutefois ralentir beaucoup l’exécution d’un calcul.

L’option «-O0» supprimant toute optimisation, le temps de calcul peut être considérablement augmenté si l’exception de code se produit assez loin dans le temps après le début de son exécution.

ATTENTION :• Avec ifort, sans aucune option de compilation, l’option «-O2» est appliquée.• En revanche, lorsque la seule option «-g» est utilisée, «-O0» est appliquée

automatiquement ; si «-O2» est souhaitée, il faut spécifier cette option («-O2 -g»).




Juillet 2010

2.3.3. Options utiles


-cppInterprétation du preprocessing C (#define, #ifdef, etc.) dans les codes

sources Fortran.

-I /home/group/login/code/incRépertoire des fichiers inclus (insérés

dans des sources avec : #include «fichier.h»)

-module /home/group/login/code/mod

Répertoire des fichiers .mod produits par la compilation de modules Fortran

90 (par défaut, ces fichiers sont produits dans le répertoire courant).

-p

Option de profilage (compilation et édition de lien) ; après exécution, un

profil s’obtient avec gprof :gprof ./code.exe gmon.out > prof.out

2.3.4. Options de gestion des formats libre ou fixe des fichiers FortranDans le «format libre», les instructions Fortran débutent et finissent dans un intervalle quelconque de numéros de colonne ; les sauts de ligne sont désignés par le caractère & en fin de ligne.

Dans le «format fixe», les instructions commencent à partir de la septième colonne et doivent se terminer, par défaut, avant la soixante-douzième colonne ; les sauts de ligne sont désignés par un caractère quelconque en sixième colonne.

Pour un fichier d’extension .f :• Le format fixe est supposé par défaut par le compilateur.• Si le format est fixe, mais avec des lignes dépassant la colonne 72, il faut ajouter

l’option «-extend-source» (la limite est alors située en colonne 132).• Si le format est libre, il faut introduire l’option «-free».

Pour un fichier d’extension .f90 :• Le format libre est supposé par défaut par le compilateur.• Si le format est fixe, il faut introduire l’option «-fixed».• Si le format est fixe, mais avec des lignes dépassant la colonne 72, il faut introduire les

options «-fixed -extend-source» (la limite est alors située en colonne 132).

2.4. Librairies mathématiques2.4.1. MKL 10.2.2 (Intel Math Kernel Library)

MKL contient notamment :• les librairies séquentielles d’algèbre linéaire BLAS et LAPACK,• les librairies parallèles d’algèbre linéaire PBLAS, ScaLAPACK et BLACS,• des sous-programmes spécifiques, séquentiels ou parallèles, de calcul de FFT,• une interface de support des sous-programmes de la librairie FFTW, pour le calcul de

DFT (transformées de Fourier discrètes).

Les codes utilisant des sous-programmes de la librairie FFTW peuvent donc être compilés avec la librairie MKL, sans modifications.




Juillet 2010

Un README et des modèles de fichiers Makefile, avec les options d’édition de lien pour des codes utilisant les composantes précédentes de MKL, figurent dans le répertoire

/soft/makefiles/MKL.

Intel fournit une aide pour le choix des options d’édition de lien à utiliser pour la compilation de codes utilisant la librairie MKL (OS Linux, processor architecture Intel(R) 64) :http://software.intel.com/en-us/articles/intel-mkl-link-line-advisor/

Le Guide Utilisateur et le Manuel de Référence de MKL 10.2 sont disponibles sur le lien suivant :http://software.intel.com/en-us/articles/intel-math-kernel-library-documentation/

2.4.2. FFTW 3.2.2Cette librairie permet le calcul de transformées de Fourier discrètes (DFT) sur des données de type réel ou complexe dans une ou plusieurs dimensions.

Le répertoire /soft/library/fftw3.2.2 contient quatre librairies :

Librairie Description

/soft/library/fftw3.2.2/fftw3.2.2 version séquentielle, double précision

/soft/library/fftw3.2.2/fftw3.2.2-single-precision version séquentielle, simple précision

/soft/library/fftw3.2.2/fftw3.2.2-openmp version multi-threadée OpenMP, double précision

/soft/library/fftw3.2.2/fftw3.2.2-single-precision-openmp

version multi-threadée OpenMP, simple précision

Un README et un modèle de fichier Makefile, avec les options d’édition de lien pour un code Fortran utilisant la librairie FFTW, figure dans le répertoire :

/soft/makefiles/FFTW

Le manuel utilisateur de FFTW 3.2.2 se trouve sur le lien http://www.fftw.org/fftw3_doc/

La librairie MKL possède également une interface de support des sous-programmes de FFTW : les codes utilisant ces sous-programmes peuvent être compilés avec la librairie MKL, sans modifications.

2.5. Librairies de format de données2.5.1. HDF5 1.8.5

Répertoire Version de la librairie HDF5 1.8.5

/soft/library/hdf5-1.8.5-ifc-static

version Fortran, C, C++, séquentielle, compatible

compilateurs Intel




Juillet 2010

http://software.intel.com/en-us/articles/intel-mkl-link-line-advisor/

http://software.intel.com/en-us/articles/intel-mkl-link-line-advisor/

http://software.intel.com/en-us/articles/intel-math-kernel-library-documentation/

http://software.intel.com/en-us/articles/intel-math-kernel-library-documentation/

http://www.fftw.org/fftw3_doc/

http://www.fftw.org/fftw3_doc/


/soft/library/hdf5-1.8.5-ifc-Impi-parallel

version Fortran, C, parallèle Intel MPI,

compatible compilateurs Intel

/soft/library/hdf5-1.8.5-ifc-Ompi-parallel

version Fortran, C,parallèle Open MPI,

compatible compilateurs Intel

Les commandes de compilation pour l’utilisation des différentes versions de HDF5 1.8.5 sont indiquées dans un README, placé dans chacun des répertoires indiqués.

2.5.2. HDF5 1.8.4


/soft/library/hdf5-1.8.4-gnu-static

version Fortran, C, C++, séquentielle, compatible

compilateurs Gnu

/soft/library/hdf5-1.8.4-gnu-Impi-parallel

version Fortran, C, parallèle Intel MPI,

compatible compilateurs Gnu

/soft/library/hdf5-1.8.4-gnu-Ompi-parallel

version Fortran, C,parallèle Open MPI,

compatible compilateurs Gnu

Les commandes de compilation pour l’utilisation des différentes versions de HDF5 1.8.4 sont indiquées dans un README, placé dans chacun des répertoires indiqués.

2.5.3. NETCDF 4.1.1

Librairie Description

/soft/library/netcdf-4.1.1 version Fortran, C, C++, séquentielle, compatible compilateurs Intel

Les commandes de compilation pour l’utilisation de cette librairie sont indiquées dans un README placé dans ce répertoire.




Juillet 2010

3. Soumission des travaux3.1. Batch LoadLeveler3.1.1. Modèles de scripts de soumission

Les modèles de script de soumission figurent dans le répertoire /soft/loadl/crihan_modeles_scripts :

Type de travail Modèle de script

Code séquentiel job_serial.ll

Code OpenMP job_OpenMP.ll

Code parallèle MPI compilé avec Intel MPI job_Impi.ll

Code hybride MPI/OpenMP compilé avec Intel MPI job_Impi_OpenMP.ll

Code parallèle MPI compilé avec Open MPI Job_Ompi.ll

Code hybride MPI/OpenMP compilé avec Open MPI job_Ompi_OpenMP.ll

Calcul Gaussian 03 (chimie quantique) job_Gaussian03.ll

Les nœuds de calcul possédant 24 Go de mémoire (DDR3) et 8 cœurs, il est préférable de ne pas dépasser 3 Go de mémoire par processus pour les travaux MPI avec un nombre de processus significatif ; la quantité de mémoire par processus (tâches MPI dans le cas des codes parallèles) est spécifiée par la directive :

« # @ data_limit »

La commande personnalisée de lancement d’un code MPI, en batch, diffère selon la librairie utilisée lors de la compilation :

• Pour un code compilé avec Intel MPI : commande mpirun.Impi dans le modèle de script job_Impi.ll

• Pour un code compilé avec Open MPI : commande mpirun.Ompi dans le modèle de script job_Ompi.ll

Dans les modèles de script job_Impi.ll et job_Impi_OpenMP.ll, la variable I_MPI_FABRICS joue un rôle important : elle permet de spécifier le protocole de communication entre processus MPI.

Dans le tableau suivant, «processus intra-nœud» désigne un ensemble de processus au sein d’un même nœud de calcul ; «processus inter-nœud» désigne un ensemble de processus répartis dans plusieurs nœuds de calcul.




Juillet 2010

Variable Protocole de communication

export I_MPI_FABRICS=shm:tmiShared memory entre processus intra-nœud et TMI (Tag Matching Interface)

entre processus inter-nœud

export I_MPI_FABRICS=tmi TMI entre tous les processus

export I_MPI_FABRICS=shm:dapl

Shared memory entre processus intra-nœud et DAPL (Direct Access

Programming Library) entre processus inter-nœud

export I_MPI_FABRICS=dapl DAPL entre tous les processus

Pour les performances, TMI est a priori préféré à DAPL car plus adapté au type de réseau InfiniBand de l’architecture de la grappe de calcul ANTARES.

Lors du portage d’un code MPI sur ANTARES, avec Intel MPI, il est conseillé de tester les performances des quatre options suivantes, dans l’ordre indiqué :

• export I_MPI_FABRICS=shm:tmi• export I_MPI_FABRICS=tmi• export I_MPI_FABRICS=shm:dapl• export I_MPI_FABRICS=dapl

3.1.2. Commandes du batchLes principales commandes utiles sont les suivantes :

Action Commande

Lancement d’un travail llsubmit job_Impi.ll

Visualisation de la file des travaux llq

Visualisation de la file des propres travaux d’un utilisateur llq -u login

Arrêt d’un travailllcancel antares-adm.<num>.0

oullcancel altair-adm.<num>.0

L’identifiant d’un travail « antares-adm.<num>.0» ou « altair-adm.<num>.0» est indiqué en première colonne de la sortie de la commande llq :

login@antares-adm:~: llq -u loginId Owner Submitted ST PRI Class Running On ------------------------ ---------- ----------- -- --- ------------ -----------antares-adm.500.0 login 6/28 17:12 R 50 court an052




Juillet 2010

Ce travail s’exécute dans le répertoire de scratch /dlocal/run/antares-adm.500.0, désigné par la variable $LOCAL_WORK_DIR dans le script de soumission.

3.1.3. Classes de soumissionLes classes de soumission actuelles sont les suivantes.

Classes ECN :

Classe Description

ecn_court

• temps ≤ 48 heures• les travaux de cette classe

accèdent à 33 nœuds de calcul• 1 travail est limité à 33 nœuds

(264 cœurs et 792 Go de mémoire)

ecn_long

• 48 heures < temps ≤ 100 heures• les travaux de cette classe

accèdent à 8 nœuds de calcul• 1 travail est limité à 8 nœuds (64

cœurs et 192 Go de mémoire)

Classes CRIHAN :

Classe Description

tcourt

• temps ≤ 6 heures• les travaux de cette classe



court




long




tlong







Juillet 2010

3.2. Mode interactifLes calculs interactifs se font sur les frontales antares et altair, pour de la mise au point ou des pré- ou post-traitements consommant peu de ressources.

Ne pas dépasser 4 threads pour les codes OpenMP et 4 processus pour les codes MPI.

3.2.1. Calcul interactif avec Intel MPIL’environnement Intel MPI est activé par défaut ; la commande «type» permet de le vérifier :

login@altair-adm:~: type mpirunmpirun is /opt/intel/impi/4.0.0.027/intel64/bin/mpirun

Un code compilé avec cette librairie peut être exécuté en interactif sur l’une ou l’autre des deux frontales antares ou altair.

Il faut créer des fichiers de noms de machine, «~/hostfile.antares» et «~/hostfile.altair» par exemple :

login@antares-adm:~: cat ~/hostfile.antares antares-admantares-admantares-admantares-adm

login@altair-adm:~: cat ~/hostfile.altair altair-admaltair-admaltair-admaltair-adm

La commande de lancement d’un calcul sur l’une ou l’autre des frontales est alors la suivante (ici pour 4 processus) :

• Sur antares :nohup mpirun -r ssh -f ~/hostfile.antares -np 4 ./mpicode.exe > mpicode.log < /dev/null &

• Sur altair :nohup mpirun -r ssh -f ~/hostfile.altair -np 4 ./mpicode.exe > mpicode.log < /dev/null &

3.2.2. Calcul interactif avec Open MPIPour l’exécution interactive d’un code compilé avec Open MPI, il faut d’abord activer l’environnement de cette librairie.

Pour un code compilé avec un le compilateur Intel (conseillé) et Open MPI :login@altair-adm:~: source /soft/environment/openmpi/openmpi-intel.sh

Pour un code compilé avec le compilateur Gnu et Open MPI :login@altair-adm:~: source /soft/environment/openmpi/openmpi-gnu.sh

La commande de lancement d’un calcul est alors la suivante (ici pour 4 processus) :login@altair-adm:~: nohup mpirun -np 4 ./mpicode.exe > mpicode.log < /dev/null &




Juillet 2010