novembre 2008 esci. le modèle couplé de lipsl contexte – présentation – ipsl – pôle de...

93
Novembre 2008 ESCI

Upload: benoite-janin

Post on 04-Apr-2015

104 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Novembre 2008ESCI

Page 2: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Le modèle couplé de l’IPSL

• Contexte – Présentation– IPSL – Pôle de modélisation du climat– Historique du modèle système Terre IPSL– Le modèle actuel IPSLCM4_v2

• Parallélisme

• Nouveaux scripts libIGCM

– Les autres configurations– A venir…

• Utilisation du modèle– Les outils de l’IPSL : modipsl, libIGCM,…– Les différentes étapes– Les simulations réalisées– Les outils utiles : nco, cdo,…

Page 3: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Les laboratoires et les tutelles

Page 4: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

IPSL Institut PS Laplace

• Fédération de 5 laboratoires - Observatoire des Sciences de l’Univers :

– le Centre d’étude des Environnements Terrestre et Planétaires (CETP),

– le Laboratoire de Météorologie Dynamique (LMD)

– le Laboratoire d’Océanographie et du Climat : Expérimentation et Approches Numériques (LOCEAN)

– le Laboratoire des Sciences du Climat et de l’Environnement (LSCE)

– le Service d’Aéronomie (SA)

– Au 1/1/2009 : CETP+SA = LATMOS + LISA + LPMAA , 1 FR + 3 OSUS

• Directeur : Jean Jouzel et à partir du 1/1/2009 Hervé Le Treut

• 8 tutelles

– Centre National de la Recherche Scientifique (CNRS),

– Université Pierre et Marie Curie - Paris 6

– Université Versailles Saint-Quentin en Yvelines

– Commissariat à l’Energie Atomique (CEA)

– l’Institut de Recherche et Développement (IRD)

– Ecole Normale Supérieure

– Ecole Polytechnique

– Centre National d’Etudes Spatiales (CNES).

• 800 personnes - 1000 personnes

• Projets fédératifs :

– Pôle de modélisation du climat - 80 personnes – Pascale Braconnot et à partir du 1/1/2009 Jean-Louis Dufresne

Page 5: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Le pôle de modélisation

• Missions :– Fédérer les études multidisciplinaires (scientifiques ou techniques) faisant

intervenir les composantes du modèle de l'IPSL

– Identifier et coordonner les simulations de référence

– Fédérer et rationaliser les moyens, les développements techniques

– Animation scientifique

• Modèle climat :– Atmosphère

– Océan et glace de mer

– Surfaces continentales

– Cycle du carbone

– Chimie

• IPSLCM4_v2

• Earth System Model

Page 6: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Conseil scientifique du pôle de modélisation

LMDZF. Hourdin

INCAM. Schulz

ORCHIDEEN. De Noblet

NEMO-OPAS. Masson,G. Madec

NEMO-TOPL. Bopp

Bureau du CSPOLE

Responsable : P. BraconnotJ.-L. Dufresne, L. Fairhead, M.-A. Foujols

P. FriedlingsteinF. Hourdin, C. Lévy, O. Marti

20e-21emeJ.L Dufresne,

P. Friedlingstein

TropiquesJ.P. Duvel, S. Janicot

Expertise complémentaire

F. Lott, L. Li, S. Bekki, G. Krinner,Th. Fichefet

G. Ramstein

Page 7: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

ESCI

• Equipe Système Climat IPSL – 20 personnes• Mission :

– Organiser les développements techniques en accord avec les activités scientifiques du pôle

– Assurer le lien et la cohérence des développements entre les différentes composantes et le modèle couplé

– Support aux utilisateurs des modèles– Documentation– Animation technique, formation– Veille technique

Page 8: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Le modèle couplé IPSL

Définition : infrastructure qui permet de récupérer des versions de références des modèles, de les compiler, de les coupler ensemble, de réaliser une expérience type fournie (y compris fichiers entrée), de suivre sa réalisation, de produire des résultats bruts, de produire, stocker et rendre accessible des ATLAS et analyses systématiques.

Page 9: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Oasis

Le modèle climat de l’IPSL

Page 10: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Contraintes liées aux différentes activités scientifiques

IPSL_CM4(IPCC)

Tests sensibilité-KE/Ti-Flux eau-Paleo-???

IPSL_CM4+(IPCC)

IPSL_CM4(loop)

IPSL_CM4(chimie-aérosols)

Utilisation des sols Paléo végétation

Cycle du carbone (Pisces, flux de carbone, transport carbone)

INCA

Pas

s ag e

LM

DZ

4

IPSL_CM4(//)

Pas

s ag e

Ver

s ion

s / /

des

mo d

èles

Evolution des composantes

Haute résolution

Nouveau modèle

Nouvel exercice GIEC 2009

IPSLCM4_v1

IPSLCM4_v2

IPSLCM5

IPSL_ESM_V1

Page 11: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Historique et court terme

Nouvel exercice GIEC 2009

IPSLCM4_v1

IPSLCM4_v2

IPSLCM5

IPSL_ESM_V1

Juillet 2004 – IPCC/AR4

Juillet 2007

Parallélisme MPI LMDZ-ORCHIDEE

Scripts libIGCM

IPSLCM4_v1_OASIS3Jusqu’à juillet 2007 - LMDZ4 tag IPCC

Résolutions ajoutées - OASIS3

IPSLCM4_LOOPCycle du carbone

Stomate (ORCHIDEE) - PISCES (OPA)

Chimie - Aérosols

NEMO

Parallélisme OpenMP LMDZ-ORCHIDEE

LMDZ nouvelle physique IPSLCM6

Page 12: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

A. Caubel, MA Foujols et groupe CPLIPSL

Compilation et fichiers d’entréeIPSLCM4_v2

orca2

44x43x19,72x45x19, 96x71x19, 96x95x19,

144x143x19

Information

A. Caubel et CERFACS

CPL

J. Bellierv2_1_2IOIPSL

Équipe système NEMO

ipsl_cm4_v2ORCA_LIM

M. Manciporchidee_1_9_2ORCHIDEE

L. Fairhead et BOLLMDZ4_V3_4LMDZ4

Responsables ESCI

TagComposante

IPSLCM4_v2_3

OASIS 3 Head

Composantes du modèle couplé IPSLCM4_v2

S Denvil, P Brockmann, M Mancip

Scriptsexécution et post- traitementslibIGCM libIGCM_v1_1

SVN

Page 13: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Version de référence du modèle

• Chaque composante est validée en mode forcé par les personnes ad hoc

– tag fixé

– atlas sur les serveurs dods IDRIS et/ou CCRT

• Une expérience couplée type est disponible – IPSLCM4_v2 : CDT5v2CT (144x142)

– (site http://mc2.ipsl.jussieu.fr/ensembles.html)

• Démarche itérative– Nouvelles études multiples (paleo, land use, …)

– Évolutions à intégrer dans la version suivante : liste, qualité

– Groupe Cplipsl garant de la qualité

Page 14: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Parallélisme LMDZ-ORCHIDEE

• Parallélisation MPI

• Machines cibles :– Vectoriel et parallélisme modéré o(10) : Mercure (NEC SX8R), Brodie (NEC

SX8)

– Scalaire SMP parallélisme massif o(100) : Platine (BULL Itanium)

• Performances : 1 an couplé en Orca2xLMD144x142 – 8 procs mercure/brodie et 40 procs platine

– 3h sur mercure/brodie et 5h sur platine en temps réel

– 24h calcul sur mercure/brodie et 200 h calcul sur platine

• Présentation Y.Meurdesoif - décembre 2008

PROCESS 0

PROCESS 1

PROCESS 3

PROCESS 2

pôle nord

pôle sud

latitude

longitudes

Page 15: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Deux centres de calcul privilégiés: IDRIS/CNRS et CCRT/CEA

IDRIS/CNRS CCRT/CEA

Calculateur • brodie.idris.frNEC SX-8, été 200610 noeuds80 processeurs• vargas.idris.frIBM Power 6, 3584 coeursPortage en cours

• mercure.ccc.cea.frNEC SX-8R, nov 20068 noeuds64 processeurs• platine.ccc.cea.frBull, 6784 coeurs

Connexion brodie/vargas.idris.fr(filtrage par adresse)

mercure/platine.ccc.cea.fr(filtrage par adresse)

Sources (conseil) $WORKDIR $WORKDIR

Fichiers gaya fer

Post-traitement rhodes mercure (tx7), platine

Serveur DODS dods.idris.fr dods.extra.cea.fr/data/

Assistance-Support [email protected] [email protected]

01 69 35 85 55 01 69 26 66 66

www.idris.fr www-ccrt.cea.fr

Page 16: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Les nouveaux scripts

• libIGCM : ensemble de scripts de lancement de simulation et de post-traitement modulaires et portables

• Documentation : http://forge.ipsl.jussieu.fr/libigcm

• Configurations cohérentes en plus grand nombre

– LMDZINCA, ORCA2LIM_v2, LMDZ4OR_v2

– IPSLCM4_v2, IPSL_ESM, IPSLCM5

Page 17: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Les configurations utilisant les nouveaux scripts

• IPSLCM4_v2 : A Caubel, M-A Foujols

• LMDZ4OR_v2 : J Ghattas

• ORCHIDEE_OL : M Mancip

• LMDZINCA : A Cozic

• IPSL_ESM : A Cozic

Recommandation : prévenir lors de nouvelles études basées sur une de ces configurations

• En cours :

– ORCA2_LIM, GYRE_LOBSTER : Equipe Système NEMO

Page 18: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Documentation

• Wiki Pôle : http://forge.ipsl.jussieu.fr/igcmg– Introduction générale IGCMG, accessible à tous– Accès outils multiples

• Accès sources SVN

• Accès aux tickets d’incident

• Accès aux pages wiki

– Contrainte : être inscrit dans le projet (demande aux administrateurs) pour pouvoir modifier wiki, tickets et sources.

– Machine commune de gestion des projets - Olivier Thauvin (SA)

Page 19: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Documentation forge.ipsl.jussieu.fr/igcmg

Sources SVN

Tickets

WIKI

Page 20: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

A venir…

• Futur proche– NEMO // : IPSLCM5 (Exercice IPCC AR5)– // mixte MPI OpenMP LMDZ-ORCHIDEE => machines

cibles scalaires SMP type platine ou vargas avec plus d’efficacité

– Nouvelle physique LMDZ : IPSLCM6

• Futur moins proche– Serveur IO dans les modèles IPSL– Coupleur OASIS4 : plus de parallélisme– Utilisation machines scalaires MPP ~1000 procs

Page 21: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

2ème partie

Utilisation et démonstration

Page 22: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Principes (1/7)

ATMOSPHERE

LMDZ

Page 23: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

ORCHIDEE_OL ORCHIDEE LMDZ

Principes (2/7)

PROCESSUS

de SURFACE

« DRIVER

OFFLINE »

Page 24: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Principes (3/7)

ORCHIDEE_OL ORCHIDEE LMDZ

LMDZORExpérience type : 1 an

ORCHIDEE_OLExpérience type : 1 ansur le site Cabauw

Page 25: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

LMDZ OPA LIM TRC

Principes (4/7)

OCEAN GLACE TRACEUR

ORCHIDEE

Page 26: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

ORCHIDEE LMDZ OPA LIM TRC

Principes (5/7)

ORCA2_LIMExpérience type : 1 an

ORCA2_LIM_TRCExpérience type : 1 an

Page 27: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

ORCHIDEE LMDZ OPA LIMOASIS

Principes (6/7)

COUPLEUR

CERFACS

IPSLCM4_v2

Expérience type :

10 ans

Etats initiaux

Page 28: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Principes (7/7)

ORCHIDEE_OL ORCHIDEE LMDZ OPA LIM TRCOASIS

IOIPSL/ NETCDF IOIPSL/ NETCDF

fichiersfichiers

Scripts libIGCM

Page 29: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

MODIPSL, IOIPSL, Rebuild

• Modipsl : outil d’extraction, de préparation en fonction de la machine, de compilation des modèles pour créer les exécutables.

Introduction – FAQ : http://forge.ipsl.jussieu.fr/igcmg/wiki/ModipslBeginner

• IOIPSL : librairie commune qui gère les Entrées-Sorties (fichiers de sorties, restarts) au format NetCDF dans les modèles de l’IPSL.

• Rebuild : outil pour recombiner les fichiers

Page 30: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

A savoir sur brodie et IDRIS : http://forge.ipsl.jussieu.fr/igcmg/wiki/ModipslBeginner

PATH=/TXlocal/pub/svn/svn-1.3.1/bin:/home/rech/psl/rpsl035/fcm/bin:$PATHpour accéder à svn et fcm. Vérifier par which svn et which fcm.

$HOME_BIS sur rhodes est très vaste mais non sauvegardé. Faire les post-traitements là après avoir vérifié que ce répertoire existe ou demander sa création à l'assistance IDRIS. Pour cela créer un répertoire sur $HOME_BIS et son homonyme sur le $HOME en lien. Ce répertoire doit avoir le même nom que sur brodie. cd ; mkdir $HOME_BIS/MONEXPAMOI ; ln -s $HOME_BIS/MONEXPAMOI MONEXPAMOI ; si l'expérience a été préparée sur brodie ainsi :cd $WORKDIR ; mkdir MONEXPAMOI ; cd MONEXPAMOI ; svn_ano ; ...

$WORKDIR sur brodie peut être étendu largement (50 Go pour le groupe par exemple). Le demander à l'assistance. Pour vérifier l'occupation et la taille : {{{ quota_u -w }}}

sur brodie, remplir le fichier .rhosts avec rhodes Faire marcher les transferts brodie --> gaya par mfget/mfput. Ftuas sur rhodes pour faire

connaître le mot de passe gaya à brodie et à toutes les machines. Pour les accès dods, il faut lancer une commande mfdods sur gaya. Cela crée le répertoire.

Si l'accès par le web ne passe pas : http://dods.idris.fr/login , demander à l'assistance IDRIS.

Pour donner les accès à tous (755 ou drwxr-xr-x) au WORKDIR de brodie, il faut demander à l'assistance IDRIS pour le niveau /u/rech/grp. Idem pour /home_b/rech/grp sur rhodes.

Page 31: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

A savoir sur mercure et CCRT : http://forge.ipsl.jussieu.fr/igcmg/wiki/ModipslBeginner

PATH=$PATH:/home/cont003/p86ipsl/fcm/bin pour accéder fcm. Vérifier par which fcm.

Page 32: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Accès au modèle IPSLCM4_v2 (1/9)

1. Accès à modipsl (SVN)brodie ou mercure : mkdir MY_EXPERIENCE

brodie ou mercure : cd MY_EXPERIENCE

brodie ou mercure :

svn co http://forge.ipsl.jussieu.fr/igcmg/svn/modipsl/trunk modipsl

alias (svn_ano)

MY_EXPERIENCE

modipsl

modeleslibdoc.svn bin tmp utilconfig

Page 33: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

modipsl

MY_EXPERIENCE

modelesconfigdoc.svn bin tmp util

Installation et configuration des Makefiles

Installation et configuration des scripts de lancement

Définition pour chaque configuration de leurs composantes et de leurs tags associés

Extraction des modèles validés disponibles

• mod.def

Accès au modèle IPSLCM4_v2 (2/9)

1. Accès à modipslbrodie ou mercure : cd modipsl/util

lib

• model

• ins_make

• ins_job

Page 34: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

1 #- $Id$2 #---------------------------------------------------------------------3 #-This file is the definition file of the script "model".4 #---------------------------------------------------------------------5 #- Each model is defined by6 #- (prefix #-H-) model informations,7 #- (prefix #-M-) the email address of the model manager,8 #- (prefix #-C-) elements to extract for the model, in the order :9 #- name of the component in the repository10 #- tag/revision of the component11 #- index of the repository in the server table12 #- installation path in the local working directory13 #- local working directory in modipsl14 #- (prefix #-S-) containing the control system and server address.15 #-16 #- The tag "?" correspond to the default model version.17 #- Invoking "model" with -H overrides any tag with "?".18 #---------------------------------------------------------------------19 #- Repository informations20 #-21 #-S- 1 cvs [email protected]:/home/ioipsl/CVSROOT22 #-S- 2 cvs [email protected]:/home/ssipsl/CVSREP23 #-S- 3 cvs [email protected]:/home/cvsroot24 #-S- 4 cvs [email protected]:/home/opalod/CVSROOT25 #-S- 5 cvs [email protected]:/home/opalod/NEMOCVSROOT26 #-S- 6 cvs [email protected]:/home/incaipsl/CVSROOT27 #-S- 7 svn --username nemo_user http://forge.ipsl.jussieu.fr/nemo/svn28 #-S- 8 svn http://forge.ipsl.jussieu.fr/igcmg/svn29 #------------------------------------------------------------------

Accès au modèle IPSLCM4_v2 (3/9) - fichier mod.def -

Page 35: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

85 #-87 #-H- IPSLCM4_v2 IPSLCM4_v2 configuration with parallel LMDZ4 and ORCHIDEE88 #-H- IPSLCM4_v2 official release : october 200789 #-H- IPSLCM4_v2 ORCA tag ipsl_cm4_v290 #-H- IPSLCM4_v2 IOIPSL/src svn tags/v2_1_391 #-H- IPSLCM4_v2 LMDZ4 tag LMDZ4_V3_492 #-H- IPSLCM4_v2 ORCHIDEE tag orchidee_1_9_293 #-H- IPSLCM4_v2 OASIS3 tag HEAD94 #-H- IPSLCM4_v2 IPSLCM4_v2 svn new scripts 95 #-M- IPSLCM4_v2 [email protected] #-C- IPSLCM4_v2 IOIPSL/tags/v2_1_3/src HEAD 8 IOIPSL/src modeles97 #-C- IPSLCM4_v2 ORCHIDEE orchidee_1_9_2 2 . modeles98 #-C- IPSLCM4_v2 OASIS3 ? 1 prism .99 #-C- IPSLCM4_v2 LMDZ4 LMDZ4_V3_4 3 . modeles100 #-C- IPSLCM4_v2 CONFIG/tags/IPSLCM4_v2/IPSLCM4_v2_2 HEAD 8 IPSLCM4_v2 config101 #-C- IPSLCM4_v2 tags/libIGCM_v1 ? 1 . .102 #-C- IPSLCM4_v2 OPA/SRC_ORCA ipsl_cm4_v2 4 . modeles103 #-C- IPSLCM4_v2 OPA/SRC_UCL ipsl_cm4_v2 4 . modeles104 #-C- IPSLCM4_v2 UTIL/fait_AA_make ipsl_cm4_v1_8 4 . modeles

Accès au modèle IPSLCM4_v2 (3/9 - suite) - fichier mod.def -

Page 36: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

1. Accès à MODIPSL

svn_ano ; cd modipsl/util2. Accès à IPSLCM4_v2

brodie ou mercure : ./model IPSLCM4_v2 (4 mots de passe : à demander autour de vous) Annexe 1: logins et serveurs SVN/CVS

.svn

Accès au modèle IPSLCM4_v2 (4/9)

util

modipsl

MY_EXPERIENCE

modeleslibIGCMdocbin tmp

UTIL OPA LMDZ4ORCHIDEEIOIPSL

config

IPSLCM4_v2

prismlib

Page 37: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

1. Accès à MODIPSL

svn_ano ; cd modipsl/util

2. Accès à IPSLCM4_v2./model IPSLCM4_v2

3. Installation des Makefiles

brodie ou mercure : ./ins_make

Accès au modèle IPSLCM4_v2 (5/9)

util

modipsl

MY_EXPERIENCE

prismmodeleslibdocbin tmp.svn

IPSLCM4_v2

• AA_make.gdef

Makefile• AA_make.ldef

• AA_make

configlibIGCM

Page 38: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

1. Accès à MODIPSL (SVN)

svn_ano ; cd modipsl/util

2. Accès à IPSLCM4_v2./model IPSLCM4_v2

3. Installation des Makefiles./ins_make

4. Installation de l’expérience typebrodie ou mercure : # Editer ../config/IPSLCM4_v2/EXP00/config.card

# Modifier JobName(LO1), JobNumProcTot(4)

./ins_job

util

modipsl

MY_EXPERIENCE

modeleslibdocbin tmp.svn

IPSLCM4_v2

Accès au modèle IPSLCM4_v2 (6/9)

EXP00

Job_JobName

configlibIGCM

AA_job

config.card

Page 39: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

libIGCM

modipsl

MY_EXPERIENCE

modeles

Accès au modèle IPSLCM4_v2 (7/9)

AA_atlas_LMDZAA_atlas_ORCHIDEEAA_atlas_ORCA_LIMAA_create_tsAA_create_seAA_monitoring

atlas_LMDZ.jobatlas_ORCHIDEE.jobatlas_ORCA_LIM.jobcreate_ts.jobcreate_se.jobmonitoring.job

1. Accès à MODIPSL

svn_ano ; cd modipsl/util

2. Accès à IPSLCM4_v2./model IPSLCM4_v2

3. Installation des Makefiles./ins_makevi

../config/IPSLCM4_v2/EXP00/config.card

4. Installation de l’expérience type (partie post-traitement) brodie ou mercure : ./ins_job config

Page 40: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

1. Accès à MODIPSL svn_ano ; cd modipsl/util

2. Acces à IPSLCM4_v2./model IPSLCM4_v2

3. Installation des Makefiles./ins_make

4. Installation de l’expérience typevi ../config/IPSLCM4_v2/EXP00/config.card

./ins_job5. Compilation

brodie ou mercure : cd ../config/IPSLCM4_v2brodie ou mercure : gmake (défaut

ORCA2xLMDZ9671)

util

modipsl

MY_EXPERIENCE

configlibdocbin tmp.svn

IPSLCM4_v2

Accès au modèle IPSLCM4_v2 (8/9)

• create_etat0_limit.e• gcm.e• oasis• opa

Makefile

Page 41: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

1. Accès à MODIPSL svn_ano ; cd modipsl/util

2. Acces à IPSLCM4_v2./model IPSLCM4_v2

3. Installation des Makefiles./ins_make

4. Installation de l’expérience type vi ../config/IPSLCM4_v2/EXP00/config.card./ins_job

5. Compilationcd ../config/IPSLCM4_v2 gmake

6. Soumission du Job de lancement

brodie ou mercure : cd EXP00brodie ou mercure : qsub Job_LO1

Accès au modèle IPSLCM4_v2 (9/9)

IPSLCM4_v2

dynami.paramgcm.defgeogram.paraminice.paramnamcouplenamelistoffline.deforchidee.defoutput.paramphysiq.defrun.defrun.param.lithermo.param

PARAM

lim.cardlim.driverlmdz.cardlmdz.driveroasis.cardoasis.driveropa.cardopa.driverorchidee.cardorchidee.driver

modipsl

MY_EXPERIENCE

config

EXP00

Job_JobName COMP

Page 42: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Récupérer, compiler et lancer le modèle couplé IPSLCM4_v2

1. Accès à MODIPSL svn co http://forge.ipsl.jussieu.fr/igcmg/svn/modipsl/trunk modipsl

2. Accès à IPSLCM4_v2 cd modipsl/util ; ./model IPSLCM4_v2

# model -h # pour voir les autres configurations disponibles3. Installation des Makefiles

./ins_make4. Installation de l’expérience type (et post-traitements)

Modifier «JobName» dans ../config/IPSLCM4_v2/EXP00/config.card./ins_job

5. Compilation cd ../config/IPSLCM4_v2 ; gmake

6. Soumission du Job de lancement cd EXP00qsub Job_JobName

Page 43: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Un peu plus en détail…

• Répertoire EXP00 prêt :

– COMP/* : information sur les composantes

– config.card : fichier de configuration de la simulation

– Job_LO1 : Job à soumettre

– PARAM/* : fichiers de configuration des modèles

– run.card.init : fichier de suivi original

modipsl

MY_EXPERIENCE

config

EXP00

IPSLCM4_v2

Job_LO1 COMP

lim.cardlim.driverlmdz.cardlmdz.driveroasis.cardoasis.driveropa.cardopa.driverorchidee.cardorchidee.driver

PARAM

dynami.paramgcm.defgeogram.paraminice.paramnamcouplenamelistoffline.deforchidee.defoutput.paramphysiq.defrun.defrun.param.lithermo.param

config.cardrun.card.init

Page 44: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Schéma de la librairie de scripts libIGCMEXP00 EXP00/COMP

Page 45: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Script de référence : Job_LO1

PeriodLength

Page 46: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Nouveaux scripts : libIGCM• Infrastructure commune cohérente de script :

– Job_Jobname• Un job de soumission de la simulation

– config.card : • une fiche descriptive d’une configuration pour une simulation donnée

– CARD :• Des couples de fichiers card et driver décrivent les fichiers et programment le

fonctionnement de chaque composante d’une configuration

– PARAM :• Des fichiers de paramètres des différentes composantes

– run.card (run.card.init):• Une fiche d’information sur la simulation en cours d’exécution

– libIGCM :• libIGCM/libIGCM_card, liBIGCM_comp, libIGCM_config, libIGCM_date, libIGCM_debug,

libIGCM_post, libIGCM_sys.ksh : des bibliothèques de fonctions en ksh utilisées par les jobs

• libIGCM/libIGCM_sys/libIGCM_sys_brodie.ksh, libIGCM_sys_mercure.ksh, … : des fonctions système spécifique à chaque machine

Page 47: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Un peu plus en détail…

• Répertoire EXP00 prêt :

– COMP/* : information sur les composantes

– config.card : fichier de configuration de la simulation

– Job_LO1 : Job à soumettre

– PARAM/* : fichiers de configuration des modèles

– run.card.init : fichier de suivi original

modipsl

MY_EXPERIENCE

config

EXP00

IPSLCM4_v2

Job_LO1 COMP

lim.cardlim.driverlmdz.cardlmdz.driveroasis.cardoasis.driveropa.cardopa.driverorchidee.cardorchidee.driver

PARAM

dynami.paramgcm.defgeogram.paraminice.paramnamcouplenamelistoffline.deforchidee.defoutput.paramphysiq.defrun.defrun.param.lithermo.param

config.cardrun.card.init

Page 48: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

1 #2 # This is config.card file for restart with an NEW libIGCM simulation tree.3 #4 #========================================================================5 #D-- Compatibility -6 [Compatibility]7 libIGCM=1.08 #D-- UserChoices -9 [UserChoices]10 #============================11 #-- (<8 chars MAX for JobName)12 JobName=LO113 LongName="SCRIPT_V1"14 TagName=IPSLCM4_v215 #============================16 #-- leap, noleap, 360d17 CalendarType=360d18 #-- Début et fin de Job19 #-- "YYYY-MM-DD"20 DateBegin=1860-01-0121 DateEnd=1869-12-3022 #============================23 #-- 1Y, 1M, 5D, 1D24 PeriodLength=1M25 #============================

config.card : UserChoices

Information sur la simulation

Page 49: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

config.card : Composantes

33 #========================================================================34 #D-- ListOfComponents -35 [ListOfComponents]36 #D- For each component, Name of component, Tag of component37 ATM= (lmdz, LMDZ.4)38 SRF= (orchidee, ORCHIDEE.1.9)39 OCE= (opa, OPA8.2)40 ICE= (lim, LIM.1)41 CPL= (oasis, OASIS3)42 #========================================================================43 #D-- Executable -44 [Executable]45 Name=run_file46 #D- For each component, Real name of executable, Name of executable for oasis47 ATM= (gcm.e, lmdz.x)48 SRF= ("", "")49 OCE= (opa, opa.xx)50 ICE= ("", "")51 CPL= (oasis, oasis)

Page 50: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

53 #========================================================================54 #D-- Restarts -55 [Restarts]56 #D- If you want a GENERAL RULE FOR RESTARTS, put this flag to 'y'57 OverRule=n58 #D- Last day of the experience used as restart59 RestartDate=1869-12-3060 #D- Define restart simulation name (=> JOB_OS)61 RestartJobName=CD162 #D- Path Server Group Login (=> PSGL)63 RestartPath=${ARCHIVE}/IGCM_OUT/IPSLCM4_v264 # Attention login depend de la machine66 #========================================================================67 #D-- Post -68 [Post]69 #D- Do we rebuild parallel output, this flag determines70 #D- frequency of rebuild submission71 RebuildFrequency=NONE72 #D- If you want to monitor variables, this flag determines73 #D- frequency of post-processing submission74 MonitoringFrequency=NONE75 #D- If you want to produce time series, this flag determines76 #D- frequency of post-processing submission77 TimeSeriesFrequency=10Y78 #D- If you want to produce seasonal average, this flag determines79 #D- the period of this average80 SeasonalFrequency=10Y

config.card : Restarts

y pour un redémarrage depuis une autre simulation

Donner la date, le nom de la simulation et le chemin d’accès aux fichiers

Page 51: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

53 #========================================================================54 #D-- Restarts -55 [Restarts]56 #D- If you want a GENERAL RULE FOR RESTARTS, put this flag to 'y'57 OverRule=n58 #D- Last day of the experience used as restart59 RestartDate=1869-12-3060 #D- Define restart simulation name (=> JOB_OS)61 RestartJobName=CD162 #D- Path Server Group Login (=> PSGL)63 RestartPath=${ARCHIVE}/IGCM_OUT/IPSLCM4_v264 # Attention login depend de la machine66 #========================================================================67 #D-- Post -68 [Post]69 #D- Do we rebuild parallel output, this flag determines70 #D- frequency of rebuild submission71 RebuildFrequency=NONE72 #D- If you want to monitor variables, this flag determines73 #D- frequency of post-processing submission74 MonitoringFrequency=NONE75 #D- If you want to produce time series, this flag determines76 #D- frequency of post-processing submission77 TimeSeriesFrequency=10Y78 #D- If you want to produce seasonal average, this flag determines79 #D- the period of this average80 SeasonalFrequency=10Y

config.card : Post

Page 52: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

82 #========================================================================83 #D-- ATM -84 [ATM]85 #86 WriteFrequency="1M 1D HF"87 # If config_Restarts_OverRule == 'n' all params are read88 Restart= n89 # Last day of the experience used as restart90 RestartDate=1999-12-3091 # Define restart simulation name92 RestartJobName=LO193 RestartPath=${ARCHIVE}/IGCM_OUT/IPSLCM4_v294 # Old component name for restart (if empty, use new name)95 OldName=96 97 #========================================================================98 #D-- OCE -99 [OCE]100 WriteFrequency="1M 1D"101 Restart= n102 ##-- Last day of the experience used as restart103 RestartDate=1999-12-30104 # Define restart simulation name105 RestartJobName=LO1106 RestartPath=${ARCHIVE}/ IGCM_OUT/IPSLCM4_v2107 # Old component name for restart (if empty, use new name)108 OldName=

config.card : une composante type ATM

y pour un redémarrage ATMdepuis une autre simulation

Donner la date, le nom de la simulation et le chemin d’accès aux fichiers

Page 53: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Un peu plus en détail…

• Répertoire EXP00 prêt :

– COMP/* : information sur les composantes

– config.card : fichier de configuration de la simulation

– Job_LO1 : Job à soumettre

– PARAM/* : fichiers de configuration des modèles

– run.card.init : fichier de suivi original

modipsl

MY_EXPERIENCE

config

EXP00

IPSLCM4_v2

Job_LO1 COMP

lim.cardlim.driverlmdz.cardlmdz.driveroasis.cardoasis.driveropa.cardopa.driverorchidee.cardorchidee.driver

PARAM

dynami.paramgcm.defgeogram.paraminice.paramnamcouplenamelistoffline.deforchidee.defoutput.paramphysiq.defrun.defrun.param.lithermo.param

config.cardrun.card.init

Page 54: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Job_JobName

1. Définition de la mémoire limite#PBS -l memsz_job=4.0gb limite mémoire

2. Définition du nombre de processeurs #PBS -v PBS_NUM_PROC_TOT=::JobNumProcTot::

provient de config.card via ./ins_job

3. Définition des limites temps CPUSur Brodie :#PBS -l cputim_job=1:00:00 limite en temps CPU pour

l’ensemble du jobSur Mercure :#PBS -l elapstim_req=1:00:00 limite en temps réel ‘elapsed’

pour l’ensemble du job

Initialisation des paramètres de batch (exemple PBS)

Page 55: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Job_JobName : PBStableau des classes* IDRIS

brodie : news class =======================================================================Classes multiprocesseurs (<=8) au sein d'un noeud (MPI ou OpenMP)========================================================================

Parametres NQSII a specifier : #PBS -q multi #PBS -l cpunum_job=<Nproc> # Nombre de processeurs (1 <= Nproc <= 8)

^ -l cputim_job (limite en temps CPU par job) | 12:00:00 +--------------------------+ (12H) | | | p2t2 | | | | 1 <= Nproc <= 2 | | TMPDIR <= 45Gb | 1:00:00 +---------------------------+ (1H) | | | p2t1 | | | | 1 <= Nproc <= 2 | | TMPDIR <= 45Gb | +----------------------------+--> -l memsz_job (limite memoire par job) 15Gb

* Susceptible de changement permanent

Page 56: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Job_JobName : PBStableau des classes* IDRIS

brodie : news class (suite)    

* Susceptible de changement permanent

 ^ -l cputim_job | 48:00:00 +----------------------------- (48H) | | p8t2 | | 7 <= Nproc <= 8 | TMPDIR <= 300Gb 2:00:00 +----------------------------- (2H) | | p8t1 | | 7 <= Nproc <= 8 | TMPDIR <= 100Gb +----------------------------> -l memsz_job 60Gb

Page 57: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Job_JobName : PBStableau des classes* CCRT

* Susceptible de changement permanent

mercure : classQUEUE ACT TYPE NODE TIME MEM LIM/USER HOSTStest Oui Urgent 1 1h00 32G mercure17prod Oui Normal 1 24h00 20G mercure10,mercure11,mercure12,mercure13,mercure15,mercure16,mercure17bigmem Oui Normal 1 24h00 64G mercure10,mercure11bigtime Oui Normal 1 100h00 32G mercure12,mercure13,mercure16testpara Oui Urgent 4 30m00 52G mercure10,mercure11,mercure12,mercure13parallel Oui Normal 4 24h00 40G mercure10,mercure11,mercure12,mercure13,mercure16para8 Oui Normal 1 24h00 32G mercure14ipcc Oui Special 1 24h00 32G mercure15,mercure17scalaire Oui - 1 24h00 8G mercure

Page 58: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Temps CPU

5.4 Gb (5.8 Gb 1er mois)1700 sMercure : 4 procs

5.4 Gb (5.8 Gb 1er mois)600 sBrodie : 4 procs

MémoireTemps écouléPlateforme

1800 s

500 s

Job_JobName : PBSCaractéristiques pour une expérience de 1 mois

ORCA2xLMD9671

Classe du job: brodie p4t2 mercure parallel

Page 59: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Temps CPU

18 Gb ( 18.2Gb 1er mois)6000 sMercure : 8 procs

18 Gb (18.2 Gb 1er mois)1050 sBrodie : 8 procs

MémoireTemps écouléPlateforme

6100 s

950 s

Job_JobName : PBSCaractéristiques pour une expérience de 1 mois

ORCA2xLMD144142

Classe du job: brodie p8t2 mercure parallel

Page 60: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Job_JobName : PeriodNb

Pour éviter de lancer une foule de petits jobs qui reprennent la file d’attente àchaque fois, il est possible de lancer en boucle n périodes par job.Le paramètre à modifier est dans Job_JobName (1 par défaut) : PeriodNb=1

Attention! Modifier le paramètre PBS du temps en conséquence. 1. Définition des limites temps CPU

Sur Brodie :#PBS -l cputim_job=10:00:00 limite en temps CPU pour

l’ensemble du jobSur Mercure :#PBS -l elapstim_req=10:00:00 limite en temps réel ‘elapsed’

pour l’ensemble du job

Lancement de plusieurs périodes par job

Page 61: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Soumission - Contrôle

• qsub Job_LO1

• Contrôle – Mercure : qstat, mpp– Brodie : qstat

• Répertoire EXP00 en cours de simulation :

– COMP/*

– PARAM/*

– run.card.init

– run.card

– config.card

– Job_LO1

– Script_Output*

modipsl

MY_EXPERIENCE

config

EXP00

IPSLCM4_v2

Job_LO1 COMP PARAMconfig.cardrun.card.initrun.cardScript_Output*

Page 62: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

# contient la date du run en cours ou du run en attente # last date of loop == .suivi[Configuration]#last PREFIXOldPrefix= HVMPSTOI_00071231#Compute date of loop == .suiviPeriodDateBegin= 0008-01-01PeriodDateEnd= 0015-12-31CumulPeriod= 2# State of Job "Start", "Running", "OnQueue", "Completed"PeriodState= Running

# contient la trace des executions[PostProcessing]# postraitements state == .datePostState = Start

MonitoringRunning=nMonitoringCompleted=

TimeSeriesRunning=nTimeSeriesCompleted=

SeasonalRunning=nSeasonalCompleted=

run.card : le fichier de suivi

Page 63: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

[Log]# Executable SizeLastExeSize= ( 26540674, 0, 16412248, 0, 9897631 )

# CumulPeriod | PeriodDateBegin | PeriodDateEnd | RunDateBegin | RunDateEnd | RealCpuTime | UserCpuTime | SysCpuTime | ExeDate 1 , 18600101 , 18600130 , 2008/07/25 09:12:54 , 2008/07/25 09:28:50 , 956.39111 , 2287.43321 , 4.49284 , ATM_Jul_2_17:19-OCE_Jul_2_16:56-CPL_Jul_2_16:50) \(2 , 18600201 , 18600230 , 2008/07/25 09:29:47 , 2008/07/25 09:40:00 , 613.02877 , 1347.03011 , 4.11219 , ATM_Jul_2_17:19-OCE_Jul_2_16:56-CPL_Jul_2_16:50) \

run.card : le fichier de suivi

Page 64: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Un peu plus en détail…

• Répertoire EXP00 prêt :

– COMP/* : information sur les composantes

– config.card : fichier de configuration de la simulation

– Job_LO1 : Job à soumettre

– PARAM/* : fichiers de configuration des modèles

– run.card.init : fichier de suivi original

modipsl

MY_EXPERIENCE

config

EXP00

IPSLCM4_v2

Job_LO1 COMP

lim.cardlim.driverlmdz.cardlmdz.driveroasis.cardoasis.driveropa.cardopa.driverorchidee.cardorchidee.driver

PARAM

dynami.paramgcm.defgeogram.paraminice.paramnamcouplenamelistoffline.deforchidee.defoutput.paramphysiq.defrun.defrun.param.lithermo.param

config.cardrun.card.init

Page 65: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

• Un fichier descriptif par composante (par ex opa.card)

– Fichiers d’entrée texte (namelist)– Fichiers d’entrée binaires :

conditions initiales conditions limites (bathymetry)

– Exécutable (opa.xx)– Fichiers de sorties binaires (netCDF)– Fichiers de sorties texte (ocean.output)– Fichiers de redémarrage (restart.nc)

Flux des données (1/6)

Page 66: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Flux des données (2/6) opa.card

[UserChoices]OPA_NPDT_JOURS=15

[InitialStateFiles]List= ()

[BoundaryFiles]List= ()ListNonDel= (${R_BC}/OCE/${config_UserChoices_TagName}/{RESOL_OCE}/LEVITUS_1m_Temperature_Pot_Ice_nomask.nc, .), \

(${R_BC}/OCE/${config_UserChoices_TagName}/${RESOL_OCE}/runoff_1m_nomask.nc, .)

[ParametersFiles]List= (${SUBMIT_DIR}/PARAM/namelist_${RESOL_OCE}, namelist)

[RestartFiles]List= (${config_UserChoices_JobName}_${PeriodDateEnd}_restart.nc, restart.nc, orcaini.nc)

[OutputText]List= (ocean.output, opa.xx.prt, solver.stat, ftrace.out.2.0)

[

Page 67: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Flux des données (3/6)

[OutputFiles]List= (${PREFIX_NWRITE}_${DATE_OPA}_grid_T.nc, ${R_OUT_OCE_NWRITE}/${PREFIX}_${WF1}_grid_T.nc, Post_1M_grid_T),\

(${PREFIX_NWRITE}_${DATE_OPA}_diaznl.nc, ${R_OUT_OCE_NWRITE}/${PREFIX}_${WF1}_diaznl.nc, Post_1M_diaznl),\

(${PREFIX_NWRIHF}_${DATE_OPA}_grid_V.nc, ${R_OUT_OCE_NWRIHF}/${PREFIX}_${WF2}_grid_V.nc, NONE)

Page 68: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

OPA + LIM

Flux des données (4/6)

OPA + LIMnamelist_ORCA2

geogra.param

output.param

run.param.li

thermo.param

dynami.param_ORCA2

inice.param

coordinates.ncbathymetry…ahmcoefLEVITUS_1m_…runoff_1m_...

À analyser avec les outils de post-traitements

restart.nc

rest_ice.om

orcaini.nc

rest.om

…_grid_ ……_diaznl_……icemod…meshmask.nc

ocean.output

solver.stat

time.step

ice_evolu

ice_mouchard

Page 69: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

OASIS3

flxat.ncsstoc.nc

flxat.ncsstoc.nc

cf_name_table.txtnamcouple

_ORCA2xLMD9671_ORCA2xLMD7245

grids.ncmasks.ncareas.ncwa2o.flxwa2o.runwa2o.calwo2a.tsg

cpl_oce_tau.nccpl_oce_flx.nccpl_oce_sst.nccpl_atm_tauflx.nc

cpl_atm_sst.nc

Oasis.prtopa.xx.prt0lmdz.x.prt0cplout

Flux des données (5/6)

OASIS

À analyser avec les outils de post-traitements

Page 70: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

LMDZ + ORCHIDEErestart.ncrestartphy.ncsechiba_rest.nc

start.ncstartphy.ncstart_sech.nc

physiq.defgcm.defrun.deforchidee.def

Flux des données (6/6)

LMDZ + ORCHIDEEinvtab.formatedlimit.nccarteveg5km.ncsoils_param.ncrouting.ncflux_icebergamipbc_sic....ncAlbedo.ncRugos.nc

tautab.formatso4.run.nat.cdfECDYN.ncECPHY.ncRelief.ncRugos.nclandiceref.nco2a.nclai2D.nc

create_etat0_limit.e

À analyser avec les outils de post-traitements

etat0_visu.ncdyn_hist[ v_ave].n

cdynzon.nchisthf.nchistmth.nc

listingnistNMC.nchistREGDYN.ncsechiba_out.ncstomate_history.n

c

Page 71: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Post-traitement

[OutputFiles]List= (${PREFIX_NWRITE}_${DATE_OPA}_grid_T.nc, ${R_OUT_OCE_NWRITE}/${PREFIX}_${WF1}_grid_T.nc, Post_1M_grid_T),\

(${PREFIX_NWRITE}_${DATE_OPA}_diaznl.nc, ${R_OUT_OCE_NWRITE}/${PREFIX}_${WF1}_diaznl.nc, Post_1M_diaznl),\

(${PREFIX_NWRIHF}_${DATE_OPA}_grid_V.nc, ${R_OUT_OCE_NWRIHF}/${PREFIX}_${WF2}_grid_V.nc, NONE)

[Post_1M_grid_T]Patches = ()GatherWithInternal = (nav_lon, nav_lat, deptht, time_counter)TimeSeriesVars = (iowaflup, sohtc300, sohefldo, soicecov, somxl010, sorunoff, sosaline, sossheig, sosstsst, sowaflep, sowaflcd, sowaflup)

[Post_1M_diaznl]Patches = ()GatherWithInternal = (lon, lat, deptht, time_counter)TimeSeriesVars = (zotempeg, zotempea, zosaling, zosalina, sozonfha, sozanfha, sozonfhd, sozanfhd, sozonfhe, sozanfhe, sozonfhg, sozanfhg, sozonfho, sozanfho, sozonfsd, sozanfsd, sozonfsg, sozanfsg, sozonfso, sozanfso)

Page 72: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Les utilitaires de post-traitement CCRT, IDRIS

modipsl

MY_EXPERIENCE

libIGCM

• create_ts• create_se• atlas_...• monitoring

create_ts.job : séries temporelles tous les 10 ans

create_se.job : moyennes saisonnières tous les 10 ans

Retour des jobs de post-traitement là :rhodes : $WORKDIR/IGCM_OUT/IPSLCM4_v2/JobNamemercure : $SCRATCHDIR/IGCM_OUT/IPSLCM4_v2/JobName

atlas_ORCA_LIM : pour océan et glace de meratlas_LMDZ : pour atmosphère atlas_ORCHIDEE : pour surfaces continentales

Les atlas sont basés sur ferret et sur fast : http://dods.ipsl.jussieu.fr/fast/

Page 73: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Accès aux résultats de simulations

• Mise en ligne du monitoring et des atlas sur les serveurs dods :

Dods IDRIS : http://dods.extra.cea.fr

Dods CCRT : http://dods.idris.fr/

• Accès aux simulations de référence

http://mc2.ipsl.jussieu.fr/ensembles.html

Page 74: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL
Page 75: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Monitoring

Page 76: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL
Page 77: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Arborescence sur serveur fichiers

TS_DA TS_MO

IPSLCM4_v2

OCE SRF CPL MONITORING

JobName

ATM ATLASICE

RestartAnalyseOutput

[INS]DA [HF] MO

Debug SE_1860_1969

rhodes : cd $HOMEGAYA/IGCM_OUTmercure : cd $DMFDIR/IGCM_OUT

OCE_[TUVW] SRFATM ICE

SE

Page 78: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Arborescence sur serveur fichiers

rhodes : cd $HOMEGAYAmercure : cd $DMFDIRIGCM_OUT/`-- IPSLCM4_v2 `-- JobName |-- ATLAS |-- ATM | |-- Analyse | | |-- SE | | |-- TS_DA | | |-- TS_HF | | `-- TS_MO | |-- Debug | |-- Output | | |-- DA | | `-- HF | | `-- MO | `-- Restart |-- CPL | |-- Analyse | | `-- SE | |-- Debug | |-- Output | | `-- MO | `-- Restart |-- Exe

|-- ICE | |-- Analyse | | |-- SE | | `-- TS_MO | |-- Debug | |-- Output | | `-- MO | `-- Restart |-- MONITORING |-- OCE | |-- Analyse | | |-- SE | | `-- TS_MO | |-- Debug | |-- Output | | |-- DA | | `-- MO | `-- Restart |-- Out `-- SRF |-- Analyse | |-- SE | `-- TS_MO |-- Debug |-- Output | `-- MO `-- Restart

Page 79: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Nomenclature des noms des fichiers de sortie

Output, Analyse, Debug, …${JobName}_${PeriodDateBegin}_${PeriodDateEnd}_XX_NomFichier

Output/DA et Analyse/TS_DA:

XX 1D

Output/MO et Analyse/TS_MO

XX 1M

Analyse/SE :${JobName}_SE_${PeriodDateBegin}_${PeriodDateEnd}_NomFichier

Restart : ${JobName}_${PeriodDateEnd}_NomFichier

Page 80: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Job_JobName : DRYRUN

Pour tester une nouvelle expérience et ne lancer que certaines étapes de lasimulation, il est possible par la variable DRYRUN de diminuer les actionslancées.Elle est positionnée à 0 par défaut. DRYRUN=3 est très pratique pour relancer les post-traitements

Tests de l’expérience

Page 81: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

LMDZ

OPA

ORCHIDEE

IOIPSL

Annexe 1 : Accès au modèle IPSLCM4_v2

Accès direct aux fichiers sur les serveurs SVN et CVS

brodie ou mercure : svn co http://forge.ipsl.jussieu.fr/igcmg/svn/modipsl/trunk modipsl

brodie ou mercure : cvs –d :pserver:[email protected]:/home/opalod/CVSROOT login (passwd=xxxxxxx)

brodie ou mercure : cvs –d :pserver:[email protected]:/users/lmdz/cvsroot login (passwd=xxxxxxxxx)

brodie ou mercure : cvs –d :pserver:[email protected]:/home/ssipsl/CVSREP login (passwd=xxxxxxxx)

Création du fichier $HOME/.cvspass

MODIPSL

CPL

brodie ou mercure : svn co http://forge.ipsl.jussieu.fr/igcmg/svn/IOIPSL/trunk/src src

brodie ou mercure : cvs –d:pserver:[email protected]:/home/ioipsl/CVSROOT login                                                                                                                 (passwd=xxxxxxxxx)

Création du répertoire ./.svn

Page 82: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Auto descriptif

Portable

à Accès direct

Modifiable

Partageable

Le fichier contient l’information sur les variables contenues

Fichiers accessibles par des machines ayant des modes différents de stockage des entiers, des caractères et des nombres à virgules flottantes

Possibilité d’accéder à une donnée sans avoir à parcourir l’ensemble des données qui la précède

Possibilité d’ajouter des données dans un fichier

Possibilité d’avoir simultanément un accès en écriture et plusieurs accès en lecture

Annexe 2 :Caractéristiques d’un fichier NetCDF

Page 83: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

NetCDF, nco, cdoConvention CF

Netcdf : http://www.unidata.ucar.edu/packages/netcdf/

nco : http://nco.sourceforge.net/

cdo : http://www.mpimet.mpg.de/fileadmin/software/cdo/

Convention CF : http://www.cgd.ucar.edu/cms/eaton/cf-metadata/

Page 84: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

• Informations sur les dimensions

• Informations sur les attributs

(voir conventions CF)

• Informations sur les attributs des

variables

( sans leurs valeurs)

(voir conventions CF)

Structure du fichier NetCDF – En-têtedimensions: lon = 72 ; lat = 46 ; presnivs = 19 ; time_counter = UNLIMITED ; // (1 currently)

// global attributes: :Conventions = "GDT 1.3" ; :file_name = "histmth.nc" ; :production = "An IPSL model" ; :TimeStamp = "2003-MAR-05 10:37:38 GMT+0100" ; :associate_file = "dyn_hist_ave.nc dynzon.nc histhf.nc histmth.nc sechiba_out.nc cpl_atm_tauflx.nc cpl_atm_sst.nc" ;

variables: float lon(lon) ; lon:units = "degrees_east" ; lon:valid_min = -180.f ; lon:valid_max = 175.f ; lon:long_name = "Longitude" ; lon:nav_model = "Default grid" ; float lat(lat) ; lat:units = "degrees_north" ; lat:valid_min = -90.f ; lat:valid_max = 90.f ; lat:long_name = "Latitude" ; lat:nav_model = "Default grid" ; float presnivs(presnivs) ; presnivs:units = "mb" ; presnivs:positive = "unknown" ; presnivs:valid_min = 388.2433f ; presnivs:valid_max = 100426.5f ; presnivs:title = "presnivs" ; presnivs:long_name = "Vertical levels" ; float time_counter(time_counter) ; time_counter:units = "seconds since 1979-01-01 00:00:00" ; time_counter:calendar = "360d" ; time_counter:title = "Time" ; time_counter:long_name = "Time axis" ; time_counter:time_origin = " 1979-JAN-01 00:00:00" ;

float tsol(time_counter, lat, lon) ; tsol:units = "K" ; tsol:missing_value = 1.e+20f ; tsol:valid_min = 1.e+20f ; tsol:valid_max = -1.e+20f ; tsol:long_name = "Surface Temperature" ; tsol:short_name = "tsol" ; tsol:online_operation = "ave(X)" ; tsol:axis = "TYX" ; tsol:interval_operation = 1800.f ; tsol:interval_write = 2592000.f ; tsol:associate = "time_counter nav_lat nav_lon" ;

ncdump -h COURS_1m_19790101_19790130_histmth.nc

Page 85: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

• données de taille fixe

• données de taille variable

Structure du fichier NetCDF - Données

data:

tsol = 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 248.3489, 248.3532, 248.3445, 248.003, 247.5628, 247.1862, 246.7824,…

Page 86: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Utilitaires nco

ncdump : génère sur la sortie standard une représentation textuelle CDLd’un ensemble de meta-données netCDF avec la possibilité d’exclure toutou partie de données variables. La sortie de ncdump doit pouvoir servir d’entrée à ncgen.

ncgen : génère un fichier netCDF ou un programme C ou FORTRAN permettant

de créer un fichier netCDF

ncdump et ncgen peuvent donc être utilisées comme fonctions inverses

pour passer d’une représentation textuelle à une représentation binaire

et inversement.

Exemple :rhodes ou mercure : ncdump –p15 –b f

COURS_1m_19790101_19790130_histmth.nc >COURS_1m_19790101_19790130.cdl

rhodes ou mercure : emacs COURS_1m_19790101_19790130.cdl &rhodes ou mercure : ncgen –o COURS_1m_19790101_19790130.nc

COURS_1m_19790101_19790130.cdl

Page 87: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Utilitaires nco

ncdiff soustrait les variables d’un fichier file_1 à celles d’un fichier file_2 correspondantes et stocke les résultats dans un fichier file_3.

ncrcat concatène des variables enregistrées parmi un nombre arbitraire de fichiers d'entrée. La dimension du fichier netCDF de sortie est par défaut la somme des dimensions des fichiers netCDF d’entrée. Les fichiers d'entrée peuvent avoir des tailles différentes mais tous doivent avoir des dimensions spécifiées. L’enregistrement des coordonnées doit avoir la même syntaxe.

Exemple : ncrcat –v tsol COURS_1m_19790[1-9]01_19790[1- 9]30_histmth.nc COURS_1m_19791[0-2]01_19791[0-2]30_histmth.nc COURS_1m_19880[1-9]01_19880[1-9]30_histmth.nc COURS_1m_19881[0-2]01_19881[0-2]30_histmth.nc COURS_1m_19790101_19880130_TSOL.nc

Série temporelle de la variable TSOL sur 10 ans

Page 88: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Utilitaires nco

ncra calcule la moyenne sur un nombre variable de fichiers d’entrée. C’est une moyenne temporelle sur la grille spatiale. Ce qui donne 1 seule valeur dans les fichiers de sorties. ncra ne calcule pas de moyenne pondérée.

ncea calcule la moyenne sur un nombre variable de fichiers d’entrée. C’est une moyenne spatiale sur la grille temporelle. Ce qui donne autant de valeurs moyennes que de pas de temps.

ncea fait la moyenne « fichier à fichier » sur chaque point de l’axe des temps

ncra fait la moyenne « fichier à fichier » sur l’ensemble des points de l’axe des temps

t

t

t

Nombre de valeurs de moyenne égale au nombre de sorties par fichiers

1 unique valeur de moyenne

Page 89: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Utilitaires nco

ncks permet d’extraire une série de données qu’il écrit sur la sortie standard sous forme ASCII (comme ncdump) et qu’il écrit également sous forme d’un fichier binaire netCDF

Exemple : ncks -v sosstsst COURS_1m_19790101_19790130_grid_T.nc

COURS_1m_19790101_19790130_SOSSTSST.nc…ncks -v sosstsst COURS_1m_19881201_19881230_grid_T.nc

COURS_1m_19881201_19881230_SOSSTSST.ncncrcat –v sosstsst COURS_1m_19790[1-9]01_19790[1-9]30_grid_T.nc

COURS_1m_19791[0-2]01_19791[0-2]30_grid_T.nc COURS_1m_19880[19]01_19880[1-9]30_grid_T.nc COURS_1m_19881[0-2]01_19881[02]30_grid_T.nc

COURS_1m_19790101_19880130_grid_T.nc

Série temporelle de la variable SOSSTSST sur 10 ans

Page 90: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Utilitaires cdo (Climate Data Operator)

Page 91: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Utilitaires cdo (Climate Data Operator)

Page 92: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Utilitaires cdo (Climate Data Operator) File information (info, sinfo, diff, diffv, ...) File operations (copy, cat, merge, split, ...) Selection (selcode, selvar, sellevel, seltimestep, ...) Missing values (setctomiss, setmisstoc, setrtomiss) Arithmetic (add, sub, mul, div, ...) Mathematical functions (sqrt, exp, log, sin, cos, ...) Comparision (eq, ne, le, lt, ge, gt, ...) Conditions (ifthen, ifnotthen, ifthenc, ifnotthenc) Field statistic (fldsum, fldavg, fldstd, fldmin, fldmax, ...) Vertical statistic (vertsum, vertavg, vertstd, vertmin, ...) Time range statistic (timavg, yearavg, monavg, dayavg, ...) Ensemble statistic (enssum, ensavg, ensstd, ensmin, ...) Regression (detrend) Field interpolation (remapbil, remapcon, remapdis, ...) Vertical interpolation (ml2pl, ml2hl) Time interpolation (inttime, intyear)

Page 93: Novembre 2008 ESCI. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat – Historique du modèle système Terre IPSL

Contributions

L’ensemble du groupe ESCI : équipe système climat IPSL

[email protected]