CROCO Une initiative communautaire pour aborder la modélisation régionale à

littorale complexe et réaliste.

F. Auclair (UPS), R. Benshila (CNRS), X. Capet (CNRS), L. Debreu (Inria), F. Dumas (SHOM), S. Jullien (Ifremer), P. Marchesiello (IRD)

PLAN

•  Genèse : groupe et projet ANR COMODO

•  Points de repères bibliographiques

•  Cibles de CROCO

•  Raffinement de grille

•  Solveur Non hydrostatique

Projet COMODO (http://www.comodo-ocean.fr)

• Intercomparaison et évaluation des modèles

• Amélioration des méthodes numériques utilisées dans les modèles

• Suites de cas-tests standards et diffusés (couvrir tous les pans de la dynamique)

• Diagnostics affinés : le concept de résolution effective en domaine océanique

Vers le modèle CROCO.

Généalogie de CROCO

•  Non hydrostatique / Non Boussinesq (approche pseudo-compressible approach) du modèle S-NH model

•  Module sédimentaire du modèle MARS (IFREMER) : MUSTANG.•  Multirésolution

ROMS AGRIF ROMS UCLA

ROMS UCLA/RUTGERS

ROMS Regional Oceanic Modeling System

CROCO

Coastal and Regional Ocean Community MOdel

Shchepetkin, jCP, 2009

AGRIF Blayo Debreu, 1999

ROMS Rutgers

SCRUM

Échelle régionale!CROCO!

Dynamique littoral!

Echelle globale!

ATMOSPHERE!

Vagues!

Biogéochimie / Ecologie

Sédimentologie!

Objectifs Applications cibles

• Modélisation complexe réaliste

• Couplage avec la biogéochimie et l’écologie

• Circulation forcée par les vagues

• Interaction avec l’atmosphère

• LES / DNS

Échelle régionale!CROCO!

Dynamique littoral!

Echelle globale!

ATMOSPHERE!

Vagues!

Biogéochimie / Ecologie

Sédimentologie!

Objectifs Applications cibles

• Modélisation complexe réaliste

• Couplage avec la biogéochimie et l’écologie

• Circulation forcée par les vagues

• Interaction avec l’atmosphère

• LES / DNS

• Modules aux interfaces

Modules aux interfaces

•  Couplage atmosphère-vagues-courant (aide V. Garnier)!•  Interfaçage avec PISCES (coll. C. Ethé)!•  Vers des applications (très) littorales!

Échelle régionale!CROCO!

Dynamique littoral!

Echelle globale!

ATMOSPHERE!

Vagues!

Biogéochimie / Ecologie

Sédimentologie!

Objectifs Applications cibles

• Modélisation complexe réaliste

• Couplage avec la biogéochimie et l’écologie

• Circulation forcée par les vagues

• Interaction avec l’atmosphère

• LES / DNS

• Défis numériques :

•  raffinement de grille

Emboîtement à l’aide de ROMS_AGRIF

•  Couplage complétement two-way (i.e. au niveau du mode barotrope) •  Raffinement local en espace ET en temps •  Complètement conservatif (volume et traceurs via refluxing)

Debreu et al 2012, Ocean Modelling

Vers des simulations à multirésolution

ROMS : grille C étagée, Surface libre (Mode/Time splitting), coordonnées verticales terrain-following (généralisées)

La librairie Adaptive Grid Refinment In Fortran (AGRIF)

Raffinement en bloque structuré (Adaptatif potentiellement)

Comprend un convertisseur des sources (Fortran) : un analyseur lexicographique

Qui transforme un code monogride en code multigrille

Le même code (exécutable) sur différentes grilles

•  Prise en compte de différents systèmes de coordonnées verticales

•  Coarsening online

HYCOM, ROMS, MARS3D, NEMO Biastoch et al 2010, Nature

Marchesiello et al 2012, OM

Que requiert la « vraie » multi- résolution ?

•  Connection entre grille voisine •  Algorithme de lissage de la bathymétrie •  Critère de raffinement

•  distance à la côte •  Profondeur (CFL + grille verticale

•  Sortie en ligne et visualisation •  Charge de calcul bien équilibrée en parallèle

Coût calcul •  Les grilles voisine se recouvrent d’une maille de grille

grossière (niveau immédiatement supérieur dans la hiérarchie)

•  Chaque grille comporte deux mailles tampons (« ghost cells » )

•  Coût des échanges intergrilles : •  Interpolation des valeurs du niveau de grille

grossière •  Echange entre grille voisines.

•  Pourcentage de points à terre (fonction de la taille minimum des emprises)

Une application préliminaire

Surface relative couverte par chaque niveau de la hiérarchie :Niveau 1 : 100% (1 grille)Niveau 2 : 43 % (8 grilles)Niveau 3 : 18% (20 grilles)Niveau 4 : 7 % (46 grilles)

Paramètres de simulation: 4 niveaux ( facteur de raffinement spatial : 2)

Pointe Bretagne

Nombre de grille par niveau hiérarchiqueNiveau 1 : 1Niveau 2 : 8Niveau 3 : 20Niveau 4 : 46

Résolution de chaque niveau de grille :Niveau 1 : 2,8kmNiveau 2 : 1,4kmNiveau 3 : 700mNiveau 4 : 350m

Brittany

Minimum number of grid points per grids : 256 (16x16)

Percentage of land points at the finer level : 28%

Cost of intergrid operations : 20%

Une application préliminaire

Résultats préliminaires (Température de surface en hiver)

Échelle régionale!CROCO!

Dynamique littoral!

Echelle globale!

ATMOSPHERE!

Vagues!

Biogéochimie / Ecologie

Sédimentologie!

Objectifs Applications cibles

• Modélisation complexe réaliste

• Couplage avec la biogéochimie et l’écologie

• Circulation forcée par les vagues

• Interaction avec l’atmosphère

• LES / DNS

• Défis numériques :

•  raffinement de grille•  non-hydrostatique, non-Boussinesq

CROCO-NBQ ü  3 pas de temps imbriqués « Interne / Externe / NBQ »: couplages…

ü  Mode NBQ: - Continuité / Équations du mouvement,

- Formulation algébrique,

- Implémentation MPI,

- Recouvrement calculs / échanges,

- Formulation verticale implicite. ü Reformulation de CROCO: - « conservation de la masse »,

- « quantité de mouvement »,

ü  Jeu de conditions aux limites ouvertes & cycliques,

ü  Site Web.

CROCO-NH

Développé & porté sur CROCO en 2015-2016…

(i)  Mode NBQ CROCO-NBQ, (ii)  Implémentation avec LFAM3…

Cas-tests ü Oscillations libres cuve non-stratifiée (couplage surface libre),

ü Ondes solitaires sur stratification bi-couche:

(couplage mode interne, adv. / dispersion NH),

ü Propagation 3D d’ondes acoustiques (compressibilité),

ü  Instabilités de Kelvin-Helmholtz (DNS-LES),

ü  Ondes internes sur talus (IGW-Comodo),

ü  Sections 2Dv dans Golfe de Gascogne:

(extraction de section à partir de la maquette 3D…).

Modélisation non-hydrostatique: - Non-Boussinesq: 3 pas de temps (type WRF), SNBQ (Auclair et al., 2016) - Boussinesq: correction de pression à surface libre, SNH (Auclair et al., 2011)

Maquette / démonstrateur ü  Golfe de Gascogne ( HYCOM-BOB).

CROCO-NH

En développement…

Dans un avenir proche…

CROCO non-hydrostatique ü  Correction de pression basée sur matrices NBQ:

solveurs de Poisson (INRIA): HIPS MaPhys

ü  Implémentation du mode NBQ sur GPU,

ü  Bathymétrie mobile (SNBQ, Auclair et al., 2014),

ü  Dissipation (viscosité / diffusivité) formulation isotrope.

Diagnostiques en cours de transfert sur CROCO…

ü  Analyse Temps-Fréquence en ligne (ondelettes, WFT…): (Pairaud et Auclair, 2005, Fortran)

ü  Analyse Énergie Disponible:

(APE type Winters & D’Asaro, 2005, Fortran)

ü  Analyse SVD complexe (Post-traitement Netcdf, FORTRAN),

ü  Analyse « Modes Normaux Ondes Internes »

(Matlab, Pairaud et al., 2016)

Cas-tests en cours de transfert sur CROCO…

ü  Convection « penchée » (Coriolis non Traditionnel),

ü  Ondes internes sur dorsale oscillante (DNS sur exp. labo),

ü  Réflexion d’ondes internes sur fond incliné (résonance).

ü  Maquette « Gibraltar »,

ü  Raffinement NBQ « multigrille » (L. Debreu)

ü  Toy model pour tests numériques (actuellement LF SNBQ/SNH).

•  Grille 2Dv: 256 pts x 256 niveaux •  ( Δti, Δte, Δtq ) = ( 25, 1.6, 0.16 ) ms •  32 CPUs •  Conditions horizontales cycliques, • Anomalie initiale (u).

•  Qdm: (h) UP3 / (v) Spline, •  Traceurs: (h, v) WENO5

IDEX-TEASAO (Y. Morel)

Instabilités de Kelvin-Helmholtz

- 1 m/s

+ 1 m/s

•  Domaine: 286 x 286 m ( x 286 m) •  Durée: 7h •  Ri < ¼ (instable)

Cas-Test KH INST

z

δρ,δu

Animation

x

)m/kg( 3δρSurface libre

•  Acoustique: Cs = 500 m/s •  Seconde viscosité: 10-2/ 102 m2/s

Profils « tanh »

•  Instabilités primaires (2D) & secondaires (3D), •  Cascade turbulente, (transferts énergie), •  Brassage & mélange irréversible des traceurs passifs, •  Simulation DNS & LES.

•  Grille 2Dv: 256 pts x 40 niveaux •  ( Δti, Δte, Δtq ) = ( 25, 1.6, 0.16 ) ms •  32 CPUs •  Forçage M2 (frontières ouest & est), •  Conditions latérales cycliques (f-plan)..

•  QdM: (h) UP3 / (v) Spline, •  Traceurs: (h) UP3 / (v) Akima •  CdL: (interne) Orlansky / (externe) Caract. •  Background visco/ diffus.: 0 / 10-5 m2/s

Section 2Dv Bob

•  Domaine: 286 x 286 m •  Durée: 10 périodes M2 •  Stratification N = 10-3 rad.s-1

Cas-Test Bob 2Dv

)s/m(u 1−

Plateau des Landes

•  Acoustique: Cs = 1500 m/s •  Seconde viscosité: 10-2 m2/s

Stage M2 M. DIAZ

Projet LEFE-Geronimp (P. Lazure)

•  Observations In-Situ (LEFE-Geronimo) radiales,… •  Tests Schémas Numériques, Hydro vs NH,

Plateau des Landes

•  Ondes internes: •  Propagation linéaire: rayons, modes normaux… •  Équation de dispersion & amortissement, •  Non linéarités: réflexions, advection, solitons… •  Sur plateau: advection / propagation / contrôle hydraulique,

BOB grid

•  Grille: •  (719 x 470 x 40), •  Résolution horizontale: [1750m … 2032 m], •  Coordonnées sphériques (New-S Coord. 6/0/200),

•  Maquette 2D ( Δte ) = 4 s, •  Maquette 3D ( Δti, Δte ) = ( 60+ s, 1+ s ), •  160+ CPUs, •  XIOS (8 CPUs), •  FES 2012 & TPXO 07: M2, S2, K2, N2, K1, O1, P1, Q1

•  Qdm: (h) UP3 / (v) Spline, •  Traceurs: (h) RSUP3 / (v) Spline, •  No background visco / diffus., •  Filter Power, •  CdL: (Interne) Orlansky / (Externe) Caract.

Maquette Bay of Biscay (BOB)

•  Domaine: •  Longitude 15 – 3 °W •  Latitude 43 – 51 °N

•  Durée: 6 mois (marée), 12 j (complète) •  Stratification homogène (Mint94).

Maquettes BOB 2D / 3D

H (m)

Section 2Dv

Animation

•  Maquette 3D complète: •  Bulk surface flux, •  Long & short waves, •  River flows (Adour, Gironde, Loire et Seine)

8 components (SHOM): M2 S2 K2 N2 K1 O1 P1 Q1

•  Démonstrateur numérique, •  Maquette « chaîne opérationnelle SHOM », •  Simulation régionale, •  Simulation ondes solitaires (zoom NBQ imbriqué), •  Modélisation « multigrille » (Hydro / NBQ).

X [m]

De

pth

[m

]

Gravitational adjustment

0 0.5 1 1.5 2 2.5 3

−0.25

−0.2

−0.15

−0.1

−0.05

X [m]

De

pth

[m

]

0 0.5 1 1.5 2 2.5 3

−0.25

−0.2

−0.15

−0.1

−0.05

X [m]

De

pth

[m

]

0 0.5 1 1.5 2 2.5 3

−0.25

−0.2

−0.15

−0.1

−0.05

Amélioration du caractère multirésolution :!• Parallélisme à mémoire distribuée!

•  Parallélisation de la communication entre grille voisine!

•  Equilibre de charge (Algorithme Space Filling Curve)!

• Optimisation des opérations intergrille.!!Fermeture turbulente adaptée au NBQ (LES/VLES)!!Développements planifiés:!• Cut cells pour le traitement des géométries complexes horizontales.!•  Adaptation locale du système de coordonnées verticales.!• Capacité Non Boussinesq locale!

Coordonnées arbitrairement lagrangienne-eulérienne (intégration du générateur de coordonnées hybrides d’HYCOM)!!Sédimentologie (modèle Ifremer : MUSTANG)!!

Perspectives

Complements NH

•  Grille 2Dv: 880 pts x 40+ niveaux •  ( Δti, Δte, Δtq ) = ( 50, 0.8, 0.08 ) s •  64+ CPUs •  Forçage S2 (frontières ouest & est), •  Conditions latérales cycliques (f-plan)..

•  QdM: (h) UP3 / (v) Spline, •  Traceurs: (h) UP3 / (v) Spline •  CdL: (interne) Orlansky / (externe) Caract. •  Background visco/ diffus.: 0 / 10-5 m2/s

Cas-Test IGW-Comodo

•  Domaine: 880 km •  Durée: 11+ périodes S2

Cas-Test IGW (Hydro / NBQ)

)s/m(w 1−

Ondes internes sur talus

•  Acoustique: Cs = 1500 m/s •  Seconde viscosité: 10-2 m2/s

•  Simulation Physique « CORIOLIS » (LEGI), •  Tests Schémas Numériques, Hydro vs NH, •  Intégration longue pour bilans.

•  Ondes internes: •  Propagation linéaire: rayons, modes normaux… •  Équation de dispersion & amortissement, •  Non linéarités: réflexions, advection, solitons… •  Sur plateau: advection / propagation / contrôle hydraulique,

advection / propagation mode 1 harmoniques NL

Zoom

Démonstrateur Bay of Biscay (BOB)

Maquette HYCOM (SHOM)

Analyse marée M2

Observations (samples)

Amplitude bias mean (cm)

Amplitude bias std. dev. (cm)

Phase lag bias mean (deg)

Phase lag bias std. dev. (deg)

Complex bias mean (cm)

Complex bias std. dev. (cm)

Error / Amplitude (%)

Error / Amplitude FES 2012 (%)

TG shelf (11) -1.8 6.0 -3.6 2.4 7.0 7.9 5.0 1.1

TG coastal(13) 156.0 77.9 -50.9 80.9 44.9 114.9 118.8 4.6

T/P #172 (164) -1.5 1.2 -1.3 0.7 2.2 1.5 1.9 0.6

T/P #248 (164) -1.9 3.2 -2.0 1.0 3.0 3.6 3.1 0.3

T/P #070 (46) -3.8 3.0 -5.2 1.6 12.9 4.0 6.6 0.4

T/P #213 (55) -4.0 1.1 -1.8 0.4 4.2 1.0 3.1 0.4

T/P #137 (112) 0.1 13.8 0.6 3.8 7.6 11.4 4.8 0.6

T/P #061 (158) -4.3 5.6 -2.7 1.5 5.5 5.7 4.0 4.1 Remerciements: constantes harmoniques issues de l’altimétrie fournies par le LEGOS/CTOH; constantes de marée fournies par Richard Ray; analyse harmonique des hauteurs de mer fournies par SONEL; modèle FES2012 distribué par AVISO

•  Grille 2Dv: 256 pts x 40 niveaux •  ( Δti, Δte, Δtq ) = ( 25, 1.6, 0.16 ) ms •  32 CPUs •  Forçage M2 (frontières ouest & est), •  Conditions latérales cycliques (f-plan)..

•  QdM: (h) UP3 / (v) Spline, •  Traceurs: (h) UP3 / (v) Akima •  CdL: (interne) Orlansky / (externe) Caract. •  Background visco/ diffus.: 0 / 10-5 m2/s

Section 2Dv Bob

•  Domaine: 286 x 286 m •  Durée: 10 périodes M2 •  Stratification N = 10-3 rad.s-1

Cas-Test Bob 2Dv

)s/m(u 1−

Plateau des Landes

•  Acoustique: Cs = 1500 m/s •  Seconde viscosité: 10-2 m2/s

Stage M2 M. DIAZ

Projet LEFE-Geronimp (P. Lazure)

•  Observations In-Situ (LEFE-Geronimo) radiales,… •  Tests Schémas Numériques, Hydro vs NH,

Plateau des Landes

•  Ondes internes: •  Propagation linéaire: rayons, modes normaux… •  Équation de dispersion & amortissement, •  Non linéarités: réflexions, advection, solitons… •  Sur plateau: advection / propagation / contrôle hydraulique,

28!

Objectifs : principe et algorithmes

Surface gravity wave Acoustic waves Internal gravity waves

celerity ~1500 m/s ~100 m/s ~1 m/s

Model

filtering ü  « rigid lid » è global resolution

ü  Incompressibility / Boussinesq è global solver

ü Scales , ρ evolution è closure (turbulence)

ü  « free surface ». ü  Incompressible EOS ü  compressible Continuity ü  Salinity, T°C, EOS…

non-Boussinesq Mode « External » Mode « Internal » Mode Time- Splitting

Dynamics ü  P, Anomalies ü  P, ρ Anomalies ü P, ρ Anomalies.

ü  : barotropic component. ü  ü  : baroclinic component P∇!

P∇!

P∇!

Les « messagers de la perturbation »… Problématique Dynamique & Numérique!

ζ

( )gz,S, 0bqbq ρ−θρ=ρ

€

p = patm + ρ0g ζ − z( ) + ρbq − ρ0( )gdz'z

ζ

∫ph

! " # # # # # $ # # # # # + q

( )gz,S, 0bq ρ−θρ=ρ

Décomposition de ρ pour l’approche NBQ.

Algorithme en correction de pression

Algorithme Non-Boussinesq

Pression Pression

( ) ( ) ( )2S,

refbq pOpp

p,S,p,S, δ+δ∂

ρ∂+θρ=θρ=ρ

δρ

θ !"!#$

€

p = patm + ρ0g ζ − z( ) + ρbq − ρ0( )gdz'z

ζ

∫ph

! " # # # # # $ # # # # # +δp

2sS, c1

p=

∂

ρ∂

θ

Conservation de la masse

Solveur global

Mode externe

Mode non-Boussinesq

{ } { }( ) …!!

!+δρ+ρλ+−=

∂

ρ∂ ghvdivhgradδρgradhctvh

z2s

s

Δtq

Solveur local Echelle de temps

Mode Interne

Hydrostatic

NH

interne

surface

acoustique

( ) ( ){ }x

uHtH

∂

ρζ+∂−=

∂

ζ+ρ∂( ){ } ( ) …+∂

∂−

∂

ζ∂ζ+ρ−=

∂

ρζ+∂∫ζ

−H

'

0 dzxp

xHg

tuH

{ }vhdivth

ss

!ρ−=

∂

ρ∂

Chaleur, sel, état

{ }…+

∂

∂−=

∂

ρ∂

zs xph

tuh

{ }…+

∂

∂−=

∂

ρ∂

zph

twh

s

{ }ss

s

th

xuh

sv

∂

ρ∂−

∂

ρ∂−=

∂

ρ∂

Grille

Principe et algorithme du solveur non-Boussinesq

Δte

Δti

€

ρ = ρbq +δρ

Simulation de la dorsale océanique

HPC scalabilité

8 16 32 64

Tile size (pts)

128

Algorithme Non-Boussinesq

Correction de pression

32 64

128

Number of Cores