SISMERSISMER Systèmes d’Informations Scientifiques pour la Mer

F-CNDO

Centre de Données

Présenté par Catherine MAILLARD

Brest 2 Fev 2001

L’océanographie opérationnelle crée de nouveaux besoins

Le travail amont fait sur les données “temps différé” est un acquis qui contribue à améliorer la gestion de ces données

Équipe SISMERChef de service : Catherine MAILLARD

Secrétaire (avec ISIB): Béatrice MILOSAVLJEVIC

Données de RéférenceMichel BELLOUIS

Physique-ChimieMichèle FICHAUT

Françoise LE HINGRATGwenaëlle RICOU

GéophysiqueEric MOUSSAT

Chantal CROGUENNEC

Océanographie Opérationnelle

Loic PETIT DE LA VILLEONYvette RAGUENES

Contexte Historique et Missions

• L'archivage et la diffusion des données océanographiques françaises date de 1968 et couvre différents domaines de la physique et de la chimie marines, de la géophysique mesurée en route ainsi que de l'information générale. SISMER (Systèmes d'Informations Scientifiques pour la Mer) a été créé en 1990 pour reprendre ce service dans un contexte de volume de données grandissant, de besoins scientifiques et techniques évoluant rapidement et de l’apparition de nouvelles technologies informatique.

• Il est le Centre National de Données Océanographiques (CNDO) désigné pour la France par la Commission Océanographique Intergouvernementale (COI) de l'UNESCO, dans le cadre du programme International Oceanographic Data and Information Exchange (IODE), la suite de l'ancien Bureau National des Données Océaniques (BNDO).

• Les missions revues lors de la restructuration de la Direction de la Technologie (décision 30/8/99) le chargent du centre de données océanographique de l’IFREMER et réaffirment en les précisant, les missions données lors de la création, en particulier :

– collecte, catalogage, contrôle et sauvegarde et diffusion des données marines acquises par la communauté scientifique nationale

– représentation de l’IFREMER au sein des instances nationales et internationales pour la gestion des données océanographiques

– sur décision de D/IFREMER, participation aux bases de données de programmes nationaux & internationaux

• Ses projets s’inscrivent dans le programme «systèmes d’information pour l’océanographie» (J4) du thème fédérateur «grands équipements pour l’océanographie», comme les navires

Enjeux de la gestion des données

1 - Bases de progrès des connaissances, les besoins de

données scientifiques sont croissants

Valorisation des campagnes: la seconde utilisation des données peut permettre d’économiser du temps navire et/ou améliorer la préparation des nouvelles campagnes

Assistance à la gestion des données des grands programmes scientifiques, en particulier les programmes communautaires; les jeux de données produits sont considérés en eux-mêmes comme des résultats importants des projets et doivent être publiés

Le secteur industriel offshore (prospection pétrolière, télécomunication) et les services publics (meteo, défense) ont des besoins croissants de données marines

La gestion des ressources marines, le suivi de l’environnement et des changements climatiques nécessitent la compilation de longues séries d’observations cohérentes et comparables, en temps réel (alerte et prévision) et en temps différé (études et mises au point technologiques)

L ’amélioration des modèles d ’analyse et prevision de l ’océan nécessite des données de qualité pour assimilation, (re-)analyses, tests de modèles

Enjeux 2 - Fiabilité des données

Un contrôle de qualité est nécessaire qui : filtre les valeurs erronées ou douteuses ne filtre pas les données qui rendent compte d ’une

réelle modification du milieu s’appuie sur les connaissances statistiques du milieu

déjà acquises capable d ’être opérés sur de gros volumes de données

telles celles engendrés par les nouveaux capteurs de l’océanographie opérationnelle et de la géophysique

capable de s ’étendre aux multiples et complexes nouveaux paramètres observés

Enjeux et Perpectives3 - Les Moyens à mettre

en place• Un archivage centralisé et opérationnel est nécessaire pour :

ne pas perdre les données : des études récentes ont montré qu’avant 10 ans, 30% des données non archivées dans un centre de données sont perdues; et que la sécurité des données nécessite un double archivage et des outils adaptés. une fois perdues, les observations collectées dans un environnement variable ne peuvent plus jamais être refaites.

avoir accès aisément à des données de même type : l’effort fourni par un service comme SISMER pour compiler des données dispersées à des format hétérogènes provenant de sources différentes ne doit pas être refait par chaque utilisateur; le service apporté doit également être pérenne;

assurer une certaine cohérence et compatibilité aux jeux de données collectées par différents capteurs et différentes équipes via la normalisation des formats et des QC;

développer et maintenir la capacité de gestion de gros volumes de données fournies par les nouveaux capteurs et la mise en place de l’océanographie opérationnelle;

préparer des produits de synthèse utiles à des utilisateurs non spécialistes

Circulation des données

MICROBIOLOGY

INSTRUMENTSMOORINGS

CTD

SEA CRUISES

• W W W• ftp• cassettes

fichierdonnées

Fichierdonnées

SAUVEGARDE

SERVEUR BDR

NUTRIENTS

INSTRUMENTS

MOORINGSCTD

SEA CRUISES

MICROBIOLOGY

NUTRIENTS

Formulaires

Meta-Données

Collecte

FormatageQC

DIFFUSION

Support Matériel et LogicielStations de travail UNIXPC2 SGBR sous ORACLElogiciels BureautiqueOutils dédiés :

outils de QCInterfaces d’extraction

Interfaces de saisie/chargement

Outils d’édition• Edition de catalogues WWW par liens dynamiques

avec le SGBD (htql)• Edition de catalogues/rapports papier et mailing• Edition de produits sur Cdrom

extraction de données selon divers critères et zones géographiques

Diffusion des Données1998 : Geophysique + Physique/Chimie

113 Demandes

IFREMER36%

FranceSecteur public41%

FranceSecteur privé8%

Etranger15%

Base TOGA/WOCE/CLIVAR : 50 (8 automatiquement en ligne, 42 diffusion manuelle) Cdrom MEDATLAS : 14 gratuits (échange de données) + 30 vendus Base campagnes, données de référence et information générale :

environ 200 connexions par jour sur le web

FORMATS

• Meta-Données : RDBS - ORACLE

• Données - Observations– autodescriptive ASCII (MEDATLAS/CORIOLIS ASCII)– NetCDF incluent le meta-données sous forme de mots-

clé, obligatoire ou optionnels, également copiés dans la BD ORACLE

• Données - données maillées– MODB/MEDMEX

Assurance Qualité• Il est important d’assurer :

• 1) que les données et formats sont suffisamment documentées pour être utilisables

• 2) qu’il ne s’y trouve pas d’anomalie majeure bloquant les traitements nécessaires

• 3) la cohérence et la comparabilité de données issues de différentes sources

• Méthodologie• Toutes les données sont soumises à des contrôles de qualité (QC) automatiques et visuels assistés par systèmes experts

– QC0 : contrôle du format et de la complétude de l’information– QC1 : Contrôle de la position et de la date– QC2 : Contrôle des valeurs d’observation

• Résultat : indicateurs de qualité, action du fournisseur ou élimination• Références - Normes internationales

– CIEM-Marine Data Management working Group (CIEM)

– UNESCO/COI/IODE : International Oceanographic Data & Information Exchange

Banques Nationales et Projets AssociésCatalogues -Meta-databases -EURONODIM/Sea-Search

CAMPAGNES - ROSCOP/CSR (>4700 campanes référencées)

DONNEES - MEDI/EDMED

Banque Nationale de Géophysique + DORSALESBanque Nationale de Physique et Chimie

Marines + MEDAR, MATERBases de Données pour l’océanographie

opérationnelle + GSDC TOGA/WOCE/CLIVAR + CORIOLIS

Données de référence : climatologies, données topographiques, produits publiés par les autres CD

Rôle dans l’IFREMER • SISMER est un service du Département «Informatique et Données Marines» de TMSI

• Les missions revues lors de la restructuration de la Direction de la Technologie (décision 30/8/99) le chargent du centre de données océanographique de l’IFREMER :– définition et administration des bases de données nécessaires– collecte, catalogage, contrôle et sauvegarde et diffusion des données

marines acquises par la communauté scientifique nationale– représentation de l’IFREMER au sein des instances nationales et

internationales pour la gestion des données océanographiques– sur décision de D/IFREMER, participation aux bases de données de

programmes nationaux & internationaux

• Ses projets s’inscrivent dans le programme «systèmes d’information pour l’océanographie» (J4) du thème fédérateur «grands équipements pour l’océanographie», comme les navires

CONCLUSION• La bonne gestion des données collectées est un enjeu

majeur de l’océanographie et l’IFREMER doit le soutenir proportionnellement à l’effort de mesures en mer.

• Des moyens d’incitation, en particulier via l’attribution de temps navire, doivent encourager les scientifiques à accélérer la publication de leurs données au centre de données.

• L’arrivée de nouveaux types de données et de très gros volumes de données issues des nouveaux capteurs et de l’océanographie opérationnelle imposent au SISMER d’améliorer ses outils et ses procédures dans la voie d’une automatisation accrue, mais cet effort seul ne peut suffire à la tâche.

Banque Nationale de Géophysique Marine

Bathymétrie Verticale : 353 Campagnes Bathymétrie Multifaisceaux: 278 Campagnes Gravité : 213 Campagnes Magnétisme : 256 Campagnes Imagerie : 64 Campagnes Campagnes Sismique

– Projets associés : DORSALES-RIDGE, ROBLINKS

DORSALES-RIDGE

Banque Nationale de Physique et Chimie Marines

CTD 16 790 Profils Bouteilles 34 111 Séries temporelles Courantométrie 1853 Séries temporelles Chaînes de Thermistances 126

Related Projects : MEDAR/MEDATLAS, MATER, OCTOPUS, ROBLINKS

0

500

1000

1500

2000

2500

Bouteilles

CTD

CourantosBo

MAST- MEDAR/MEDATLASIIMediterranean Data Archaeology and

Rescue of Temperature, Salinity and Bio-

chemical Parameters

IFREMER/SISMER Brest, France

IEO Madrid, Spain

UL/GHERLiège, Belgium

ICESCopenhaguen, Dk

INRH/DOTMCasablanca, Morocco

ISMALAlger, Algeria

NCMR/HNODCAthens, Hellas

TN/DNHOIstanbul, Turkey

NIMHSofia, Bulgaria

IOCParis, France

UM-POMsida, Malta

RIHMI-WDCObninsk, Russia

MHI/MISTSevastopol, Ukraine

NIOF/ENODCAlexandria,

Egypt

FD-MANRE/CyNODCNicosia, Cyprus

NCSR-NCMSBatroun, Lebanon

IOLRHaifa, Israel

ENEALa Spezia, Italy

OGSTrieste, Italy

CNR/IMGABologne, Italy

Collaborations and Scientific Advisers : GODAR Project - WDC-A, NODC-Croatia, DNA Tunisia, DNA Georgia

EUROGOOS, MEDGOOS, IODE Network

Objectifs de MEDAR/MEDATLAS

• MEDAR vise à compléter les zones vides de données à l’est et au sud par une collaboration internationale étendue en Europe et avec le réseau des centres de données COI/IODE-Mediterranée, pour compiler les paramètres bio-chimiques de base :

– Oxygène, Nitrate, Nitrite, Ammonium, Azote total, Phosphate, Phosphore total, Silicate, H2S, pH, Alkalinité, Chlorophylle-a

• nécessaires à la surveillance et l’exploitation de la mer, et à préparer un produit de synthèse utile pour une large gamme d’utilisateurs : scientifiques, étudiants, industrie.

MTPII-MATERMAss Transfer and

Ecosystem Response(MAS3-CT96-0051)

Physics

VERTICAL PROFILES TIME SERIES

3013 CTD CTD TIME SERIE

572 XBT 21 THERMISTOR STRING

461 ADCP VERTICAL PROFILES 110 CURRENT METER

LAGRANGIAN FLOAT

Biochemistry

VERTICAL PROFILES TIME SERIES

1473 BOTTLES STATIONS 37 SEDIMENT TRAPS

269 BIOLOGICAL STATIONS

Other parameters :

meteorology, biology, model outputs

3 Centres de Données Régionaux et une Animation

105 Campagnes

126 Lignes de Mouillage

Centre International de Données de sub-surface

TOGA/WOCE/CLIVAR 474688 profiless of temperature 1985-1998 (2000) Automatic and Visual QC WWW Interface to access data

Related Projects : CORIOLIS , MFSPP

MFSPPMediterranean Forecasting

Pilot Project(MAS3-CT98-0171)

Model predictions with Assimilation of RT in situ data from VOS, from

multidisciplinary mooring in Aegean Sea, satellite and meteorological data

CORIOLIS provor float cycling

launching reference date reference date + 1 period

cycle 0does not match

the period

cycle 1 cycle 2

cycle period cycle period

argosargosargos

data centre functionsInteroperability with argo

data base (RDBS)catalogue - archive

gts(meteo-france)

mailmailing lists

WWW(full data set)

controldata quality control

technical monitoring of equipments

data collectmailinternetgtscd-rompaper...

disseminationpublic / private

productsgraphics and charts

statisticsanalyses

cd-romor other support

on request

quality insurance for exploitation hardware & software management - backup

models(Mercator, Soprane)

provor profilers

description of a provor

display of a provor profile

provor in pommier area

Assurance Qualité– QC0 : Contrôle du format et de l’information

– QC1 : Contrôle de la position, date et des doublons

– QC2 : Contrôle des points de données– Résultats : Elimination ou Flag de Qualité : Echelle GTSPP

–

– Normes et Réferences– ICES -GETADE Formatting Guidelines for Oceanographic Data Exchange

(http://www.ices.dk/ocean/)

– ICES -MDM QA Guidelines - CTD - Marine Data Management working Group (CIEM) Reports

– UNESCO/COI/IODE : Manual of Quality Control Procedures for validation of Oceanographic Data - Manuals and Guides 26

– UNESCO/IOC/IODE : GF3 A General Formattin System for Geo-Referenced Data - Manual and Guides 17

0 1 2 3 4 5 9

No QC Correct Inconsistent Doubtful Bad Changed Missing

QC1 Control of the location and Date

- Data collected in stationAutomatic Checks Results - Flag

Duplicate data sets EliminationDate Elimination or 5

Ship/Platform velocity Elimination or 5

Location/shoreline Elimination or 5

Bottom sounding (ETOPO5) Elimination or 2

5 = Correction/Interpolation2 = Flag «Inconsistant with statistics» - no correction

QC1 Contrôle de la date et de la position

QC1: Control of the location and Date

- Time series on fixed mooring

QC2 - Control of the Data points

Automatic Checks Results - FlagPressure + one more observation EliminationOut of the regional scale 4 (min & max values)Increasing pressure 4Data below the bottom depth 4Coherence with pre-existing statistics (LEVITUS, REYNAUD, MODB, MEDATLAS) 2No constant profiles 4Spikes 3Vertical stability 4

QC2 - Control of the Data points

Minimum & Maximum - Broad Range Check

QC2 - Control of the Data points

Regional Adjustment for Broad Range Checks

QC2 - Contrôle des Observations

provor temperature map

COASTAL MONITORING - MAREL

SISMERSISMER Systèmes d’Informations Scientifiques pour la Mer

F-NODC

Centre de DonnéesPrésenté par Catherine MAILLARDRéunion MERCATOR/CORIOLIS

Brest 12 Avril 2000