archive long terme cs 3 novembre 2003
DESCRIPTION
Archive long terme CS 3 novembre 2003. Présentation du service Les moyens (humains, matériels) Bilan scientifique et financier Archivage Les producteurs Intégration des données THEMIS : bilan 2002-2003 Intégration des données dépouillées et producteurs nouveaux - PowerPoint PPT PresentationTRANSCRIPT
Archive long termeCS 3 novembre 2003
Présentation du service Les moyens (humains, matériels) Bilan scientifique et financier
Archivage Les producteurs Intégration des données THEMIS : bilan 2002-2003
Intégration des données dépouillées et producteurs nouveaux
Les producteurs : niveaux de traitement Organisation des requêtes
Organisation d’ateliers (MTR-DPSM) Aide aux utilisateurs
Notre équipe
1 Ingénieur d’études (responsable technique) 1 Assistant ingénieur : recruté en février 2002
1 Adjoint technique ½ tps secrétaire
1 Astronome adjointe (responsable scientifique)
1 Chargé de recherche associé à BASS2000
Présentation du matérielgaia
PC Linux4 Go ram, 324 Go
Base Oracle, sauvegardes, copies1 seule machine, performante
oceanide1 PC Linux
1Go ram, 182 Go
1 PC Linux 2 PCs windows
3 PC Linux 2 PC portables Postes de travail
Bureautique, copies
Ancienne base, obsolète2 stations Unix
68 & 128 Mo ram
Dépouillement
Prospectives matériel
Graveur DVD pour la diffusion de données Demandé par des observateurs Achat en cours
Remplacement des sauvegardes sur DLTs par des DVDs grandes capacité ?
Taille maxi actuelle : 17 Go ???Opération de vérification des DLTs en cours : 3 sur 104
sont mauvais (DLTs d’origine, THEMIS)
Financement CPER en 2004-2005 (BASS2000 + CDPP) pour mise à niveau matériel ??? besoins
Producteurs intégrés dans le catalogue THEMIS Le Radiohéliographe de Nancay La Coupole-Tourelle du Pic du Midi
THEMIS : MTR et DPSM 2 modes : MTR (spectropolarimétrie
multiraies) et DPSM (spectro-imageur, polarimétrie)
Données brutes, disponible 1 an après l’observation
Données IPM : pas de changement Détail du bilan intégration plus loin
Le Radiohéliographe de Nancay
2 réseaux EO et NS Données brutes
(visibilités) 5 fréquences (150 à
450 MHz), 6 depuis
7-11-2002 Cadence 1/8 sec Depuis septembre 97
La Coupole-Tourelle du Pic du Midi Sélection, numérisation (MAMA, Tarbes?) Formatage (cahier des charges, interface) 3 modes : Imagerie, Spectro, DPSM
2005 : Projet CALASGros flux de données
Nouveaux types de données
Contenu du catalogue : bilan
Données intégrées : THEMIS 1999-2003 : 2.8 To NRH 1999-2003 : 362 Go Coupole-Tourelle : 3 Go
Requêtes : surtout PIs et coIs 354 Go en 2000 339 Go en 2001 27 Go en 2002 221 Go en 2003
Consultations du site : ~1080 /mois
Bilan financier 2003 (provisoire) Dépenses équipement :
9216 € (nouvelle machine Linux) 1424 € PC avec graveur DVD
Dépenses fonctionnement Fontionnement de base : env. 1500 € Supports (DLTs…) : 4411 € Licences / maintenance : 8460 € Ateliers : env. 4500 € CS : env. 2300 € Divers : 637 €
TOTAL : 32448 €
Crédit : PNST : 7850 (reste 2002) + 18000 (2003, dont 9000
équipement) OMP (PPF) : 8361 (fonct.) + 1000 (équip.) + 505 (remb.) UMR 5572 : 1254 (dont fournitures chercheurs)
TOTAL : 28057 € + 8355 € de report
Solde provisoire : 3964 €
Principaux travaux en cours Fonctionnement de base : intégrations, sauvegardes etc. Nouvelle machine
2 machines Unix : obsolètes Machine Linux achat 2003 (PNST)
Nouveaux mots-clés THEMIS Développement d’un nouveau schéma de la base
Réalisation du cahier des charges scientifique Etude de faisabilité technique en cours Producteurs supplémentaires : Coro Pic du Midi,
simulations Données dépouillées
Ateliers codes de dépouillement MTR : avril 2003 DPSM : novembre 2003
Refonte du site web
Réponses aux questions en ligne
Intégration des données THEMIS
Requête actuelle et projet « 2002 » Difficultés rencontrées en 2002 Bilan préliminaire 2003 Poursuite du projet en 2003-2004
Requête THEMIS actuelle
6 critères : Date, Heure, Longueur d’onde, Instrument,
Coordonnées, Objet
Exemple de résultat en MTR (99-01): Tache en Hα : 32 séquences Région active en Hα : 144 séquences Tache à 6302 : 83 séquences Protubérances en Hα : 42 séquences
Trop de Go pour l’utilisateur !
Nécessité de davantage contraindre les requêtes
Seeing, (Nébulosité), Préfente / Visée de champ
Séquence de Stokes, configuration de la polarisation, analyseur
Paramètres du scan (balayage ou position fixe, nb d’observations par position, taille fente, nbstep, stepx et stepy)
Campagne (nom, numéro, type, desc) Numéro NOAA Entêtes en ligne Conclusions CS avril 2002 :
Tests campagne 2002 pour implémentation en 2003
Projet présenté au CS avril 2002
Réalisations sur campagne 2002
Ajout de nouveaux tests Objet/Coordonnées (svector) Longitude calculée (-90/90)Longueur d’onde > 10000 (bug) Institut
Réalisation nouveau schéma pour tests Prise en compte des nouveaux mots-clés (sauf seeing) Nouveau schéma mis en place dans base de testDéveloppement nouvel applicatif d’intégration Vérification des mots-clés (présence, cohérence) :
object/noaa, cmp_name/cmp_no, etc.
Mise en place de meilleures imagettes
Difficultés d’intégration des données THEMIS : 2002
Procédure- Signalé à THEMIS- Responsabilité THEMIS (Coordonnées etc.) : modifié par THEMIS- Responsabilité observateur : modifié par nous- Sauvegarde des données modifiées (Coût DLT et temps)
Liste des problèmes : 29 points ! Manque d’avertissement et d’explications Temps de réaction très long Manque d’informations sur le contenu des DLTs,
organisation des DLTs Bugs et changements de convention Mots-clés mal remplis par les observateurs
Faisabilité au vu du bilan 2002
Pas de seeing Doute sur analyseur Changements conventions NBSTEP etc. Campagne et NOAA : mal remplis Ne pas oublier les problèmes des mots-clés
anciens (objet, coordonnées)
Notre conclusion hiver 02-03 :Infaisable en 2003
Nouveaux tests en cours en 2003Implémentation en 2004 ?
Bilan mots-clés « projet 2002 »Seeing / Scintillation ? Ok si calibration ok (pas dans les entêtes,
calcul sur la séquence à BASS2000), 1 valeur / séquence
Nébulosité Abandonné
Préfente / visée de champ D’après numéro de caméra (b12 / b22) : NON, nécessité d’un mot-clé indiquant le numéro caméra
Séquence de Stokes Ok (automatique)
Configuration pol. (2x2’,2x1’,grille)
Manuel (THEMIS)
Analyseur (VIS, IR, …) Manuel (THEMIS)
Balayage ou position fixe Ok (cas stepx=0 et stepy=0)
Nb observations par position Nburst, à tester en 2003; PB si plantage : calcul à faire à BASS2000 (pour position fixe)
Nbstep PB si plantage acquisition : calcul à BASS2000 d’après taille fichier Naxis3_cor/Nstokes/Nburst
Campagne : nom Manuel (Obs, voir guide util), mot-clé SOHO
Campagne : numéro Manuel (Obs, voir guide util), mot-clé SOHO
Campagne : type Manuel (Obs, voir guide util), mot-clé SOHO
Campagne : desc Manuel (Obs, voir guide util), menu dans l’IO
Numéro NOAA région active Manuel (Obs, voir guide util)
Bilan préliminaire de la campagne THEMIS-2003 (2 DLTs)
Procédure comme en 2002 sauf :-Responsabilité observateur : pas de sauvegarde des modifications
Mots-clés nouveaux DATE_END à jour Indication voie haute/basse (MTR en 2x2’) Position des lames pour chaque paramètre de Stokes CMP_DESC : menu dans l’IO
Autres nouveautés Seeing (mais étalonnage modifié en 2004 ?) : fichiers
Problèmes rencontrés Quand plantage acquisition : mauvais DATE_END et NAXIS3 OBJECT mauvais sur quelques séquences (erreur OBS) CMP_N0 (à 0), CMP_DESC (THEMIS seul)
Seeing : statistique Les données complètes sont en ligne (2003) Etude de la statistique (moyenne par observation) : important
pour la définition du menu dans l’interface de requête
Intégration des données dépouillées : cahier des charges Les producteurs et problèmes
spécifiques Les niveaux de traitement Les mots-clés nécessaires Organisation des requêtes (formulaire
et table résultat, gestion des ET/OU, etc.)
Bilan des producteurs
THEMIS, actuellement brutes Coronographe du Pic du Midi NRH, actuellement brutes : à traiter ? Coupole Tourelle Extrapolations (FROMAGE)
THEMIS, MDI, etc.
Simulations
THEMIS : données dépouillées Brutes (MTR, DPSM) « Spectres propres »=calibrés, recentrés, correction
grandissement (MTR) ; Manque d’information sur les calibrations (sensibilisation des observateurs, problème de la taille du pixel spatial en MTR), recommandation ?
Paramètres de Stokes (MTR) Cartes de B//,V//,I (MTR, DPSM) Cartes de vecteur B (MTR) : Regroupement en un même
niveau de toutes les cartes (différenciation : paramètre physique) ? Ou différenciation ?
Extrapolation Films rassemblant plusieurs balayages d’une séquence ?
Est-ce utile ?
Le Coronographe du Pic du Midi 200 images / jour, 170 jours par an depuis 1995 Ajout de 2 mots-clés : niveau d ‘activité et variabilité Brutes : non Calibrées : oui Calibrées et recentrées/nord en haut = film : oui Films de détail (position=critère ?) Film disque entier Image moyenne Cartes de champs de vitesse
Films : mpeg en ligne, fits hors ligne
Proposition d’organisation pour intégrer les données du coro Mise en place code D. Romeuf / création
d’une base de données protus (fin novembre) Pour chaque journée à traiter
Jeux bruts et jeux avec bonnes entêtes sur disqueCode détection protus DR + produits dérivés (valeur
ajoutée niveau d’activité, données calibrées, liste des positions intéressantes pour films) ; Fichiers résultats annexes pouvant être mis en ligne
Code BASS2000 : lancement film, remise à jour des entêtes (valeur ajoutée, position centre et rotation images), fichier historique du traitement de la séquence
Intégration dans la base, sauvegardes, mise en lignes fichiers ascii
2 bases indépendantes : notre catalogue + un catalogue de protubérances
NRH
Nécessité ? Code disponible dans solarsoft
Coupole Tourelle
Imagerie : CalibréesCalibrées, alignées, destretchées (utilité de
différencier avec calibrées+alignées ?)Cartes champs de vitesse horizontaux
séparation des résultats obtenus avec des codes différents?
Cartes B//, V//
Spectro : comme THEMIS-MTR DPSM : comme THEMIS-DPSM
CALAS : recommandations pour la gestion des très gros volumes
Données réduites par FROMAGE Service d’extrapolation de cartes de champ
magnétique (T. Amari, G. Aulanier)
Données réduites : Carte d’origine Fichiers textes (demande et commentaires) Fichier (binaire) résultat Fichiers postscript (visualisation partielle) « Entête » fits pour l’intégration dans le catalogue
Problème de la mise à disposition des cartes d’origine et du résultat :
Producteurs divers (MDI, Kitt Peak, THEMIS, etc.) Réduction par le demandeur Gestion des autorisations ?
Qui réalise l’ «entête» ? Imagette ?
Simulation de la granulation
image
8 Heures « solaires » Pas = 20 secondes Réalisation : Rieutord, Ludwig, Roudier, Nordlund & Stein Paramètres physiques
Vitesse Densité Energie interne Température Intensité
Futur : autres simulations ? Traitements : cartes de champs de vitesse
Récapitulatif : niveaux de traitement THEMIS MTR : calibré aligné, stokes, cartes
de B//, V//, I, Binversion, extrapolation, (film ?) THEMIS DPSM : cartes B//, V//, I,
extrapolation, (film ?) CORO : calibré, films FD, films détails, image
moyenne, carte V NRH ? Tourelle Imagerie : calibré, calibré aligné
destretché, cartes de Vhor (CST, LCT), cartes de B//, V//
Tourelle Spectro : comme THEMIS Tourelle DPSM : comme THEMIS Simulation : cartes de Vhor (CST, LCT)
DATATYPE ET NIVEAUXDATA TYPE Instrument Niveau
Brut THEMIS-MTR & DPSM, NRH, simulation
0
Calibré CORO, Tourelle-imag & CALAS 1
Calibré, centré (destretché)
THEMIS-MTR, Tourelle-imag&CALAS&spectro
1
Stokes THEMIS-MTR, Tourelle-Spectro 1
Cartes de champ THEMIS-MTR & DPSM, CORO, TOURELLE (SPECTRO, IMAG & CALAS, DPSM), NRH ?, simulation
2
Moyenne CORO 2
Films CORO, THEMIS-MTR&DPSM ? 3
Extrapolation THEMIS, Tourelle, etc (MDI …) 3
Subdiviser certains niveaux ?
Nouveau formulaire de requête
Une simple query, plusieurs advanced query (une par producteur)
Tout ce qui est spécifique à un producteur : dans les advanced query
Simulation : à part (pas de simultanéité avec les autres producteurs)
Gestion des incompatibilités et des ET/OU (grisé, interdiction dans le code, …) ; restreindre les ET ?
Gestion des données anciennes avec mots-clés manquant
Dépouillement à l’extérieur : respect des conventions (mots-clés et fichiers annexes) obligatoire
Observations or SimulationsProducers Date Hour
Simple Query
THEMIS Advanced Query
HELPWARNINGS
Choix format sortie
Datatype (Level)Wavelength Coordinates ObjectPhysical ParameterSeeing PreslitStokes Pol Conf AnalyzerScan/fixed position etc.
Campaign etc. NOAA
CORO Advanced Query
Datatype (Level)Activity level VariabilityPolarang
Autres : NRH, Tourelle,Simulations
Page intermédiaire de résultats (plus de 2 instruments demandés) : plusieurs choix de présentation
Instrument 1 (OU) (nb séquences, nb pages) … Instrument n (OU) (nb séquences, nb pages) Tous les instruments, ordre chronologique
(OU) Tous les instruments, ordre chronologique
(ET, simultané=même jour, lent)
Nouvelle page de résultat Pour une séquence donnée, quelque soit le niveau
de traitement demandé, on affiche toutes les informations sur la séquence : vue synthétique de la séquence
Rassemblement des informations éparpillées en un fichier html récapitulatif (un fichier par niveau de traitement)
Un fichier par séquence avec l’historique du traitement
Gestion des colonnes en sortie Liens annexes avec requêtes complémentaires
prédéfinies et liens fixes Critères détaillés (λ, région, objet) mis à jour pour
chaque niveau de traitement
Exemple de tableau de résultats
date Hour deb
Hour
fin
Long d’onde
lat long svector
Polarang
objet Obs
mode
Data type Processing
12 fev 02
12:00 13:00 λ1
λ2
λ3
λ1
λ2
10 20 x x SS OBS
FFDC
Raw
Calibrated spectra
history
Sélection de ce niveau pour la requête
Lien vers imagettedu niveau de traitement
Lien vers historiquetraitement de la séquence
Identification λ (objet, région) traitées
Fichier récapitulatif pour chaque séquence (1 / niv. traitement) Lien historique traitement séquence Lien seeing du jour (THEMIS) Lien fiche observation du jour (Coro doc/html,
THEMIS scannées ?) Lien vers entêtes en ligne (brutes pour
THEMIS ? Une à t donné dans chaque séq.?) Imagettes ou films mpeg du niveau de
traitement
Récapitulatifs questions ouvertes: niveaux de traitements Manque d’information sur les calibrations
(sensibilisation des observateurs, problème de la taille du pixel spatial en MTR)
La notion de film à partir de cartes de champ (B et V) est-elle utile pour THEMIS ?
Regroupement lorsque 2 codes utilisés pour le même niveau de traitement ? (exemple B cdg / inversion)
Faut-il scanner les fiches d’observations THEMIS ? Coro : nécessité de nombreux fichiers annexes (liste
des heures, liste des régions intéressantes, …) Coro : les films de détails seront regroupés en un
seul paquet (pas d’indication des heures dans la requête ni dans la table résultat) ; polarang utile?
Différentiation de 2 types d’«images propres » (ex: calibrées et calibrées+recentrées+déstretchées)
Recommandation pour la gestion des très gros volume (simulation, CALAS)
Séparation des codes de traitement à un même niveau si plusieurs sont utilisés (ex: 2 codes différentes pour calculer les champs de vitesse à partir d’images de granulation)
Traitement des données NRH ? Autres types de simulation dans le futur (long terme)? FROMAGE : gestion des autorisations ? Réalisation des entêtes à FROMAGE ? Mode
opératoire ? Quelle imagette en ligne pour l’extrapolation ?
Récapitulatif questions ouvertes : organisation des requêtes Critères détaillés (λ, région, objet) lors d’une requête
sur données dépouillées ou bien utilisé sur la séquence brute ?
Un fichier historique par séquence, tous niveaux confondus ?
Nom du code de traitement dans les page de requêtes ?
Nécessité de requête ET entre instruments ? Est-il réaliste de restreindre le nombre de combinaisons ? Meilleur défaut entre ET et OU ?
Gestion des incompatibilitées / interdiction (grisé, non apparent)
Atelier MTR : avril 2003
Objectifs :
Durée : 2 jours A plus long terme : réunions en petits
groupes et autre atelier pour apprendre aux utilisateurs à utiliser le(s) code(s) diffusé
Compte rendu : mis en ligne
Echanges sur les techniques de traitementAide à la définition d’un code « standard » pour
BASS2000Discussions sur la diffusion de codesRédaction d’un compte-rendu détaillé
Plan de travail Vérification décalages séquence de Stokes lors de la présence d’images mauvaises
BASS2000,FP
Avril
Automatisation du fenêtrage pour les 3 modes VB Août
Demandes de 3 nouveaux mots-clés à THEMIS BASS2000 Avril
Code pour une extraction des paramètres de Stokes quelle que soit la configuration
JAr, FP Mai-juin
Recensement des principales stratégies observationnelles auxquelles le code doit s’adapter
JAb,FP,FB/KB,NM
Mai-juin
Comparaison des 3 codes représentés (simulations) JAr, FP, VB, NM
Point en juillet
Etude du recentrage, limitations (spatial/spectral) Jar, FP, NM sept
Interface utilisateur / adaptation aux différentes routines : première étape
BASS2000, JAb
Point en été
Liste des étapes à automatiser et des détection de problèmes à implémenter
Tous (centralisation NM)
Mai
Tester des méthodes de calcul de la qualité d’image sur spectres et préfente
NM Mai
Réfléchir au problème de la sélection des données à dépouiller à BASS2000
FB, NM Août
A court-moyen terme : Page web avec compte-rendu, messages
(bilan et enquêtes) Réunions informelles en petits groupes
(comparaison de codes) J. Arnaud, F. Paletou, V. Bommier + ? Réunions en novembre-décembre
Adéquation stratégie observationnelle / procédure de traitement : enquête en cours
Rassemblement des routines en un seul code avec interface, et mise à dispoisition
Utilisation de code sous forme de routines indépendantes bien documentées
Possibilité d’appeler différentes versions pour une routine
Mise en place d’une automatisation / possibilité choix manuels
Atelier DPSM
Objectifs : Apprendre à se servir du code Apprendre aux utilisateurs des données DPSM à se
servir du code fourni par P. Mein Identifier les points critiques en cas de problèmes
Visite P. Mein à BASS2000 : Février 2002 (2 jours)
Date de l’atelier : 12 décembre 2003 (9 participants + BASS2000)
Aide aux utilisateurs de la base
Thésaurus et avertissements Description des instruments, exemple de
données, disponibilité (Tarbes+Meudon) Bibliographie avec date des données utilisées
(THEMIS) Pages producteurs (CORO, THEMIS) Problème de l’information sur les conditions
d’observation et les calibrations utilisées
Diffusion des donnéesTraitement des données
Points sur lesquels des recommandations sont nécessaires Intégration avec nouveaux mots-clés THEMIS
« projet 2002 » : implémentation en 2004 ? Cahier des charges intégrations données
dépouillées / nouveaux producteurs (voir questions posées)
Recommandations détaillées vis à vis de THEMIS / CS et des observateurs, convention entre les producteurs et BASS2000 (formatage, conditions observationnelles, dépouillement …)