sitools système léger d’accès aux données spatiales

Romain CONSEIL [email protected]

SIToolsSystème léger d’accès aux données spatiales

CCT SIL – OP

24/11/2006

Présentation SITools – CCT SIL–OP – 24/11/2006 2

Du vocabulaire…

■ Les données spatiales : Des documents quelconques

Fichiers de mesures temporelles de champ magnétique, Prise de vue de la terre, Annuaires d’étoiles, …

■ Jeu de donnée : regroupement de données homogènes et cohérentes

Selon la source (capteur, expérience), Selon le niveau de traitement, …

■ SVA (Service à Valeur Ajoutée) : application de traitement prenant des données en entrée et accessibles en ligne

Tracé de graphique à la carte, tracé 3D, Conversion de format, compression, Extraction temporelle conditionelle, …

Plan

•Du vocabulaire•Le contexte•Le besoin•L’action SITools•Exemple•Technologies•Architecture•Implémentation•Utiliser SITools•+ / -•Conclusion


Le contexte

■ SGDS (Service de Gestion des Données Spatiales) : réflexion sur la pérennisation et la dissémination des données, depuis 1990.

Constat sur la gestion des données dans les laboratoires : Peu de moyens (pas d’outils comme le SIPAD) Petits volumes de données ayant vocation à rester dans les labos (donc

pas au CNES) Systèmes d’accès spécifiques et hétérogènes, ou données inaccessibles Services associés non partagés

Comment répondre à ce besoin de mise à disposition ? Maintenance des systèmes ? Interopérabilité ? Observatoires virtuels ?

Plan



Le besoin

■ Simplicité d’installation et de maintenance Possibilité de modifier soit même l’IHM ou le modèle de données Installable soi-même

■ Portabilité (plateformes très différentes dans les labos)

■ Généricité Adaptation à tous types de données

■ Modularité des composants Adaptation à l’existant (remplacement de modules par des

services existant) interface simples et claires Adaptation à l’architecture système

■ Interopérabilité interfaçage avec d’autres systèmes d’accès aux données Observatoires Virtuels

Plan



L’action SITools

■Une action de R & T CNES (faisabilité)

Boîte à outil permettant de créer rapidement un système d’accès aux données

Installé, implémenté et administré par les laboratoires utilisateurs (pas une solution clé en main rigide)

Fédère et uniformise un effort de mise à disposition de données scientifiques

Système de données interopérables unifier l’accès

Plan



Exemple

■ L’instance de démonstration de SITools : Jeu fruit Jeu fleur Jeu légume

Plan



Technologies

Sitools est constitué : D’une couche de logiciels « libres »

MySQL / PostgreSQL (tout SGBD accessible via JDBC) Tomcat 4 / Tomcat 5 (nécessitant une JRE 1.4 ou 1.5) Apache 2

D’un ensemble de webapps (modules web) hébergés par Tomcat

Complètement configurables Interconnectés et dialoguant en SOAP Accédés par des applications clientes

Plan



Architecture (1/6)

■ Présentation d’un schéma d’architecture de SITools simplifié

Données réparties sur deux sites (avec des bases de données existantes) : A et B

Un site pour le serveur SITools : site C

Schéma simplifié

Plan



Plan


Architecture

■ Présentation d’un schéma d’architecture de SITools

Deux sites pour les données : un site A, un site B

Un site pour le serveur SITools : site C

Repository

SITE A

SITE B

SITE C

Jeux de données

Jeux de données

Metadonnées

Metadonnées

Cat

alo

gu

e A

Cat

alo

gu

e BA

pp

licat

ion

Clie

nte

IHM

Su

per

Cat

alo

gu

e

Dictionnairede synonymes

catalogue A

Dictionnairede synonymes

catalogue B

Schéma d’architecture SITools


Architecture (2/6)

■Remplissage des méta données

Pas de modification des tables de données existantes

Possibilité de configurer toute l’application via la base de données

Phase la plus coûteuse et le plus importante de l’instanciation de SITools.

Exemple…

Plan



Plan


Base de données SITools

Table de données:MAG_KSM

Table dataset

Table attribute


Architecture (3/6)

■SITools est un boîte à outil :

Modules nécessaires Catalogue (au moins 1) Repository IHM utilisateur (Instanciation de l’IHM de base)

Modules facultatifs Commande Service à valeur ajoutée (autant que nécessaire)

Plan



Architecture (4/6)

■ Modules nécessaires Module Catalogue :

Permet un accès générique aux données pour les autres modules de SITools.

Autant de catalogue que nécessaire.

Module Repository Référence les catalogues utilisés et les services associés Gère les droits des utilisateurs Gère les synonymes et les convertisseurs

Module IHM Interface graphique standard pour

– l’accès aux données– la recherche par critères– …

Plan



Architecture (5/6)

■Modules facultatifs

Module commande

Gère le processus de commande de données (gros volumes / traitement batch)

Dépôt de la commande sur un espace utilisateur (DAV)

Gestion de l’espace utilisateur sur le serveur SITools

Plan



Architecture (6/6)

■Modules facultatifs :

Modules de Services à Valeur Ajoutée

Plusieurs types :– Services interactifs

Externes

Internes– Services Batch (dépôt sur espace utilisateur ou autre).

Un Kit de développement de SVA est fourni– Une interface à implémenter

Plan



Architecture détaillée

■Schéma détaillé de l’architecture

Tous les modules peuvent être éclatés sur plusieurs machines

Communication SOAP (XML over HTTP – Port 80)

Plan



Plan


Architecture détaillée

■Schéma détaillé de l’architecture

Tous les modules peuvent être éclatés sur plusieurs machines

Communication SOAP (XML over HTTP – Port 80)

Site C Description of

servicesSite B

Description of services

Client

Site A Description of services

Connection bus between the

various services

Internet browser

Site ASite A

Client Application(Web Server)

Site ASite A

Repository

Site CSite C

Added-Value Services 2

Site CSite C

User Space

Site ASite A

Added-Value Services 1

Site ASite A

Command Processing

Site BSite B

AVS 3

Site BSite B

Catalog off-line

Site N

Added-Value Services N

Dictionnaires des synonymes

Site ASite A

Catalog

Catalog 1 Catalog 2 Data 1

Catalog 1 Catalog 2 Data 1

Service 1

Existant


Implémentation (1/3)

■Laboratoires testeurs : LAM (Données SOHO / Corot) IAS (idem) CESR (Cassini, CDPP)

■Projets CNES : GEIPAN DATAQTIS

■Quelques copies d’écran…

Plan




■Quelques exemples de services à valeur ajoutéePlan




■Démonstration sur l’instance DATAQTIS (CNES) :

http://pc-dataqtis/dataqtis/index.jsp

■Démonstration sur l’instance SOHO (IAS) :

http://idoc-medoc.ias.u-psud.fr/

Plan



Utiliser SITools (1/2)

■ Implémentation de SITools dans le cadre d’un projet

Installation SITools de base V3.2 : 1 à 2 jours Adaptation de l’IHM (qq jours – dépend compléxité) Remplissage de la base de données (ordre de la

semaine) Ajout de services (en fonction de la compléxité)

■On peut rapidement (env. 1 semaine) avoir une version simple d’un serveur de données : les raffinements viennent après et sont fonctions de la complexité.

Plan



Utiliser SITools (2/2)

■Support CNES présent DCT/PS/VDO Architecture à mettre en œuvre Aide à la mise en place

■Contrat industriel CAP G. développeur de SITools Javadoc complète et détaillée pour un industriel ≠

Plan



Avantages / Inconvénients de SITools

■ Avantages : Souplesse

modification simple de l’IHM Modification simple du modèle de données, des critères de sélection

Facilité d’installation Facilité de développement des SVAs

Beaucoup d’interfaces (convertisseurs, connecteurs, SVAs, etc..) Portable (plateforme, SGBD, …) Open source

■ Inconvénients ( = avantages SIPAD-NG) : Solution non sécurisée au sens CNES Pas de vérification stricte des données entrées par rapport à un

dictionnaire Connaissances informatique requises pour l’administration (et

l’implémentation), gestion de la base de données Pas d’interface admin

Plan



Conclusion

Plus d’informations sur le site web de SITools :

http://vds.cnes.fr/sitools/tech.htm

Merci de votre attention.

Plan


sitools système léger d’accès aux données spatiales

Documents