fme wt 2014: (fr) validation et controle qualité des géodonnées
TRANSCRIPT
CONNECT. TRANSFORM. AUTOMATE.
Validation et Contrôle qualitédes données avec FMEBruno De LatIngenieur Geodata et chef de projet GIS
CONNECT. TRANSFORM. AUTOMATE.
Contenu
Pourquoi valider et contrôler les données?
Que peut-on contrôler?
Schéma (Modèle de données)
Valeurs des attributs
Géométrie
Workflow de Validation avec FME Desktop et FME Server
Exemples
CONNECT. TRANSFORM. AUTOMATE.
Pourquoi valider et contrôler les données?
De mauvaises données peuvent avoir des conséquences importantes (financières, humaines, planification)
CONNECT. TRANSFORM. AUTOMATE.
Pourquoi valider et contrôler les données?
FME Desktop et FME Server sont des outils puissants pour contrôler les données et fournir un feedback.
Beaucoup d’utilisateurs de FME utilisent FME pour la validation et le contrôle qualité des données.
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler?
Schéma (Modèle de données)
Valeurs des attributs
Géométrie
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler?
Schéma
Type d’entité
Présence d’un attribut
Nom de l’attribut
Type de données attributaires
Système de coordonnées
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler? Schéma
Contrôle du Schéma– Principales ressources
Schema (Any Format) Reader
FeatureTypeFilter
StatisticsCalculator
AttributeClassifier
XMLValidator
JSONValidator
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler? Schéma
Schema(Any Format) Reader
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler? Schéma
FeatureTypeFilter
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler? Schéma
StatisticsCalculator
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler? Schéma
AttributeClassifier
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler? Schéma
XMLValidator
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler? Schéma
JSONValidator
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler? Valeurs des attributs
Valeurs des attributs
Présence de l’attribut
Type de données (numérique, alpha etc)
Valeur dans une plage ([min – max])
Pas de doublons
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler? Valeurs des attributs
Valeurs des attributs – Principales ressources
Tester and TestFilter
AttributeClassifier
AttributeRangeFilter & AttributeFilter
NullAttributeMapper
Matcher
DuplicateRemover
StringSearcher
StatisticsCalculator
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler? Valeurs des attributs
Tester
TestFilter
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler? Valeurs des attributs
NullAttributeMapper
Lire différents ‘types’ de valeurs NULL
Ecrire différents ‘types’ de valeurs NULL
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler?Valeurs des attributs
DuplicateRemover
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler?
Géométrie en 2D et 3D
Intersections
Orientation
Sommets (vertex) en double
Géométrie invalide
etc
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler? Géométrie
Géométrie – Principales ressources
GeometryValidator
GeometryFilter
Matcher
SpatialFilter
SliverRemover & SpikeRemover
AreaCalculator & LengthCalculator
OrientationExtractor
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler? Géométrie
GeometryValidator
12 tests (encore plus de tests dans les prochaines versions)
Intégration d’anciens transformers (SelfIntersector)
Vérifier (Check) et réparer (Repair)
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler? Géométrie
GeometryValidator
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler? Géométrie
GeometryFilter
Nouveau style dans FME 2014
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler? Géométrie
Matcher
Combinaison de la géométrie et des attributs
Y compris avec une tolérance pour les vertex intermédiaires
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler? Géométrie
SpatialFilter
Examine toutes les relations spatiales possibles
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler? Géométrie
SliverRemover
Identifie et corrige les trous ou les superpositions de données
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler? Géométrie
SpikeRemover
Identifie et corrige ‘spikes’ (pic)
Angle maximum des ‘spikes’ (pic)
CONNECT. TRANSFORM. AUTOMATE.
Workflow de Validation avec FME Desktop et FME Server
FME Workbench:
Règles de validation
Tester sur ou plusieurs problèmes
Corrections
Automatique vs Manuel
Writers
Rapport avec les statistiques des erreurs
Fichier géographique avec la localisation des erreurs et un message détaillé
Desktop = Travail en local
CONNECT. TRANSFORM. AUTOMATE.
Workflow de validation avec FME Server Input data via
téléchargement
directory watcher (notifie FME Server quand un fichier est ajouté à un dossier)
Taches planifiées
Les résultats et les rapports sont envoyés par email, download, navigateur, FTP…
Totalement automatique
Les utilisateurs ne doivent pas avoir de connaissances, ni de licence FME
CONNECT. TRANSFORM. AUTOMATE.
Exemples
Statistique des erreurs dans Excel
CONNECT. TRANSFORM. AUTOMATE.
Exemples
Statistique des erreur en HMTL
CONNECT. TRANSFORM. AUTOMATE.
Exemples
Location des erreurs
Message
CONNECT. TRANSFORM. AUTOMATE.
Exemple: Workflow avec FME Server
User/Editor
using ArcGIS
FME Server
Download MyData
Validate MyData
Upload MyData
Extract & Lock
Upload & Unlock
User uses web interface to
interact with FME
Author using FME Desktop to model
Validated
data
Data
being edited
Data editor environment
FME Author environment
Publish Workbench
to FME Server
Data
to be edited
Data ready
for upload
Database Server
PC
Citrix
Network Disk
Query
Server administrator
monitoring FME server
No
Yes
Log file
AWIS
Informix
Spatial Datablade
Productie
AWIS
Informix
Spatial Datablade
Staging
ET
L
Cancel Download
CONNECT. TRANSFORM. AUTOMATE.
Centre de formation de GIMQualité des géodonnées
Théorie (Matin) Introduction: Aperçu de la qualité des géodonnées
Sources d’erreurs possibles et comment les éviter
Comment construire des géodonnées de qualité
Fixer les normes de qualité
Les techniques de contrôle de la qualité
Pratique (Après-midi) Session A: ArcGIS
Session B: FME
Où et Quand? Mardi 27 mai 2014 en néerlandais (Heverlee)
Mercredi 19 novembre 2014 en néerlandais (Heverlee)
CONNECT. TRANSFORM. AUTOMATE.
Résumé
La qualité des géodonnées est importante!
FME est idéal pour détecter les erreurs
FME est idéal pour corriger les erreurs
CONNECT. TRANSFORM. AUTOMATE.
Merci!
Des Questions?
Pour plus d’informations:
Bruno De Lat
GIM
http://www.gim.be