Licence GNU FDL SARL / 22. mars 2017 / www.oslandia.com / [email protected]
Faciliter l’accès aux données environnementale par le logiciel libre. Utiliser QGIS et les bases relationnelles spatiales pour aller jusqu’à l’utilisateur
Cas d’usage : BD LISA, comment faciliter l’accès à un référentiel complexe
Régis Haubourg, 28 mars 2017
2 / 28
A propos d’OSLANDIASociété française
● Née en 2009
● Entreprise innovante
● Forte croissance (>30%)
● 15 personnes (11 in 2016)
Open Source pure player
Solutions pour les données spatiales
Systèmes d’Information Géographique
3 / 28
Expertise
Conseil / Audit / Support
Developpement (C++, python, javascript)
Formation
Experts PostGIS
QGIS core developers
Vous aider à libérer vos SIG (par les bases)
4 / 28
A propos de l’auteur
Régis Haubourg
● Agronome spécialisé en environnement et gestion des eaux
● Géomaticien spécialisé en Open Source
● Administrateur de données géographiques Agence de l’eau Adour Garonne pendant 10 ans
● SIE : production des données de référence carthage, DCE, données qualité des eaux
● Administrateur postGIS, QGIS, appui aux utilisateurs, Architecte SIG● Conception d’applications SIG d’aide à la décision (Pressions / Qualité)
● Ingénieur de recherche IFREMER (Gestion intégrée des zone cotières)
5 / 28
L’accès aux données environnementales
Soyons clairs, tout s’améliore progressivement
● Aarhus / INSPIRE / Open Data / CADA / data.gouv.fr, licence Ouvertes, l’accès aux données s’ouvre réellement
● Les lots de données de référence sont progressivement documentés● Dictionnaires / Modèles conceptuels● Scénarios d’échanges / gabarits de fichier / services
● Logiciels Open Source, les solutions sont matures
● Les protocoles existent (OGC, INSPIRE, SANDRE), mais restent trop complexes, réservés à de l’échange machine <> machine
6 / 28
L’enfer de l’accès aux données environnementales
Juste assez ... pour donner une idée des potentialités
● Nouveaux portails nationaux
● Hackaton Eau, Pesticides, Biodiversité…
● Innovations internes dans les services de l’État
Mais pas encore suffisamment pour l’utilisateur final
Prenons un cas, déjà très avancé sur la donnée
7 / 28
Centrons nous sur un utilisateur déjà expert
Je suis hydrogéologue, je dois évaluer la qualité des ressources en eau de mon département…
● Identifier et connaître les ressources en eau :● Récupérer les données du référentiel géographique
● Récupérer les données de qualité mesurées ● ADES , Données locales
● Faire le travail d’analyse● Comprendre le modèle de données
● Mettre les données en relation (Excel ? Access ? R ? Base relationnel spatiale ? )
● Nettoyer les données
● Traiter les données (formules ? Scripts ? Requêtes SQL ? Algos maison ou modèles)
● Communiquer :● Diffuser les conclusion (rapport
● Diffuser les résultats
● Diffuser les méthodes (méthode et algorithmes) ayant produit le résultat
● Faire connaître (réseaux sociaux, institutionnels presse, articles scientifiques)
8 / 28
Et donc, ça coince souvent… dès le début
Récupérer le référentiel hydrogéologique français :
● Il existe, en Open Data – aka « BD LISA »
● Référencement Google réservé aux experts :● « carte Eau souterraine » > rien● « Référentiel hydrogéologique » > 1er résultat
● Oulà ! c’est pas si simple● Ah, je suis un expert (j’avais oublié)● Lien de téléchargement Sandre ● Mince, page d’accueil ● Fiches data.gouv avec liens brisés
9 / 28
10 / 28
11 / 28
Et on arrive enfin là...
12 / 28
Ah …. 5 à 6 Go pour la métropole
13 / 28
L’intégration des données
ESRI : OK, Geodatabase fournie, tout en un. Mais propriétaire
les autres : shp / Mapinfo/ CSV.
Pas de modèle SQL / DDL
> Pour moi en 2016: 7 jours d’intégration
● Création du modèle de données
● Chargement, dédoublonnage des listes entités
● Réparation des anomalies géométriques (plusieurs centaines de milliers)
● Maintenance de l’espace de stockage postgres (+ 8 Go avec les indexes), soit 1/3 du volume total (!)
● Création d’un projet de consultation et symbologie (2 utilisateurs)
● Rapport d’anomalie et remontée au BRGM (merci!)
14 / 28
L’intégration des données
Une base postgreSQL/PostGIS
Une base SpatiaLite pour archive et usages sans serveur
Un projet QGIS PG > Production
Un prêt QGIS Sqlite > Archivage / échanges / usage hors ligne
Des fichiers QLR (equ. .lyr)
15 / 28
17 / 28
QGIS trop lent ?
Polygones jusqu’à 400 000 vertices + 70 niveaux de superposition (c’est beaucoup)
● L’interrogation d’objet était trop lente
● Financement du correctif● Simplification à la volée de l’affichage (Vincent Mora) ● Effet de bord inattendu , accélération de tout le moteur de rendu (A.
Huarte)
(Moi content : argent public bien utilisé, utilisateur content, effet levier inattendu)
18 / 28
Utilisation
Rapide
● mais peut encore mieux faire : trop de vertices, découpage en dalles carrées (indexation spatiale, performances de requêtes)
Complexe :
● filtrage SQL obligatoire par code / domaine /thème
● Pas de filtrage possible par territoire (Administratif / hydrographique)
● Superpositions, Forage virtuel / superposition des coupes :
Prototypage de 2 plugins QGIS (opportunistes sur http://www.reseau.eaufrance.fr/geotraitements Auteur : Xavier Culos):
● Affichage d’entité WMS (exploite les geoservices )
● Affichage de forage théorique
20 / 28
QGIS trop lent ?
Polygones jusqu’à 400 000 vertices + 70 niveaux de superposition (c’est beaucoup)
● L’interrogation d’objet était trop lente (BD LISA V0)
● Financement du correctif● Simplification à la volée de l’affichage (Vincent Mora) ● Effet de bord inattendu , accélération de tout le moteur de rendu (A.
Huarte)
(Moi content : argent public bien utilisé, utilisateur content, effet levier inattendu)
21 / 28
Si j’ai mis 7 jours, qui d’autre peut faire ça ?
Améliorer la situation en remontant les anomalies
● Pas de forge ou tracker● Si en fait, mais inscription nécessaire, pour initiés:
https://forge.eaufrance.fr/BDLISA/
Remettre à disposition projet QGIS + SQLITE + dump Postgres ?
● Github / Gitlab / FramaGit
● Mmm.. ce sera à moi de maintenir ça ? c’est un FORK (c’est mal)
● Et pourquoi pas un Geopackage OGC + projet QGIS comme format de livraison ?
22 / 28
Pour autant, c’est insuffisant pour une utilisation simple
Nécessité d’un assistant :
● Aide au filtrage par Domaine / niveau / thème
● Recherche d’entité
● Affichage de log en local (forage théorique)
● Affichage de coupes
● Nécessité de mutualiser des représentations avancées
● Lien vers les fiches (action QGIS)
● Export par zone :● Ajouter tables de relation
g Entité – (commune / dep / région)g Entité – Bassins versants
23 / 28
Généralisons un peu aux autres données
Données ouvertes, trouvables, ce n’est pas suffisant
Aller jusqu’au bout du cas d’utilisation des utilisateurs cibles
● Parce qu’on est pas tous des informaticiens
Utiliser une plateforme Open Source pour proposer une implémentation de référence (qui servira aux autres)
S’appuyer sur des standards :
● Échanges = OGC Geopackage ET SQL (c’est fait pour gérer des données, c’est standard, c’est performant, c’est à peu près le point commun de toutes les plateformes, et relativement intéropérable)
Offrir une plateforme collaborative ouverte et moderne
● Lever les freins à la contribution (la force de la multitude)
Bénéficier en retour d’une dynamique vertueuse : plus d’usages, plus de contributions, moins d’efforts sur le reste, des outils qui suivent le besoin..
24 / 28
Ne valider un standard d’échange que lorsqu’il a une implémentation de référence ?
Finaliser les dictionnaires de données, modèles d’échange SANDRE SIE / COVADIS / SINP avec l’implémentation de référence
● Épreuve de réalité
● Gage de pérennité
● Adhésion utilisateur immédiate
● Appel à commentaire beaucoup plus facile sur des données réelles et des cas fonctionnels
● Impose l’approche par cas d’utilisation (comme INSPIRE)
25 / 28
Et ça s’applique aussi pour :
Les autres référentiels
● Hydrographiques
● Marins
Les données de mesure / observation
● Biodiversité
● Qualité (sur complexes aussi)
Les données de pression
● Prélèvements, rejets
Les algorithmes
● SEEE ? (Traitements en base, librairies R /Python > tout est disponible !)
Les modèles de données :
● COVADIS / Sandre
26 / 28
En fait, c’est déjà en route
27 / 28
Modélisation des inondations
Hydra : hydrologie et hydraulique
1D et 2D couplées
singularités (ouvrages)
Plugin Ergonomie→
Intelligence Base de donnée→
28 / 28
Propagation de polluants en nappes
Thyrsis : infiltration et propagation de polluants
Visu :1D vertical
Evolution temporelle
Carto Interactif (60Hz)
3D
Freewat : hydrologie et hydrogéologie (pré et postpro pour MODFLOW)
29 / 28
Une initiative de plateforme de référence
FREEWAT :
projet H2020 de plateforme unifiant l’accès aux outils de modélisation basée sur QGIS :
● Chargement de données
● Pilotage de modèles ● Modflow, akvaGIS, SID&GRID, MARSOL…● Lac, Cours d’eau, Nappes...
● Visualisation de données spatio temporelles
● Outils de calibration, coupes, traçage