import et traitement des données dvf -...

Import et traitement des données DVFIntégration préalable du plan (EDIGEO)

et de la matrice cadastrale (MAJIC)Document 2

Maîtrise d'ouvrage :

Import et traitement des données DVFIntégration de EDIGEO et de MAJIC

date : Juin 2015

auteur : Direction Territoriale Méditerranée

responsable de l'étude : LEROUX Bertrand

participants : DAUBERCIES Emmanuelle

résumé de l'étude :

Le logiciel d'import et de traitement des données DVF développé par le Cerema offre lapossibilité de géolocaliser les mutations ainsi que les parcelles et locaux associés à partirdu Plan Cadastral Informatisé de la DGFiP.Cela implique d'importer au préalable sur le serveur postgreSQL/postGIS le Plan CadastralInformatisé de la DGFiP au format EDIGEO. L'import de la matrice cadastrale (fichiersappelés communément fichiers « MAJIC ») peut par ailleurs permettre d'affiner lestypologies de biens et de mutations.

Ce document présente comment importer le Plan Cadastral Informatisé et les fichiersMAJIC à partir du logiciel libre Quantum GIS (QGIS) grâce au plugin cadastre développépar la société 3Liz, grâce au financement de l'Union Européenne, le Fonds Européen deDéveloppement Régional de Picardie, le Conseil Régional de Picardie et l'Agence deDéveloppement et d'Urbanisme du Grand Amiénois, adapté des scripts OpenCadastre.

nombre de pages : 23

http://qgis.org/fr/site/

https://adullact.net/scm/viewvc.php/trunk/data/pgsql/?root=opencadastre

http://www.3liz.com/

https://github.com/3liz/QgisCadastrePlugin

SOMMAIRE

1 INTRODUCTION............................................................................................................................4

2 INSTALLATION DES LOGICIELS NÉCESSAIRES À L'IMPORT DU CADASTRE.....................4

2.1 Installation de QGIS.....................................................................................................................4

2.2 Installation du plugin cadastre.....................................................................................................4

2.3 Connexion à la base postgreSQL/postGIS depuis QGIS............................................................6

3 IMPORT DU PLAN CADASTRAL INFORMATISÉ (PCI) AU FORMAT EDIGEO SUR UN SERVEUR POSTGRESQL.................................................................................................................9

4 IMPORT DE LA MATRICE CADASTRALE (FICHIERS « MAJIC ») AU FORMAT DGFIP SUR UN SERVEUR POSTGRESQL........................................................................................................13

4.1 Configuration du plugin cadastre...............................................................................................14

5 VISUALISATION LES DONNÉES...............................................................................................15

6 ANNEXES : EXEMPLES DE RETOUR ÉCRAN DES LOGICIELS............................................18

Exemple de retour écran du programme pour l'import de l'EDIGEO avec le plugin cadastre :.......18

Exemple de retour écran du programme pour l'import de MAJIC avec le plugin cadastre :............20

1 Introduction

Le logiciel d'import et de traitement des données DVF développé par le Cerema offre lapossibilité de géolocaliser les mutations ainsi que les parcelles et locaux associés à partirdu Plan Cadastral Informatisé de la DGFiP.

Ce qui implique d'importer au préalable sur le serveur postgreSQL/postGIS le PlanCadastral Informatisé de la DGFiP au format EDIGEO.

Ce document présente comment importer le Plan Cadastral Informatisé (et les fichiersMAJIC) à partir du logiciel libre Quantum GIS grâce au plugin cadastre développé par lasociété 3Liz pour le compte de l'Union Européenne, Le Fonds Européen deDéveloppement Régional de Picardie, le Conseil Régional de Picardie et l'Agence deDéveloppement et d'Urbanisme du Grand Amiénois.

L'import de la matrice cadastrale (fichiers appelés communément fichiers « MAJIC ») surle serveur postgreSQL est optionnel et n'est pas utilisé par le logiciel d'import et detraitement de DVF. En standard, le logiciel utilise les fichiers EDIGEO pour assurer lagéolocalisation des mutations, parcelles et locaux avec une précision parcellaire. Lasegmentation des mutations réalisée par le logiciel n'utilise que des champs issus desdonnées DVF sans jointure avec la matrice cadastrale. En revanche, l'import de la matricecadastrale (MAJIC) facilite la réalisation de relevés de propriété et pourrait permettred'affiner la segmentation des marchés.

2 Installation des logiciels nécessaires à l'import du cadastre

2.1 Installation de QGIS

Installer une version supérieure à la 2.4 de QGS. La version testée est la 2.6.1.http://www2.QGIS.org/fr/site/forusers/download.html

2.2 Installation du plugin cadastre

Aller dans Extension→ Installer/Gérer les extensions

Sélectionner le plugin cadastre (version 1.2.0 à la date d'écrituredu document)

Puis installer l'extension cadastre.

Si vous êtes derrière en proxy : cf. infra la manière de configurerQGIS pour accéder à la liste desextensions

Intégration de Edigeo et de MAJIC - 18 juin 2015 4/23

http://www2.qgis.org/fr/site/forusers/download.html

http://www.3liz.com/

https://github.com/3liz/QgisCadastrePlugin

http://qgis.org/fr/site/

Paramétrage du proxy dans QGIS

Sous Préférences > Options > Réseau : renseignez les champs nécessaires si vous êtessur un réseau qui nécessite de saisir un proxy pour accéder à Internet.

Ci-dessus, un exemple de saisie des paramètres du proxy.(contactez votre administrateur réseau pour connaître les paramètres à utiliser).


2.3 Connexion à la base postgreSQL/postGIS depuis QGIS

Afin de vous connecter à la base postgreSQL/postGIS, il faut rentrer les paramètres deconnexion sous QGIS.Pour installer une base postgreSQL/postGIS reportez vous au Document 1 « Créationd'une base de données postgreSQL ».

Pour ce faire, allez dans la barre d'outil suivante et cliquez sur le bouton « Ajouter unecouche PostGIS ».


Saisissez les paramètres de connexion (cf. Document 1 « Création d'une base dedonnées postgreSQL » pour connaître les détails sur les différents paramètres deconnexion).


ATTENTION : L'utilisation du plugin cadastre (v 1.2.0) implique que l'option « Enregistrer lemot de passe » soit sélectionnée au moment de la phase d'import.

Par ailleurs, il est conseillé de désélectionner cette option après l'import effectué puisqueQGIS mémorise le mot de passe dans un fichier non chiffré.

Enfin, cochez « Utiliser la table de métadonnées estimées », vous accélérerez le temps de chargement de la baselorsque vous avez beaucoup de tables.

Testez vos paramètres avec « Tester la connexion » puis validez « OK ».


3 Import du Plan Cadastral Informatisé (PCI) au format EDIGEO sur un serveur postgreSQL

Le temps d'import des fichiers peut être plus ou moins long selon les caractéristiques del'ordinateur, et le nombre et la taille des communes importées. Une fois lancé, il nenécessite plus d'intervention par l'utilisateur.

Exemples de durée de chargement pour différents territoires :

• 12 minutes pour la commune de Carpentras,• 20 minutes pour Aix-en-Provence,• jusqu'à plus de 4 heures pour un département.

ATTENTION : pour le PCI « vecteur », utilisez le format EDIGéO-PCI (extension du fichier.thf) avec pour projection le RGF93-Lambert 93 avec la Structuration officielle de la DGFiP(et non le format du CRIGE PACA pour les bénéficiaires du PCI via cette structure).

Cliquez sur l'icône « Importer les données » du plugin cadastre (ou via le menu « Cadastre »).


Dans la fenêtre d'import « Cadastre », renseignez les paramètres suivants :

« Type de base » : PostGIS ;

« Connexions » : dvf_aix (cf. le nom de la base de données saisie à l'étape « Connexionà la base postGIS depuis QGIS »).

« Schéma» : saisissez un nom dans le champ texte . Par exemple : cadastre_aix oucadastre_84031 ou cadastre_13 pour une organisation de la donnée par direction.

Puis appuyez sur « Créer ». Ce nom de schéma servira dans la suite pour le programmed'import de DVF.

Renseignez ensuite :

• le chemin vers le répertoire contenant les fichiers EDIGEO (zippés ou non) ; • les projections (RGF93/Lambert 93 → EPSG:2154) ; • le département ; la direction (code CDIF, 1 pour la majorité des départements) ;• le millésime des données ;• choisissez un nom pour le lot de données.


ATTENTION : Stratégie d'importation des donnéesSi vous travaillez à une échelle départementale ou régionale, privilégiez un import séparédes données EDIGEO par direction dans des schémas différents.

À l'échelle, 7 imports dans 7 schémas à savoir :cadastre_04 ; cadastre_05 ; cadastre_13 ; cadastre_06 ; cadastre_83 ; cadastre_84

Si malgré tout, vous obtenez une erreur liée à la gestion de la mémoire, vous pouvezenvisager un import par lot de communes, en reprenant le même schéma pour lescommunes d'une même direction. Si vous travaillez à l'échelle communale ou surquelques communes, vous pouvez envisager d'importer le PCI « vecteur » et la matricecadastrale (fichiers « MAJIC ») en une fois.

Pour ce faire, il vous faudra au préalable configurer le plugin cadastre pour reconnaître lesfichiers MAJIC (Cf. « 4.1 Configuration du plugin cadastre »).

Dans ce cas, renseignez le chemin vers les répertoires contenant les données EDIGEO(zip) des communes et les données sur les fichiers « MAJIC » dézippées.


Exemple de paramètres pour une commune avec import du PCI « vecteur » et des fichiers« MAJIC » dans le schéma « cadastre » :

Ensuite, lancez l'import


Le plugin renvoie les différentes étapes traitées, les temps correspondants et le caséchéant les erreurs rencontrées. Vous trouverez en annexe une sortie des différentesétapes et de temps indicatifs pour l'import des fichiers EDIGEO et « MAJIC ».

ATTENTION

Modification bug contraintes "idu NOTNULL" pour la version 1.2 du plugin cadastre

A ce jour, le plugin cadastre bloque sur une commune du département des Bouches du Rhône qui empêche l'import d'aboutir.

Une modification du code du plugin cadastre permet d'éviter ce blocage pour éviter le bugissu de l'import d'une parcelle ayant un "idu NULL". Bug à corriger dans la version 1.2 du plugin.

Modifier :

c:\Users\NOMUSER\.QGIS2\python\plugins\cadastre\scripts\opencadastre\trunk\data\pgsql\2014\edigeo_formatage_donnees.sqllignes 64 à 70 ajouter en fin d'instruction ' WHERE p.idu NOTNULL ;' :INSERT INTO [PREFIXE]geo_parcelle(geo_parcelle, annee, object_rid, idu, geo_section, geo_subdsect, supf, geo_indp, coar, tex, tex2, codm, creat_date, update_dat, geom, lot)SELECT '[ANNEE]'||'[DEPDIR]'||p.idu, '[ANNEE]', p.object_rid, p.idu, '[ANNEE]'||SUBSTRING(p.idu,1,8), s.geo_subdsect, p.supf, p.indp, p.coar, p.tex, p.tex2, p.codm, to_date(to_char(p.creat_date,'00000000'), 'YYYYMMDD'), to_date(to_char(p.update_date,'00000000'), 'YYYYMMDD'), ST_Multi(ST_CollectionExtract(ST_MakeValid(p.geom),3)), '[LOT]'FROM [PREFIXE]parcelle_id AS pLEFT JOIN edigeo_rel AS r ON r.nom='Rel_PARCELLE_SUBDSECT' AND r.de = p.object_ridLEFT JOIN geo_subdsect AS s ON s.annee = '[ANNEE]' AND r.vers = s.object_ridWHERE p.idu NOTNULL;

4 Import de la matrice cadastrale (fichiers « MAJIC ») au format DGFiP sur un serveur postgreSQL

L'import de la matrice cadastrale est optionnel. Il permet de réaliser des relevés depropriété, de mieux connaître les caractéristiques des biens.

L'import de la matrice cadastrale peut être réalisé avant, après ou avec l'import desfichiers EDIGEO du PCI « vecteur ». Les temps de traitements et de sollicitation de lamémoire de l'ordinateur peuvent justifier d'envisager de séparer l'import du PCI« vecteur » et des fichiers « MAJIC » et d'importer les communes par direction ou par lotplus petit.

Les paramètres d'import sont les mêmes que pour l'import du Plan Cadastral Informatisé(fichiers EDIGEO). Il conviendra de conserver le même schéma entre les fichiers EDIGEOet « MAJIC » correspondant à une même commune (ex : cadastre_aix ; cadastre_84031 ;cadastre_13 pour une organisation de la donnée par direction).


A la différence de l'import du PCI « vecteur » (fichiers EDIGEO), le plugin cadastresuppose d'être configuré avant de lancer la fenêtre d'import (cf. point suivant).

4.1 Configuration du plugin cadastre

Cliquer sur l’icône « Configurer le plugin »

Saisissez le nom des fichiers « MAJIC » livrés par la DGFiP dans la fenêtre QGIS suivantepour qu'ils correspondent au nom des fichiers sur votre disque dur. Puis validez


noms de fichiers à renseigner

5 Visualisation les données

Pour vérifier que l'import des données s'est correctement passé, cliquez sur "Charger lesdonnées".


Ensuite, renseignez les paramètres suivants :

« Type de base » : PostGIS ;

« Connexions » : dvf_aix (cf. le nom de la base de données saisie à l'étape « Connexionà la base postGIS depuis QGIS »).

« Schéma» : choisissez le nom de schéma correspondant à l'import des fichiers EDIGEO(et « MAJIC »). Par exemple : cadastre_aix ou cadastre_84031 ou cadastre_13 pour uneorganisation de la donnée par direction.

Puis cliquez sur « Charger les données »


6 Annexes : exemples de retour écran des logiciels

Exemple de retour écran du programme pour l'import de l'EDIGEO avec le plugin cadastre :

INITIALISATION* Copie du répertoire C:/Users/segui-a/.QGIS2//python/plugins/cadastre\scripts/opencadastre/trunk/data/pgsql * Copie du répertoire C:/Users/segui-a/.QGIS2//python/plugins/cadastre\scripts/plugin 11 s

EDIGEOType de base : postGIS, Connexion: valfonbdd, Schéma: cadastre_13_2 * Copie du répertoire D:\donnees\pci_13\13_2\Lot3 32 s * Décompression des fichiers 317 s Suppression des contraintes - SUPPRESSION DES CONTRAINTES D'INTEGRITEES : DEBUT - suppression clefs étrangères - suppression clefs primaires - suppression not null sur clefs primaires - SUPPRESSION DES CONTRAINTES D'INTEGRITEES : FIN 317 s Création des tables edigeo 318 s Suppression des indexes 318 s * Import des fichiers EDIGEO dans la base - Import des fichiers via ogr2ogr - Import des relations (*.vec) - 28 multipolygones mis à jours dans la base de données 2802 s Mise en forme des données - FORMATAGE DONNEES : DEBUT - Suppression des données du lot '13_2_lot3' 2805 s - index pour optimisation 2814 s - geo_commune: utilisation de max et non distinct on pour compatibilite sqlite 2846 s - geo_section 2848 s - geo_subdsect 2849 s - geo_parcelle 2851 s - Indexes sur geo_parcelle et geo_commune pour optimisation


2906 s - geo_subdfisc 2974 s - geo_subdfisc_parcelle 2974 s - geo_voiep 2981 s - geo_numvoie 2981 s - geo_numvoie_parcelle 2981 s - geo_lieudit 2990 s - geo_batiment 3005 s - geo_batiment_parcelle 3005 s - geo_zoncommuni 3063 s - geo_tronfluv 3063 s - geo_sym 3063 s - geo_ptcanv 3063 s - geo_borne 3064 s - geo_borne_parcelle 3064 s - geo_croix 3071 s - geo_croix_parcelle 3071 s - geo_symblim 3072 s - geo_symblim_parcelle 3073 s - geo_tpoint 3098 s - geo_tpoint_commune 3099 s - geo_tline 3102 s - geo_tline_commune 3105 s - geo_tsurf 3108 s - geo_tsurf_commune 3109 s - suppression des index temporaires 3109 s - analyses


3109 s - FORMATAGE DONNEES : FIN 3146 s Placement des étiquettes 3151 s Création des indexes spatiaux - attributes 3259 s 3685 s Ajout des contraintes - CREATION DES CONTRAINTES D'INTEGRITEES : DEBUT - création clé primaire - création clé étrangère - CREATION DES CONTRAINTES D'INTEGRITEES : FIN 3977 s Création Unités foncières 4095 s 4096 s

FINALISATION4128 s

Exemple de retour écran du programme pour l'import de MAJIC avec le plugin cadastre :

INITIALISATION* Copie du répertoire C:/Users/segui-a/.QGIS2//python/plugins/cadastre\scripts/opencadastre/trunk/data/pgsql * Copie du répertoire C:/Users/segui-a/.QGIS2//python/plugins/cadastre\scripts/plugin 0 s

STRUCTURATION BDDCréation des tables Création des tables edigeo Ajout de la nomenclature 1 s

MAJICSuppression des contraintes - SUPPRESSION DES CONTRAINTES D'INTEGRITEES : DEBUT - suppression clefs étrangères - suppression clefs primaires - suppression not null sur clefs primaires - SUPPRESSION DES CONTRAINTES D'INTEGRITEES : FIN 1 s Suppression des indexes 1 s Import des fichiers MAJIC D:\donnees\MAJIC_2013\dept13_2\BATI.txt D:\donnees\MAJIC_2013\dept13_2\LLOC.txt D:\donnees\MAJIC_2013\dept13_2\NBAT.txt


D:\donnees\MAJIC_2013\dept13_2\PDLL.txt D:\donnees\MAJIC_2013\dept13_2\PROP.txt 628 s Mise en forme des données - FORMATAGE DONNEES : DEBUT - Traitement: parcelle 689 s - Traitement: suf 723 s - Traitement: sufexoneration 764 s - Traitement: suftaxation 811 s - Traitement: local00 843 s - Traitement: local10 902 s - Traitement: pev 1164 s - Traitement: pevexoneration 1176 s - Traitement: pevtaxation 1230 s - Traitement: pevprincipale 1278 s - Traitement: pevprofessionnelle 1286 s - Traitement: pevdependances 1306 s - Traitement: proprietaire 1485 s - création: comptecommunal à partir de proprietaire 1509 s - Traitement: pdl 1514 s - Traitement: parcellecomposante 1515 s - Traitement: lots 1526 s - Traitement: lotslocaux 1541 s - Traitement: commune 1541 s - Traitement: voie 1541 s - purge des doublons : voie 1541 s - INDEXES 1563 s - ANALYSES - FORMATAGE DONNEES : FIN 2095 s


Purge des données brutes 2095 s Suppression des indexes 2095 s Mise à jour des liens EDIGEO - Lien commune geo_commune 2095 s 2095 s Création des indexes spatiaux - attributes 2095 s 2271 s Ajout des contraintes - CREATION DES CONTRAINTES D'INTEGRITEES : DEBUT - création clé primaire - création clé étrangère - CREATION DES CONTRAINTES D'INTEGRITEES : FIN 2483 s

FINALISATION2483 s


Centre d’études et d’expertise sur les risques, l’environnement, la mobilité et l’aménagementDirection Territoriale Méditerranée - Pôle d'activités 30 Avenue Albert Einstein - CS 70499 - 13593 AIX-EN-PROVENCE Cedex 3 -Tél : +33 (0)4 42 24 76 76

Siège : Cité des Mobilités - 25, avenue François Mitterrand - CS 92 803 - F-69674 Bron Cedex - Tél : +33 (0)4 72 14 30 30 - www.cerema.fr

import et traitement des données dvf -...

Documents