jeudi, 24 juin 2021

Un service de GéoRezo

Tag » OPENDATA

Les 3 accès à DVF

 
En mai 2019, je saluais sur ce blog l’ouverture en opendata et donc en accès libre des données « DVF » c’est à dire les données sur les transactions immobilières et foncières.
Entretemps j’ai pu découvrir dans ma propre pratique professionnelle que ces données en opendata n’étaient pas complètes par rapport aux données d’origine. En particulier, elles ne fournissent pas ce que j’appellerais ici la clé foncière, par analogie avec la clé parcellaire, qui permet de structurer ces données. C’est toute la difficulté de l’opendata entre volonté d’ouverture et protection des données personnelles !

En effet, les données de valeurs foncières « DVF » ne peuvent être utilisées « telles quelles » ou « à plat », sinon les traitements font ressortir des données fausses et des répétitions. En faisant simple : comme les données cadastrales, les données foncières en brut présentent autant de lignes répétées que de locaux principaux et secondaires et de parcelles faisant l’objet d’une même disposition.

Grace au Groupe National DVF, constitué depuis 2012 dans la lignée des travaux précédemment engagés dans le cadre de l’ADEF, cette difficulté peut être oubliée. Ces travaux ont permis d’organiser le traitement des données au travers d’une version améliorée de DVF appelée DVF+ portée par le CEREMA.

 

DVF+

La version opendata de DVF+ reprend l’ensemble des champs présents dans la donnée source « DVF version opendata « et permet :

  • de géolocaliser les transactions à la parcelle
  • de structurer DVF selon un modèle de données partagé en 12 tables principales et de caractériser les biens, ce qui est indispensable pour procéder à des analyses foncières et immobilières pertinentes : il s’agit de ne pas mélanger indistinctement des choux et des carottes, et plus globalement le neuf et l’ancien car les volumes et les prix ne sont pas comparables, …

Du fait de la disparition des champs d’identification de la mutation et du local dans la donnée open-data, des identifiants fictifs ont été reconstitués à la place des identifiants réels. DVF+ open-data est téléchargeable gratuitement sous différents formats :

  • Fichiers SQL pour intégration de l’ensemble des données DVF dans une base de données PostgreSQL/Postgis structurée dans le modèle DVF+ (17 tables + données brutes DVF). L’intégration dans la base postgres se fait à l’aide de l’application AppDVF, mise à disposition elle aussi gratuitement
  • Fichiers simples 1 ligne – 1 mutation, directement utilisables en format SIG Geopackage (.gpkg), ou en format tableur (.csv). Dans ces 2 formats, chaque ligne correspond aux informations d’une vente, avec une géométrie associée dans la version SIG.

 

Le modèle DVF+ est donc constitué de 12 tables et de 5 tables annexes :

  • Parmi elles, la table « mutation » est centrale car elle contient les éléments de prix (la fameuse « valeur foncière ») et synthétise en une ligne les éléments caractéristiques de la vente (champs calculés par le Cerema).
  • Pour une analyse plus fine, il conviendra de requêter sur les autres tables du modèle renseignant sur le détail des dispositions. Deux tables détaillent notamment le ou les locaux au sens fiscal du terme, et la ou les parcelles concernées par la transaction.

 

DV3F

La donnée DVF ou DVF+ reste cependant insuffisante pour analyser la complexité du marché foncier et immobilier. La valeur d’un bien se construit en effet en grande partie sur ses caractéristiques propres (nombre de pièces, année de construction, nature détaillée des locaux…) et sur le contexte de la vente (informations sur l’acquéreur et le vendeur, informations sur la destination du bien après la vente…).

Pour pallier à ce constat, le Cerema expérimente depuis 2015 un nouveau modèle de données : DV3F, qui croise la donnée DVF et les Fichiers Fonciers (retraitement des données MAJIC qu’il produit annuellement). Reprenant la même structure que DVF+, le modèle DV3F est plus riche (13 tables principales et 7 tables annexes dans le format v4 actuel) et concentre lui aussi sur les informations essentielles d’une vente sur la table mutation (130 variables + géolocalisation à la parcelle).

Par ses nombreuses variables, il permet d’affiner la description physique des biens objets de la vente (année de construction notamment), propose une typologie de ces biens (celle du GnDVF) et apporte des informations sur le type de propriétaire avant/après (typologie, raison sociale des personnes morales…).

Pour cette base enrichie la donnée n’est pas ouverte à tous. Ce format est disponible depuis 2020 à l’ensemble des ayants-droits des Fichiers Fonciers (essentiellement les collectivités publiques).

 

En résumé :

[DGFiP] DVF opendata, 07/2015 à 06/2020, 1 fichier texte France entière par année, mise à jour semestrielle (avril/octobre) : une version « brute » et volumineuse difficile à utiliser ; https://www.data.gouv.fr/fr/datasets/demandes-de-valeurs-foncieres/

[Etalab] DVF géolocalisé et normalisé, 01/2014 à 06/2020, 1 fichier csv par année et par commune, mise à jour semestrielle : géolocalisation (lat/lon) des parcelles mais toujours présence de doublons : https://www.data.gouv.fr/fr/datasets/demandes-de-valeurs-foncieres-geolocalisees/

[Cerema] DVF+ opendata, 01/2014 à 06/2020, 1 fichier par département, mise à jour semestrielle : une version structurée en format SQL ou « à plat » aux formats csv et shp : https://www.data.gouv.fr/fr/datasets/dvf-open-data/

[Cerema] DV3F format v4, janvier 2010 à décembre 2019 : une donnée structurée et enrichie à intégrer dans une base postgres/postgis, accessible aux ayants-droits : https://datafoncier.cerema.fr/donnees/donnee-dv3f

Et, en bonus, clé en main pour des recherches ponctuelles, la carte proposée par Etalab, s’appuyant sur la version DVF géolocalisée : https://app.dvf.etalab.gouv.fr/

 

Ces apports en données et en méthode sont complétés par toute une série de guides et tuto. En effet, l’accès apparemment facile à ces données ne doit pas faire oublier un certain nombre de principes à respecter :

  • Celui du secret statistique avec des analyses à baser en toute logique sur au moins 11 valeurs.
  • Extraire les ventes particulières. En l’occurrence un filtre a été créé pour repérer et exclure les biens rares ou des conditions de vente spécifique.
  • Baser ses analyses sur des biens simples plutôt que sur des mutations complexes, mélangeant plusieurs logements ou plusieurs types de locaux.
  • Et tenir compte des indications données dans la mutation sur la qualité de l’information : les terrains à bâtir sont potentiellement sous estimés et la construction neuve est également difficile à caractériser, en particulier les VEFA.

 

Pour aller + loin :

Le site du Groupe national DVF, présentant la donnée DVF et ses usages : https://www.groupe-dvf.fr/

Le tuto complet en version web : http://doc-datafoncier.cerema.fr/dv3f/tuto/

Toutes les ressources Dv3F : https://datafoncier.cerema.fr/ressources/donnee-dv3f

 

Et encore :

https://datafoncier.cerema.fr/donnees/autres-donnees-foncieres/dvfplus-open-data
https://georezo.net/forum/viewtopic.php?id=98688&p=2
https://www.oramaritima.fr/wp-content/uploads/2019/11/3-DV3F_Cerema_27sept2019.pdf
Débat sur le modèle : Forum GeoRezo / DVF : l’intégration facile proposée par le Cerema
Discussion sur l’accès aux données et la version opendata : Forum GeoRezo / DVF (Données de Valeurs Foncières) publiées en Opendata

 

Article rédigé avec les enrichissements de Julien Place et la lecture attentive d’Antoine et Bruno, merci à eux.


1 commentaire

Carto à gogo

La crise sanitaire que nous traversons nous donne l’occasion de lire, de découvrir, de s’enrichir. Et il faut dire que côté data et carto ça ne chôme pas !

Depuis le début on assiste à une multiplication de tableaux de bords statistiques et cartographiques.

  • Tous les éditeurs s’y essayent, ESRI en tête avec un tableau de bord français et un espace ressource.
  • Santé public France intègre quant à elle de nombreuses données sur sa plateforme statistique  Géodes, appuyée sur Geoclip, éditeur récemment rentré dans le giron de Cyril group où l’on trouve aussi business geographic.
  • On trouve des représentations particulièrement jolies comme celle de Nicolas Lambert dont toute la démarche est décrite sur le blog neocarto.
  • Et dans ce panorama il ne faut pas oublier toutes les infographies réalisées par les journaux. J’aime particulièrement celles du Monde dans la rubrique « Les décodeurs« .

 

La clé, les données

Ces représentations s’appuient sur un socle de plus en plus large de données, accessibles, et majoritairement ouvertes.

Mondialement, ce sont les données mises en place par l’université Johns-Hopkins qui sont le plus utilisées. Le tableau de bord de l’université Johns-Hopkins utilise le dashboard d’ESRI, comme l’OMS et de nombreux organismes et collectivités.

Derrière ces données, il y a beaucoup de travail comme le relate l’article de sciences et avenir ou du Parisien. En effet, les sources de données se multiplient, mais pour établir un tableau de bord il faut les mettre dans l’ordre, on pointe ici du doigt toute la complexité de la big et de l’open data.

Côté français aussi les données sont disponibles. On les retrouve consolidées par OpenCOVID19-fr, une organisation informelle qui publie ses données sur data.gouv.fr ou à travers le tableau de bord édité par Etalab sur a base des données consolidées de Santé Publique France.

 

Des cartes pour respecter la règle

Des cartes viennent également en aide aux citoyens. Notamment celles qui permettent de visualiser le périmètre de 1 km autour de son domicile. Le géoportail explique comment calculer ce buffer en version grand public. Et les différentes versions permettent de rentrer dans le débat entre le calcul à vol d’oiseau ou en fonction des distances liées à la voirie environnante. La carte d’isigeo combine les 2 représentations mais aussi un tableau de bord. Ce débat est évoqué sur le site « Arrêt sur image« , un journal indépendant de critique des médias que je viens de découvrir grâce à Bruno : le texte de loi évoque clairement un rayon d’1 km.

Cette profusion est parfaitement décrite par Françoise sur Decryptageo avec un titre tout à fait à propos : Un kilomètre à pied… ça use les applis.

 

Des sites pour consommer local

La dernière vague concerne les cartes permettant de localiser les magasins ouverts et les lieux de vente de produits locaux.

On a là plutôt des sites de communication, mis en place pour soutenir l’économie locale, comme la plateforme qui relie producteurs et consommateurs en Bretagne ou le site mis en place par la Ville d’Avignon. Les collectivités se mobilisent. Le Grand Poitiers présente carte et jeu de données sur les commerces ouverts, une bonne occasion de vulgariser l’ouverture des données et le rôle des collectivités dans ce grand mouvement.

On trouve aussi « proxisur« , un projet né en italie au début du confinement à Reggio Emilia. La carte s’appuie sur Woosmap, un partenaire google.La gazette des communes a zoomé sur ce phénomène avec le titre « L’open-data au service des citoyens confinés« .

Le maître-mot, dans ce contexte, est « citoyen » et « participatif ». Pour moi, c’est la carte construite par la communauté française openstreetmap qui respecte le mieux ces deux mots. Le nom du site correspond parfaitement à la cible : « ça reste ouvert » et il est très facile de contribuer tout autant sur un ordinateur que sur un mobile. Un blog a même été ouvert en accompagnement qui permet de découvrir l’avancée internationale de ce beau projet !

 

Mais en tout cas #on reste encore un moment à la maison !

Toute cette diversité est extrêmement intéressante.
Dommage qu’elle participe à cette overdose d’info autour du corona virus.

 

Article rédigé par AlineC avec les idées de Jean-Michel, Bénedicte, Bruno et plusieurs liens relayés sur le GeoRezo


Laisser un commentaire

Valeurs foncières en opendata, hourra !

Je ne résiste pas à l’envie d’écrire un petit billet sur la sortie en opendata de DVF, le fichier des valeurs foncières. Les sites et publi SIG, urbanisme et immobilier s’en sont déjà fait l’écho.

Même les journaux comme ouest france ou le figaro immo s’en sont emparés.
La présentation qui en est faite très concrètement dans l’article du figaro montre bien tout l’intérêt de la donnée. Un autre article rappelle également les nombreuses autres sources et notamment les analyses issues des données des notaires. C’est un bon panorama de tout qui peut être utilisé en la matière.

Ces articles et les commentaires qui les accompagnent font aussi ressortir les limites de ces données : pour bien les utiliser il faut d’abord bien les comprendre. A ce sujet il est important de se référer à toute la documentation accessible sur le site du groupe national DVF :

« Le Groupe national DVF est né début 2014, de la volonté et de l’enthousiasme d’un noyau de personnes. Après la disparition, fin 2013, de l’association des études foncières (ADEF), elles ont voulu poursuivre le travail engagé en mars 2009 avec le Ministère des Finances. »
Le site présente en détail les données DVF au travers d’un guide d’accompagnement. Il constitue la référence en la matière. Précisons que les données décrites sur le guide sont plus complètes que celles fournies en opendata, anonymisation et protection des données personnelles oblige !

L’app dvf est toute simple mais pratique. Je l’apprécie d’autant plus que j’ai déjà intégré des données DVF et je connais la complexité de la donnée.

Comment chercher ?

  • La recherche se fait par commune et par section.
  • Ensuite vous voyez apparaitre en bleu les parcelles ayant donné lieu à une transaction sur les 5 dernières années, c’est à dire depuis le 1er janvier 2014.
  • En cliquant sur ces parcelles vous avez le détail de la transaction : son prix, le type de vente (maison, appartement, sols, …).
  • Vous pouvez ensuite vous déplacer de section en section en cliquant simplement sur la section voisine.
  • Enfin, vous pouvez télécharger les données par section mais elles seront relativement difficiles à lire : pour faire simple il y a autant de lignes que de « dispositions » et de parcelles contenues dans un acte. Ce qui explique que la même valeur se trouve répétée sur plusieurs lignes. Vous pouvez vous référer à la notice publiée sur le lien cadastre.data.gouv.fr.

Les données sont aussi téléchargeables, par année, sur https://cadastre.data.gouv.fr/dvf.

sols app dvf

Consultation d’une vente à caractère agricole

A mon avis, en utilisant ces informations il faut garder en tête un certain nombre de principes et repères :

  • ce sont des données liées à l’enregistrement foncier, sont contenues toutes les ventes dites à titre onéreux,
  • la date mentionnée est celle de l’enregistrement, cette date peut être différente pour les composantes d’une même vente à cheval sur 2 départements,
  • quand il s’agit d’immeubles et donc de copropriété on ne peut pas savoir quel appartement c’est exactement,
  • toujours pour une copropriété la parcelle sur laquelle se trouvent les références est une des parcelles de l’ensemble et peut être assez loin de l’emplacement réel du bien, notamment dans le cas d »une copropriété horizontale, qui regroupe des maisons individuelles.
copro app dvf

Exemple d’une copropriété comprenant maisons et appartements

Bonne découverte !

Et merci à tous ceux qui œuvrent pour l’opendata !

Pour aller plus loin :

La base accessible en opendata : https://cadastre.data.gouv.fr/dvf

L’app pour consulter DVF : https://app.dvf.etalab.gouv.fr/

Le groupe national DVF : https://www.groupe-dvf.fr/

La discussion sur le GeoRezo, DVF diffusé en opendata : https://georezo.net/forum/viewtopic.php?id=115503

Article sur le blog Etalab : https://www.etalab.gouv.fr/bercy-libere-15-millions-de-transactions-immobilieres-en-ouvrant-la-base-des-demandes-de-valeurs-foncieres

Le figaro immo : Il sera bientôt plus facile d’estimer précisément son bien immobilier

Le figaro immo : Découvrez le prix des biens vendus depuis 5 ans dans votre quartier

Le figaro immo, 5 choses sur patrim

Le figaro immo : Comment décrypter les prix de l’immobilier ?


Laisser un commentaire

35 000 communes

36 600 communes : c’était la référence que j’avais depuis le tout début de mes études, il y a quelques années déjà …

Voilà donc une référence à revoir : au 1er janvier 2019 nous en serions à 34 980 communes, disons 35 000 pour faire simple. En janvier 2016 je titrais sur 36 000. Le mouvement s’est depuis lors poursuivi.

Les comptes paraissent simples : déduire les communes fusionnées, 2 communes très souvent mais jusqu’à 22 pour le maximum, et rajouter le nombre de communes nouvelles. Mais les comptes ne sont pas si simples car :

  • il y a eu des doubles fusions, c’est à dire des fusions de fusions. On parle aussi d’extensions de communes nouvelles.
  • Et la procédure devient réellement officielle avec la parution d’un arrêté au journal officiel, ce qui parfois prend un certain temps.

Malgré les éléments de méthode qui avaient été publiés, il s’avère qu’un certain nombre de fusions ne respectent pas les règles de nommage que nous avions évoquées en novembre 2017. Ce sujet a été évoqué à la commission nationale de toponymie de juin 2018, le compte-rendu est disponible sur le site du CNIG.

Les ressources sur le sujet sont très nombreuses :

  • L’AMF, association des maires de France, est très active sur le sujet et propose toute une série de documents au services des collectivités qui entreprennent une telle démarche : communes nouvelles : une dynamique confortée et d’avenir.
  • Un article de Maire info de janvier 2017 décrypte le processus en cours et présente une carte sur laquelle il serait intéressant de rajouter les fusions 2018.
  • Wikipédia récapitule la liste des communes concernées par année : Liste de communes nouvelles.
  • Les acteurs du SIG suivent également ça de prés. En témoigne le dernier fil de discussion sur le millésime 2019. Vous y trouverez également plein de liens vers des ressources à jour.

J’en profite pour dire merci à ceux qui se mettent au service de tous pour tenir à jour ces bases. Car les contours communaux sont un référentiel essentiel en matière de cartographie mais également de statistiques.


Laisser un commentaire

Opendata à tout va, aussi pour l’habitat

Christian Quest, acteur engagé dans l’opendata et actuellement à Etalab, une mission interministérielle qui coordonne la politique d’ouverture et de partage des données publiques (« open data ») met à disposition depuis début décembre son travail de géocodage des données RPLS.

« RPLS » est un  répertoire des logements locatifs des bailleurs sociaux. Mis en place au 1er janvier 2011 en prolongement du fichier précédemment appelé EPLS, il est alimenté par les informations transmises par les bailleurs sociaux. Ce fichier est désormais mis à disposition en opendata : https://www.data.gouv.fr/fr/datasets/repertoire-des-logements-locatifs-des-bailleurs-sociaux-rpls/

Gardez toutefois en tête que ce fichier ne couvre pas l’intégralité des logements sociaux. Vous pouvez vous reporter aux informations détaillées fournies sur le site observation et statistiques du CGEDD, rubrique logement social : http://www.statistiques.developpement-durable.gouv.fr/logement-construction/i/logement-social.html

En plus de cet accès facilité à ces données très importantes pour les acteurs de l’habitat, en particulier les intercommunalités porteuses d’un Programme Local de l’Habitat, Christian Quest a fait un travail de géocodage. C’est à dire une localisation de chaque ligne d’information à l’adresse. Ce géocodage est fait à partir de la BAN, base adresse nationale, et de la BANO, la version développée dans le cadre d’openstreetmap.

Ce fichier décrit plus de 4,8 millions de logements avec les informations standard du RPLS : surface, nombre de pièces, date de construction, date de mise en location dans le secteur social,
etc… Deux années sont disponibles : 2016 et 2017. Elles sont ici : http://212.47.238.202/geo_rpls/

Il est attendu des utilisateurs leurs retours sur ce travail de géocodage.
 
Services habitat : n’hésitez pas à charger les données, à les intégrer dans votre SIG, et à participer à la discussion ouverte sur le forum données du GeoRezo en nous faisant part de vos retours utilisateurs : https://georezo.net/forum/viewtopic.php?id=108740
 


Laisser un commentaire

Un plus pour les études d’urbanisme

Difficile pour moi de ne pas revenir sur la mise à disposition du cadastre en opendata, annoncée très largement et rappelée par le blog parcell’air il y a peu (https://georezo.net/blog/parcellair/2017/10/02/cest-open-data-pour-le-cadastre/).

Même si la démarche parait aujourd’hui évidente, que de chemins et galères parcourus avant d’en arriver là !

Les discussions sur le GeoRezo relatent bien cette évolution :

Merci à qui ?

Avant même la tempête opendata, INSPIRE avait enclenché la démarche d’ouverture en considérant que le fond cadastral était une donnée de référence (annexe I).

Mais rappelons nous, aussi, que ce fond en majorité vectoriel a été construit par les services du cadastre avec, fréquemment, le soutien financier des collectivités locales et des subventions des plateformes régionales d’information géographiques, comme celles mobilisées par le CRIGE PACA auprès de la Région. Ces plateformes s’étant également engagées dans la diffusion de ces données à l’image de GéoBretagne (https://cms.geobretagne.fr/content/telechargement-du-cadastre-2017).

Chemins et galéres

Avant le site du cadastre ou le géoportail, on a traversé une longue période d’interrogation quant à la mise en ligne des données cadastrales. Le blog Inspire by Clouds, hébergé sur le GeoRezo, évoquait cet aspect en 2009 : https://georezo.net/blog/inspire/2009/01/07/va-t-on-modifier-la-loi-%C2%AB-informatique-et-liberte-%C2%BB/. Les questions que l’on se posait alors sur l’affichage des numéros de parcelle vis à vis des réglementations de la CNIL peuvent paraître aujourd’hui complétement surréallistes !

Attention

Par contre, rappelons que cette ouverture ne concerne que les données graphiques. Les données « alphanumériques » de la « matrice cadastrale », communément appelée Majic, ne sont pas accessibles par « tout un chacun ». Elles nécessitent une déclaration CNIL car elles contiennent des informations à caractère personnel sur les propriétaires notamment.

Et si le cadastre est repéré comme donnée de référence dans le cadre d’INSPIRE, pour beaucoup de géomaticiens il ne constitue pas à proprement parler un référentiel géographique comme le rappelle Maël sur twitter.

 

Espérons que cette initiative va perdurer. Il me semble que le « modéle économique » est ici évident tant cette mise à disposition va simplifier les échanges et éviter la maintenance de services de diffusion multiples.

Faisons confiance en la communauté géomatique pour se tenir au courant, elle veille au grain sur ce fil de discussion : https://georezo.net/forum/viewtopic.php?pid=301336#p301336

 

Merci pour l’aide de Stéphane, Franck, et de mon compère de Parcell’air Jean-Michel.


1 commentaire

Le carroyage DFCI en Opendata

Voilà une nouvelle que l’on découvre à la fin d’un article très intéressant sur le carroyage DFCI publié sur le site de l’entente pour la forêt méditerranéenne.

Une maille qui a pour objectif principal la bonne coordination des services de sécurité et, à l’origine, des équipes de lutte contre l’incendie, en particulier en zone méditerranéenne.

Petit particularité il s’agit d’une maille de 2 km de côté. Et, si je ne me trompe pas, il a été créé en projection Lambert II étendu ce qui donne de petites déformations quand on l’affiche en Lambert 93.

Ce carroyage est maintenant disponible sur data.gouv.fr. Peut-être cette ouverture va révéler de nouveaux usages ?

 


Laisser un commentaire

Info’s carto statistique

Cet article ne sera surement pas exhaustif mais je voulais lister un certain nombre de données carto et statistiques qui sont désormais facilement accessibles.

Plus


1 commentaire

Des limites communales à grande échelle

La communauté OSM vient d’achever la constitution d’un référentiel d’importance, celui des limites communales.  Il n’existe pas de support officiel me direz vous ? Eh bien non !

On avait pris l’habitude de s’appuyer sur les fichiers GeoFLA de l’IGN, mais ceux-ci convenaient pour des représentations et analyses statistiques à une échelle régionale, mais pas dès que l’on travaillait à l’échelle communale ou intercommunale. Plus


1 commentaire

Intégrer OpenStreetMap dans une pratique professionnelle

 

Jean-Louis Zimmerman et Tony Emery sont de très actifs « mandataires grand sud-est » de l’association OSM. Tous deux employés à la ville d’Orange, Jean-Louis est urbaniste et Tony l’accompagne dans ses aventures en tant que responsable du SIG.
Comment la ville d’Orange est elle devenue le héraut d’OpenStreetMap en France, ou du moins en région PACA ?

Plus


Laisser un commentaire

- Faire un don - Contact - Mentions légales -