{"id":610,"date":"2013-03-21T20:49:58","date_gmt":"2013-03-21T18:49:58","guid":{"rendered":"https:\/\/blog.georezo.net\/geolibre\/?p=610"},"modified":"2013-03-21T20:50:07","modified_gmt":"2013-03-21T18:50:07","slug":"gdal-ogr-mode-ajout-dans-une-base-de-donnees-postgresql","status":"publish","type":"post","link":"https:\/\/blog.georezo.net\/geolibre\/2013\/03\/21\/gdal-ogr-mode-ajout-dans-une-base-de-donnees-postgresql\/","title":{"rendered":"[GDAL-OGR] Mode ajout dans une base de donn\u00e9es PostGreSQL"},"content":{"rendered":"<p>Il y a quelques temps je devais importer des donn\u00e9es au format EDIGEO dans une base PostGreSQL\/PostGIS existante. J&rsquo;avais plusieurs fichiers THF \u00e0 importer par cons\u00e9quent je devais cr\u00e9er la table puis importer les fichiers les nus apr\u00e8s les autres. Apr\u00e8s lecture attentive de la documentation puis poser quelques questions sur la liste gdal, voici la m\u00e9thode ainsi que les petites astuces qui font la diff\u00e9rence.<\/p>\n<h1>Visualisation du probl\u00e8me<\/h1>\n<p>Puisque la table n&rsquo;existe pas au premier fichier THF, il faut que la commande ogr2ogr s&rsquo;en occupe puis, dans un deuxi\u00e8me temps, il faut que cette m\u00eame commande ajoute les donn\u00e9es. La doc est assez clair l\u00e0 dessus : il faut lancer deux commandes l&rsquo;une apr\u00e8s l&rsquo;autre (en fait seules quelques options sont diff\u00e9rentes) :<\/p>\n<pre>ogr2ogr -gt 65536 -f \"PostgreSQL\" \"PG:dbname=test\u00a0 host='localhost'\" -lco \"GEOMETRY_NAME=the_geom\" -lco \"SCHEMA=test\" -lco \"OVERWRITE=YES\" -nln EDIGEO_parcelle\u00a0 E0001.THF PARCELLE_id<\/pre>\n<p>Cette commande s\u2019ex\u00e9cute sans probl\u00e8me. Les options utilis\u00e9es ici sont les suivantes :<\/p>\n<ul>\n<li><em>-gt 65536<\/em> : permet de grouper les g\u00e9om\u00e9tries par groupe de 65 536 g\u00e9om\u00e9tries avant de les commiter. Cela \u00e9vite de commiter les g\u00e9om\u00e9tries les unes apr\u00e8s les autres. La valeur utilis\u00e9e est celle pr\u00e9coniser par la documentation.<\/li>\n<li><em>-lco \u00ab\u00a0SCHEMA=test\u00a0\u00bb<\/em> : importer les donn\u00e9es dans un sch\u00e9ma particulier.<\/li>\n<li><em>-lco \u00ab\u00a0GEOMETRY_NAME=the_geom\u00a0\u00bb<\/em> : totalement inutile mais j&rsquo;aime bien avoir une coh\u00e9rence dans mes noms de colonnes g\u00e9om\u00e9triques.<\/li>\n<li><em>-lco \u00ab\u00a0OVERWRITE=YES\u00a0\u00bb<\/em> : obligatoire quand on fait plusieurs essaie ou quand la table existe d\u00e9j\u00e0 pour cause d&rsquo;import d\u00e9j\u00e0 r\u00e9alis\u00e9. Cette option indique que la table sera \u00e9cras\u00e9e (d\u00e9truite puis recr\u00e9e).<\/li>\n<li><em>-nln EDIGEO_parcelle<\/em> : donner un nom diff\u00e9rent \u00e0 la table que l&rsquo;on va cr\u00e9er. Notez le m\u00e9lange de majuscules et de minuscule, nous en reparlerons plus tard.<\/li>\n<\/ul>\n<p>La deuxi\u00e8me commande que j&rsquo;ai test\u00e9 pour ajouter les donn\u00e9es \u00e0 une table existante esty celle-ci :<\/p>\n<pre>ogr2ogr -append -update -gt 65536 -f \"PostgreSQL\" \"PG:dbname=test host='localhost'\" -lco \"GEOMETRY_NAME=the_geom\" -lco \"SCHEMA=test\" -nln EDIGEO_parcelle\u00a0 E0002.THF PARCELLE_id<\/pre>\n<p>Et l\u00e0, ca marche beaucoup moins bien car je re\u00e7ois ce message :<\/p>\n<pre>ERROR 1: Layer test.edigeo_parcelle already exists, CreateLayer failed.\r\nUse the layer creation option OVERWRITE=YES to replace it.\r\nERROR 1: Terminating translation prematurely after failed\r\ntranslation of layer PARCELLE_id (use -skipfailures to skip errors)<\/pre>\n<p>Et les logs de PostgreSQL montrent que cela ne provient pas de la base de donn\u00e9es :<\/p>\n<pre>Postgresql log file shows:\r\n2013-03-06 15:35:44 CET LOG:\u00a0 could not receive data from client: Connection\r\nreset by peer\r\n2013-03-06 15:35:44 CET LOG:\u00a0 unexpected EOF on client connection<\/pre>\n<h1>Compr\u00e9hension du probl\u00e8me et solution<\/h1>\n<p>En regardant les logs d&rsquo;un peu plus pr\u00e8s, voici ce que l&rsquo;on y trouve :<\/p>\n<ol>\n<li>le nom de la table cr\u00e9\u00e9e est <em>test.edigeo_parcelle<\/em>, ce qui est incorrecte en regard de la commande que j&rsquo;ai lanc\u00e9 (le nom de la table aurait d\u00fb \u00eatre <em>EDIGEO_parcelle<\/em>.<\/li>\n<li>une commande est r\u00e9alis\u00e9e lors du mode ajout et celle-ci ne cherche pas la table dans le sch\u00e9ma <em>test<\/em> mais dans le sch\u00e9ma <em>public<\/em>.<\/li>\n<\/ol>\n<p>Ces deux probl\u00e8mes peuvent \u00eatre r\u00e9gl\u00e9s de plusieurs mani\u00e8res diff\u00e9rentes.<\/p>\n<h2>La solution \u00ab\u00a0fain\u00e9ant\u00a0\u00bb<\/h2>\n<p>R\u00e9sumons la par \u00ab\u00a0Ah ben ca marche pas avec des majuscules et dans un sch\u00e9ma autre que le sch\u00e9ma public, tant pis\u00a0\u00bb. La solution ici est de mettre le nom de la table en minuscule (bonne pratique) et celle-ci dans le sch\u00e9ma <em>public<\/em> (pas bien !).<\/p>\n<h2>La solution dite de \u00ab\u00a0contournement\u00a0\u00bb<\/h2>\n<p>Elle s&rsquo;approche de la premi\u00e8re car elle n&rsquo;utilise pas les options n\u00e9cessaires (et ajout\u00e9es pour) ce cas de figure et elle ne sert qu&rsquo;au deuxi\u00e8me probl\u00e8me (celui du sch\u00e9ma) :<\/p>\n<pre>ogr2ogr -append -update -gt 65536 -f \"PostgreSQL\" \"PG:dbname=test host='localhost'\" -nln test.edigeo_parcelle\u00a0 E0002.THF PARCELLE_id<\/pre>\n<p>Notez ces modifications :<\/p>\n<ol>\n<li><em>-lco \u00ab\u00a0SCHEMA=test\u00a0\u00bb<\/em> et <em>-lco \u00ab\u00a0GEOMETRY_NAME=the_geom\u00a0\u00bb<\/em> ont \u00e9t\u00e9 supprim\u00e9s car inutile. Les options -lco ne sont pas utilis\u00e9es en mode append ou update (ben oui le c de lco est pour \u00ab\u00a0cr\u00e9ation\u00a0\u00bb, logique !).<\/li>\n<li>le nom de la table dans l&rsquo;option -nln a \u00e9t\u00e9 modifi\u00e9 en test.edigeo_parcele : tout en minuscule et ajout du sch\u00e9ma<\/li>\n<\/ol>\n<h2>La solution qui utilise les bonnes options<\/h2>\n<p>Comprenons bien les probl\u00e8mes. Un premier probl\u00e8me vient du fait que le nom de la table que nous souhaitons cr\u00e9er contient des majuscules qui sont transform\u00e9s en minuscule. Le deuxi\u00e8me probl\u00e8me vient du fait que nous utilisons une option de cr\u00e9ation pour d\u00e9finir le sch\u00e9ma dans lequel ins\u00e9rer des donn\u00e9es alors que nous somme en mode append\/update.<\/p>\n<h3>Nettoyage des noms de couches\/table, colonne<\/h3>\n<p>Le pilote PostgreSQL dans GDAL\/OGR contient un syst\u00e8me de nettoyage des valeurs donn\u00e9es lors de la cr\u00e9ation d&rsquo;une couche. Cette option se nomme \u00ab\u00a0LAUNDER\u00a0\u00bb et est d\u00e9finie dans la page du pilote : <a title=\"Pilote PostgreSQL d'OGR\" href=\"http:\/\/gdal.gloobe.org\/ogr\/formats\/pg.html\" target=\"_blank\">http:\/\/gdal.gloobe.org\/ogr\/formats\/pg.html<\/a> (en fran\u00e7ais) :<\/p>\n<blockquote><p>Elle peut \u00eatre d\u00e9finie \u00e0 *YES* pour forcer les nouveaux champs cr\u00e9\u00e9s sur cette couche \u00e0 avoir les noms de champs \u00ab\u00a0nettoy\u00e9s\u00a0\u00bb dans une forme compatible avec PostgreSQL. Cela convertie la valeur en minuscule ainsi que certains caract\u00e8res sp\u00e9ciaux comme \u00ab\u00a0&#8211;\u00a0\u00bb et \u00ab\u00a0#\u00a0\u00bb en \u00ab\u00a0_\u00a0\u00bb. Si la valeur *NO* est utilis\u00e9e les noms exacts seront pr\u00e9serv\u00e9s. La valeur par d\u00e9faut est *YES*. Si activ\u00e9 le nom de la table (couche) sera \u00e9galement nettoy\u00e9.<\/p><\/blockquote>\n<p>Si l&rsquo;on souhaite garder nos majuscules il faut d\u00e9finir cette option \u00e0 \u00ab\u00a0NO\u00a0\u00bb.<\/p>\n<h3>D\u00e9finition du sch\u00e9ma en mode append\/update<\/h3>\n<p>Lorsque nous somme en mode <em>append<\/em> ou <em>update<\/em>, nous ne somme pas en mode de <em>cr\u00e9ation<\/em>. C&rsquo;est peu de le dire, c&rsquo;est \u00e9vident, mais au final on n&rsquo;en saisit pas toujours les cons\u00e9quences : les options de <em>cr\u00e9ation<\/em> ne nous serons d&rsquo;aucune utilit\u00e9 ! Heureusement il y a une possibilit\u00e9 : le param\u00e8tre \u00ab\u00a0active_schema\u00a0\u00bb dans la cha\u00eene de connexion. Notre commande devient alors :<\/p>\n<pre>ogr2ogr -append -update -gt 65536 -f \"PostgreSQL\" \"PG:dbname=test host='localhost' active_schema=test\" -nln edigeo_parcelle\u00a0 E0002.THF PARCELLE_id<\/pre>\n<p>Merci \u00e0 <a title=\"Even Rouault : d\u00e9veloppeur de GDAL-OGR\" href=\"https:\/\/blog.georezo.net\/geolibre\/2009\/11\/02\/even-roualt-developpeur-de-gdal-ogr\/\">Even Rouault<\/a> pour son aide sur la liste.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Il y a quelques temps je devais importer des donn\u00e9es au format EDIGEO dans une base PostGreSQL\/PostGIS existante. J&rsquo;avais plusieurs fichiers THF \u00e0 importer par cons\u00e9quent je devais cr\u00e9er la table puis importer les fichiers les nus apr\u00e8s les autres. Apr\u00e8s lecture attentive de la documentation puis poser quelques questions sur la liste gdal, voici [&hellip;]<\/p>\n","protected":false},"author":9,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[31,38],"tags":[4269,12,244,27],"class_list":["post-610","post","type-post","status-publish","format-standard","hentry","category-applications","category-donnees","tag-edigeo","tag-edition","tag-ogr","tag-postgis"],"_links":{"self":[{"href":"https:\/\/blog.georezo.net\/geolibre\/wp-json\/wp\/v2\/posts\/610","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/blog.georezo.net\/geolibre\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/blog.georezo.net\/geolibre\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/blog.georezo.net\/geolibre\/wp-json\/wp\/v2\/users\/9"}],"replies":[{"embeddable":true,"href":"https:\/\/blog.georezo.net\/geolibre\/wp-json\/wp\/v2\/comments?post=610"}],"version-history":[{"count":10,"href":"https:\/\/blog.georezo.net\/geolibre\/wp-json\/wp\/v2\/posts\/610\/revisions"}],"predecessor-version":[{"id":620,"href":"https:\/\/blog.georezo.net\/geolibre\/wp-json\/wp\/v2\/posts\/610\/revisions\/620"}],"wp:attachment":[{"href":"https:\/\/blog.georezo.net\/geolibre\/wp-json\/wp\/v2\/media?parent=610"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/blog.georezo.net\/geolibre\/wp-json\/wp\/v2\/categories?post=610"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/blog.georezo.net\/geolibre\/wp-json\/wp\/v2\/tags?post=610"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}