Souscrire via RSS[QGIS] Sauver un fichier dans un autre format
Ce cours article fait suite à une question posée sur le forum Geolibre de GeoRezo.net. L’utilisateur souhaitait sauvegarder ses données au format MapInfo à partir de données au format d’ESRI en utilisant le pluging OGR. Ce plugin très utile n’était plus maintenu ce qui posait certain problème (notamment celui présenté dans ce thread). D’autre part depuis la version 1.7 de QGIS ce plugin a été supprimé.
L’alternative est d’utiliser la fonctionnalité « sauver sous … » de QGIS. Jusqu’ici rien de bien compliqué et cette fonctionnalité peut paraitre bien trop simple pour l’ensemble des cas d’utilisation possible. Cependant, comme souvent au sein du projet QGIS, la fonctionnalité intégrée dans QGIS apporte plus de fonctionnalité que l’ancien plugin. L’exemple est venu de ce même thread où un autre utilisateur désirait transformer sa couche au format GPX. Malheureusement le format GPX présente quelques contraintes et l’export par défaut échoué car la table attributaire ne correspondait pas à la structure du fichier GPX. OGR propose une option qui permet de récupérer ces champs attributaires et de les placer dans une balise « <extension> ». Cette option doit être placée dans la commande sous forme de flag « option de création ».
Voici la méthode pour réaliser cet export. Cette méthode est généralisable à toutes les options de tous les formats :
- aller sur le site d’OGR pour connaitre les options et les limites du pilote du formatou sur le wiki de GeoRezo.net pour la version française
- trouver l’option « qui va va bien », dans notre cas c’est l’option GPX_USE_EXTENSIONS=YES
- cliquer-droit sur la couche dans QGIS, sous-menu « sauvegarder sous … »
- dans la fenêtre qui s’ouvre, renseigner les infos : couche d’export, projections et l’option de création. voir la capture d’écran ci-dessous :
Projection à la volée dans QGIS 1.7
La version 1.7 de QGIS est dans les startings blocs. Ma distribution me l’ayant proposée en mise à jour, je me suis empressé de l’installer. De nombreuses nouveautés sont à l’ordre du jour, des évolutions au niveau de l’IHM (ajout d’un menu supplémentaire pour les bases de données, options de gestion des symboles) bien sur mais aussi des nouveautés plus ou moins visible, disons moins liées à l’interface (jointure sur les couches vecteur, reprojection des raster, etc.).
Parmi ces nouveautés, une que j’attendais depuis longtemps : la reprojection à la volée des couches raster ! J’ai donc testé la superposition d’une couche raster (couche WMS de Géosignal), une couche vecteur dans une projection européenne (ETRS89). Le flux WMS de Géosignal ne propose pas de projection européenne, seulement les projections française (lambert 2, lambert 93) et « WGS 84 ». La couche vecteur provient d’OSM, elle est donc en WGS84/latlong.
Première étape : on lance QGIS et on définie la projection du projet : ETRS84 ou EPSG:4258, cochez la case ‘reprojection à la volée’.
Deuxième étape : on ajoute la couche raster : configuration du flux WMS de Geosignal dans QGIS si ce n’est pas déjà fait, choix des couches (pour ma part toutes les couches raster 5k, 25k, etc.), choix de la projection ; lambert 93 puis ajouter, la couche s’affiche.
Troisième étape : ajoutez une couche vecteur dans une 3eme projection : celle des réseaux ferrés de France provenant d’OSM (http://download.qualitystreetmap.org/osm/)
Les couches se superposent toutes parfaitement !
Présentation des nouveautés de MapServer 6.0
UMN MapServer est un serveur cartographique prenant en charge un grand nombre de formats de fichier. Il est possible de l’utiliser en mode CGI ou à travers des langages de script tels que PHP, Ruby, Java, C#, etc à l’aide de MapScript. MapServer constitue donc un environnement de développement d’outils plus qu’un outil en lui même prêt à être installé et à être utilisé directement.
Au niveau des nouveautés de cette version majeure, nous trouvons au niveau du coeur de MapServer : une API d’interface de rendu, le refactoring de l’interpréteur des Expressions dans MapServer (MS RFC 64) et les requêtes en une seule passe (MS RFC 65), au niveau des améliorations : la sortie KML, amélioration de la gestion des étiquettes, amélioration de la gestion des styles des features, de nouveaux formats pour la requête GetFeature du service WFS, un visualiseur OpenLayers interne, une meilleure gestion des fichiers temporaires, la possibilité d’activer ou pas les services OGC, la fusion et le cluster des features.
Note : un document détaillant ces nouveautés est disponible sur le site du PortailSIG. Je reprend ici que l’introduction de chaque nouveautés.
Nouveautés
API de rendu d’interface (MS RFC 54)
L’objet de ce développement est de créer une API pour brancher des moteurs de rendues différents en fonction du format de sortie voulu, pour l’anecdote cette API fonctionne d’une manière similaire à la lecture des données.
Révision du parseur d’expression de MapServer (MS RFC 64)
L’objet de cette RFC est de revoir le parseur d’expression (i.e. le code qui interprète les expressions utilisées dans le mapfile, par exemple [name] = “Yves”) et en particulier les endriots où celui-ci est utilisé. Les modifications pouvant avoir un impact sur les expressions des requêtes et particulièrement aux bases de données. Un objectif de ces modifications est l’implémentation des expressions de filtres de l’OGC en seule passe et indépendamment du pilote.
Modification de la requête en seule passe (MS RFC 65)
Ces modifications consistent à une simplification du travail qui a été effectué lors de la release précédente (la 5.6). À ce moment un premier travail a été effectué mais il s’avère insuffisant même s’il a amélioré les choses. Avant la 5.6, une première requête permettait de récupérer les géométries potentielles, puis n requêtes plus petites pour récupérer les résultats, cela été lent particulièrement pour les serveurs de bases de données. À partir de la 5.6, seulement deux requêtes sont effectuées.
Gestion du rendu OpenGL (MS RFC 50)
Cette nouvelle fonctionnalité apporte l’utilisation du module Opengl pour le rendu à MapServer pour un rendu plus rapide des images.
Kml Output (MS RFC 58)
Le travail initial a été réalisé par David Kana lors du Google Summer of Code de 2009. Le code pour le rendu KML est basé sur la nouvelle API du moteur de rendu décrit dans la RFC 54. La première intention était d’utiliser la bibliothèque KML originale fournie par Google mais celle-ci était trop complexe et la bibliothèque libxml2, déjà incluses dans MapServer, a été utilisée.
Amélioration des étiquetages : possibilité d’annuler les étiquettes ANGLE FOLLOW si trop de caractères se superposent (MS RFC 60)
Lorsque des étiquettes étaient placées sur une ligne à forte courbure et que ces étiquettes devaient suivre la ligne (ANGLE FOLLOW) il arrivait que des caractères se chevauchent rendant illisible le texte. L’amélioration ici consiste à détecter ce genre de problème et à sauter l’emplacement qui pose problème. Le prochain emplacement qui ne présente pas ce problème affichera l’étiquette. La stratégie est la suivante et permettra de comprendre le nouveau mot-clé : l’angle des deux caractères consécutifs sont comparé et s’il est supérieur à 22.5° l’étiquette ne sera pas affichée.
Amélioration de la gestion des styles dans MapServer (MS RFC 61)
L’idée ici est de pouvoir utiliser des styles stockés avec la géométrie. Seul le pilote OGR gère le rendu avec le style lié à la géométrie de plus théoriquement seuls quelques formats gèrent le stockage des styles avec la géométrie (comme MapInfo, AutoCAD DXF, Microstation DGN), cependant ces styles peuvent facilement être transférés sous forme d’attributs en utilisant l’option SQL d’ogr2ogr.
Gestion de formats de sortie supplémentaire pour le GetFeature du WFS (MS RFC 62)
L’amélioration ici consiste à définir différent format de sortie pour la requête GetFeature du service WFS.
Visualiseur OpenLayers interne (MS RFC 63)
Les utilisateurs ont souvent demandée un moyen simple de tester les mapfiles. Cette amélioration permet un moyen simple de visualiser, tester et naviguer dans un mapfile en utilisant un visualiser interne basé sur OpenLayers. Il ne doit servir que pour tester et développer et non pas en production !
Meilleur prise en charge des fichiers temporaires (MS RFC 66)
Jusqu’à maintenant, MapServer écrit les fichiers temporaires dans un répertoire IMAGEPATH accessible par le web, ce qui n’est pas optimale mais pouvait être suffisant mais au fur et à mesure que les fichiers temporaires étaient de plus en plus utilisés, il fallait mettre en place une meilleure prise en charge.
Activer/Désactiver des couches dans les services web OGC (MS RFC 67)
Jusqu’à maintenant il n’était pas possible de cacher/désactiver une couche de service web OGC, cela est maintenant possible. Vous pouvez trouver une discussion sur ce sujet dans le wiki : http://trac.osgeo.org/mapserver/wiki/HidingLayersInOGCWebServices
Gestion de la combinaison de features à partir de différentes couches (MS RFC 68)
Aujourd’hui, vous pouvez combiner plusieurs fichiers en utilisant la fonction TILEINDEX, mais seulement si ces données ont les mêmes attributs et description. Il peut être intéressant d’être en mesure d’avoir des couches sources multiples qui ont des attributs semblables et d’être en mesure de les combiner en une seule couche (appelé couche “union”) en utilisant un sous-ensemble compatible des colonnes attributaires sources de sorte que la couche combinée peut être considérée comme une seule couche. On pourrait alors utiliser cette seule couche de la même manière que toute autre couche lors de la création des styles, classes et étiquettes.
Gestion des clusters de géométries dans les couches ponctuelles (MS RFC 69)
Afin de rendre les cartes pertinente pour une vue donnée, nous pouvons avoir besoin de limiter le nombre d’éléments affichés qui normalement se chevauchent les uns sur les autres. Nous pouvons maintenant réaliser un rendu des symboles sous forme de cluster à une échelle particulière. Selon l’exemple à http://trac.osgeo.org/mapserver/attachment/ticket/3700/cluster.png le nombre de traits formant les groupes sont affichés dans les étiquettes pour chaque feature dans le cluster.
La qualité dans un projet logiciel : mythe ou réalité ?
Les développements de projets Open Source sont connus et reconnus pour leur qualité : l’argument établis est que du fait de la publication du code, la qualité étant visible de tous, les développeurs auront tendance à prêter attention à la qualité du code. D’autres arguments existent : un projet communautaire (dont les développeurs ont chacun une vision et un objectif propre) se doit d’être irréprochable en matière de développement. Comment peut-on montrer ou démontrer la qualité d’un code ou d’un projet ? La question se pose aussi pour les données, mais j’y reviendrai plus tard dans un autre billet.
Différents paramètres sont parfois pris en compte comme le nombre de développeurs, d’utilisateur, le dynamisme des commits. Des services sont alors apparus comme ohloh, voir la page sur MapServer par exemple, se basant justement sur ce genre de paramètres. Ces méthodes ont des limites, je doute qu’il y ait seulement 103 utilisateurs de MapServer dans le monde, mais donnent un aperçu intéressant des projets (open source). Les listes de diffusion donnent également un aperçu : répond on à des questions (de difficulté diverse) ? Y a t’il des services commerciaux de formation et de support derrière ces projets ?
GeoShield : gérer les accès à vos services web OGC
GeoShield est un petit nouveau dans les applications de gestion des accès aux services web OGC. Nous connaissons secureows, développé par Camptocamp, celle intégré dans GeoServer, celles de 52North (WAS et WSS).
Pourquoi parler de ce nouveau venu ? D’abord parce que souvent la diversité des applications permet de comparer et d’avoir la possibilité de choisir celui qui nous convient le mieux et qu’il me semble important de les suivre. Ensuite parce que j’ai été séduit par cette application. Bien sur elle n’est pas exempt de petit soucis et d’imperfection, mais nous la mettrons sur le compte de sa relative jeunesse (la première version a été présentée lors du FOSS4G 2009 dont j’ai été absent) et 2010.
Manuel utilisateur QGIS au format papier et en français
Lors de la traduction du manuel utilisateur il y a … un peu plus d’un an déjà, j’avais dans l’idée de proposer ce manuel en version papier via un site d’édition à la demande. Suite à la publication du rapport annuel de l’OSGeo Tytler Mitchell a permis l’impression de ce rapport au format papier via le site lulu.com.
Après une première visite, l’idée a fait son chemin et j’ai passé la main à ce propos à Jean-Roc qui a géré la traduction du manuel de QGIS. Depuis bientôt un an déjà Jean-Roc a bossé dur pour améliorer le rendu PDF du manuel. La méthode utilisé lors de la traduction n’étant pas très jolie. Jean-Roc a donc réalisé un test sur lulu.com, dont je me suis empressé de tester (trop vite peut-être dirons certain). Le résultat est arrivé hier soir et je vous livre mon impression : beau livre, de qualité, la prestation a été rapide (commandé dimanche soir, reçu vendredi). Même la Fnac n’a pas été aussi rapide pourtant la commande portée sur deux bouquin déjà imprimé !
C’est donc avec un vrai plaisirs que je tiens ce manuel papier dans mes mains, n’hésitez pas à le commander et à le diffuser autour de vous. Un système sera mis en place pour que tout le monde puisse en acheter un (deux volumes seront proposés : couleur et noir&blanc).
Enfin je voulais remercier Jean-Roc pour tout ce travail accompli car ce n’est pas tout d’avoir des idées, encore faut il leur donner une réalité !
Export OSM France en Shapefile
Un export au format Shapefile vient d’être publié sur le site http://download.qualitystreetmap.org/osm/. Cette mise à jour date du 26/11/2010. D’autres mises à jour seront publiés régulièrement, l’objectif étant d’industrialiser cela.
Vous y trouverez :
- admin_level.zip : limites communales, départementales, régionales et nationales – 171 Mo
- amenity.zip : education, entertainment (cinéma, théatre), restaurant/pub/café, finance, santé, transport (couche ponctuelle) – 4.4 Mo
- leisure.zip : sport, etc. – 4.1 Mo
- urbanism.zip : routes, autres routes, rails, stations, adresses – 191 Mo
D’autres thématiques seront ajoutées en fonction de la demande.
OSM en 3D
Voilà quelques temps je trainais sur Tweeter et je suis tombé sur un tweet qui a provoqué ma curiosité : OSM en 3d.
L’idée est assez simple, on exporte les données de la base OSM, donc au format OSM. Ces données doivent être la plus complète possible : routes et bâtiments bien sur mais aussi occupation des sols, rivières, etc.
Présentation de State of the Map 2010 (SotM)
State of the Map s’est déroulée cette semaine du 9 au 11 juillet à Gérone, Espagne. State of the Map est la rencontre internationale dédiée au projet OpenStreetMap : rencontres, présentations et conférences, workshop, réseautage, c’est le moment pour sentir venir les idées et évolutions futures concernant OpenStreetMap.
Plusieurs annonces ont été faites durant ces trois jours. Mapquest, l’un des premiers sites de carto sur Internet aux USA, a annoncé l’utilisation des données OpenStreetMap comme fond carto pour leur carte ainsi qu’un investissement d’un millions de $ pour améliorer la qualité des données. Cet investissement bien que réalisé en interne permettra certainement une avancée significative dans la qualité des données. Bing (Microsoft) n’est pas en reste et a annoncé le lancement de projets autour d’OpenStreetMap.
Parmi les présentations effectuées, j’ai aimé celles concernant l’accessibilité pour les personnes à mobilité réduite. L’Allemagne et l’Italie ont présenté deux projets distincts à ce sujet. Avec deux problématiques intéressantes : comment ajouter l’information (et laquelle) dans la base OSM et comment utiliser ces informations : carte en braille ou audio par exemple.
D’autres présentations se sont focalisées sur le projet OpenStreetMap et la communauté. On retiendra la présentation du contributeur type d’OSM : de sexe masculin à 97 %, ayant une expérience dans les SIG (51 %), il travaille dans le monde commercial (60 %). Toujours concernant les contributions d’OSM, Potlatch vient de sortir en version 2 (béta). Potlatch est une interface pour éditer les données d’osm en ligne. C’est celle que vous avez lorsqu’après vous être identifié, vous accédez à l’interface d’édition sur le site openstreetmap.org. Enfin Steve Coast a présenté, ce que je nommerai le prochaine défi du projet OSM : améliorer la qualité des données. L’investissement pour Mapquest est un des éléments qui va le permettre, mais à ne pas douter d’autres applications et contributions permettront d’y arriver. Bing! maps réfléchit d’ailleurs sur les problèmes de licence afin d’autoriser le projet OSM à utiliser leur fond de carte pour numériser les données.
Enfin de nouvelles applications ont été mises en place. François Van Der Biest a, par exemple, réalisé une application, baptisée QualityStreetMap pour permettre de se partager le travail pour vérifier la qualité des données à plusieurs. Les zones sont partagées en tuiles de 5 1 km et chaque contributeur vérifie la complétude des informations. L’application a eu un grand succès dans la communauté OSM.
En conclusion …
Les données OSM semblent avoir atteint une taille suffisamment critique pour être maintenant utilisées dans des projets d’envergure par de grands éditeurs. La qualité reste cependant un point à améliorer mais la communauté et les sociétés commerciales semblent avoir pris le problème à sa mesure.
Synthèse mensuelle de la géomatique Open Source
Voici quelques liens à lire ou à regarder et des news d’importances :
- Sextante GIS en français (via Patrick sur la liste OSGeo-fr)
- Youmapps a réalisé une enquête sur la « cartographie communautaire » avec un échantillon de 3 000 personnes.
- libération des données : on ne reviendra pas en arrière !
- Spot Image sponsor de State of The Map, niveau silver (très peu ou pas annoncé en France, il se font timide ?!)
En parlant de State Of The Map, cela commence dans 8 jours. Je tenterai de faire des comptes rendu sur ce blog.