Souscrire via RSSArticles marqués ‘mapserver’
FOSS4G-fr : l’événement francophone majeure de la géomatique Open Source
Les 20, 21 et 22 mai sera organisé le premier événement francophone autour de la géomatique open source (FOSS signifiant Free et Open Source). Après l’événement FROG en 2013, la deuxième édition prend de l’ampleur : plus de conférences, des workshops (on dirait plutôt Travaux Pratiques en bon françois).
Pourquoi y aller ? Il existe de nombreuses bonnes raisons : rencontrer les développeurs (ils parlent une langue proche de la votre et sauront s’adapter) et discuter sur leurs travaux actuels et futurs, d’autres usagers des projets open source qui sauront partager leur point de vue, besoins et solutions qui vous intéresseront, des membres de la communauté OSGeo-fr et notamment des membres du bureau de l’association, des anciens membres du bureau.
Cet événement me fait vraiment penser à mon premier FOSS4G (international celui-là) à Lausanne en 2006 : de la technique mais pas trop et à mon niveau (à cette époque j’étais un vrai débutant et j’y ai beaucoup appris), un aperçu de ce qui se fait actuellement afin de me mettre à niveau sur le plan des usages actuels, une bonne ambiance et de la bonne humeur que j’apprécie toujours.
Le FOSS4G-fr c’est tout ca et en même temps ca sera complètement différent : car ce sera en français ! Et pour moi, ce sera le moment de partager ce que j’ai appris depuis ce fameux premier FOSS4G, de trouver de nouvelles idées, ce sera aussi, pour moi, la possibilité de discuter avec les développeurs des projets que j’affectionne.
Les présentations et travaux pratiques sont listés dans le programme, si je dois en retenir que quelques uns (donc forcément objectif et non exhaustif), commençons par les TP :
- Automatiser avec QGIS par Jean-Roc Morreales
- LizMap par Michaël DOUCHIN et Réné-Luc D’HONT
- TileMill par Sylvain Berochia
- Les plugins dans QGIS par Hugo Mercier
- Talend : François Prunayre Etienne Taffoureau et moi même
Je m’arrête là car je suis en train de tous les lister … J’oublie bien sur PostGIS avancé, MapServer/GeoServer et la directive INSPIRE, etc.
Les conférences auront lieu le 21 et 22 mai :
- OpenLayers 3
- MapServer 7.0
- geOrchestra
- des présentations sur des plugins QGIS
- GeoNetwork
- La plateforme SmartData du Grand Lyon
- OpenTripPlanner Analyst
- Import du cadastre dans une base PostGIS
- La topologie dans PostGIS : un cas d’utilisation
etc.
Notez deux conférences intéressantes et hors FOSS : nous aurons droit à deux conférences par directement lié au FOSS4G mais qui les impactent : Quelle expérience géographique à l’heure du géoweb ? par Thierry Joliveau et Évolutions européennes en cours sur INSPIRE par Marc Leobet.
Il me reste juste à vous dire de vous dépêcher de vous inscrire, l’année dernière le nombre d’inscrit a atteint la limite haute des possibilités ! Les sponsors sont prêts, l’organisation aussi, les petits fours aussi ou presque (car les repas du midi sont pris en charge). Passons quelques jours ensemble !
À très bientôt 😉
Google Fusion Table, OGR et QGIS
Google Fusion Table, OGR et QGIS : trois projets a priori indépendant, même si nous savons que derrière QGIS se cache la bibliothèque GDAL/OGR. Mais celle-ci est généralement sous estimée, notamment ses possibilités de virtualisation de données (raster ou vecteur). Entre autre chose cela permet à QGIS de pouvoir lire tous les formats de données gérés par GDAL/OGR même si elles ne sont pas listés dans les formats gérés ou qu’elles demandent des étapes intermédiaires (comme pour le format NetCDF).
Google Fusion Table (GFT) est une application Google lié plus ou moins à leur Google Doc, le tableur en particulier. En effet Google propose une feuille calc dans laquelle nous pouvons définir plusieurs colonnes, donc une spéciale, appelée Location qui contient une adresse ou une géométrie (KML par exemple).
GDAL/OGR gère le format GFT depuis sa version 1.9 (toute récente). Cet article a pour but de présenter quelques fonctionnalités et comment utiliser, simplement, un GFT au sein de QGIS (ou de MapServer bien sur).
Il y a quelques temps j’ai créé une feuille test_shapefile composée de quelques colonnes : nom, prénom, location (une adresse), et quelques informations diverses. Je peux me connecter à cette feuille via ogr comme cela :
[sourcecode language= »bash »]
yves@poseidon-vb:~$ ogrinfo -ro "GFT:email=yjacolin@gmail.com password=XXXXXX"
INFO: Open of `GFT:email=yjacolin@gmail.com password=XXXXXX’
using driver `GFT’ successful.
1: test_shapefile
[/sourcecode]
Mais entrer un mot de passe en clair n’est pas très sécurisé, Google proprose de récupérer une clé d’authentification, que l’on peut modifier enfin je suppose) :
[sourcecode language= »bash »] $ ogrinfo –config CPL_DEBUG ON "GFT:email=yjacolin@gmail.com password=XXXXXX" HTTP: Fetch(https://www.google.com/accounts/ClientLogin) HTTP: These HTTP headers were set: Content-Type: application/x-www-form-urlencoded GFT: Auth key : MACLéICI-LONGUE_DE_PLUSIEURS_CARACTèRES GFT: Run SHOW TABLES [..] [/sourcecode]
Puis, sous linux, nous utilisons une variable d’environnement pour définir la clé (d’autres possibilités existent en plus du mot de passe en clair et de la clé d’authentification, référez vous à la documentation du pilote GFT de GDAL/OGR (voir bibliographie plus bas) :
[sourcecode language= »bash »]</code> export GFT_AUTH=MACLéICI-LONGUE_DE_PLUSIEURS_CARACTèRES[/sourcecode]
On teste la prise en compte de la clé d’authentification :
[sourcecode language= »bash »]</code>ogrinfo -ro "GFT:"[/sourcecode]
J’exporte ma table en shapefile :
[sourcecode language= »bash »]ogr2ogr -f "Esri Shapefile" test_shapefile "GFT:tables=1jfYFX051Gbq5JU7Fd-Yxd_Q4aPDslDwDypsm3VU"[/sourcecode]
Puis j’importe une couche – différente – au format shapefile :
[sourcecode language= »bash »]</code>ogr2ogr -f GFT "GFT:" point_etude.shp[/sourcecode]
Pour visualiser ces données dans QGIS ou MapServer j’ai besoin de virtualiser ma couche GFT au moyen du format VRT vecteur.
Création du fichier vrt :
[sourcecode language= »xml »]
<OGRVRTDataSource>
<OGRVRTLayer name="point_etude">
<SrcDataSource>GFT:</SrcDataSource>
<SrcLayer>1SWEVgpny8Ojh-dzJEURhhEJVVa44Vnitey3DRhk&pli=1</SrcLayer>
<LayerSRS>WGS84</LayerSRS>
</OGRVRTLayer>
</OGRVRTDataSource>
[/sourcecode]
puis j’utilise ce fichier vrt pour vérifier que je me connecter correctement à ma couche GFT :
[sourcecode language= »bash »]
ogrinfo -so point_etude.vrt point_etude
INFO: Open of `point_etude.vrt’
using driver `VRT’ successful.
Layer name: point_etude
Geometry: Unknown (any)
Feature Count: 1500
Extent: (-5.974657, 40.712886) – (9.572308, 52.068039)
Layer SRS WKT:
GEOGCS["WGS 84",
DATUM["WGS_1984",
SPHEROID["WGS 84",6378137,298.257223563,
AUTHORITY["EPSG","7030"]],
TOWGS84[0,0,0,0,0,0,0],
AUTHORITY["EPSG","6326"]],
PRIMEM["Greenwich",0,
AUTHORITY["EPSG","8901"]],
UNIT["degree",0.0174532925199433,
AUTHORITY["EPSG","9108"]],
AUTHORITY["EPSG","4326"]]
ID: Real (0.0)
geometry: String (0.0)
[/sourcecode]
Les géométries sont affichées comme celles-ci :
[sourcecode language= »bash »]
OGRFeature(point_etude):1425
ID (Real) = 1423
geometry (String) = <Point><coordinates>-3.443027539873455,47.169053485738431</coordinates></Point>
POINT (-3.443027539873455 47.169053485738431)
OGRFeature(point_etude):1426
ID (Real) = 1424
geometry (String) = <Point><coordinates>8.270853712116637,45.104331014323307</coordinates></Point>
POINT (8.270853712116637 45.104331014323307)
OGRFeature(point_etude):1427
ID (Real) = 1425
geometry (String) = <Point><coordinates>3.631323682505393,46.460888984293931</coordinates></Point>
POINT (3.631323682505393 46.460888984293931)
[/sourcecode]
Enfin l’export fonctionne :
[sourcecode language= »bash »]ogr2ogr -f "Esri Shapefile" test.shp point_etude.vrt point_etude[/sourcecode]
La visualisation au sein de QGIS se fait simplement en ouvrant le fichier vrt comme tout format de données vecteur.
Conclusion
Le format Google Fusion Table est un format intéressant, l’interface avec un format vrt permet de s’y connecter avec toute application s’appuyant avec GDAL/OGR comme QGIs ou MapServer mais le principale intérêt aurait été de pouvoir géocoder ses adresses au moyen de GFT et de pouvoir s’en service comme source de données. Malheureusement GFT ne permet que de géocoder ses adresses et de les visualiser dans une carte Google Map ou Google Earth. Il est impossible de sauver le géocodage dans une colonne dans un format WKT par exemple.
Si cette limitation ne vous pose pas de problème, vous pouvez stocker vos couches sur les serveurs de Google au format GFT et les lire dans QGIS/MapServer.
Bibliographie
- Le pilote GFT dans OGR : version anglaise ou la version française
- Le pilote VRT dans OGR : version anglaise ou version française
- Guide du développeur de Google Fusion Table
Présentation des nouveautés de MapServer 6.0
UMN MapServer est un serveur cartographique prenant en charge un grand nombre de formats de fichier. Il est possible de l’utiliser en mode CGI ou à travers des langages de script tels que PHP, Ruby, Java, C#, etc à l’aide de MapScript. MapServer constitue donc un environnement de développement d’outils plus qu’un outil en lui même prêt à être installé et à être utilisé directement.
Au niveau des nouveautés de cette version majeure, nous trouvons au niveau du coeur de MapServer : une API d’interface de rendu, le refactoring de l’interpréteur des Expressions dans MapServer (MS RFC 64) et les requêtes en une seule passe (MS RFC 65), au niveau des améliorations : la sortie KML, amélioration de la gestion des étiquettes, amélioration de la gestion des styles des features, de nouveaux formats pour la requête GetFeature du service WFS, un visualiseur OpenLayers interne, une meilleure gestion des fichiers temporaires, la possibilité d’activer ou pas les services OGC, la fusion et le cluster des features.
Note : un document détaillant ces nouveautés est disponible sur le site du PortailSIG. Je reprend ici que l’introduction de chaque nouveautés.
Nouveautés
API de rendu d’interface (MS RFC 54)
L’objet de ce développement est de créer une API pour brancher des moteurs de rendues différents en fonction du format de sortie voulu, pour l’anecdote cette API fonctionne d’une manière similaire à la lecture des données.
Révision du parseur d’expression de MapServer (MS RFC 64)
L’objet de cette RFC est de revoir le parseur d’expression (i.e. le code qui interprète les expressions utilisées dans le mapfile, par exemple [name] = “Yves”) et en particulier les endriots où celui-ci est utilisé. Les modifications pouvant avoir un impact sur les expressions des requêtes et particulièrement aux bases de données. Un objectif de ces modifications est l’implémentation des expressions de filtres de l’OGC en seule passe et indépendamment du pilote.
Modification de la requête en seule passe (MS RFC 65)
Ces modifications consistent à une simplification du travail qui a été effectué lors de la release précédente (la 5.6). À ce moment un premier travail a été effectué mais il s’avère insuffisant même s’il a amélioré les choses. Avant la 5.6, une première requête permettait de récupérer les géométries potentielles, puis n requêtes plus petites pour récupérer les résultats, cela été lent particulièrement pour les serveurs de bases de données. À partir de la 5.6, seulement deux requêtes sont effectuées.
Gestion du rendu OpenGL (MS RFC 50)
Cette nouvelle fonctionnalité apporte l’utilisation du module Opengl pour le rendu à MapServer pour un rendu plus rapide des images.
Kml Output (MS RFC 58)
Le travail initial a été réalisé par David Kana lors du Google Summer of Code de 2009. Le code pour le rendu KML est basé sur la nouvelle API du moteur de rendu décrit dans la RFC 54. La première intention était d’utiliser la bibliothèque KML originale fournie par Google mais celle-ci était trop complexe et la bibliothèque libxml2, déjà incluses dans MapServer, a été utilisée.
Amélioration des étiquetages : possibilité d’annuler les étiquettes ANGLE FOLLOW si trop de caractères se superposent (MS RFC 60)
Lorsque des étiquettes étaient placées sur une ligne à forte courbure et que ces étiquettes devaient suivre la ligne (ANGLE FOLLOW) il arrivait que des caractères se chevauchent rendant illisible le texte. L’amélioration ici consiste à détecter ce genre de problème et à sauter l’emplacement qui pose problème. Le prochain emplacement qui ne présente pas ce problème affichera l’étiquette. La stratégie est la suivante et permettra de comprendre le nouveau mot-clé : l’angle des deux caractères consécutifs sont comparé et s’il est supérieur à 22.5° l’étiquette ne sera pas affichée.
Amélioration de la gestion des styles dans MapServer (MS RFC 61)
L’idée ici est de pouvoir utiliser des styles stockés avec la géométrie. Seul le pilote OGR gère le rendu avec le style lié à la géométrie de plus théoriquement seuls quelques formats gèrent le stockage des styles avec la géométrie (comme MapInfo, AutoCAD DXF, Microstation DGN), cependant ces styles peuvent facilement être transférés sous forme d’attributs en utilisant l’option SQL d’ogr2ogr.
Gestion de formats de sortie supplémentaire pour le GetFeature du WFS (MS RFC 62)
L’amélioration ici consiste à définir différent format de sortie pour la requête GetFeature du service WFS.
Visualiseur OpenLayers interne (MS RFC 63)
Les utilisateurs ont souvent demandée un moyen simple de tester les mapfiles. Cette amélioration permet un moyen simple de visualiser, tester et naviguer dans un mapfile en utilisant un visualiser interne basé sur OpenLayers. Il ne doit servir que pour tester et développer et non pas en production !
Meilleur prise en charge des fichiers temporaires (MS RFC 66)
Jusqu’à maintenant, MapServer écrit les fichiers temporaires dans un répertoire IMAGEPATH accessible par le web, ce qui n’est pas optimale mais pouvait être suffisant mais au fur et à mesure que les fichiers temporaires étaient de plus en plus utilisés, il fallait mettre en place une meilleure prise en charge.
Activer/Désactiver des couches dans les services web OGC (MS RFC 67)
Jusqu’à maintenant il n’était pas possible de cacher/désactiver une couche de service web OGC, cela est maintenant possible. Vous pouvez trouver une discussion sur ce sujet dans le wiki : http://trac.osgeo.org/mapserver/wiki/HidingLayersInOGCWebServices
Gestion de la combinaison de features à partir de différentes couches (MS RFC 68)
Aujourd’hui, vous pouvez combiner plusieurs fichiers en utilisant la fonction TILEINDEX, mais seulement si ces données ont les mêmes attributs et description. Il peut être intéressant d’être en mesure d’avoir des couches sources multiples qui ont des attributs semblables et d’être en mesure de les combiner en une seule couche (appelé couche “union”) en utilisant un sous-ensemble compatible des colonnes attributaires sources de sorte que la couche combinée peut être considérée comme une seule couche. On pourrait alors utiliser cette seule couche de la même manière que toute autre couche lors de la création des styles, classes et étiquettes.
Gestion des clusters de géométries dans les couches ponctuelles (MS RFC 69)
Afin de rendre les cartes pertinente pour une vue donnée, nous pouvons avoir besoin de limiter le nombre d’éléments affichés qui normalement se chevauchent les uns sur les autres. Nous pouvons maintenant réaliser un rendu des symboles sous forme de cluster à une échelle particulière. Selon l’exemple à http://trac.osgeo.org/mapserver/attachment/ticket/3700/cluster.png le nombre de traits formant les groupes sont affichés dans les étiquettes pour chaque feature dans le cluster.
Comparaison des perfs entre MapServer et GeoServer
Le FOSS4G vient de se terminer et nous voyons arriver les présentations des conférences pour notre plus grand bonheur. La première qui vient d’être diffusée sur les listes d’utilisateurs de MapServer et Discuss de l’OSGeo concerne le benchmarking annuel entre MapServer et GeoServer.
[slideshare id=2332151&doc=foss4g2009-mapserver-project-status-091023180203-phpapp02]
http://www.slideshare.net/gatewaygeomatics.com/wms-performance-shootout
Interview : Assefa Yewondwossen, développeur MapServer
1. Peux tu faire une présentation de ton parcours professionnel et ce qui t’a amené à travailler dans la géomatique open source ?
J’ai commencé ma carrière dans une compagnie de cartographie a Gatineau, QC, LSC 2+1. Cette compagnie faisait essentiellement la production de cartes topographiques canadienne de façon traditionnelle. J’ai joint LSC 2+1 en 1993 en tant que programmeur lorsqu’elle a amorçait un virage technologique dans le but de produire les cartes de façon entièrement digitale. On utilisait dans ce temps les produits LAMPS de la compagnie britannique Laser Scan. On a par la suite développé à l’interne un logiciel de cartographie numérique ACE (Automated Cartography Edition). Ce logiciel est intégré aujourd’hui dans le logiciel Geomatica de PCI Geomatics qui a racheté LSC 2+1. En 2000, j’ai joint l’équipe de DM Solutions qui venait tout juste de commencer à regarder des solutions Open Source pour pouvoir bâtir des applications de Web Mapping pour ses clients existants.
Courte échelle
Rapidement, des nouvelles du monde de la géomatique Open Source :
- Sortie de MapServer 5.4.0, vous pouvez maintenant utiliser le mapfile de Thomas Bonfort pour les données OpenStreetMap ;
- Sortie de QGIS 1.0.2 et QGIS 1.1.0, la doc a aussi été mise à jour et la traduction en français se poursuit ;
- La France bien placé dans les contributeurs de l’open source, et pour la géomatique ?
En vrac
Encore une liste de projet et information à suivre :
- Openlayers et l’API de Google Chart pour réaliser des cartes statistiques (rien de nouveau mais je trouve que c’est un bon exemple).
- Un plugin pour QGIS, topologie des couleurs, René-luc a été plus rapide que moi 😉
- Moins de 4 heures pour faire remonter un bug et le corriger dans MapServer, source
- Un nouveau plugin pour QGIS pour localiser ses photos de vacance, encore un nouveau plugins diront certain 😉
- Un nouveau venu dans la communauté des blogs sur la géomatique Open source, bienvenu 🙂 .
En vrac
Un petit listing des liens trouvés ces dernières semaines :
- Une extension pour Firefox : Open Street Map en un clic ;
- Un concurrent pour Google Earth ? C’est ici, c’est open source et cela s’appelle RATMAN ;
- Participer à l’OSGeo(-fr) : voici pourquoi merci René-luc ;
- Un nouveau éditeur de MapFile : mscompanion (seulement pour Windows) ;3
- Plugin LRS pour QGIS (la page web est en https, pour y accéder sous Firefox il faut ajouter une exception au certificat de sécurité);
C’est tout pour le moment. Bonne découverte !
Un mapfile pour OpenStreetMap
Ayant récemment eut besoin d’utiliser les données Open Street Map dans le cadre d’un projet professionnel, je me suis souvenu d’un message de Thomas Bonfort, développeur au sein du projet MapServer (il a implémenté l’utilisation de la bibliothèque AGG au sein de MapServer) concernant un mapfile pour les données Open Street Map.
Volume 4 de l’OSGeo en français !
L’OSGeo publie à intervalle plus ou moins régulier (le volume 4 a mis du temps à sortir) un journal sur ces activités : ses actions (par ses comités), ses projets, ses représentations locales, ses sponsors. Ainsi nous trouvons généralement plusieurs rubriques dans ces volumes : tutorial, documentation conceptuelle, présentation des développements des projets, etc.