Publié le

Migration ArcGis vers QGis: les données

Dans l’article précédent (Cohabitation ArcGis-QGis: les données vecteur ) nous avons vu comment utiliser les données d’ArcGis (shapefile, geodabase personnelle et geodatabase fichier) dans QGis. Dans cet article nous allons voir l’étape suivante, c’est à dire la migration de ces formats vers des formats plus en accord avec l’architecture autour de QGis.

Nous allons essayer de répondre à deux questions:

  • vers quel format migrer vos données?
  • avec quel(s) outil(s) effectuer cette migration?

Continuer la lecture de « Migration ArcGis vers QGis: les données »

Publié le

Cohabitation ArcGis-QGis: les données vecteur

De plus en plus d’utilisateurs d’ArcGis sont tentés par le passage vers QGis. Ce passage se fait généralement en deux étapes: une première étape où l’on fait cohabiter les deux logiciels, pour appréhender les possibilités de QGis et se familiariser avec les modes opératoires, puis une deuxième étape de migration à proprement parler avant l’abandon plus ou moins définitif d’ArcGis.

Dans cet article nous verrons comment faire cohabiter les deux logiciels, au niveau des données vecteur. Dans l’article suivant nous verrons comment migrer définitivement les données vers des formats mieux adaptés à QGis.

Nous aborderons ici les trois principaux formats vecteur d’ArcGis: les shapefiles, les geodatabases personnelles et les geodatabases fichier.

Continuer la lecture de « Cohabitation ArcGis-QGis: les données vecteur »
Publié le

Comment suivre les modifications d’une geodatabase sous ArcGis

A partir du moment où vous n’êtes plus tout seul à gérer des données, il est important de pouvoir suivre les modifications apportées aux données : qui a fait quoi et quand?

Si vous travaillez avec les geodatabases entreprise, vous savez que vous disposez du versionnement ainsi que de l’option d’archivage pour effectuer cette tâche, à condition d’avoir une licence Standard ou Advanced.

Nous allons aborder ici l’outil disponibles avec ArcGis 10.2 et plus en version Basic pour effectuer cette tâche sur les geodatabases personnelles et fichier : le suivi d’éditeur. Continuer la lecture de « Comment suivre les modifications d’une geodatabase sous ArcGis »

Publié le

ArcGis 10.3 : appliquer une licence à vos geodatabases? burlesque!

Avec la version 10.3 ESRI a fait l’annonce d’une nouvelle possibilité des geodatabases fichier : vous pouvez les rendre non copiables et vous pouvez leur donner une date limite d’accès. Voyons d’abord tout ce que vous avez à faire, puis un bel exemple de comment se rendre ridicule à force de vivre en vase clos.

Continuer la lecture de « ArcGis 10.3 : appliquer une licence à vos geodatabases? burlesque! »

Publié le

Les outils SIG de validation des géométries(2) : Spatialite et PostGis

Dans l’article précédent (Les outils SIG de validation de géométries (1)) nous avons traité la couche des communes italiennes (com2011.shp) avec le vérificateur de géométries d’ArcMap. Nous n’avons détecté aucune anomalie.

Maintenant, chargeons cette couche dans une base Spatialite et voyons ce que nous trouvons. Comme il a été indiqué précédemment, ceci est valable pour une base PostGis, les requêtes sql utilisées étant rigoureusement les mêmes.

Continuer la lecture de « Les outils SIG de validation des géométries(2) : Spatialite et PostGis »

Publié le

Editer des données OpenStreetMap avec ArcGis

La boîte à outils « ArcGIS Editor pour OpenStreetMap » vous permet d’utiliser les outils d’ArcGIS pour travailler sur les données OpenStreetMap. Cet ensemble d’outils pour ArcGIS 10.X vous permet de charger les données de OpenStreetMap et de les stocker dans une géodatabase. Vous pouvez ensuite utiliser l’environnement d’édition d’ArcGIS Desktop pour créer, modifier, faire une analyse de réseau, ou mettre à jour les données. Une fois l’édition terminée , vous pouvez poster les changements sur OSM pour les rendre disponibles à tous les utilisateurs de l’OSM.

Il existe deux installations dans le téléchargement.

  • La première est compatible avec ArcGIS 10.2 classique
  • La deuxième est compatible avec ArcGIS 10.2 avec le géoprocesseur 64 bits installé.

    • Selon votre installatiion vous devez choisir la version de l’installeur correspondante.

    Il n’y a pas encore de version compatible avec ArcGis 10.3
    Cliquez sur ce lien pour télécharger la version pour ArcGis 10.2
    Cliquez sur ce lien pour télécharger la version pour ArcGis 10.1
    Cliquez ici pour télécharger la version pour ArcGis 10.0. Dans ce cas il n’y a pas de version pour le géoprocesseur 64 bits.

    Après l’installation, lancez ArcMap et vous devriez voir installé dans la fenêtre ArcToolBox la boîtes à outils ‘OpenStreetMap Toolbox ».
    Pour une explication détaillée du mode d’emploi vous pouvez consulter la documentation ici.

    Ici nous verrons un exemple d’utilisation et quelques mises en garde.

    Tout d’abord il faut bien comprendre qu’il ne s’agît pas ici de visualiser les données OpenStreetMap directement dans ArcMap. Nous avons abordé ce sujet dans l’article ArcBruTile :Afficher Google Maps, Bing Maps, OpenstreetMaps et plus, en fond de carte dans ArcMap. Il s’agit de télécharger les données OSM et de les intégrer dans une géodatabase ArcGis pour pouvoir travailler dessus avec tous les outils d’analyse et de mise à jour disponibles.

    Il ya deux façons de télécharger des données à partir de l’OSM, chacun résultant en un format différent sur votre poste de travail.

  • L’outil Download OSM Data (XAPI) télécharge les données OpenStreetMap et les enregistre en tant que fichier .osm (connu comme un fichier ‘planète’). Pour utiliser le fichier .osm dans ArcMap, vous devez ensuite exécuter l’outil ‘Load OSM Fichier’ pour traduire ce format vers une géodatabase.
  • L’outil Download and Symbolize OSM Data télécharge les données de l’OSM dans un jeu de données de géodatabase, prêt à l’emploi dans ArcMap et affecte une symbologie « OSM » à chaque élément de données.

    • C’est ce deuxième cas que nous allons voir ici.

    Utilisation de l’outil Download, Extract and Symbolize OSM data

    OpenStreetMap a des limites sur la quantité de données que vous pouvez télécharger à la fois. Le nombre maximum de nœuds que vous pouvez télécharger avec cet outil est de 50000. Notre exemple se situe sur la Ville du Conquet (3000 habitants) et représente 25000 nœuds. Alors oubliez de télécharger Paris, Marseille ou Lyon en un seul coup!
    Deuxième mise en garde: armez vous d’une patience digne d’ArcGis. Le remplissage de la fenêtre de paramètres se fait avec des allées-retour sur OSM à chaque modification d’un paramètre et vous pouvez finir par vous énerver.
    Mais ce n’est rien à côté de ce qui se passe une fois que vous avez lancé l’outil. Avec une connexion fibre, le téléchargement des données du Conquet que nous verrons par la suite, a pris 38 minutes. A lancer donc avant de prendre sa pause café…ou déjeuner!

    1- Ajouter une carte de base ou de référence, de sorte à pouvoir définir votre zone d’intérêt dans l’interface ArcMap.
    2- Une fois trouvée votre zone d’intérêt, zoomer à un niveau où vous pourrez facilement identifier les rues et les bâtiments.
    3- Vérifiez que vous avez coché la case «Ajouter les résultats du géotraitement à l’affichage » dans les Options de géotraitement (menu Géotraitement).
    4- Dans la fenêtre ArcToolBox, développez la boîte à outils OpenStreetMap.
    boîte à outils Openstreetmap dans arctoolbox
    5-Double-cliquez sur Download, Extract and Symbolize OSM data. Ce modèle vous permet de télécharger les données, éventuellement extraire des balises spécifiques, et de le préparer pour l’environnement d’édition en une seule étape, en utilisant des modèles de scripts supplémentaires (par exemple, symboliser Points, symboliser Lines, symboliser Polygones, et symboliser données OSM ).
    Entrez les paramètres du modèle comme indiqué ci-dessous:
    paramétrage de la boite à outils telechargement openstreetmap
    – Dans l’étendue du téléchargement de données’, sélectionnez « Idem Display’.
    – Nous souhaitons télécharger les valeurs de variables (voir http://wiki.openstreetmap.org/wiki/Tags) dans la table attributaire, nous sélectionnons donc l’option « Extraire OSM tags dans Standalone Attributs ».
    – Dans la ‘cible Feature Dataset « , indiquez l’emplacement de votre géodatabase , puis ajoutez le nom du nouveau jeu de données qui sera créé lorsque le modèle sera exécuté.
    -Dans la «couche OSM Group », vous pouvez laisser la valeur par défaut ou donner un nom différent.
    -Après avoir entré les paramètres, cliquez sur OK.

    Le modèle commence à s’exécuter. Une fois terminé, les données OpenStreetMap téléchargées seront ajoutés sous forme de couches entièrement symbolisés dans la trame de données.
    exemple de données openstreetmap dans arcmap

    Publié le

    Optimisation du travail avec les Géodatabases ArcGis- 4 : Automatisation avec Model Builder

    Les différentes méthodes d’optimisation abordées dans les articles précédents(Indexation, compression, compactage) peuvent être réalisées au coup par coup manuellement. Mais ce sont des tâches de routine, c’est à dire qu’on est amenés à les effectuer régulièrement.
    Un des principes des logiciels SIG est de vous faire gagner du temps et de vous éviter de refaire ce que vous avez déjà fait. ArcGis possède un module tout à fait adapté pour ceci: le Model Builder.
    Sans connaissances particulières de programmation il vous permet, avec une interface graphique, de créer des programmes de traitement.
    Nous allons supposer, pour l’instant, que vous savez comment ouvrir Model Builder et stocker vos modèles. On reviendra sur les bases de Model Builder dans des prochains articles. Pour voir une introduction à Model Builder, vous pouvez visiter le site d’ESRI : Didacticiel – Création d’outils avec le Model Builder.
    Vous avez aussi une présentation avec YouTube de Don Boyes (en anglais) : Model Builder Introduction.

    Voici le modèle que nous allons créer, pour automatiser le compactage abordé dans l’article précédent et la sauvegarde d’une géodatabase ArcGis.

    Nous allons mettre en place deux outils: un pour compacter la géodatabase, l’autre pour faire une copie de sauvegarde dans un autre dossier.
    Par contre, pour le nom de la copie de sauvegarde nous avons besoin de récupérer la date actuelle et l’ajouter au nom. C’est la seule partie compliquée.

    Première étape: Compacter la géodatabase.


    – Ouvrez un nouveau document vierge dans ArcMap
    – Ouvrez un nouveau modèle avec Model Builder
     » Cliquez-déplacez l’outil « Compacter » de la boîte à outils « Gestion de données » -> « Geodatabase fichier ».

    Conseil: ne chargez pas la géodatabase dans ArcMap. Allez pointer avec le bouton « parcourir les fichiers » sur la géodatabase sur le disque. Comme cela vous êtes sûr que le modèle fonctionnera, même si quand vous le lancez, la géodatabase n’est pas chargée dans ArcMap.

    Deuxième étape : Récupérer la date sous forme de texte

    Pour concaténer la date au nom de fichier en sortie (sauvegarde) il faut ajouter l’outil « Calcul d’une valeur ». Cet outil n’est pas dans les toolbox, il est disponible dans le menu Insérer » de Model Builder

    La fonction gettime récupère la date et heure système.

    Le type de donnée en s tie (String) converti la date et heure système en chaîne de texte. Par contre, cette chaîne contient des espaces et des caractères spéciaux, et ceci est interdit dans les noms des géodatabases. Il faut donc les supprimer. C’est à cela que sert le bloc de code
    def gettime():
    import time
    return time.ctime().replace(« : », » »).replace( » « , » »)
    Il enlève les « : » et les espaces dans la chaîne en sortie.

    Troisième étape: Sauvegarder la géodatabase

    Cliquez-déplacez l’outil « Copier » de la boîte à outils « Gestion de données » -> « Général ».
    Reliez, avec l’outil « connecter » de Model Builder, les données en sortie de Compacter avec la boîte « Copier » en sélectionnant « Données en entrée ».

    Maintenant il faut connecter la valeur calculée avec la boîte Copier.
    Par contre il n’y a pas de champ particulier pour cette valeur dans l’outil Copier. Au fait, on va l’utiliser comme variable, en ajoutant sa valeur entre « % » dans le nom du fichier en sortie. On pourrait le faire sans connecter d’aucune manière le calcul, mais il faut éviter des processus indépendants sans lien dans le même modèle, car l’ordre d’exécution n’est pas assuré. L’outil Copier peut être exécuté AVANT le calcul de la date.
    Pour éviter ça, cliquez sur « Copier »->Propriétés.
    Puis dans l’onglet « Préconditions » cochez le nom de votre calcul.

    Ceci vous assure que le calcul sera réalisé AVANT l’exécution de « Copier ».
    Finalement, vous allez définir la sortie de sauvegarde.

    Dans le nom du fichier en sortie, une fois créé comme d’habitude en parcourant les fichiers et en lui donnant un nom classique, ajoutez dans le nom de la fenêtre « Copier » la sortie de « Calculer » entre des « % ». Au moment de l’exécution du modèle, Arcgis remplace cette chaîne par la chaîne en sortie de Calculer. Sauvegardez le modèle dans votre Boîte à outils. Maintenant il suffit de double cliquer sur ce modèle pour que tout le processus se déroule automatiquement.

    Publié le

    Optimisation du travail avec les Géodatabases ArcGis : 3- Compactage

    La plupart des utilisateurs sont satisfaits avec le passage de fichiers shape à la géodatabase ArcGis. Cependant, ils sont amenés à remarquer des baisses de performances après des sessions d’édition intenses. Leur question est de savoir comment corrigé ce problème.Nous allons voir dans cet article le concept de compactage d’une géodatabase. Comme la compression (voir Optimisation du travail avec les Geodatabases ArcGis 2-Compression), le compactage permet de réduire la taille de la géodatabase ArcGis et d’accélérer les requêtes. Toutefois, le compactage fonctionne différemment par rapport à la compression.
    Sauf dans la compression avec perte, la compression en général n’efface aucun octet de données de la géodatabase. Il les regroupe en fonction de la redondance de l’information: si vous avez dix lignes avec la valeur « 8 », la compression gardera 10(8) au lieu de 8 8 8 8 8 8 8 8 8 8.
    Lors du compactage, le processus supprime physiquement et purge les enregistrements orphelins inutiles.
    Nous allons montrer comment procéder au compactage, mais nous devons, d’abord, comprendre ce qui se passe lors des modifications (édition) de la géodatabase.

    Quand vous effacez un enregistrement, logiquement, vous pouvez penser que ces enregistrements sont définitivement supprimés, et que la suite d’enregistrements de la table remontent d’un cran pour combler le trou. Cependant, ce n’est pas exactement ce qui se passe; ces enregistrements sont simplement marqués comme étant supprimés dans la géodatabase. S’il fallait remettre en place tous les enregistrements à chaque mise à jour d’un seul enregistrement, le travail d’édition prendrait trop de temps. C’est pourquoi le logiciel ne fait que marquer les enregistrements comme supprimés et ignore ces enregistrements dans toutes les requêtes futures. Donc, qu’est ce qui arrive quand vous essayez de localiser un enregistrement? Le programme doit parcourir tous les enregistrements, si l’enregistrement et marqué comme effacé il passe au suivant, si non il voit s’il correspond à la requête.
    Bien qu’ils soient supprimés, ils sont, en quelque sorte, la raison du ralentissement de la requête.

    Alors qu’est-ce le compactage fait exactement? Comme vous l’aurez deviné, le compactage supprime définitivement ces enregistrements et tous les autres enregistrements orphelins qui ne sont pas utilisés ou référencés par d’autres objets. C’est pourquoi le compactage accélère les requêtes des géodatabases fichier et personnelles(Access).

    C’est facile de compacter une géodatabase fichier ou Access. Il est recommandé de compacter une géodatabase après une session d’édition lourde.
    Pour compacter une géodatabase fichier ou Access, effectuez les étapes suivantes:
    1. Ouvrez ArcCatalog et sélectionnez la géodatabase à compacter.
    2. Faites un clic droit pour ouvrir le menu contextuel, sélectionnez Administration, puis cliquez sur Compacter la Géodatabase

    Il n’y a pas de contrindications pour le compactage. C’est un peu comme la défragmentation du disque dur: ça n’accélérè pas si elle n’était pas nécessaire mais ça ne ralentit pas les traitements.
    Pour avoir plus d’informations, rendez-vous sur l’aide Online d’ArcGIs (ESRI)

    Suite et fin de l’optimisation du travail avec les géodatabases dans l’article suivant où vous verrez comment compacter et sauvegarder votre géodatabase avec un seul clic de souris en mettant en place un modèle de traitement avec Model Builder.

    Publié le

    Optimisation du travail avec les Geodatabases ArcGis: 2-Compression

    Les différents types de géodatabases

    Petit rappel avant de continuer, il n’y a pas une géodatabase il y en a plusieurs. Vous avez les géodatabases personnelles et les géodatabases d’entreprise.
    Les géodatabases personnelles vous pouvez les créer avec arccatalog sur votre poste, ou sur un lecteur réseau. Vous avez deux formats possibles: la géodatabase personnelle qui utilise un format Access et la géodatabase fichier qui utilise un format propriétaire ESRI.
    Pour créer une géodatabase d’entreprise vous devrez passer par ArcSDE et le format dépend du SGBD utilisé (Oracle, par exemple).
    Ici on ne parlera pas des géodatabases d’entreprise.
    Parmi les deux formats de géodatabases personnelles, on verra les géodatabases fichier car les bases access ne sont là que pour maintenir la compatibilité avec les anciennes géodatabases. En effet, la géodatabase de la première version d’ArcGIs utilisaient le format Access, mais les contraintes d’utilisation (limitation à 2Go pour la taille, etc) ont mené ESRI à développer son propre format. Aujourd’hui il n’y a plus de raison valable pour continuer à créer des géodabases access.
    Il est important de ne pas confondre la compression d’une géodatabase fichier avec la compression d’une géodatabase d’entreprise (qui est hors de la portée de cet article). La compression d’une géodatabase fichier ne supprime pas les données qu’elle contient. Par contre, elle empêche la mise à jour du contenu.

    Compression d’une géodatabase fichier

    Ne confondez pas compression et compactage. Nous verrons le compactage dans un prochain article (Optimisation du travail avec les Geodatabases ArcGis 3-Compactage). La compression dune géodatabase c’est comme la compression d’une image: le seul but est de gagner de l’espace disque en réduisant sa taille.
    Une fois comprimée, la géodatabase est marqué en lecture seule. Cela signifie que vous ne pourrez pas effectuer d’opération d’édition sur la géodatabase. Si vous essayez d’utiliser ArcMap pour la modifier, vous obtiendrez un message vous indiquant qu’il n’y a pas de couche éditable et que la géodatabase est compressée.
    Pour compresser une géodatabase fichier, effectuez les étapes suivantes:
    1. Ouvrez ArcCatalog.
    2. Recherchez et faites un clic droit sur la géodatabase fichier, pointez le curseur sur Administration, puis cliquez sur Compresser géodatabase fichier.
    Vous remarquerez l’existence de la commande inverse (Décompresser une géodatabase fichier) qui permet de restituer la géodatabase originale et de l’éditer.
    La seule option présente dans le fenêtre de compression est une case à cocher « Compression sans perte ».
    L’opération de compression peut être sans perte ou avec perte de données. La compression avec perte était la seule option disponible avant géodatabases ArcGIS 10.0 de fichiers. Pour les géodatabases qui s’exécutent sur les versions 10 et supérieures, vous avez deux options: compression avec et sans perte.
    Ne me demandez pas à quoi peut servir une compression avec perte de données, pour un gestionnaire de bases de données c’est une hérésie!
    La compression avec perte est le processus par lequel le contenu est compressé tout en perdant une partie de son contenu. Ce est une opération irréversible. C’est ce qu’on peut avoir avec des compressions d’image où, à partir d’un certain degré de compression ont perd un peu de définition de l’image. Par contre pour des données attributaires il faut absolument éviter ce type de compression.
    La compression sans perte compresse le contenu tout en préservant les données. Ce est une opération réversible.
    La compression peut être utilisé pour économiser beaucoup d’espace disque, en particulier pour les géodatabases avec un grand nombre d’entités. Si la géodatabase est suffisamment mature et n’est pas modifiée pendant une longue période, il est conseillé d’utiliser la compression sans perte pour réduire sa taille.
    Avant d’utiliser la compression, n’oubliez pas de toujours créer une sauvegarde de votre géodatabase fichier.La compression peut parfois corrompre la géodatabase et la rendre inaccessible.
    Pour plus de détails sur la compression des geodatabases ArcGis, visitez l’Aide en ligne d’ArcGis (ESRI)