Gestion et acquisition de donn es

1. Copyright 2006 Bruno Gendron, Alexis Metral, Consultants 1 Cours 2Gestion des donnéesdans ArcGIS-ArcInfo

2. Copyright 2006 Bruno Gendron, Alexis Metral, Consultants 2 Gestion et acquisition de données Gestion des données : opérations « administratives » courantes sur les jeux de données supportés par ArcGIS ArcCatalog (Desktop) : tous les formats vectoriels ARC (Workstation) : couvertures seulement Acquisition de données : opérations permettant d’importer ou d’exporter des données dans des formats qui ne sont pas supportés « nativement » ArcCatalog et ArcToolbox (Desktop) ARC (Workstation)

3. Copyright 2006 Bruno Gendron, Alexis Metral, Consultants 3 ArcCatalog : présentation Un des modules de base d’ArcGIS Desktop C’est l’explorateur de données d’ArcGIS Desktop Sert à : accéder à des sources de données : répertoires sur disque, bases de données externes (ArcSDE ou non), serveurs de données sur Internet, services de géocodage, etc) gérer (explorer, créer, détruire, structurer, copier, renommer, déplacer, rechercher, documenter) les jeux de données

4. Copyright 2006 Bruno Gendron, Alexis Metral, Consultants 4 ArcCatalog : interface L’interface d’ArcCatalog : Arborescence du catalogue (Catalog Tree) : affiche le contenu du catalogue Fenêtre principale (Content Pane) : affiche le contenu ou la description de l’élément de l’arborescence sélectionné. Barres de menus configurables à noter la barre de chemin d’accès « Location », semblable à celle d’Internet Explorer Barre d’état

5. Copyright 2006 Bruno Gendron, Alexis Metral, Consultants 5 ArcCatalog : catalogue La catalogue est la « racine » des liste des sources et jeux de données accessibles via ArcGIS Cette liste est paramétrable (menu Tools / Options) : ajout ou retrait de sources de données ajout ou retrait de types de sources de données ajout ou retrait des formats de fichiers affichés (ex. E00, Zip) Le catalogue est spécifique à chaque utilisateur il est conservé d’une session de travail à l’autre dans les préférences de l’utilisateur

6. Copyright 2006 Bruno Gendron, Alexis Metral, Consultants 6 ArcCatalog : fenêtre principale Informe sur l’élément sélectionné du catalogue 3 « modes », représentés par les 3 onglets : contenu (Contents): icônes, petites îcones, liste détaillée, et vignettes prévisualisation (Preview): géographique ou tabulaire métadonnées (Metadata)

7. Copyright 2006 Bruno Gendron, Alexis Metral, Consultants 7 ArcCatalog : mode contenu Si l’élément sélectionné dans le catalogue est une source de données un répertoire, un workspace d’ArcInfo, une geodatabase, ou toute autre collection de données alors la fenêtre de présentation permet d’afficher le contenu de la collection sous 4 formes standards, semblables à celles que l’on retrouve dans l’explorateur de Windows : icônes petites îcones liste détaillée (paramétrable via le menu Tools / Options) vignettes (thumbnails)

8. Copyright 2006 Bruno Gendron, Alexis Metral, Consultants 8 ArcCatalog : mode prévisualisation Permet d’avoir un aperçu du contenu du jeu de données sélectionné : mode géographique : la barre d’outils Geography permet d’explorer la géométrie mode tabulaire : permet d’explorer les attributs En mode de prévisualisation tabulaire, il est aussi possible de manipuler, de manière limitée, l’affichage des caractéristiques descriptives du jeu de données sélectionné. En mode de prévisualisation tabulaire, il est aussi possible de manipuler, de manière limitée, l’affichage des caractéristiques descriptives du jeu de données sélectionné.

9. Copyright 2006 Bruno Gendron, Alexis Metral, Consultants 9 ArcCatalog : barre de menus Quelques menus d’intérêt : Menu File/Properties permet de consulter et (possiblement) de modifier les caractéristiques générales des jeux de données Menu Edit/Search permet d’effectuer une recherche parmi les données disponibles, par nom, par type, par date, par étendue spatiale, ou par métadonnées Menu Tools/Options permet de modifier les options avancées de l’application

10. Copyright 2006 Bruno Gendron, Alexis Metral, Consultants 10 ArcCatalog : barre d’outils standard Quelques outils incontournables : Outils Connect et Disconnect ils reprennent les fonctionnalités équivalentes du menu File Outils relatifs au mode d’affichage (disponibles en mode Contents) par icônes, par petites icônes, par liste, par vignettes Outil Create Thumbnail (disponible en mode Preview-Geography) il permet de générer une vignette qui sera ensuite affichée en mode« contenu par vignette » dans la fenêtre de présentation

11. Copyright 2006 Bruno Gendron, Alexis Metral, Consultants 11 ArcCatalog : manipuler les données On devrait utiliser ArcCatalog pour toute opération visant à déplacer, renommer, copier, et détruire des données SIG supportées par ArcGIS : ArcCatalog garantit l’intégrité des jeux de données manipulés, ce que n’assure pas nécessairement l’explorateur de fichiers de Windows (Windows Explorer)

12. Copyright 2006 Bruno Gendron, Alexis Metral, Consultants 12 ArcCatalog : manipuler les données Opérations possibles via le menu contextuel : Créer un jeu de données Copier un jeu de données Renommer un jeu de données Modifier la structure d’un jeu de données Supprimer un jeu de données la suppression d’un jeu de données ou d’une collection est une opération irréversible. Il est impossible de récupérer les éléments supprimés dans la Corbeille de Windows. Obtenir des informations sur le jeu de données (propriétés) Opérations possibles par glisser-relâcher : Déplacer un jeu de données

13. Copyright 2006 Bruno Gendron, Alexis Metral, Consultants 13 ArcCatalog : créer des jeux de données ArcCatalog est le principal outil de création de nouveaux jeux de données d’ArcGIS La création d’un nouveau jeu de données passe par l’utilisation du sous-menu New du menu contextuel du catalogue Le sous-menu New varie selon la « saveur » d’ArcGIS (ArcView, ArcEditor, ArcInfo), et le contexte de son utilisation.

14. Copyright 2006 Bruno Gendron, Alexis Metral, Consultants 14 Données tabulaires : quelques notes Donnée descriptive : élément d’information lié directement, ou indirectement par mise en relation (relate) ou jointure (join), aux entités d'un jeu de données spatiales Ces données descriptives prennent la forme d’un tableau, ou table C’est pourquoi on parle de données tabulaires Particularités : une table est organisée en rangées et colonnes une rangée, ou enregistrement (row, record) contient une série de propriétés liée à une entité particulière toutes les rangées d'une table doivent avoir la même série de propriétés une colonne représente les valeurs d'une propriété pour tous les éléments; on dit aussi un champ (field, item)

15. Copyright 2006 Bruno Gendron, Alexis Metral, Consultants 15 Données tabulaires dans ArcGIS Les données descriptives sont stockées : Directement dans la table d'attributs d'une classe d'éléments, selon une relation 1..1 (one-to-one) : une attribute table en format INFO (par exemple AAT, Arc Attribute Table pour les arcs) dans le cas des couvertures un fichier dBASE (.dbf) pour les shapefiles une table d’une base de données relationnelle dans le cas des geodatabases Ou dans une table externe (related ou joined table) autonome, liée aux données spatiales par une relation 1..1 ou 1..N (join ou relate) Chaque format tabulaire (INFO, dBASE ou geodatabase) a ses propres limitations en termes de nom de table, de types de champs disponibles, etc.

16. Copyright 2006 Bruno Gendron, Alexis Metral, Consultants 16 Données tabulaires : INFO Une table INFO, telle que vue dans les modules de Desktop ArcInfo, contient : Un champ FID : identifiant unique de l’enregistrement Un champ Shape, qui réfère à la géométrie, dans le cas d’une table d’attributs de classe seulement. Si applicable, les descripteurs inhérents au modèle de données couverture, gérés par ArcInfo : <couverture>-id, <couverture>#, area et perimeter, length, fnode# et tnode#, lpoly# et rpoly# Des pseudos items, des descripteurs créés par ArcInfo, mais modifiables, dans certains cas, par l’usager, et dont le nom est précédé d’un $.

17. Copyright 2006 Bruno Gendron, Alexis Metral, Consultants 17 Données tabulaires : dBASE Une table descriptive en format dBASE comporte : Un champ FID (table d’attributs d’un Shapefile) ou OID: identifiant unique de l’enregistrement Un champ Shape, qui réfère à la géométrie de l’enregistrement la géométrie n’est pas réellement stockée dans ce champ ce champ n’existe que dans une table d’attributs d’une classe d’entités géométriques (pas dans une table purement descriptive Au moins 1 champ doit être présent pour que la table soit valide (il est créé automatiquement par ArcInfo) Oar défaut, pour une table d’attributs d’une classe d’entités géométriques, ce champ se nomme Id. Sinon, il se nomme Field1.

18. Copyright 2006 Bruno Gendron, Alexis Metral, Consultants 18 Données tabulaires : geodatabase Une table d’attributs d’une classe d’entités simple (standalone feature class) d’une geodatabase comporte : Un champ ObjectID : identifiant unique de l’enregistrement Un champ Shape, qui stocke la géométrie de l’entité la géométrie est réellement stockée dans ce champ Les champs supplémentaires stockant les différents descripteurs

19. Copyright 2006 Bruno Gendron, Alexis Metral, Consultants 19 Types de champs

20. Copyright 2006 Bruno Gendron, Alexis Metral, Consultants 20 Format INFO : quel type de champ? Pour les valeurs non-numériques : utiliser un champ de type C pour les types de champs C, I, ou N, utiliser une largeur (width) aussi grande que la plus grande valeur à stocker Pour les valeurs avec décimales : utiliser des champs de type N ou F pour le type F, la largeur 4 stocke des valeurs jusqu'à une précision de 7 chiffres, la largeur 8 des valeurs jusqu'à une précision de 14 chiffres Pour les valeurs entières : utiliser des champs de type I ou B pour le type B, la largeur 2 stocke des valeurs jusqu'à 32 767, la largeur 4 des valeurs jusqu'à 2 147 483 647

21. Copyright 2006 Bruno Gendron, Alexis Metral, Consultants 21 ArcCatalog : structure des données ArcCatalog permet de modifier la structure générale d’un jeu de données existant, notamment : Modifier la référence spatiale du jeu de données Ajouter et supprimer les champs (fields) du jeu de données Modifier la définition d’un champ (couverture seulement) Gérer les index (spatiaux et descriptifs) liés au jeu de données Ces modifications passent par l’utilisation du sous-menu Properties du menu contextuel du catalogue ATTENTION : la plupart de ces opérations sont interdites si le jeu de données est « en édition » (ex. dans ArcMap)

22. Copyright 2006 Bruno Gendron, Alexis Metral, Consultants 22 Conversion, importation, et exportation Conversion : opération permettant de passer d’un format de données à un autre : Importation : conversion d’un format non-supporté « nativement » à un format supporté « nativement » Exportation : conversion d’un format supporté « nativement » à un format non-supporté « nativement »

23. Copyright 2006 Bruno Gendron, Alexis Metral, Consultants 23 Conversion entre les formats « natifs » De Shapefile à geodatabase, de couverture à Shapefile, de geodatabase à couverture, etc… Avec ArcCatalog : via le sous-menu Export du menu contextuel Avec ArcMap: via le sous-menu Data / Export Data du menu contextuel de la table des matières

24. Copyright 2006 Bruno Gendron, Alexis Metral, Consultants 24 À propos d’ArcToolbox Ancien module autonome désormais (9.X) intégré à ArcMap et ArcCatalog via le nouveau geoprocessing framework Accessible dans ArcCatalog via : le bouton Show-Hide ArcToolbox Window l’ajout de Toolboxes dans l’arborescence (options) Regroupe les fonctionnalités de géo-traitement, de même que l’accès graphique aux fonctionnalités de Workstation

25. Copyright 2006 Bruno Gendron, Alexis Metral, Consultants 25 Importation Données géométriques (spatiales) : À partir des formats d’échange vectoriels les plus courants (DLG, S57, SDTS, Tiger, VPF) : via ArcToolbox, section Coverage Tools – Conversion – To Coverage À partir de formats CAD : via le sous-menu Export du menu contextuel d’ArcCatalog Données tabulaires : À partir des formats « ASCII » (texte), ArcCatalog reconnaît : les valeurs séparées par des virgules : extensions de fichier .asc, .csv les valeurs séparées par des tabulations : extensions de fichier .tab, .txt À partir de fichiers Excel : par le biais de connections OLE DB (voir l’article sur le site ESRI Support)

26. Copyright 2006 Bruno Gendron, Alexis Metral, Consultants 26 Exportation Données géométriques (spatiales) : Vers les formats d’échange vectoriels les plus courants (DLG, S57, SDTS, Tiger, VPF) : via ArcToolbox, section Coverage Tools – Conversion – From Coverage Vers les formats AGF et DXF (AutoCAD) : via le sous-menu Export du menu contextuel d’ArcCatalog Formats d’échange à remarquer : Format Interchange (couramment appelé E00) : pour l’échange aisé de couvertures ArcInfo entre installations ou l’échange vers certains logiciels ne supportant pas nativement le format couverture Format Generate - Ungenerate : un format ASCII, décrivant les entités par des primitives très simple; utile comme format générique de transfert (tend à être remplacé par le format XML supporté par le geodatabase)

27. Copyright 2006 Bruno Gendron, Alexis Metral, Consultants 27 Créer des données spatiales à partir de données tabulaires Il est possible de créer un jeu de données spatiales (points) à partir de données tabulaires : en créant ou important un jeu de données tabulaires comportant 3 colonnes (identifiant et coordonnées X et Y) : les champs des X et Y doivent être de type numérique en générant par la suite les entités géométriques à partir des coordonnées stockées dans ces colonnes X et Y : via le sous-menu Create Feature Class du menu contextuel dans ArcCatalog ou via le menu Tools / Add XY Data dans ArcMap

28. Copyright 2006 Bruno Gendron, Alexis Metral, Consultants 28 Les projections Une projection cartographique est une transformation mathématique permettant de représenter une sphère(3 dimensions) sur une surface plane dans un système cartésien (2 dimensions) L’application du concept de projection aux SIG débouche sur l’idée de système de coordonnées. On retrouve 2 types de systèmes de coordonnées : Dérivé de la sphère : système de coordonnées géographique Basé sur le plan : système de coordonnée cartésien, ou« projeté » En SIG, on utilise souvent, et à tort, le terme projection pour parler de système de coordonnées ou de référence spatiale. Cependant, afin de simplifier, on utilisera ces termes de manière indifférenciée En SIG, on utilise souvent, et à tort, le terme projection pour parler de système de coordonnées ou de référence spatiale. Cependant, afin de simplifier, on utilisera ces termes de manière indifférenciée

29. Copyright 2006 Bruno Gendron, Alexis Metral, Consultants 29 Les projections Cette transformation de sphère à plan implique des déformations de certaines propriétés : Distance, superficie, forme, direction Il est impossible de préserver toutes ces propriétés à la fois. Le choix d'une projection découle donc des réponses aux questions suivantes : Quelle propriété veut-on conserver? Ou est située la zone d'intérêt; est-elle polaire ou équatoriale? Quelle est la forme de la surface à représenter? Quelle est l’étendue de la zone d'intérêt?

30. Copyright 2006 Bruno Gendron, Alexis Metral, Consultants 30 Les projections Pour minimiser les déformations en terme de : Superficie : projection de type equal area, par exemple Albers Formes : projection de type conforme, efficace pour de« relativement » petites surfaces (moins qu'un continent), par exemple Mercator ou Lambert conique conforme Distances : projection de type équidistante Directions : projection de type azimuthale Toutes les autres projections ne conservent aucune de ces propriétés : Par exemple, la projection de Robinson

31. Copyright 2006 Bruno Gendron, Alexis Metral, Consultants 31 Les projections : les datums Le datum (système de repère géodésique) fait partie de la définition de la projection : Il définit la forme de la terre (géoide ou sphéroide) et la base du système de référence pour les latitudes et les longitudes. On doit, pour passer d’une projection basée sur certain datum particulier à une autre basée sur un autre datum, utiliser une méthode de conversion de datum Ex. NADCON pour les É.-U., NTv2 pour le Canada Ces algorithmes de conversion de datums sont définis par des mesures géodésiques locales (100 000 au Canada pour définir NTv2).

32. Copyright 2006 Bruno Gendron, Alexis Metral, Consultants 32 Les projections dans ArcGIS-ArcInfo La définition de la référence spatiale d’un jeu de données est stockée différemment selon le format de données : Pour le format geodatabase : dans le SGBDR lui-même Pour les couvertures, les données matricielles et les TIN : dans un fichier prj.adf Pour les Shapefiles : dans un fichier .prj : ex. hydrographie.prj pour un Shapefile hydrographie.shp

33. Copyright 2006 Bruno Gendron, Alexis Metral, Consultants 33 Les projections dans ArcGIS-ArcInfo La définition de la référence spatiale d’un jeu de données n'est pas obligatoire : Elle est importante si les jeux de données à analyser ou cartographier ne sont pas dans le même système de coordonnées. Dans ce cas, si la référence spatiale est définie, on pourra : afficher en superposition dans ArcMap des données n’ayant pas le même système de coordonnées (projection « au vol » ) re-projeter (transformer) au besoin les jeux de données dans une même projection Si elle n’est pas définie, ArcGIS considère les coordonnées du jeu de données comme des coordonnées « bidon », dans un système rectangulaire (cartésien) arbitraire

34. Copyright 2006 Bruno Gendron, Alexis Metral, Consultants 34 Les projections dans ArcGIS-ArcInfo Définir la référence spatiale d’un jeu de données ne signifie pas transformer les coordonnées du jeu de données d'une projection à l'autre : En fait, seule la référence au système de coordonnées est modifiée Pour transformer de manière permanente les coordonnées, on doit reprojeter le jeu de données.

35. Copyright 2006 Bruno Gendron, Alexis Metral, Consultants 35 Les projections dans ArcCatalog On peut, avec ArcCatalog : Définir la référence spatiale d'un jeu de données (pour tous les modèles de données supportés par ArcGIS-ArcInfo) Modifier la définition d’une référence spatiale d’un jeu de données Créer une référence spatiale particulière (custom) utilisable par la suite avec les jeux de données

36. Copyright 2006 Bruno Gendron, Alexis Metral, Consultants 36 Les projections dans ArcCatalog Dans le cas des couvertures, la référence spatiale est une propriété du jeu de données Dans le cas des shapefiles, la référence spatiale est une propriété du champ de géométrie (champ Shape) Dans le cas des geodatabases, la référence spatiale est une propriété : Du champ de géométrie d’une classe de données autonome (standalone feature class) D’un jeu de données constitué d’un ensemble de classes d’éléments (feature dataset) : dans ce cas, il est impossible d’associer une projection différente à une classe particulière

37. Copyright 2006 Bruno Gendron, Alexis Metral, Consultants 37 Les projections dans ArcMap ArcMap permet la conversion « au vol » (on-the-fly) des coordonnées des jeux de données pour fins d’affichage : Il ne transforme pas ces coordonnées (pas de reprojection) de manière permanente de plus, il ne peut le faire qu’avec des jeux de données ayant déjà une référence spatiale définie… Le premier jeu de données affiché ayant une référence spatiale définie détermine la projection du dataframe dans lequel on affiche ce jeu de données Toutes les autres jeux de données seront par la suite affichés dans la projection du dataframe à condition d’avoir une référence spatiale définie… La projection du dataframe est une propriété du dataframe qui demeure fixée par la suite (même si on retire toutes les couches), mais qu'on peut modifier (clic sur le nom du dataframe dans la table des matières, right-clic pour Properties). Si le premier jeu de données n'a pas de projection définie mais une étendue, en termes de coordonnées, située entre -180 et 180 en X et -90 et 90 en Y, il sera considéré comme ayant un système défini en coordonnées géographique (lat-long). La projection du dataframe est une propriété du dataframe qui demeure fixée par la suite (même si on retire toutes les couches), mais qu'on peut modifier (clic sur le nom du dataframe dans la table des matières, right-clic pour Properties). Si le premier jeu de données n'a pas de projection définie mais une étendue, en termes de coordonnées, située entre -180 et 180 en X et -90 et 90 en Y, il sera considéré comme ayant un système défini en coordonnées géographique (lat-long).

38. Copyright 2006 Bruno Gendron, Alexis Metral, Consultants 38 Les projections dans ArcToolbox et ARC On peut, avec ArcToolbox (section Data Management Tools) : Définir la projection d'un jeu de données (tous les modèles de données dans ArcGIS 8.1 et plus, modèles couverture, GRID, et TIN seulement dans les versions précédentes) Reprojeter un jeu de données (tous les modèles de données dans ArcGIS 8.1 et plus, modèles couverture, GRID, et TIN seulement dans les versions précédentes) Avec ARC, on peut notamment : Définir la projection d'un jeu de données (modèles couverture, GRID, et TIN seulement) avec la commandeprojectdefine <jeu_de_données> Reprojeter un jeu de données (modèles couverture, GRID, et TIN seulement), avec la commande project

39. Copyright 2006 Bruno Gendron, Alexis Metral, Consultants 39 Les métadonnées Les métadonnées sont des données renseignant sur la nature d’autres données. Ceci permet ainsi leur utilisation pertinente (données sur les données). Création de standards : norme ISO 19115, relevant du troisième chantier de la norme ISO TC-211 (norme de standardisation du domaine des SIG et de la géomatique comprenant 6 grands chantiers). On y retrouve 327 métadonnées regroupées en 9 thèmes.

40. Copyright 2006 Bruno Gendron, Alexis Metral, Consultants 40 Les métadonnées et ArcCatalog ArcGIS implémente une gestion des métadonnées pour tous les formats de données supportés : ArcCatalog est l’outil de gestion des métadonnées d’ArcGIS. Il permet notamment : de créer et de mettre automatiquement à jour certains éléments de métadonnées d’éditer manuellement les métadonnées d’importer et d’exporter (échanger) les métadonnées à partir et vers des formats standards d’échange de métadonnées (ISO-TC, FGDC) de présenter les métadonnées (par le biais de stylesheets XSL-CSS) sous des formes standards (FGCD, ISO, ISO-XML, Geography Network…) d’imprimer les métadonnées Toutes ces fonctionnalités dont disponibles via la barre d’outils Metadata

41. Copyright 2006 Bruno Gendron, Alexis Metral, Consultants 41 Les métadonnées et ArcCatalog Le Geodatabase diagrammer : Plugin permettant de générer rapidement un rapport présentant la structure d'une Géodatabase via Visio Possibilité d’éditer ce rapport et de créer un MCD accompagné de descriptions détaillées accessible à tous les utilisateurs ( professionnels et non professionnels ) Attention :nécessite des données au format GDBet Visio ( version 5 ou plus )!