Modèles de stockage et structures de données raster
Les données relatives aux images et aux rasters sont généralement stockées dans leur format d'origine. Les valeurs de pixel individuelles sont rarement autant modifiées autant que les entités dans un jeu de données vectorielles. On traite souvent ces données pour créer de nouveaux formulaires, susceptibles d'être traités à la volée ou enregistrés en tant que nouvelles versions. Ces jeux de données (ou ensembles de jeux de données) sont souvent très volumineux ; le fait de bénéficier de fonctions de gestion efficaces est donc très important. Or, le logiciel ArcGIS Desktop a été conçu dans cette optique.
Vous pouvez stocker les données raster et image de trois manières différentes : sous la forme de fichiers dans un système de fichiers, dans une géodatabase, ou dans un système de fichiers, dans une géodatabase qui les gère. Cette décision implique également le choix du mode de stockage de l'ensemble des données : dans un jeu de données ou dans un catalogue susceptible d'inclure de nombreux jeux de données. Si vous décidez de stocker les données dans un système de fichiers, vous optez pour le stockage des jeux de données raster, alors qu'une géodatabase peut inclure des jeux de données raster ou des mosaïques. Une troisième option consiste à opter pour le catalogue d'images. Cette option ayant été remplacée par la mosaïque (qui inclut davantage de fonctions, utilisations et entités), elle n'est pas abordée ci-dessous.
Jeux de données raster
La plupart des données raster et d'imagerie (orthophotographie ou MNA, par exemple) sont fournies sous la forme d'un jeu de données raster. Le jeu de données raster est un modèle de données raster stocké sur disque ou dans une géodatabase. Il s'agit du modèle de stockage de données raster de base, sur lequel reposent les autres. Les mosaïques gèrent les jeux de données raster. Il s'agit également de la sortie produite par de nombreux outils de géotraitement lors du traitement de données raster. Vous trouverez, ci-dessous, un exemple de jeu de données raster.
Un jeu de données raster correspond à tout format de raster valide organisé en un ou plusieurs canaux. Chaque canal est composé d'un tableau de pixels (cellules), chaque pixel comportant une valeur. Un jeu de données raster comporte au moins un canal. ArcGIS Desktop prend en charge plus de 70 formats de fichier différents pour les jeux de données raster, dont TIFF, JPEG 2000, grid Esri et MrSID.
Pour en savoir plus sur les formats de fichier de jeu de données raster pris en charge
Mosaïques
Une mosaïque correspond à un ensemble de jeux de données raster (images) stocké sous la forme d'un catalogue et affiché (ou ouvert) en tant qu'image mosaïquée ou d'images individuelles (rasters). Ces ensembles peuvent être extrêmement importants, tant en termes de taille totale de fichier qu'en nombre de jeux de données. Les jeux de données raster d'une mosaïque peuvent rester dans leur format natif sur le disque ou être placés dans la géodatabase. Les métadonnées peuvent être gérées dans l'enregistrement du raster ou en tant qu'attributs, dans la table attributaire. Le stockage de métadonnées en tant qu'attributs permet de gérer plus facilement les paramètres, tels que les données d'orientation du capteur, et d'autoriser rapidement des requêtes qui orienteront les sélections.
Les données de la mosaïque n'ont pas besoin d'être contiguës ou superposées ; elles peuvent exister en tant que jeux de données non connectés, discontinus. Par exemple, vous pouvez avoir des images qui recouvrent complètement une zone ou un certain nombre de bandes d'image non contiguës qui forment une image continue (par exemple, le long de pipelines).
Les données peuvent même être totalement ou partiellement superposées, mais avoir été capturées à des dates différentes. La mosaïque constitue le jeu de données idéal pour le stockage de données temporelles. Vous pouvez l'interroger en fonction de la date ou de l'heure et utiliser une méthode de mosaïque pour afficher l'image mosaïquée selon un attribut de temps ou de date.
Les mosaïques ne se limitent pas à un type particulier de données raster. Vous pouvez ajouter des données raster selon différentes formes (projections, résolutions, espaces par pixel et nombre de canaux). Les aperçus (comme les pyramides) peuvent être générés pour l'ensemble complet des données. Cela permet d'en accélérer l'affichage et de diffuser rapidement ces jeux de données. Il existe également beaucoup de propriétés d'affichage supplémentaires ; vous pouvez, notamment, définir une méthode de mosaïquage, qui rend ces jeux de données uniques et fonctionnels dans la plupart des situations. Vous pouvez également interroger une mosaïque en fonction de contraintes de requête spatiales et non spatiales. Le résultat de cette requête peut consister en un ensemble d'images que vous pouvez traiter individuellement ou en une image mosaïquée générée de manière dynamique.
En plus des données raster, vous pouvez stocker et générer les données lidar dans une mosaïque, de la même manière que les jeux de données raster, voire avec les jeux de données raster. Les données lidar peuvent être stockées dans un système de fichiers, sous la forme de fichiers/jeux de données LAS, ou dans une géodatabase, en tant que jeux de données de MNT.
Comparer des modèles de stockage de données raster
Stocker chaque jeu de données raster séparément constitue bien souvent la meilleure méthode lorsque les jeux de données ne sont pas adjacents ou sont rarement utilisés dans le même projet. Le fait de mosaïquer vos données en entrée afin de former une seule grande étendue de données raster convient à de nombreuses applications, mais une mosaïque peut être préférable, pour plusieurs raisons :
- Les étendues des jeux de données raster sont entièrement ou partiellement superposées et vous souhaitez préserver les zones communes.
- Les jeux de données raster représentent un ensemble d'observations de la même zone en différents points d'une série chronologique.
- Vous souhaitez uniquement afficher votre zone d'étude et non l'intégralité de la collection d'images.
- Vous souhaitez gérer un ensemble d'images sous la forme d'un ensemble intégré, mais préserver leurs états individuels.
- Vous souhaitez enregistrer et gérer des colonnes attributaires supplémentaires décrivant chaque image.
Comparer les modèles de stockage de données raster
| Jeu de données raster | Mosaïque | |
|---|---|---|
Description | Représentation unique d'un objet ou d'une image continue couvrant une zone spatialement continue. Il peut s'agir d'une seule image d'origine ou du résultat de plusieurs images ajoutées (mosaïquées).
| Ensemble de jeux de données raster enregistrés en tant que catalogue, qui permet de stocker, gérer, afficher et interroger des ensembles de données raster et de données lidar. Cet ensemble est affiché sous la forme d'une image mosaïquée, mais vous avez accès à chaque jeu de données de l'ensemble.
|
Stockage | En tant que fichier, sur un disque ou dans une géodatabase. | Dans une géodatabase, mais une référence peut lui être associée et stockée en tant que fichier sur un disque. |
Couches de carte | Une couche cartographique. | Une couche cartographique. |
Données homogènes et hétérogènes | Données homogènes : un seul format, un seul type de données et un seul fichier. | Données hétérogènes : plusieurs formats, types de données, tailles de fichier et systèmes de coordonnées. |
Métadonnées | Stockées une seule fois et applicables à l'ensemble du jeu de données. | Peuvent être stockées dans l'enregistrement de raster et comme attributs dans la table attributaire. |
Jeux de données échantillonnés | Une seule pyramide dans tout le jeu de données raster. | Des pyramides pour chaque jeu de données raster, ainsi que des aperçus (comme une pyramide) pour l'ensemble tout entier. |
Géotraitement et analyse d'image |
|
|
Avantages |
|
|
Inconvénients | Dans le cas des jeux de données raster de géodatabases fichiers et personnelles, la mise à jour est plus lente car tout le fichier doit être réécrit. | La génération des vues d'ensemble peut prendre un certain temps. |
Mise à disposition | Peut être mise à disposition directement en tant que service d'imagerie. | Peut être mise à disposition directement en tant que service d'imagerie. |
Recommandations | Utilisez des jeux de données raster lorsqu'il ne faut pas conserver les superpositions entre des images mosaïquées et pour afficher plus rapidement de grandes quantités de données raster. | Utilisez une mosaïque pour la gestion et la visualisation des données raster et des données lidar. C'est bon pour les données multidimensionnelles, interroger, stocker des métadonnées, et superposer des données, et il fournit une bonne solution hybride. |
Stockage des données raster dans la géodatabase
Le stockage des données raster dans la géodatabase peut s'avérer utile pour gérer des rasters, ajouter un comportement et contrôler la structure, lorsque vous voulez gérer un ensemble bien défini de jeux de données raster dans le cadre d'un SGBD et lorsqu'il vous faut une architecture unique pour la gestion de l'ensemble du contenu. Il existe trois types de géodatabase principaux : entreprise, personnelle et fichier.
La géodatabase d'entreprise peut prendre en charge des opérations multiples dans son SGBD. Les géodatabases fichiers (comme les géodatabases personnelles) sont conçues pour être éditées par un seul utilisateur et ne prennent pas en charge le versionnement. Elles résident dans votre répertoire de système de fichiers. De ce fait, aucun mot de passe d'accès n'est requis. Les géodatabases fichiers et géodatabases d'entreprise partagent la même structure de stockage de base.
Comparer le stockage des données raster dans des géodatabases fichier, personnelles et d'entreprise
| Caractéristique de stockage des données raster | Géodatabase fichier | Géodatabase d'entreprise | Géodatabase personnelle |
|---|---|---|---|
Limite de taille | 1 To pour chaque jeu de données raster | Illimitée ; la limite dépend des limites du SGBD | 2 gigaoctets (Go) par géodatabase (il s'agit de la limite de taille de la table, et non d'une limite de taille du jeu de données raster) |
Format de fichier du jeu de données raster | Jeu de données raster de géodatabase fichier | Jeu de données raster de géodatabase d'entreprise | ERDAS IMAGINE, JPEG ou JPEG 2000 |
Stockage |
|
|
|
Stockée dans le système de fichiers | Stockée dans un système SGBDR | Stockée dans Microsoft Access | |
Compression | LZ77, JPEG, JPEG 2000 ou Aucun | LZ77, JPEG, JPEG 2000 ou Aucun | LZ77, JPEG, JPEG 2000 ou Aucun |
Pyramides | Prise en charge de la structure pyramidale partielle | Prise en charge de la structure pyramidale partielle | Reconstruction de toute la structure pyramidale |
Mosaïquage en cours | Vous permet d'ajouter des données à un jeu de données raster lors du mosaïquage | Vous permet d'ajouter des données à un jeu de données raster lors du mosaïquage | Réécrit un nouveau jeu de données chaque fois que vous mosaïquez vers un jeu de données raster |
Mise à jour | Permet des mises à jour incrémentielles | Permet des mises à jour incrémentielles | n/d |
Nombre d'utilisateurs | Mono-utilisateur et petits groupes de travail ; quelques utilisateurs avec accès en lecture seule et un utilisateur avec accès en écriture | Multi-utilisateurs ; de nombreux utilisateurs avec accès en écriture et accès en lecture seule | Mono-utilisateur et petits groupes de travail ; quelques utilisateurs avec accès en lecture seule et un utilisateur avec accès en écriture |
Géodatabases fichier
Le modèle de stockage de géodatabase fichier est un hybride de la géodatabase d'entreprise et de la géodatabase personnelle, où les données raster gérées suivent le modèle de stockage de la géodatabase d'entreprise et les données raster non gérées suivent le modèle de stockage de la géodatabase personnelle. Les géodatabases fichiers sont également semblables aux géodatabases personnelles, en ce sens qu'elles sont conçues pour être modifiées par un seul utilisateur et ne prennent pas en charge le versionnement. Elles résident dans votre répertoire de système de fichiers. De ce fait, aucun mot de passe d'accès n'est requis. Les géodatabases fichier et d'entreprise partagent la même structure de stockage de base.
Une géodatabase fichier présente plusieurs avantages par rapport à l'utilisation d'une géodatabase personnelle. Comme la géodatabase d'entreprise, la géodatabase fichier stocke les données sous forme de blocs. Cela permet un accès plus efficace aux données, notamment lors d'une opération portant sur une mosaïque. Lors du mosaïquage des données dans une géodatabase fichier, seuls les blocs superposés sont mis à jour. S'il n'existe aucun bloc superposé, un nouveau bloc est inséré. Les blocs partiels sont remplis avec des pixels NoData. De plus, le modèle de stockage de géodatabase fichier (et d'entreprise) utilise des mises à jour de pyramides partielles, ce qui permet de gagner du temps. De plus, les structures de données des géodatabases d'entreprise et fichier sont identiques ; la technologie de copie rapide est utilisée pour copier et coller des données entre elles.
Les géodatabases fichier acceptent également des mots-clés de configuration mais, contrairement aux géodatabases d'entreprise, ces mots-clés sont associés à une valeur prédéfinie standard. Pour en savoir plus sur les mots-clés de configuration, consultez la rubrique Mots-clés de configuration pour les géodatabases fichiers.
Géodatabase d'entreprise
Le stockage des données raster dans une géodatabase d'entreprise offre des fonctionnalités au niveau entreprise, notamment en matière de sécurité, d'accès multi-utilisateurs et de partage des données. Il existe trois principales raisons de stocker vos données raster dans une géodatabase d'entreprise :
- elles ne seront pas mises à jour très régulièrement (tous les deux ou trois ans, par exemple) ;
- les utilisateurs y accéderont en mode de lecture seule (pour les utiliser comme données de fond de carte sous des données vectorielles, par exemple) ;
- Des centaines d'utilisateurs (ou plus) y accéderont comme fond de carte.
En raison de leur structure de stockage, les données raster sont considérées comme étant gérées ou entièrement contrôlées par la géodatabase. Les géodatabases d'entreprise stockent toujours toutes les informations raster (pixels, référence spatiale, table associée éventuelle et autres métadonnées) des jeux de données raster, ainsi que des attributs raster, dans la base de données relationnelle qui leur est associée. Cela signifie que les informations raster en entrée sont chargées dans la base de données et peuvent être assimilées à un format de conversion.
La géodatabase d'entreprise dispose uniformément, en mosaïque, les canaux dans des blocs de pixels selon une dimension définie par l'utilisateur (la valeur par défaut est 128 par 128). Le tuilage des données de canal raster permet un stockage et une récupération efficaces des données raster. Les informations relatives à la structure pyramidale sont stockées conformément à une résolution dégressive. La hauteur de la pyramide est déterminée par le nombre de niveaux spécifiés par l'application ou l'utilisateur.
La table de blocs raster (table la plus importante, qui stocke les informations réelles sur les pixels et les pyramides) stocke une ligne par bloc (mosaïque) par canal, dans un jeu de données raster, pour chaque niveau de pyramide. Par exemple, dans le cas d'un raster à trois canaux divisé en 12 blocs sans pyramides, la table BLK contient 36 lignes ; 12 blocs séparés pour chacun des trois canaux. La colonne qui contient les données de pixel du bloc est un grand objet binaire (BLOB).
Pour en savoir plus sur le stockage des données raster dans ces SGBD
| SGBD | Modèle de stockage de données | |
|---|---|---|
DB2 | ||
Informix | ||
Oracle | ||
PostgreSQL | ||
SQL Server | ||
Géodatabases d'entreprise pour Oracle, PostgreSQL et SQL Server
A partir d'ArcGIS Desktop 10.5, les mosaïques créées dans les géodatabases Oracle PostgreSQL et SQL Server seront créées avec le nouveau mot de passe RASTER_STORAGE intitulé RASTERBLOB. Le mot-clé RASTERBLOB met en œuvre un transfert efficace des éléments du catalogue de mosaïques vers le DBMS.
Les mosaïques créées avec RASTERBLOB ne peuvent pas être ouvertes avec les versions précédentes du logiciel. Si vous souhaitez créer des mosaïques rétrocompatibles avec les versions précédentes, vous devez modifier le mot-clé de configuration pour RASTER_STORAGE en optant pour un des mots-clés compatibles suivants :
- BINARY pour PostgreSQL et SQL Server
- BLOB pour Oracle.
Géodatabases personnelles
Dans une géodatabase personnelle, le jeu de données raster est converti en fichier IMAGINE (.img) et stocké dans un dossier de base de données d'images (IDB). Le dossier IDB est situé dans le répertoire à proximité de la géodatabase personnelle. Lorsque vous supprimez un jeu de données raster, le raster est définitivement supprimé du dossier IDB.
Lorsque vous enregistrez une mosaïque dans une géodatabase personnelle, cette mosaïque correspond à une table pointant vers les jeux de données raster stockés qu'elle contient. Dans une mosaïque, les jeux de données raster sont stockés comme n'étant pas gérés ; de ce fait, ils contiennent le chemin d'accès de stockage des jeux de données raster. Chaque ligne de la table métier pointe vers le jeu de données raster stocké. Les opérations effectuées sur une mosaïque n'affectent pas les fichiers raster stockés ; par conséquent, si vous supprimez les jeux de données raster d'une mosaïque, ils ne sont pas supprimés du disque.
Lorsque vous stockez un jeu de données raster sous la forme d'un attribut, le raster est enregistré en tant que fichier IMG à l'emplacement défini par le système ou tel quel dans le système de fichiers selon qu'il est géré ou non.
Compression, pyramides et taille de tuile
D'autres structures de stockage peuvent être prises en compte lors du stockage et de la gestion des données raster, notamment la compression, les jeux de données échantillonnés (pyramides et aperçus) et la taille des tuiles.
Compression
Il existe deux types de compression : sans perte et avec perte. Une compression sans perte signifie que les valeurs des pixels du jeu de données raster ne sont pas modifiées, contrairement à ce qui se passe dans une compression avec perte. Le taux de compression dépend du type de données de pixel ; plus l'image est homogène, plus le taux de compression est élevé. Il est conseillé de stocker les données qui seront utilisées à des fins d'analyse, et pas seulement d'affichage, à l'aide d'une compression sans perte. Le principal avantage de la compression des données est le gain d'espace de stockage ; le degré d'économie dépend de la méthode de compression et de la redondance des données. Un autre avantage réside dans une amélioration radicale des performances, dans la mesure où vous transférez moins de paquets de données. Ainsi, lorsque vous accédez à des données raster sur un réseau avec une faible bande passante, l'utilisation de la compression peut améliorer les performances grâce à une réduction sensible de la quantité d'informations transférées. Il est alors possible de stocker des jeux de données raster volumineux et transparents et de les transmettre rapidement à un client, à des fins d'affichage.
Pour en savoir plus sur la compression des données raster
Les mosaïques comportent également une fonction de compression. Cela ne concerne pas le stockage du jeu de données raster en cours de gestion, mais la compression appliquée à l'image générée lors de l'affichage. L'accès des données via le réseau est également facilité, via la réduction de la taille du fichier transféré.
Pour en savoir plus sur la propriété Méthodes de compression autorisées
Jeux de données échantillonnés
Les jeux de données échantillonnés sont des rasters créés d'après les données d'origine, pour les jeux de données raster ou les mosaïques. Ils sont générés pour améliorer les performances et la vitesse de l'affichage. Lorsqu'ils sont créés pour des jeux de données raster, on les appelle des pyramides ; lorsqu'ils sont créés pour des mosaïques, on parle d'aperçus.
Pyramides et aperçus
| Pyramides | Aperçus | |
|---|---|---|
Créé pour | Jeux de données raster | Mosaïques |
Format | Ecrit des fichiers au format .ovr, avec quelques exceptions. Lit des pyramides stockées en externe, en tant que fichier .ovr ou .rrd, ou en interne. | Ecrit des fichiers au format .tif. |
Stockage | Dans un fichier unique résidant généralement en regard du jeu de données raster source, via le même nom. | Par défaut, dans un dossier situé en regard de la géodatabase avec l'extension *.overviews, ou en interne, pour les géodatabases d'entreprise. L'emplacement du stockage peut être personnalisé. |
Espace de stockage | De 2 à 10 pour cent (par rapport aux jeux de données raster d'origine) | |
Facteur d'échantillonnage | 2 | 3 |
Etendue |
|
|
Options lors de la création |
|
|
Taille de tuile
Dans une géodatabase d'entreprise, les données raster sont stockées dans une structure dans laquelle les données sont représentées en mosaïque, indexées, mises en pyramide et très souvent compressées. En raison du tuilage, de l'indexation et de la mise en pyramides, chaque fois qu'une requête est effectuée sur les données raster, seules les tuiles nécessaires pour satisfaire à l'étendue et à la résolution de la requête sont retournées, et non pas le jeu de données entier. La taille de tuile contrôle le nombre de pixels que vous souhaitez stocker dans chaque bloc de mémoire de la base de données. Cette taille est spécifiée comme nombre de pixels en x et y. La taille de tuile par défaut est de 128 par 128 pixels, et il est conseillé, pour la plupart des applications, de ne pas s'éloigner de ces valeurs par défaut. Dans une géodatabase d'entreprise, les tuiles de données raster sont compressées avant d'y être enregistrées.