ラスター データ構造と格納モデル
画像とラスター データは通常、元の形式で格納されます。ベクター データセットのフィーチャを編集する場合と異なり、個別にピクセル値を編集することはほとんどありません。リアルタイムに処理、または別のバージョンで保存できる新しい形式を作成するために、データを処理する場合がよくあります。このようなデータセットやそれらのコレクションは非常に大きくなることが多いので、上手に管理する機能を使うことが重要で、ArcGIS Desktop はそのように設計されています。
画像とラスター データを格納するには次の 3 つの方法があります。ファイル システムのファイルとする方法、ジオデータベース内のファイルとする方法、またはジオデータベース内で管理するものの格納はファイル システムのファイルとする方法です。どの方法にするかは、すべてのデータを 1 つのデータセットに格納するか、それとも多数のデータセットとなる可能性があるカタログに格納するかによって決まります。ファイル システムにデータを格納する場合は、ラスター データセットを格納するのと同じ事を意味します。一方でジオデータベースはラスター データセットでもモザイク データセットのどちらも格納できます。3 つ目のジオデータベース オプションはラスター カタログです。このオプションは、より多くの機能、用途があるモザイク データセットに置き換えられたので、以下では説明しません。
ラスター データセット
ほとんどの画像とラスター データ (オルソ画像または DEM など) はラスター データセットとして提供されます。ラスター データセットという用語は、ディスク格納されているラスター モデル、またはクラウド ストレージに格納された単一のラスターとしてアクセス可能なラスター モデルのことを指しています。ラスター データセットは、ジオデータベースに格納することもできますが、ラスターをデータベース内に格納することは推奨されません。ラスター データセットは最も基本的なラスター データ格納モデルで、他のモデルはその上に構築されています。たとえば、モザイク データセットはラスター データセットを管理します。ラスター データセットもラスター データを処理する多くのジオプロセシング ツールからの出力です。次に、ラスター データセットの例を示します。
ラスター データセットとは、1 つ以上のバンドで構成されるすべての有効なラスター形式の総称です。各バンドはピクセル (セル) の配列で構成され、ピクセルごとに 1 つの値が設定されています。ラスター データセットは少なくとも 1 つのバンドを持ちます。ArcGIS Desktop は、TIFF、JPEG 2000、Esri Grid と MrSid を含む、70 を超える異なるファイル形式をラスター データセットとしてサポートします。
モザイク データセット
モザイク データセットは、カタログとして格納されていて、モザイク化された 1 つの画像または個別の画像 (ラスター) として表示またはアクセスされるラスター データセット (画像) のコレクションです。これらのコレクションは、全体的なファイル サイズが増大し、データセット数も非常に多くなりがちです。モザイク データセット内のラスター データセットは、ネイティブ形式のままでディスクに保存しておくこともできますし、ジオデータベースに格納することもできます。メタデータはラスターのレコード内と、属性テーブルの属性内で管理できます。メタデータを属性として格納すると、センサーの方向データなどのパラメーターをより簡単に管理できると同時に、選択を有効にするための高速検索が可能になります。
モザイク データセット内のデータは、隣接したり重なり合う必要はなく、接続されていない不連続のデータセットとして存在できます。たとえば、エリアを完全に含む画像や、(パイプライン沿いなど) 相互に結合して連続画像を形成するわけではない多数の画像のストライプを含むことができます。
完全に、または部分的に重なり合っているデータを、何日もかけて異なる日付でキャプチャすることもできます。モザイク データセットは、一時的なデータの格納には理想的なデータセットです。時間や日付に基づいて必要な画像をモザイク データセットで検索し、モザイク手法を使用して、時間または日付属性に従ってモザイク化した画像を表示することができます。
モザイク データセットは 1 つの特定タイプのラスター データに制限されません。それぞれ異なるセンサー システムからさまざまな投影法、解像度、ピクセル深度、バンド数のラスター データを追加できます。オーバービュー (ピラミッドなど) は全データのコレクションとして生成できます。 これによって、データを高速で表示できるようになり、これらのデータセットをすばやく提供できます。表示に関する追加のプロパティ (モザイク手法の設定を含む) も多数存在しており、これにより、多くの状況でモザイク データセットは一意で機能的なものになっています。空間的/非空間的な検索の制約に基づいて、モザイク データセットを検索することもできます。この検索結果は、ユーザーが 1 つずつ処理可能な画像のセットであったり、動的に生成されたモザイク化画像であったりします。
ラスター データに加えて、モザイク データセットへ LIDAR データを格納と管理ができます。それはラスター データセットと同じ方法ででき、またラスター データセットと一緒に格納と管理ができます。LIDAR データはファイル システムに LAS ファイルまたは LAS データセットとして、あるいはテレイン データセットとしてジオデータベースに格納できます。
ラスター データの格納モデルの比較
データセットが互いに隣接していない場合や、同じプロジェクトでめったに使用されない場合は、ラスター データセットを個別に格納するのが最も効果的です。多くの場合は、入力を 1 つの大きなラスター データ ファイルの範囲にモザイク化する方法が適していますが、次の多くの理由により、モザイク データセットを使用する方法が適していることもあります。
- 複数のラスター データセットの範囲が部分的にまたは完全にオーバーラップしており、共通のエリアを維持する必要がある。
- ラスター データセットが、時間の流れに沿った同じエリアの観察記録を表している。
- 画像のコレクション全体ではなく、対象エリアのみを表示したい。
- イメージ コレクションをまとめて管理したいが、個々の状態も維持したい。
- 各画像を説明する追加の属性カラムを記録し、管理したい。
ラスター データの格納モデルの比較
| ラスター データセット | モザイク データセット | |
|---|---|---|
説明 | オブジェクトの単一の画像または空間的に連続したエリアにおよぶシームレスな画像。単一のオリジナル画像の場合と、多くの画像を 1 つにマージした (モザイク化した) ものである場合がある。
| ラスター データセットのコレクションがカタログとして格納されており、ラスター データと LIDAR データのコレクションを格納、管理、表示、検索できる。モザイク画像として表示されるが、コレクション内のアイテムとして各データセットにアクセスできる。
|
容量 | ディスク上またはジオデータベース内のファイルとして | ジオデータベース内、ただし、ディスク上にファイルとして格納されたソース データを参照できる。 |
マップ レイヤー | 1 つのマップ レイヤー。 | 1 つのマップ レイヤー。 |
同種または異種データ | 同種データ: 単一の形式、データ タイプ、およびファイル。 | 異種データ: 複数の形式、データ タイプ、ファイル サイズ、および座標系。 |
メタデータ | 一度だけ格納し、データセットを完成させるために適用する。 | ラスター レコード内に格納したり、属性テーブルの属性として格納できる。 |
ダウンサンプル データセット | ラスター データセット全体のオーバービュー。 | 各ラスター データセットのピラミッドと、コレクション全体の (ピラミッドのような) オーバービュー。 |
ジオプロセシングと画像解析 |
|
|
利点 |
|
|
欠点 | ファイル ジオデータベースおよびパーソナル ジオデータベースのラスター データセットは、ファイル全体を書き直す必要があるので更新に時間がかかる。 | 概観図の生成に時間がかかることがある。 |
公開 | イメージ サービスとして直接提供できる。 | イメージ サービスとして直接提供できる。 |
推奨 | モザイク化した画像間のオーバーラップを維持する必要がない場合や、多数のラスター データを高速に表示したい場合は、ラスター データセットを使用する。 | ラスター データや LIDAR データの管理と視覚化にはモザイク データセットを使用する。これは、多次元データ、検索、メタデータの格納、および重なり合うデータに適しており、優れたハイブリッド ソリューションを提供する。 |
ジオデータベースのラスター データの格納
ラスターの管理、振舞いの追加、スキーマの制御が目的の場合、厳密に定義されたラスター データセットを DBMS の一部として管理する場合、およびすべてのコンテンツを 1 つのアーキテクチャで管理する必要がある場合は、ラスター データをジオデータベースに格納します。ジオデータベースには主に、エンタープライズ、パーソナル、ファイルの 3 種類があります。
エンタープライズ ジオデータベースは、DBMS 内で複数ユーザーによる操作をサポートできます。ファイル ジオデータベース (パーソナル ジオデータベースのような) は、シングル ユーザーによる編集を前提とし、ジオデータベースのバージョニングをサポートしません。ファイル ジオデータベースはファイル システム ディレクトリに存在するので、アクセスするためにパスワードは必要ありません。ファイル ジオデータベースとエンタープライズ ジオデータベースは同じ基本格納スキーマを共有します。
ファイル ジオデータベース、エンタープライズ ジオデータベース、パーソナル ジオデータベースのラスター ストレージの比較
| ラスター ストレージの特性 | ファイル ジオデータベース | エンタープライズ ジオデータベース | パーソナル ジオデータベース |
|---|---|---|---|
サイズ制限 | 各ラスター データセットに 1 TB | 無制限: 制限は DBMS の制限による | ジオデータベースにつき 2GB (これはテーブルのサイズ制限であり、ラスター データセットのサイズ制限ではない) |
ラスター データセットのファイル形式 | ファイル ジオデータベース ラスター データセット | エンタープライズ ジオデータベース ラスター データセット | ERDAS IMAGINE、JPEG、または JPEG 2000 |
容量 |
|
|
|
ファイル システムに格納 | RDBMS に格納 | Microsoft Access に格納 | |
圧縮 | LZ77、JPEG、JPEG 2000、またはなし | LZ77、JPEG、JPEG 2000、またはなし | LZ77、JPEG、JPEG 2000、またはなし |
ピラミッド | 部分ピラミッド構築をサポート | 部分ピラミッド構築をサポート | ピラミッド全体を再構築 |
モザイク処理 | モザイク時にラスター データセットへの追加が可能 | モザイク時にラスター データセットへの追加が可能 | ラスター データセットへのモザイクのたびに新しいデータセットを再度書き込み |
更新 | 増分更新が可能 | 増分更新が可能 | n/a |
ユーザー数 | シングルユーザーと小規模ワークグループ: 複数のユーザーによる読み取りと 1 人のユーザーによる書き込み | マルチユーザー: 複数のユーザーによる読み取りと書き込み | シングルユーザーと小規模ワークグループ: 複数のユーザーによる読み取りと 1 人のユーザーによる書き込み |
ファイル ジオデータベース
ファイル ジオデータベースの格納モデルは、エンタープライズ ジオデータベースとパーソナル ジオデータベースを組み合わせたものです。つまり、管理ラスター データにはエンタープライズ ジオデータベースの格納モデルが適用され、非管理ラスター データにはパーソナル ジオデータベースの格納モデルが適用されます。ファイル ジオデータベースは、1 人のユーザーによって編集され、バージョニングをサポートしないという点でも、パーソナル ジオデータベースに似ています。ファイル ジオデータベースはファイル システム ディレクトリに存在するので、アクセスするためにパスワードは必要ありません。ファイル ジオデータベースとエンタープライズ ジオデータベースは同じ基本格納スキーマを共有します。
ファイル ジオデータベースには、パーソナル ジオデータベースより便利な点がいくつかあります。エンタープライズ ジオデータベースと同様、ファイル ジオデータベースにはデータがブロックとして格納されます。これにより、特にモザイク処理時には、データに効率的にアクセスできます。ファイル ジオデータベース内のデータをモザイク化すると、重なり合っているブロックのみが更新されます。重なり合うブロックが存在しない場合は、新しいブロックが挿入されます。部分的なブロックには NoData ピクセルが埋め込まれます。さらに、ファイル ジオデータベース (およびエンタープライズ) 格納モデルは部分的なピラミッド更新を採用しているので、時間を節約できます。また、ファイル ジオデータベースとエンタープライズ ジオデータベースはデータ構造が同じなので、これらのジオデータベース間ではデータのコピーと貼り付けをすばやく行えます。
ファイル ジオデータベースではコンフィグレーション キーワードも使用できますが、エンタープライズ ジオデータベースと異なり、コンフィグレーション キーワードの標準値があらかじめ定義されています。コンフィグレーション キーワードの詳細については、「ファイル ジオデータベースのコンフィグレーション キーワード」をご参照ください。
エンタープライズ ジオデータベース
ラスター データをエンタープライズ ジオデータベースに格納する際には、セキュリティ、マルチユーザー アクセス、データ共有など、エンタープライズ レベルの機能が提供されます。ラスター データをエンタープライズ ジオデータベースとして格納する主な理由としては、次の 3 つがあります。
- ラスター データがあまり頻繁に更新されない (たとえば、2 年、3 年、またはそれ以上の更新間隔)。
- ラスター データが読み取り専用のユース ケースでアクセスされる (ベクター データのベースマップ データとして使用する場合など)。
- 数百を超えるユーザーがベースマップとしてラスター データにアクセスする。
ArcSDE ジオデータベースの格納構造から、ラスター データはジオデータベースによって管理される、または完全に制御されます。エンタープライズ ジオデータベースは常に、ラスター データセットおよびラスター属性のすべてのラスター情報 (ピクセル、空間参照、関連テーブル、その他のメタデータ) を関連するリレーショナル データベースに格納します。すべての入力ラスター情報がデータベースに読み込まれるため、形式の変換と考えることができます。
エンタープライズ ジオデータベースは、ユーザー定義のディメンション (デフォルトは 128 x 128) に従って、バンドをピクセルのブロックに均等にタイル分割します。ラスター バンド データをタイル分割することにより、ラスター データを効果的に格納および抽出できるようになります。ピラミッド情報は解像度の低下に従って格納されます。ピラミッドの高さは、アプリケーションまたはユーザーによって指定されたレベル数に基づいて決定されます。
ラスター ブロック テーブル (最も大きく、実際のピクセル情報とピラミッドを格納できるテーブル) は、ラスター データセットのバンド毎に、そしてピラミッド レベルごとのブロック (タイル) ごとに一行格納します。たとえば、ピラミッドを構築せずに 12 個のブロックに分割された 3 バンド ラスターは、BLK テーブルに 36 個の行 (バンドごとに 12 個のブロック) を持ちます。ブロックのピクセル データが含まれる列は、BLOB (Binary Large Object) です。
Oracle、PostgreSQL、および SQL Server のエンタープライズ ジオデータベース
ArcGIS Desktop 10.5 以降は、Oracle、PostgreSQL、SQL Server ジオデータベース内に作成されるモザイク データセットは、RASTER_STORAGE と呼ばれる新しい RASTERBLOB キーワードを使用して作成されます。RASTERBLOB キーワードは、モザイク データセットのカタログ アイテムを DBMS に効率的に転送できるように実装されています。
RASTERBLOB を使用して作成されたモザイク データセットは、以前のバージョンのソフトウェアでは開けません。以前のバージョンと後方互換性があるモザイク データセットを作成するには、RASTER_STORAGE のコンフィグレーション キーワードを変更して、互換性のある次のキーワードにする必要があります。
- BINARY (PostgreSQL および SQL Server の場合)
- BLOB (Oracle の場合)
パーソナル ジオデータベース
パーソナル ジオデータベースでは、ラスター データセットが IMAGINE ファイル (*.img) に変換され、イメージ データベース (IDB) フォルダーに格納されます。IDB フォルダーは、パーソナル ジオデータベースと同じレベルのディレクトリに保存されます。ラスター データセットを削除すると、IDB フォルダー内のラスターが完全に削除されます。
モザイク データセットをパーソナル ジオデータベースに格納する場合、モザイク データセットはテーブルとして存在し、中に格納されているラスター データセットのファイルが存在している場所を示す情報が格納されています。モザイク データセットにはラスター データセットが管理されていない状態で格納されているため、モザイク データセットには、ラスター データセットが格納されている場所へのパスが含まれています。ビジネス テーブルの各行は、格納されているラスター データセットをポイントします。モザイク データセットの操作は格納されているラスター ファイルに影響しないため、モザイク データセットでラスター データセットを削除しても、それらはモザイク データセットから削除されるだけで、ディスク上のソース データからは削除されません。
ラスター データセットを属性として格納すると、ラスターは IMG ファイルとしてシステム定義の場所に格納されるか、ファイル システムにそのまま格納されます。これは、ラスターが管理されているかどうかによって決まります。
圧縮、ピラミッド、タイル サイズ
ラスター データを格納し、管理する際に、圧縮、ダウンサンプルしたデータセット (ピラミッドとオーバービュー)、タイル サイズを含め、検討しなければならない格納構造が他にもあります。
圧縮
圧縮には、可逆と非可逆の 2 種類があります。可逆圧縮はラスター データセットのピクセルの値が変更されないことを意味し、非可逆圧縮はピクセルの値が変更されることを意味します。圧縮の量は、ピクセル データの種類によって異なります。画像の種類の類似性が高いほど、圧縮率も高くなります。表示だけでなく解析にも使用するデータの格納には、可逆圧縮を使用する必要があります。データを圧縮する主な利点は、必要な格納領域が少なくなることですが、どれくらい節約されるかは圧縮方式とデータの冗長性によって異なります。また、転送するデータ パケットの数が少なくなるので、パフォーマンスが劇的に改善されるという利点もあります。たとえば、帯域幅の狭いネットワーク経由でラスター データにアクセスする場合、圧縮を使用すると、転送する情報の量が劇的に少なくなり、大きくシームレスなラスター データセットを格納して、それらをクライアントですばやく表示することが可能になるので、パフォーマンスが向上する可能性があります。
モザイク データセットにも圧縮機能があります。これは、管理されたラスター データセットを格納するためではなく、表示時に生成する画像に適用するための圧縮機能です。また、転送されるファイルのサイズを縮小することで、ネットワーク経由でのデータへのアクセスを容易にします。
ダウンサンプル データセット
ダウンサンプルしたデータセットは、ラスター データセットとモザイク データセットのどちらかの元データから生成されたラスターです。これらは、データセットは表示速度とパフォーマンスを向上させるために生成されます。ラスター データセットのために生成されるとき、データセットはピラミッドと呼ばれ、モザイク データセットのために生成されるとき、データセットはオーバービューと呼ばれます。
ピラミッドとオーバービュー
| ピラミッド | オーバービュー | |
|---|---|---|
作成対象: | ラスター データセット | モザイク データセット |
形式 | *.ovr ファイルへ書き込みます。ただし、いくつかの例外があります。 *.ovr または *.rrd として外部に格納されたピラミッド、または内部に格納されているピラミッドを読み込みます。 | *.tif ファイルとして書き込みます。 |
容量 | 通常、同じ名前を使用したソース ラスター データセットの隣にある単一のファイル内。 | デフォルトでは、「*.overviews」の拡張子を持つジオデータベースの隣にあるフォルダー内、あるいはエンタープライズ ジオデータベースの内部。 格納場所はカスタマイズできます。 |
格納するサイズ | 2 ～ 10% (元のラスター データセットに比べて) | |
ダウンサンプリング ファクター | 2 | 3 |
範囲 |
|
|
構築する際のオプション |
|
|
タイル サイズ
エンタープライズ ジオデータベースでは、データがタイル分割、インデックス付け、ピラミッド化され、ほとんどの場合は圧縮される構造で、ラスター データが格納されます。タイル分割、インデックス付け、ピラミッド化により、ラスター データが検索されるたびに、データセット全体ではなく、検索の範囲と解像度を満たすタイルのみを返すことができます。タイル サイズは、各データベースのメモリ ブロックに格納するピクセルの数を制御します。これは XY 方向のピクセルの数として指定されます。デフォルトのタイル サイズは 128 x 128 ピクセルであり、ほとんどのアプリケーションでは、これらのデフォルト値で十分です。エンタープライズ ジオデータベースでは、ラスター データのタイルは圧縮されてからジオデータベースに格納されます。