Структуры растровых данных и модели хранения
Изображения и растровые данные обычно хранятся в оригинальном виде. Иногда приходится редактировать значения отдельных пикселов, например, при редактировании объекта в наборе векторных данных. Эти данные обычно обрабатываются для создания новых форм, которые могут обрабатываться "на лету" или сохраняться в другой версии. Эти наборы данных, и их коллекции, часто очень велики, поэтому, очень важно правильно управлять ими, в чем вам поможет ArcGIS.
Есть три способа хранения изображения и растровых данных: в виде файлов в файловой системе, в базе геоданных или хранение в файлах с управлением из базы геоданных. При выборе способа хранения также следует определить, будут ли храниться все данные в едином наборе растровых данных или в каталоге, в котором можно разместить большое количество растровых наборов данных. Если вы храните данные в файловой системе, вам придется использовать наборы растровых данных, тогда как в базе геоданных можно хранить и наборы растровых данных, и наборы данных мозаики. Третья опция базы геоданных – каталог растров. В дальнейшем он не обсуждается, поскольку его полностью заменяет набор данных мозаики, который имеет больше возможностей и функций.
Растровые наборы данных
Большинство изображений и растровых данных (таких как ортофотоснимки или ЦМР) хранятся в виде набора растровых данных. Термин "набор растровых данных" обозначает любую модель растровых данных, хранящуюся на диске или в базе геоданных. Это самая распространенная модель хранения растровых данных, на которой построены другие – наборы данных мозаики основаны на наборах растровых данных. Также, они используются как выходные данные многих инструментов геообработки, работающих с растрами. Ниже приведен пример набора растровых данных.
Набор растровых данных – любой поддерживаемый растровый формат, организованный в один или несколько каналов. Каждый канал состоит из массива пикселов (ячеек); каждый пиксел имеет некое значение. Набор растровых данных имеет как минимум один канал. ArcGIS поддерживает более 70 различных форматов файлов наборов растровых данных, включая TIFF, JPEG 2000, Esri Grid и MrSid.
Более подробно о поддерживаемых форматах файлов наборов растровых данных
Наборы данных мозаики
Набор данных мозаики – совокупность наборов растровых данных (изображений), хранящаяся как каталог и отображаемая как единое мозаичное изображение или отдельные изображения (растры). Наборы данных мозаики могут быть очень велики, как по размеру файла, так и по количеству наборов данных. Наборы растровых данных в наборе данных мозаики могут оставаться в исходном формате на диске или, при необходимости, загружаться в базу геоданных. Метаданными можно управлять в записи растра, так же, как и атрибутами в таблице атрибутов. Хранение метаданных в качестве атрибутов позволяет использовать такие параметры, как легкое управление данными сенсора ориентации, а также позволяет выполнять быстрые запросы для выполнения выборок.
Данные в наборе данных мозаики не обязательно должны быть смежными или перекрывающимися, но могут существовать как не соединенные, прерывающиеся наборы данных. Например, могут быть изображения, полностью покрывающие площадь, или может быть много треугольных кусочков изображений, которые могут быть не соединены для формирования непрерывного изображения (например, вдоль трубопроводов).
Данные могут даже полностью или частично перекрываться, но быть получены в разные даты. Набор данных мозаики – это идеальный набор данных для хранения временных данных. Вы можете запросить набор данных для отображения указанных даты и времени, а также использовать метод мозаики для отображения мозаики в соответствии с атрибутом даты или времени.
Наборы данных мозаики не ограничены одним определенным типом растровых данных. Можно добавлять растровые данные с различными проекциями, разрешениями, глубиной цвета и числом каналов. Для всей коллекции данных можно построить обзорные изображения (подобные пирамидным слоям). Это позволяет быстрее просматривать данные, а также упрощает их хранение. Также есть много дополнительных свойств для просмотра, включая задание метода мозаики, которые делают эти наборы данных уникальными и функциональными во многих ситуациях. Кроме того, вы можете выполнять запросы к наборам данных мозаики на основе пространственных и непространственных ограничений. Результатами этого запроса могут быть наборы изображений, которые вы можете обработать последовательно, или динамически созданная мозаика.
В добавлении к растровым данным, вы можете хранить и управлять данными лидара в наборе данных мозаики, так же как и наборами растровых данных, и даже вместе с наборами растровых данных. Данные лидара можно хранить в файловой системе в виде файлов LAS или наборов данных LAS, или в базе геоданных в виде набора данных terrain.
Сравнение моделей хранения растровых данных
Хранение растров по отдельности часто является наилучшим способом, если растры не совпадают в пространстве или редко используются в одном проекте. Создание одного большого мозаичного экстента растровых данных подходит для большинства приложений, но набор данных мозаики может оказаться предпочтительнее по следующим причинам:
- Экстенты наборов растровых данных частично или полностью перекрываются, при этом общие области необходимо сохранить.
- Во временных сериях наборы растровых данных представляют коллекцию наблюдений одной области в разное время.
- Вам не нужно видеть всю область на один момент времени; тем не менее, если вам нужно видеть всю область, то используйте набор данных мозаики.
- Вы хотите управлять коллекцией изображений как интегрированным набором, но при этом сохранить индивидуальный статус каждого изображения.
- Вы хотите записывать и управлять дополнительными столбцами атрибутов, в которых будет описываться каждое изображение.
Сравнение моделей хранения растровых данных
| Набор растровых данных | Набор данных мозаики | |
|---|---|---|
Описание | Одно изображение объекта или бесшовное изображение, охватывающее пространственно непрерывную область. Это может быть одно исходное изображение или изображение, составленное из нескольких более мелких (мозаика).
| Коллекция растровых данных, хранящихся как каталог, который позволяет хранить, управлять, просматривать и делать запросы к коллекциям растровых данных и данных лидара. Он просматривается в виде мозаичного изображения, но у вас есть доступ к каждому набору растровых данных коллекции.
|
Хранилище | В виде файла на диске или в базе геоданных. | Внутри базы геоданных, но может иметь ссылку, сохранённую в файле на диске. |
Слои карты | Один слой карты. | Один слой карты. |
Гомогенные или гетерогенные данные | Гомогенные данные: один формат, тип данных и файл. | Гетерогенные данные: несколько форматов, типов данных, различные размеры файлов и системы координат. |
Метаданные | Записываются один раз и описывают весь набор данных. | Могут храниться в записи растра и как атрибуты в атрибутивной таблице. |
Наборы данных с пониженным разрешением | Один пирамидный слой для всего набора растровых данных. | Пирамидные слои для каждого набора растровых данных, так же как и обзорные изображения (например, пирамидные слои) для всей коллекции. |
Геообработка и анализ изображений |
|
|
Плюсы |
|
|
Минусы | Наборы растровых данных файловой или персональной базы геоданных обновляются медленнее, поскольку необходимо переписать весь файл. | Создание обзоров занимает какое-то время. |
Обслуживание | Может обслуживаться непосредственно как сервис изображений. | Может обслуживаться непосредственно как сервис изображений. |
Рекомендации | Используйте наборы растровых данных, если вам не нужно сохранять области наложения между изображениями в мозаике, а также для быстрого отображения больших объемов растровых данных. | Используйте набор данных мозаики для управления и визуализации растровых данных и данных лидара. Это подходит для многомерных данных, запросов, хранения метаданных и наложения данных, и обеспечивает хорошее гибридное решение. |
Хранение растровых данных в базе геоданных
Хранить растровые данные в базе геоданных удобно, если вы хотите управлять растрами, добавлять поведение и контролировать схему; если вы хотите управлять хорошо настроенным набором растровых данных как частью вашей СУБД (DBMS); и если требуется единая архитектура для управления всем содержанием. Существует три основных типа баз геоданных: корпоративная, персональная и файловая.
Корпоративная база геоданных использует ArcSDE и поддерживает множественные операции в своей СУБД. Файловые базы геоданных (такие как персональные) разработаны для редактирования одним пользователем и не поддерживают версионность. Файловая база располагается в обычной директории файловой системы, поэтому, для доступа к ней пароль не нужен. Файловые и корпоративные базы геоданных имеют одну базовую схему хранения.
Сравнение хранения растров в файловой, корпоративной и персональной базах геоданных
| Характеристики хранения растров | Файловая база геоданных | Многопользовательская база геоданных | Персональная база геоданных |
|---|---|---|---|
Размер | 1 Тб на каждый набор растровых данных |
Без ограничений, кроме ограничений СУБД | 2 гигабайта (Гб) на базу геоданных (Это ограничение на размер таблицы, а не на размер набора растровых данных.) |
Формат файла набора растровых данных | Набор растровых данных файловой базы геоданных |
Набор растровых данных ArcSDE | ERDAS IMAGINE, JPEG или JPEG 2000 |
Хранилище |
|
|
|
Хранится в файловой системе |
Хранится в РСУБД | Хранится в Microsoft Access | |
Сжатие | LZ77, JPEG, JPEG 2000 или None |
LZ77, JPEG, JPEG 2000 или None | LZ77, JPEG, JPEG 2000 или None |
Пирамидные слои | Поддерживает частичное построение пирамидных слоёв |
Поддерживает частичное построение пирамидных слоёв | Полное перестроение пирамидных слоёв |
Мозаика | Позволяет присоединять данные к набору растровых данных при построении мозаики |
Позволяет присоединять данные к набору растровых данных при построении мозаики | Перезаписывает новый набор данных каждый раз при создании мозаики |
Обновление | Возможно постепенное обновление |
Возможно постепенное обновление | недоступно |
Количество пользователей | Один пользователь и малые рабочие группы; несколько читателей и один записывающий |
Многопользовательская; много пользователей и много записывающих | Один пользователь и малые рабочие группы; несколько читателей и один записывающий |
Файловая база геоданных
Модель хранения файловых баз геоданных – это гибрид корпоративной и персональной базы геоданных, где управляемые растровые данные наследуют модели хранения корпоративной базы геоданных, а неуправляемые растровые данные – модели хранения персональной базы геоданных. Файловые базы геоданных похожи на персональные тем, что они позволяют только однопользовательское редактирование и не поддерживают версионность. Файловая база располагается в обычной директории файловой системы, поэтому, для доступа к ней пароль не нужен. Файловые и корпоративные базы геоданных имеют одну базовую схему хранения.
Файловая база геоданных имеет несколько преимуществ перед персональной базой геоданных. Как и в корпоративной базе геоданных, в файловой базе геоданных, данные хранятся по блокам. Это обеспечивает более эффективный доступ к данным, особенно при работе с мозаикой. В файловой базе геоданных в мозаике обновляются только накладывающиеся блоки. Если накладывающегося блока не существует, вставляется новый блок. Частично заполненные блоки дополняются пикселами NoData. Кроме того, модель хранения файловой базы геоданных (и корпоративной) использует частичные обновления пирамидных слоев, что позволяет сэкономить время. Также структура данных файловой базы геоданных соответствует структуре корпоративной базы геоданных – быстрая технология копирования используется для копирования и вставки данных между файловой и корпоративной базами геоданных.
Файловая база геоданных также допускает ключевые слова конфигурации, но в отличие от корпоративной базы геоданных, они имеют стандартное предопределенное значение. Более подробную информацию о ключевых словах конфигурации см. в разделе Ключевые слова конфигурации для файловых баз геоданных.
Многопользовательская база геоданных
Хранение растровых данных в корпоративной базе геоданных позволяет использовать корпоративный уровень функциональности, например, безопасность, многопользовательский доступ или обмен данными. Ниже приведены три главных причины хранения растровых данных в корпоративной базе геоданных:
- Они не будут обновляться очень регулярно (примерно каждые 2-3 года или реже).
- Они могут быть доступны только для чтения (например, использование их в качестве данных базовой карты под векторными данными).
- Сотни пользователей будут иметь доступ к ним как к базовой карте.
Благодаря своей структуре хранения, можно сказать, что растровые данные являются управляемыми, или полностью контролируемыми, базой геоданных. Корпоративные базы геоданных всегда хранят всю информацию о растре (пикселы, пространственная привязка, любые связанные таблицы и метаданные) для наборов растровых данных и атрибуты растров внутри ассоциированной реляционной базы данных. Это значит, что все данные входного растра загружаются в базу данных и, можно сказать, проходят конвертацию.
Корпоративная база геоданных делит каналы на блоки пикселов одинакового размера, который задается пользователем (по умолчанию 128 на 128). Разделение каналов на блоки обеспечивает эффективное хранение и чтение растровых данных. Информация о пирамидных слоях хранится в соответствии с разрешением. Высота пирамиды определяется количеством слоев, которое задается пользователем или приложением.
В таблице растровых блоков (самая большая таблица, где находится информация о пикселах и пирамидных слоях) хранится одна строка на блок (лист) на канал в наборе растровых данных и на уровень пирамидного слоя. Например, трехканальный растр, разделенный на 12 блоков, без пирамидных слоёв, будет иметь 36 строк в таблице BLK – 12 отдельных блоков для каждого из трех каналов. Столбцы, содержащие данные пикселов для блоков, являются большими бинарными объектами (BLOB).
Более подробно о хранении растровых данных в этих СУБД
| СУБД | Модель хранения данных | |
|---|---|---|
DB2 | ||
Informix | ||
Oracle | ||
PostgreSQL | ||
SQL Server | ||
Персональная база геоданных
В персональной базе геоданных набор растровых данных конвертируется в файл IMAGINE (.img) и хранится внутри папки изображений базы геоданных (IDB). Папка IDB расположена в директории рядом с персональной базой геоданных. Если вы удаляете набор растровых данных, растр из папки IDB удаляется навсегда.
При хранении набора данных мозаики в персональной базе геоданных набор данных мозаики имеет вид таблицы, в которой указаны входящие в него наборы растровых данных. В наборе данных мозаики наборы растровых данных хранятся как неуправляемые; поэтому, в нем находятся ссылки на наборы растровых данных. Каждая строка в каталоге растров указывает на отдельный набор растровых данных. Операции с набором данных мозаики не затрагивают файлы растров; поэтому, если вы удаляете наборы растровых данных из набора данных мозаики или каталога, они будут удалены только из набора данных мозаики, а не с диска.
При сохранении набора растровых данных в виде атрибута, растр записывается как файл IMG в местоположении, определяемом системой, или просто в виде файла на диске; это зависит от того, управляемый он или нет.
Сжатие, пирамидные слои и размер листа
При сохранении и обработке растровых данных, необходимо также учитывать другие характеристики, к которым относятся сжатие, наборы данных с пониженным разрешением (пирамидные слои и обзорные изображения) и размер листов.
Сжатие
Существуют два типа сжатия: без потерь и с потерями. Сжатие без потерь информации означает, что значения пикселов в наборе растровых данных не меняются, тогда как при сжатии с потерями происходит изменение их значений. Степень сжатия зависит от типа пиксельных данных; более однородные изображения имеют более высокую степень сжатия. Данные, которые будут использоваться для анализа, а не только для отображения, следует хранить со сжатием без потерь. Основное преимущество сжатия данных – уменьшение их объема; количество места, которое вы можете сэкономить, зависит от метода сжатия и самих данных, их избыточности. Дополнительное преимущество – увеличение производительности, т.к. уменьшается объем передаваемых данных. Например, при передаче растровых данных по сети с низкой пропускной способностью, использование сжатия может увеличить быстродействие, поскольку количество передаваемых данных значительно уменьшается, что позволяет хранить большие, бесшовные наборы растровых данных и быстро доставлять их на клиентский компьютер для отображения.
Более подробно о сжатии растров
Наборы данных мозаики также используют сжатие. Оно не применяется для хранения наборов растровых данных, оно применяется к изображениям, которые генерируются при отображении данных. Также, при доступе к данным по сети, это помогает уменьшить размер передаваемого файла.
Наборы данных с пониженным разрешением
Наборы данных с пониженным разрешением являются растрами, полученными из исходных данных, наборов растровых данных или мозаики. Они генерируются для повышения скорости отображения и производительности. Когда они создаются для наборов растровых данных, они называются пирамидными слоями, если они создаются для наборов данных мозаики – обзорными изображениями.
Сравнение пирамидных слоев и обзорных изображений
| Пирамидные слои | Обзоры | |
|---|---|---|
Создаются для | Растровые наборы данных | Наборы данных мозаики |
Формат | Записываются файлы .ovr – с некоторыми исключениями. Считывает пирамидные слои, хранящиеся во вне как файлы .ovr или .rrd или внутри. | Записываются файлы .tif. |
Хранилище | В одном файле, который обычно находится рядом с исходным набором растровых данных, с использованием его же имени. | По умолчанию, в папке, рядом с базой геоданных, с расширением *.overviews или внутри для ArcSDE. Место хранения можно настраивать. |
Объем хранения | От 2 до 10% (по сравнению с оригинальными наборами растровых данных) | |
Коэффициент снижения разрешения | 2 | 3 |
Экстент |
|
|
Опции при построении |
|
|
Более подробно о пирамидных слоях растра
Более подробно об обзорных изображениях набора данных мозаики
Размер листа
В корпоративной базе геоданных, растровые данные разделяются на листы, индексируются, сжимаются и для них строятся пирамидные слои. В результате, при каждом запросе к растровым данным, передаются только те листы, которые соответствуют запрашиваемому экстенту и разрешению, а не весь набор растровых данных. Размер листа управляет количеством пикселов, которое вы можете сохранить в блоке памяти базы данных. Размер листа указывается как количество пикселов по осям x и y. По умолчанию, размер листа составляет 128 на 128 пикселов, и, в большинстве случае, изменения размера листа следует избегать. В корпоративной базе геоданных, листы растровых данных сжимаются перед помещением их в базу данных.