Структуры растровых данных и модели хранения
Изображения и растровые данные обычно хранятся в оригинальном виде. Иногда приходится редактировать значения отдельных пикселов, например, при редактировании объекта в наборе векторных данных. Эти данные обычно обрабатываются для создания новых форм, которые могут обрабатываться "на лету" или сохраняться в другой версии. Эти наборы данных, а также их совокупности, зачастую очень велики, поэтому очень важно правильно управлять ими, в чем вам поможет ArcGIS Desktop.
Есть три способа хранения изображения и растровых данных: в виде файлов в файловой системе, в базе геоданных или хранение в файлах с управлением из базы геоданных. При выборе способа хранения также следует определить, будут ли храниться все данные в едином наборе растровых данных или в каталоге, в котором можно разместить большое количество растровых наборов данных. Если вы храните данные в файловой системе, вам придется использовать наборы растровых данных, тогда как в базе геоданных можно хранить и наборы растровых данных, и наборы данных мозаики. Третья опция базы геоданных в каталоге растров; в дальнейшем она не обсуждается, поскольку её полностью заменяет набор данных мозаики, который имеет больше возможностей и функций.
Наборы растровых данных
Большинство изображений и растровых данных (таких как ортоизображения или ЦМР) хранятся в виде набора растровых данных. Термин "набор растровых данных" обозначает любую модель растровых данных, хранящуюся на диске или доступную как отдельный растр из облачного хранилища. Он также может храниться в базе геоданных, но такой способ хранения растров не рекомендуется. Набор - это самая базовая модель хранения растровых данных, на которой построены другие – наборы данных мозаики основаны на наборах растровых данных. Также, они используются как выходные данные многих инструментов геообработки, работающих с растрами. Ниже приведен пример набора растровых данных.
Набор растровых данных – любой поддерживаемый растровый формат, организованный в один или несколько каналов. Каждый канал состоит из массива пикселов (ячеек); каждый пиксел имеет некое значение. Набор растровых данных имеет как минимум один канал. ArcGIS Desktop поддерживает более 70 различных форматов файлов для наборов растровых данных, включая TIFF, JPEG 2000, Esri Grid и MrSid.
Более подробно о поддерживаемых форматах файлов наборов растровых данных
Наборы данных мозаики
Набор данных мозаики – совокупность наборов растровых данных (изображений), хранящаяся как каталог и отображаемая как единое мозаичное изображение или отдельные изображения (растры). Эти наборы данных мозаики могут быть очень большими, как по размеру файлов, так и по количеству наборов данных. Наборы растровых данных в наборе данных мозаики могут оставаться в исходном формате на диске или, при необходимости, загружаться в базу геоданных. Метаданными можно управлять в записи растра, так же, как и атрибутами в таблице атрибутов. Хранение метаданных в качестве атрибутов позволяет использовать такие параметры, как облегченное управление данными сенсора ориентации, а также позволяет выполнять быстрые запросы для выборок.
Данные в наборе данных мозаики не обязательно должны быть смежными или перекрывающимися, но могут существовать как не соединенные, прерывающиеся наборы данных. Например, могут быть изображения, полностью покрывающие площадь, или может быть много полосок изображений, которые могут быть не соединены для формирования непрерывного изображения (например, вдоль трубопроводов).
Данные могут даже полностью или частично перекрываться, но быть получены в разные даты. Набор данных мозаики – это идеальный набор данных для хранения временных данных. Вы можете как делать к набору данных мозаики запросы изображений на основе времени или даты, так и использовать метод мозаики для отображения мозаичного изображения в соответствии с атрибутом даты или времени.
Наборы данных мозаики не ограничены одним определенным типом растровых данных. Можно добавлять растровые данные от многих систем сенсоров в различных проекциях, в разных разрешениях, с разной глубиной пикселов и разным числом каналов. Для всей коллекции данных можно построить обзорные изображения (подобные пирамидным слоям). Это позволяет быстрее просматривать данные и ускоряет работу с этими наборами данных. Также есть много дополнительных свойств для просмотра, включая задание метода мозаики, которые делают эти наборы данных уникальными и функциональными во многих ситуациях. Кроме того, вы можете выполнять запросы к наборам данных мозаики на основе пространственных и непространственных ограничений. Результатами этого запроса может стать как набор изображений, которые можно обрабатывать по-одному, так и динамически созданное мозаичное изображение.
В добавлении к растровым данным, вы можете хранить и управлять данными лидара в наборе данных мозаики, так же как и наборами растровых данных, и даже вместе с наборами растровых данных. Данные лидара можно хранить в файловой системе в виде файлов LAS или наборов данных LAS, а также в базе геоданных в виде набора данных terrain.
Сравнение моделей хранения растровых данных
Хранение растров по отдельности часто является наилучшим способом, если растры не совпадают в пространстве или редко используются в одном проекте. Соединение вместе входной мозаики для формирования одного большого экстента файлов растровых данных подходит для многих приложений, но набор данных мозаики может по ряду причин оказаться предпочтительнее:
- Экстенты наборов растровых данных частично или полностью перекрываются, при этом общие области необходимо сохранить.
- Во временных сериях наборы растровых данных представляют коллекцию наблюдений одной области в разное время.
- Вы желаете отобразить только изучаемую область, а не всю совокупность изображений.
- Вы хотите управлять коллекцией изображений как интегрированным набором, но при этом сохранить индивидуальный статус каждого изображения.
- Вы хотите записывать и управлять дополнительными столбцами атрибутов, в которых будет описываться каждое изображение.
Сравнение моделей хранения растровых данных
| Набор растровых данных | Набор данных мозаики | |
|---|---|---|
Описание | Одно изображение объекта или бесшовное изображение, охватывающее пространственно непрерывную область. Это может быть одно исходное изображение или изображение, полученное путем слияния нескольких более мелких (мозаика).
| Коллекция растровых данных, хранящихся как каталог, который позволяет хранить, управлять, просматривать и делать запросы к коллекциям растровых данных и данных лидара. Он просматривается в виде мозаичного изображения, но у вас есть доступ к каждому набору растровых данных, как к элементу коллекции.
|
Хранение | В виде файла на диске или в базе геоданных. | Внутри базы геоданных, но может иметь ссылку на источник данных, которые хранятся в файле на диске. |
Слои карты | Один слой карты. | Один слой карты. |
Гомогенные или гетерогенные данные | Гомогенные данные: один формат, тип данных и файл. | Гетерогенные данные: несколько форматов, типов данных, различные размеры файлов и системы координат. |
Метаданные | Записываются один раз и описывают весь набор данных. | Могут храниться в записи растра и как атрибуты в атрибутивной таблице. |
Наборы данных с пониженным разрешением | Обзоры для всего набора растровых данных. | Пирамидные слои для каждого набора растровых данных, так же как и обзорные изображения (например, пирамидные слои) для всей коллекции. |
Геообработка и анализ изображений |
|
|
Плюсы |
|
|
Минусы | Наборы растровых данных файловой или персональной базы геоданных обновляются медленнее, поскольку необходимо переписать весь файл. | Создание обзоров занимает какое-то время. |
Обслуживание | Может обслуживаться непосредственно как сервис изображений. | Может обслуживаться непосредственно как сервис изображений. |
Рекомендации | Используйте наборы растровых данных, если вам не нужно сохранять области наложения между изображениями в мозаике, а также для быстрого отображения больших объемов растровых данных. | Используйте набор данных мозаики для управления и визуализации растровых данных и данных лидара. Это подходит для многомерных данных, запросов, хранения метаданных и наложения данных, и обеспечивает хорошее гибридное решение. |
Хранение растровых данных в базе геоданных
Хранить растровые данные в базе геоданных удобно, если вы хотите управлять растрами, добавлять поведение и контролировать схему; если вы хотите управлять хорошо настроенным набором растровых данных как частью вашей СУБД (DBMS); и если требуется единая архитектура для управления всем содержанием. Существует три основных типа баз геоданных: многопользовательская, персональная и файловая.
Многопользовательская база геоданных способна поддерживать множество операций в СУБД. Файловые базы геоданных (такие как персональные) разработаны для редактирования одним пользователем и не поддерживают версионность. Файловая база располагается в обычной директории файловой системы, поэтому, для доступа к ней пароль не нужен. Файловые и многопользовательские базы геоданных имеют одну базовую схему хранения.
Сравнение параметров хранения растров в файловой, многопользовательской и персональной базах геоданных
| Характеристики хранения растров | Файловая база геоданных | Многопользовательская база геоданных | Персональная база геоданных |
|---|---|---|---|
Размер | 1 Тб на каждый набор растровых данных | Без ограничений, кроме ограничений СУБД | 2 гигабайта (Гб) на базу геоданных (Это ограничение на размер таблицы, а не на размер набора растровых данных.) |
Формат файла набора растровых данных | Набор растровых данных файловой базы геоданных | Набор растровых данных многопользовательской базы геоданных | ERDAS IMAGINE, JPEG или JPEG 2000 |
Хранение |
|
|
|
Хранится в файловой системе | Хранится в РСУБД | Хранится в Microsoft Access | |
Сжатие | LZ77, JPEG, JPEG 2000 или None | LZ77, JPEG, JPEG 2000 или None | LZ77, JPEG, JPEG 2000 или None |
Пирамидные слои | Поддерживает частичное построение пирамидных слоёв | Поддерживает частичное построение пирамидных слоёв | Полное перестроение пирамидных слоёв |
Мозаика | Позволяет присоединять данные к набору растровых данных при построении мозаики | Позволяет присоединять данные к набору растровых данных при построении мозаики | Перезаписывает новый набор данных каждый раз при создании мозаики |
Обновление | Возможно постепенное обновление | Возможно постепенное обновление | недоступно |
Количество пользователей | Один пользователь и малые рабочие группы; несколько читателей и один записывающий | Многопользовательская; много пользователей и много записывающих | Один пользователь и малые рабочие группы; несколько читателей и один записывающий |
Файловые базы геоданных
Модель хранения файловых баз геоданных – это гибрид многопользовательской и персональной баз геоданных, где управляемые растровые данные соответствуют модели хранения многопользовательской базы геоданных, а неуправляемые растровые данные соответствуют модели хранения персональной базы геоданных. Файловые базы геоданных похожи на персональные тем, что они позволяют только однопользовательское редактирование и не поддерживают версионность. Они находятся в каталоге файловой системы; поэтому, для доступа к ним пароль не требуется. Файловые и многопользовательские базы геоданных имеют общую базовую схему хранения.
Файловая база геоданных имеет несколько преимуществ перед персональной базой геоданных. Как и в многопользовательской базе геоданных, в файловой базе геоданных, данные хранятся по блокам. Это обеспечивает более эффективный доступ к данным, особенно при работе с мозаикой. В файловой базе геоданных в мозаике обновляются только накладывающиеся блоки. Если накладывающегося блока не существует, вставляется новый блок. Частично заполненные блоки дополняются пикселами NoData. Кроме того, модель хранения файловой базы геоданных (и многопользовательской) использует частичные обновления пирамидных слоев, что позволяет сэкономить время. Кроме того, структура данных файловой и многопользовательской баз геоданных одинакова, поэтому для обмена данными между ними применяется технология быстрого копирования – copy and paste (копирование и вставка).
Файловая база геоданных также допускает ключевые слова конфигурации, но в отличие от многопользовательской базы геоданных, здесь ключевые слова конфигурации имеют стандартное предопределенное значение. Более подробную информацию о ключевых словах конфигурации см. в разделе Ключевые слова конфигурации для файловых баз геоданных.
Многопользовательские базы геоданных
Хранение растровых данных в многопользовательской базе геоданных предполагает корпоративный уровень функциональности, в том числе безопасность, многопользовательский доступ и совместное использование данных. Существует три основных причины для хранения растровых данных в многопользовательской базе геоданных:
- Они не будут обновляться очень регулярно (примерно каждые 2-3 года или реже).
- Они могут быть доступны только для чтения (например, использование их в качестве данных базовой карты под векторными данными).
- Сотни пользователей (или больше того) будут иметь доступ к ним как к базовой карте.
Благодаря своей структуре хранения, можно сказать, что растровые данные являются управляемыми, или полностью контролируемыми, базой геоданных. Корпоративные базы геоданных всегда хранят всю информацию о растре (пикселы, пространственная привязка, любые связанные таблицы и метаданные) для наборов растровых данных и атрибуты растров внутри ассоциированной реляционной базы данных. Это значит, что все данные входного растра загружаются в базу данных и, можно сказать, проходят конвертацию.
Корпоративная база геоданных делит каналы на блоки пикселов одинакового размера, который задается пользователем (по умолчанию 128 на 128). Разделение каналов на блоки обеспечивает эффективное хранение и чтение растровых данных. Информация о пирамидных слоях хранится в соответствии с разрешением. Высота пирамиды определяется количеством слоев, которое задается пользователем или приложением.
В таблице растровых блоков (самая большая таблица, где находится информация о пикселах и пирамидных слоях) хранится одна строка на блок (лист) на канал в наборе растровых данных и на уровень пирамидного слоя. Например, трехканальный растр, разделенный на 12 блоков без пирамидных слоёв будет иметь 36 строк в таблице BLK – 12 отдельных блоков для каждого канала. Столбцы, содержащие данные пикселов для блоков, являются большими бинарными объектами (BLOB).
Многопользовательские базы геоданных для Oracle, PostgreSQL и SQL Server
Начиная с версии ArcGIS Desktop 10.5, наборы данных мозаики, созданные в базах геоданных Oracle, PostgreSQL или SQL Server, будут создаваться с новым ключевым словом RASTER_STORAGE – RASTERBLOB. Ключевое слово RASTERBLOB реализовывает эффективный перенос элементов каталога набора данных мозаики в СУБД.
Наборы данных мозаики, созданные при помощи RASTERBLOB, не будут открываться в предыдущих версиях программного обеспечения. Если вы хотите создать наборы данных мозаики, обратно совместимые с ранними версиями, вам надо изменить ключевое слово для RASTER_STORAGE, на одно из следующих совместимых:
- BINARY для PostgreSQL и SQL Server
- BLOB для Oracle.
Персональные базы геоданных
В персональной базе геоданных набор растровых данных конвертируется в файл IMAGINE (.img) и хранится внутри папки изображений базы геоданных (IDB). Папка IDB расположена в директории рядом с персональной базой геоданных. Если вы удаляете набор растровых данных, растр из папки IDB удаляется навсегда.
При хранении набора данных мозаики в персональной базе геоданных набор данных мозаики имеет вид таблицы, в которой указаны входящие в него наборы растровых данных. В наборе данных мозаики наборы растровых данных хранятся как неуправляемые; поэтому набор данных мозаики содержит путь к местоположению, где хранятся наборы растровых данных. Каждая строка в каталоге растров указывает на отдельный набор растровых данных. Операции с набором данных мозаики не затрагивают файлы растров; поэтому, если вы удаляете наборы растровых данных из набора данных мозаики или каталога, они будут удалены только из набора данных мозаики, а не из исходных данных с диска.
При сохранении набора растровых данных в виде атрибута, растр записывается как файл IMG в местоположении, определяемом системой, или просто в виде файла на диске; это зависит от того, управляемый он или нет.
Сжатие, пирамидные слои и размер листа
При сохранении и обработке растровых данных, необходимо также учитывать другие характеристики, к которым относятся сжатие, наборы данных с пониженным разрешением (пирамидные слои и обзорные изображения) и размер листов.
Сжатие
Существуют два типа сжатия: без потерь и с потерями. Сжатие без потерь информации означает, что значения пикселов в наборе растровых данных не меняются, тогда как при сжатии с потерями происходит изменение их значений. Степень сжатия зависит от типа пиксельных данных; более однородные изображения имеют более высокую степень сжатия. Данные, которые будут использоваться для анализа, а не только для отображения, следует хранить со сжатием без потерь. Основное преимущество сжатия данных – уменьшение их объема; количество места, которое вы можете сэкономить, зависит от метода сжатия и самих данных, их избыточности. Дополнительное преимущество – увеличение производительности, т.к. уменьшается объем передаваемых данных. Например, при передаче растровых данных по сети с низкой пропускной способностью, использование сжатия может увеличить быстродействие, поскольку количество передаваемых данных значительно уменьшается, что позволяет хранить большие, бесшовные наборы растровых данных и быстро доставлять их на клиентский компьютер для отображения.
Более подробно о сжатии растров
Наборы данных мозаики также используют сжатие. Оно не применяется для хранения наборов растровых данных, оно применяется к изображениям, которые генерируются при отображении данных. Это также помогает при доступе к данным через интернет за счет уменьшения размера передаваемого файла.
Наборы данных с пониженным разрешением
Наборы данных с пониженным разрешением являются растрами, полученными из исходных данных, наборов растровых данных или мозаики. Они генерируются для повышения скорости отображения и производительности. Когда они создаются для наборов растровых данных, они называются пирамидными слоями, если они создаются для наборов данных мозаики – обзорными изображениями.
Сравнение пирамидных слоев и обзорных изображений
| Пирамидные слои | Обзорные изображения | |
|---|---|---|
Создано для: | Наборы растровых данных | Наборы данных мозаики |
Формат | Записываются файлы .ovr – с некоторыми исключениями. Считывает пирамидные слои, хранящиеся во вне как файлы .ovr или .rrd или внутри. | Записываются файлы .tif. |
Хранение | В одном файле, который обычно находится рядом с исходным набором растровых данных, с использованием его же имени. | По умолчанию, в папке рядом с базой геоданных с расширением *.overviews или внутри для многопользовательских баз геоданных. Место хранения можно настраивать. |
Объем хранения | От 2 до 10% (по сравнению с оригинальными наборами растровых данных) | |
Коэффициент снижения разрешения | 2 | 3 |
Экстент |
|
|
Опции при построении |
|
|
Более подробно о пирамидных слоях растра
Более подробно об обзорных изображениях набора данных мозаики
Размер листа
В многопользовательской базе геоданных растровые данные разделяются на листы, индексируются, сжимаются и для них строятся пирамидные слои. В результате, при каждом запросе к растровым данным, передаются только те листы, которые соответствуют запрашиваемому экстенту и разрешению, а не весь набор растровых данных. Размер листа управляет количеством пикселов, которое вы можете сохранить в блоке памяти базы данных. Размер листа указывается как количество пикселов по осям x и y. По умолчанию, размер листа составляет 128 на 128 пикселов, и, в большинстве случае, изменения размера листа следует избегать. В многопользовательской базе геоданных листы растровых данных сжимаются перед помещением их в базу данных.