Данная инструкция рассчитана в основном на сотрудников организаций, в обязанности которых входит управление данными высот и предоставление доступа к ним различным группам пользователей. Здесь предполагается, что для управления данными используется ArcGIS Desktop, а для распределения их в качестве сервисов изображений – ArcGIS Server. Тем не менее, информация в этом разделе актуальна и в тех случаях, когда управление данными и их распределение происходит только в ArcGIS Desktop.
Этот рабочий процесс предназначен для работы с растровыми (на основе ячеек) данными высот, а также с данными 3D-точек, хранящимися как файлы LAS (кроме того, в данном рабочем процессе также можно использовать форматы набора данных LAS и Terrain).
Ниже приведены основные этапы работы с данными высот. Каждый из этих этапов будет подробно рассмотрен далее.
- Хранение данных (размер файлов, требования к ним, местоположение файлов).
- Подготовка данных (может требоваться предварительная обработка).
- Создание набора данных мозаики для каждой коллекции (источник данных).
- Создание набора данных мозаики из каждой коллекции (управление данными).
- Создание различных наборов данных мозаики для визуализации, анализа, публикации данных и доступа пользователей (использование данных).
Хранение данных
Хранение данных не рассматривается в этом разделе, но оно требует некоторого планирования в зависимости от предъявляемых требований. С методикой проектирования успешных ГИС можно ознакомиться в статье Esri System Design Strategies
.
Особое внимание следует обратить на организацию данных. Оптимально будет организовать данные по папкам, сгруппированным по соответствию исходным продуктам. К примеру, данные SRTM следует расположить в одной папке, а данные NED с разрешением 1/3 угл.сек. – в другой. Вы увидите в шагах Части 3, как это помогает при загрузке данных, для обеспечения качества/контроля качества (QA/QC) и при долгосрочном обслуживании.
Использование данных
В данном разделе обращается особое внимание на три различных режима использования данных высот. Большинству конечных пользователей достаточна визуализация топографии, тогда как небольшой части пользователей необходимы результаты топографического анализа. Наименьшему проценту пользователей, таким как инженеры, требуется доступ к фактическим значениям высоты для их анализа.
Следует различать эти режимы использования и предоставлять данные, необходимые каждому из этих типов пользователей, поскольку это может оказать сильное влияние на эффективность и быстроту реакции системы. Эти три модели использования будут в дальнейшем называться "визуальный просмотр", "результаты анализа", и "реальные данные".
Модель использования 1 – использование для визуального просмотра
Пользователям требуется визуальное представление данных высот. Таким образом, менеджер данных должен создать соответствующие продукты визуализации на сервере и обслуживать эти виды для пользователей. Это относится к крупнейшей, но не менее технически требовательной группе пользователей (во многих случаях к широкой публике), которым требуется лёгкий доступ к любому количеству относительно ясных продуктов на основе данных высот. Примеры использования:
- Изображения с простой или цветной отмывкой рельефа – Для включения в топографическую или базовую карту
- Изображения уклонов местности – Для городского планирования, предупреждения оползней и т.д.
- Изображения экспозиции склонов – Для сельского хозяйства, выявления ареалов дикой природы и работы с ними, климатического моделирования и т.д.
Естественно, те пользователи, которые используют приложения ArcGIS, смогут сами получить такие продукты, если им предоставить доступ к реальным данным высот.
Модель использования 2 – использование результатов анализа
Пользователи определяют параметры анализа и указывают интересующую их территорию, после этого сервер выполняет анализ данных высот и возвращает результаты. Данной группе пользователей требуется доступ к различным продуктам, которые могут быть получены в результате анализа на стороне сервера. Результаты анализа обычно имеют вид карт или отдельных пространственных объектов, которые предоставляются пользователю без передачи самих исходных данных. Примеры использования:
- Расчет областей и линий видимости – Для оценки видимости с определенного места, для размещения вышек сотовой связи и другого коротковолнового оборудования, для планирования сплошных вырубок леса
- Применение в управлении чрезвычайными ситуациями – Для планирования эвакуации, защиты от наводнений, принятия решений в режиме реального времени (например, в случае наводнения)
- Промышленное планирование – Для расчета профилей ветра и видимости при размещении ветряных электростанций или проектировании гидроэлектрической дамбы
- Вычисление горизонталей рельефа – Для отображения на карте
- Вычисление профилей вдоль прямых линий или сегментов линий – Для прокладки трубопроводов и расчета давления, проектирования дорог или расчета путей трелевки леса и ее стоимости
В этих областях применения, как правило, нет необходимости в реальных значениях высот. Если передавать только продукты анализа, требования к ширине полосы пропускания снижаются, так как размер данных становится меньше. Например, необработанные значения высот имеют глубину 32 бита, тогда как результаты расчета областей видимости – 1 или 8 бит.
Модель использования 3 – использование значений данных
Пользователям требуется доступ непосредственно к значениям высоты. Это касается пользователей, которым исходные данные высот нужны в цифровом формате для поддержки числовых вычислений (предположительно, на стороне клиентского приложения). Примеры использования:
- В качестве входных данных для вторичного процесса – для ортотрансформирования изображений
- В качестве входных данных в собственных моделях или процессах – для построения горизонталей, для анализа водного потока при гидрографическом проектировании систем орошения или для моделирования затоплений
Из всех трех моделей использования, данная модель является самой требовательной к времени и ресурсам, поскольку она часто требует доступа и передачи больших объемов данных.
Требования
Обеспечить доступ к требуемым данным в соответствии с рассмотренными выше моделями использования. Данный список не претендует на полноту, но иллюстрирует некоторые существенные требования к данным высот. Необходимо определить, приемлемы ли данные требования для вашей организации, и принять соответствующие решения относительно надлежащего осуществления.
- Распространение изображений, результатов анализа или данных
- Обеспечение доступа: внутреннего, через интранет или Интернет
- Предоставление одной или нескольких моделей высот или представлений высот
- Обеспечение доступа для 1, 10, 100 или 1 миллиона пользователей
- Обеспечение доступа к исходным данным
- Управление несколькими источниками данных в одном наборе
- Ограниченный доступ к источникам данных и к управлению данными
- Необходимость в простоте обновления или замещения содержимого
Загрузка и экспорт данных
Администраторам данных изображений и конечным пользователям, важно понимать, что при любой пересчет данных высот изменяет данные. К примеру, если набор данных просматривается в разрешении, отличном от его полного разрешения, в другой проекции или при другом выравнивании пикселов, то произойдет пересчет данных. При пересчете пикселов можно получить нерационально большое их количество, что случается не так уж и редко, например, такое произойдет в случае приближения областей видимости, рассчитанных на основе набора данных разрешением 5 м, в чересчур крупный масштаб – 1:1 000.
В некоторых приложениях пользователям требуется доступ к числовым значениям в определенной области интереса (использование значений данных). Для предоставления клиенту численных значений данных применяются два метода: экспорт и загрузка.
При экспорте происходит извлечение данных с определенным экстентом и пространственной привязкой. Экспорт может производить необработанные значения данных, данные с пересчетом пикселов или обработанные данные (изображение уклонов или отмывки рельефа). При загрузке данных происходит передача их исходных значений (в полном разрешении и без пересчета), как правило, на определенную территорию. Очевидно, что при загрузке данных может происходить передача очень большого объема данных от сервера к клиенту (особенно в тех случаях, когда данные покрывают обширную территорию или содержат много наборов данных). Поэтому следует реализовать соответствующие ограничители, способствующие подготовке пользователя и системы к этому процессу – в частности, задав значение предельного объема данных для передачи или разработав веб-приложение с предупреждением о загрузке.
Источники данных
Ниже приведен список примеров данных, которые будут использоваться в этом рабочем процессе. Эти данные имеют различную глубину пикселов, обычно 16 bit или float, signed или unsigned.
В инструкции предполагается, что используются собственные данные организации, хранящиеся на локальном диске.
| Данные | Описание |
|---|---|
GTOPO | GTOPO является глобальным набором данных высот с разрешением 30 угловых секунд (приблизительно 1 км), который доступен для загрузки на Global 30 Arc-Second Elevation (GTOPO30). |
SRTM | SRTM (The Shuttle Radar Topography Mission – Программа топографической радиолокационной съемки "Шаттл") – данные рельефа практически на всю территорию Земли, полученные с космического аппарата "Спейс шаттл" для построения наиболее полной цифровой базы данных рельефа Земли высокого разрешения. Данные доступны в Shuttle Radar Topography Mission. |
NED 10, NED 30 | NED (National Elevation Dataset – Национальный набор данных рельефа США) – данные, созданные Геологической службой США (USGS) на территорию США. Данные NED доступны для использования в США и имеют разрешения 1 угл. сек. (около 30 м, обозначается NED 30) и 1/3 угл. сек. (около 10 м – NED 10). См. http://ned.usgs.gov/. |
Лидар | Данные лазерного сканирования могут быть получены из различных источников. В данном случае источником является Информационная система регионального землепользования штата Орегон (Oregon Metro Regional Land Information System) (RLIS) |
Организация управления данными и конечные сервисы
Одной из ключевых целей является обеспечить, чтобы все данные, независимо от их экстента, управлялись и распределялись как единое целое. Альтернативой этому принципу является управление данными на различную территорию в различных наборах (такая ситуация часто возникает со временем, по мере роста организации и выполнения отдельных проектов). ArcGIS предлагает эффективное управление коллекциями данных абсолютно любого размера, что уменьшает затраты на их создание и обслуживание, которые возникают по причине дублирования данных и излишнего административного контроля.
Организация набора данных мозаики
Набор данных мозаики является оптимальной структурой данных для контроля, отображения и публикации коллекций данных высот, поскольку с его помощью осуществляется управление файлами различных растровых форматов и разрешений, при этом файлы располагаются на диске в своем исходном формате. Он также предоставляет множество опций отображения и обработки данных высот, например построение динамических мозаик, когда разрешение изображений подбирается соответственно текущему масштабу. Также предоставляются функции обработки, при помощи которых возможно создание различных продуктов без копирования исходных данных.
Функции, свойственные данным высот: это Отмывка, Цветная отмывка, Экспозиция и Уклон.
Предпочтительно разделение наборов данных мозаики на два типа: те, что используются чаще всего для управления данными, и те, что обеспечивают представление данных для общего доступа (например, отмывку рельефа). Такое разделение удобно при организации данных. Один набор данных мозаики может использоваться для управления изображениями, другой – для размещения содержимого в общем доступе или для его распространения (публикации).
Ниже приведен обзор различных типов наборов данных мозаики и их возможного применения:
- Исходный – используется для управления изображениями. Как правило, содержит коллекцию одинаковых изображений. Может применяться любое количество таких исходных наборов для управления разными коллекциями данных, например SRTM и NED. Их можно опубликовать напрямую или (что более распространено) использовать в качестве источника для других наборов данных мозаики.
- Главный (или производный) – применяется для объединения данных из различных источников в один набор данных мозаики. Источником для главного набора данных мозаики обычно является один или несколько исходных наборов данных мозаики, но в него также могут входить и другие изображения или сервисы.
- Справочный – особый тип набора данных мозаики, в основном используемый для размещения изображений в общем доступе или для их публикации. Он создается на основе одного другого набора данных мозаики и не разрешает пользователям редактировать элементы в его таблице и, таким образом, предохраняет входной набор данных от изменения. Как правило, он используется для предоставления доступа к различным результатам обработки исходного или главного набора данных мозаики.
Исходный и главный (производный) наборы данных мозаики различаются только названиями – это различие способствует пониманию организационной структуры всех наборов данных мозаики, тогда как справочный набор данных мозаики является существенно отличной формой набора данных.
Данные высот хранятся в папках в порядке, определенном либо поставщиком данных, либо самим пользователем, в то время как их управление и распределение осуществляется в одном или нескольких наборах данных мозаики и в сервисах изображений. Данные, входящие в один исходный набор данных мозаики, обычно характеризуются одинаковым количеством каналов и одной битовой глубиной. В данном случае это определяется битовой глубиной и продуктом; например, данные лазерного сканирования могут быть организованы в один набор данных мозаики, а данные SRTM – в другой. Это помогает поддерживать данные в упорядоченном виде и позволяет разделять данные с различными единицами измерения по вертикали; например, данные лидара измеряются в футах, а SRTM – в метрах. Также такая структура позволяет настраивать контуры изображений, если это необходимо, или задавать области типа NoData, в соответствии с уникальными свойствами каждого продукта.
Исходные наборы данных мозаики объединяются в главный набор данных мозаики. К некоторым источникам данных могут быть добавлены отдельные функции, для того чтобы все данные представляли одинаковую информацию, в частности, преобразование футов в метры или эллипсоидальных высот в ортометрические. (Для большинства требований рекомендуется применять в качестве главного сервиса, являющегося основой для всех прочих, набор данных мозаики с ортометрическими высотами.)
Конечные продукты и сервисы
На основе главного набора данных мозаики создаются различные справочные наборы данных мозаики, при этом рекомендуется предоставление следующих сервисов данных высот:
- Ортометрическая высота поверхности Земли
- Ортометрическая высота местности – Если имеется цифровая модель местности (ЦММ, на которой отражены здания, мосты, растительность и пр.)
- Высота поверхности относительно эллипсоида
- Для визуализации:
- Отмывка рельефа
- Цветная отмывка
- Уклон
- Экспозиция (для визуализации и анализа)
Если требуется несколько различных геоидов для коррекции, администратор может опубликовать эти геоиды в качестве сервисов изображений, предоставив пользователям соответствующие опции.
Выбор представления океана
Во всех случаях необходимо определиться со способом представления океана. Выбор подходящего способа зависит от приложений, в которых будут использоваться данные. Вы можете упорядочить слои следующим образом:
- Океан имеет нулевое значение высоты
- Океан является типом NoData
- Океаны представляются батиметрическими данными
Для большинства приложений допустимо представление любого уровня моря как 0. Если море определено как NoData, то ортотрансформирование в любых областях с NoData выполнить не удастся. Для того, чтобы заполнить эти данные нулевыми значениями существует лёгкий способ, основанный на добавлении в набор данных мозаики глобального пустого изображения очень низкого разрешения со значениями пикселов 0. Тогда на месте значений типа NoData в данных высот, таких как SRTM, отображается это пустое изображение.
Если в набор данных включены данные батиметрии, то возможно наличие отрицательных значений рельефа для океанов, что позволяет визуализировать дно океана. При этом возможна гибкость в отображении данных различными сервисами: в одних клиентских приложениях вода будет показана синим цветом в тех местах, где высота ниже 0, а в других клиентских приложениях на эту же область будет показан подводный рельеф с цветной отмывкой.
Обзорные изображения
На базовом уровне, обзорные изображения набора данных мозаики сходны с пирамидными слоями набора растровых данных. Это изображения меньшего разрешения создаются для увеличения скорости отображения и уменьшения использования ЦП, т.к. для отображения мозаичного изображения используется меньше растров, однако они сильно отличаются, поскольку при их создании имеется возможность управления многими их параметрами. Вы можете создать их, чтобы покрыть только определенную область, или только в определенных разрешениях. Они создаются, чтобы вы могли просматривать все растры, содержащиеся во всем наборе данных мозаики, не только для каждого растра. Обзорные изображения обычно начинаются там, где заканчиваются пирамидные слои растра, но вы можете задать базовый размер символов, при котором обзорные изображения будут создаваться, если вы предпочитаете не использовать все пирамидные слои растра.
Следует выбрать наилучший подход к работе с обзорными изображениями. Обзорные изображения могут создаваться из данных в составе проекта, но, если доступны подходящие наборы данных низкого разрешения из альтернативных источников (GTOPO, ETOPO, GMTED2010...), рекомендуется использовать именно их. Далее в данном разделе будет рассматриваться построение сервиса изображений на обширную территорию, состоящего из нескольких наборов данных различного пространственного разрешения. При таком подходе, как правило, построение обзорных изображений не требуется.
Метаданные
При работе с данными высот необходимо принимать в рассмотрение множество свойств этих данных. Следует определиться с тем, какие компоненты наиболее важны, а также какие поля метаданных будут доступны пользователям. Ниже приведен список метаданных, которые рекомендуется включать в сервисы, как для контроля качества, так и для конфигурации системы.
Следует верифицировать метаданные включая следующее:
- Источник данных или их владелец.
- Авторские права.
- Горизонтальная система координат (проекция, датум и единицы измерения).
- Датум вертикальных координат (конкретная модель, также следует указать тип высот – эллипсоидальные или ортометрические) и единицы их измерения (футы или метры).
- Горизонтальная точность (чаще всего представлена показателями круговой ошибки CE90 или CE95, также может быть представлена среднеквадратической ошибкой (RMSE)).
- Вертикальная точность (зачастую это показатель линейной ошибки LE90).
- Разрешение (примерное расстояние, сохраненное в файле данных; отличается от горизонтальной точности данных).
- Тип цифровой модели высот (ЦМР или ЦММ).
- Каким образом определены значения NoData в данном наборе данных:
- Существуют ли области со значениями NoData?
- Если да, то представлены ли они единственным значением?
- Ограничена ли область значений NoData краями набора данных, или они являют собой дырку в массиве реальных данных.
- Некоторые продукты имеют связанные классы пространственных объектов, определяющие пробелы в данных. Следует проследить, заполнены ли они каким-либо значением, и является ли оно значением NoData.
- Получены ли данные путем пересчета пикселов из другого источника?
- Дата получения для необработанных данных.
- Контроль качества – дата завершения контроля; лицо, ответственное за него; применявшиеся методы и/или стандарты.
- Относятся ли данные к данным общего или ограниченного пользования (данные могут быть частными или свободными для открытой публикации)?
Для уникальных полей метаданных может потребоваться вручную добавить эти значения в таблицу атрибутов набора данных мозаики, например, горизонтальную и вертикальную точности. Таким образом, пользователи легко могут запрашивать эту информацию из набора данных.
Оптимизация форматов данных
Оптимизация форматов необходима только в тех случаях, когда данные имеют неэффективный или неподдерживаемый формат. Ниже приведены рекомендации по поводу предварительной обработки данных высот при построении одиночной коллекции данных и ее публикации в виде сервиса.
- Конвертация данных точек или данных TIN в растровый формат. Для различных источников данных имеются отдельные инструменты геообработки. См. разделы Группа инструментов В растр или Группе инструментов Конвертация 3D Analyst.
- Файлы LAS, наборы данных LAS и наборы данных Terain не требуют конвертации в набор растровых данных. Они непосредственно поддерживаются набором данных мозаики.
- Оптимальный формат для данных высот – это 32-разрядные значения с плавающей точкой, со сжатием LZW в формате TIFF с разбиением на листы. Сжатие LZW является быстрым сжатием без потерь, при котором данные в файле автоматически разбиваются на листы, а значения NoData не занимают места в растровом формате.
- Как правило, рекомендуется проводить конвертацию данных из исходного формата файла только в том случае, когда исходный формат является недостаточно эффективным и его применение снижает быстродействие сервера. В частности, конвертация данных перед добавлением их в набор данных мозаики необходима только, если выполняется хотя бы одно из следующих условий:
- Если данные высот хранятся в неэффективном формате файла, например в ASCII XYZ (с низким быстродействием при чтении).
- Если данные высот хранятся в больших файлах (с числом строк или столбцов > 5000, данные не разбиты на листы и в них отсутствуют пирамидные слои, то быстродействие сервера является важным.
В некоторых случаях для принятия решения о конвертации данных, может потребоваться выполнить тест производительности. Пример:
- Если исходные файлы имеют формат сжатия JPEG 2000, обратите внимание, что для их декомпрессии потребуется значительное время, что может оказать отрицательное влияние на общее быстродействие. Для достижения наилучшего быстродействия рекомендуется конвертировать эти данные в формат TIFF с разбиением на листы.
- Если исходные данные имеют формат Esri Grid, также рекомендуется их конвертация, если важна масштабируемость данных в многопроцессорной среде.
Конвертация файлов
Если файлы конвертируются из одного формата в другой без изменения битовой глубины или других свойств набора данных, то используйте инструмент Растр в другой формат (несколько). Если необходимо внести изменения в некоторые свойства, воспользуйтесь инструментом Копировать растр. Для применения этого инструмента к нескольким наборам данных щелкните его правой кнопкой мыши и выберите Пакетно или выполните написанный скрипт. В любом случае потребуется задать параметры среды. Это можно сделать на уровне приложения, если параметры будут применяться к нескольким инструментам, либо на уровне конкретного инструмента.
- Откройте диалоговое окно Параметры среды.
- Щелкните пункт главного меню Геообработка > Параметры среды.
- В окне инструмента нажмите кнопку Параметры среды.
- Разверните раздел Параметры хранения растров.
- Включите опцию Построить пирамидные слои.
- В ниспадающем списке Метод пересчета пирамидных слоев выберите BILINEAR.
- В ниспадающем списке Тип сжатия пирамидных слоев выберите LZW.
- Включите опцию Вычислить статистику.
- Введите значение 1000 для коэффициентов пропуска по X и Y.
Это значение получено делением числа столбцов на 1 000.
- В ниспадающем списке Сжатие выберите LZ77.
- Убедитесь, что и ширина, и высота Размера листа равны 128.
Проекция
Если для какого-либо набора данных не указана проекция, воспользуйтесь инструментом Задать проекцию.
Построение пирамидных слоев
Если данные не содержат пирамидных слоев, при этом размер листов большой (число строк или столбцов превышает 5 000), рекомендуется создать пирамидные слои. Для того чтобы определить, имеет ли файл пирамидные слои, щелкните его правой кнопкой в окне Каталог или в таблице содержания, выберите Свойства, затем посмотрите наличие пирамидных слоев в разделе Информация о растре.
При построении пирамидных слоев для нескольких наборов данных единовременно, воспользуйтесь инструментом Построить пирамидные слои и статистику. Примените те же параметры среды, что приведены выше.
Для пирамидных слоев необходимо дополнительное место на диске, они записываются в отдельные файлы с расширением .ovr.
FWTools
Загрузите FWTools с сайта http://fwtools.maptools.org и выполните следующие команды:
gdal_translate.exe -of Gtiff -co "TILED=YES" -co "COMPRESS=LZW" Input.xxx Output.tif
gdaladdo.exe -r average -ro --config TILED YES --config PHOTOMETRIC_OVERVIEW LZW output.tif 2 4 8 16
Для 16-битных изображений вставьте параметр -co NBITS=12 перед Input.xxx.
Если размер создаваемых файлов превышает 4 Гб, вставьте параметр BIGTIFF=YES или BIGTIFF=IF_NEEDED перед input.xxx.
Вычисление статистики
Статистика требуется для выполнения над набором растровых данных или набором данных мозаики некоторых операций геообработки или определенных задач в приложениях ArcGIS Desktop, например, для растяжки контрастности или классификации данных. В данном руководстве построение статистики для источников данных не требуется, так как ни один из них не будет отображаться или использоваться по отдельности, кроме того, ни одна функция и ни один создаваемый продукт не полагаются на статистику отдельных наборов данных. Статистика будет построена для наборов данных мозаики для их отображения.
Подробнее о статистике см. раздел Статистика набора растровых данных.