BI Consult Desktop Logo BI Consult Mobile Logo
  • Russian BI Исследование российских bi
  • Перейти на Fine BI
  • Контакты
  • +7 812 334-08-01
    +7 499 608-13-06
  • Отправить сообщение
  • Главная
  • Продукты Эксперт-BI
    • Дистрибуция
    • Розничная торговля
    • Производство
    • Операторы связи
    • Страхование
    • Банки
    • Лизинг
    • Логистика
    • Нефтегазовый сектор
    • Медицина
    • Сеть ресторанов
    • E-Commerce
    • Сельское хозяйство
    • Энергетика
    • FMCG
    • Девелоперы
    • Маркетплейсы
    • Пищевая промышленность
    • Фармацевтика
    • Построение Data Platform
    • Цифровая трансформация
    • Управление по KPI
    • Финансы
    • Продажи
    • Склад
    • HR
    • Маркетинг
    • Внутренний аудит
    • Категорийный менеджмент
    • S&OP и FP&A
    • Геоаналитика
    • Цепочки поставок (SCM)
    • AutoML
    • Process Mining
    • IBP
    • ИТ (CIO)
    • Закупки
  • Платформы
    • Системы бизнес-анализа (BI)
    • Интегрированное бизнес-планирование (IBP)
    • Хранилища данных (DWH / Lakehouse)
    • Каталоги данных (Data Catalog)
    • Системы ETL и ELT
    • AI / Исскуственный интеллект
    • Шина данных (ESB)
    • Система управления мастер-данными (MDM)
    • Семантический слой
  • Услуги
    • Переход на отечественные BI и DWH системы
    • Консалтинг
    • Пилотный проект
    • Обучение и сертификация
    • Бесплатное обучение
    • Поддержка
    • Технические задания
    • Сбор требований для проекта внедрения BI-системы
    • CI/CD для DWH
    • Аудит BI приложений и DWH
    • Выделенная команда
    • Настойка и поддержка баз данных
    • Разработка BI Стратегии
    • Styleguide для BI-системы
    • Как выбрать BI-систему
  • Курсы
    • Учебный курс Информационная грамотность (Data Literacy)
    • Учебный курс для бизнес-аналитиков
    • Учебный курс для системных аналитиков
    • Учебный курс по Data Governance
    • Учебный курс Как стать CDO
    • Учебный курс Современная архитектура хранилища данных
    • Учебный курс по Fine BI
    • Учебный курс по FineReport
    • Учебный курс по DWH
    • Учебный курс по Data Science (ML, AI)
    • Учебный курс по PostgreSQL
    • Учебный курс по Greenplum
    • Учебный курс по Apache Airflow и NiFi
    • Учебный курс по Open-source BI
    • Учебный курс по ClickHouse
    • Учебный курс по DataLens
    • Учебный курс по Loginom
    • Учебный курс по Modus BI и ETL
    • Учебный курс по Visiology
    • Учебный курс по dbt (Data Build Tool)
  • Компания
    • Руководство
    • Новости
    • Клиенты
    • Карьера
    • Скачать
    • Контакты

BI

  • FineBI
  • FineReport
  • FineDataLink
  • FineChatBI (FineAI)
  • Коннекторы данных из 1С в BI
  • Airflow / Nifi
  • Visiology
  • PIX BI
  • Modus BI
  • Yandex.DataLens
  • Open-source BI: Superset/Metabase
  • Luxms BI
  • AW BI + Alpha BI
  • FlyBI + Форсайт. Аналитическая Платформа
  • Loginom
  • Триафлай
  • AI / Исскуственный интеллект
  • Optimacros
  • Навигатор BI
  • Семантический слой

СУБД

  • Arenadata
  • ClickHouse
  • Greenplum
  • Postgres Professional
  • TData

Другое

  • Построение Data Platform
    • Аналитическое хранилище данных
    • Data Lake и Data Engineering
    • Подробнее про Data Lake
    • Внедрение Lakehouse
      • Apache Doris
      • StarRocks
      • Trino
    • Миграция витрин из пропиетарных DWH на новый стек
    • Учебный курс "Современная архитектура хранилища данных"
Главная » Курсы по системам бизнес-анализа и методологии » Учебный курс по Greenplum » Загрузка геопространственных данных с помощью PostGIS

Загрузка геопространственных данных с помощью PostGIS

От шейпфайлов до PostgreSQL и Greenplum

 

Что такое PostGIS

PostGIS – это геопространственное расширение для БД  PostgreSQL , включая Greenplum, MPP PostgreSQL, предназначенную для решения аналитических задач.

PostGIS позволяет эффективно работать с  географическими объектами, векторными и растровыми геопространственными данными а также дает возможность выполнять запросы о местоположении чего-либо с помощью единого набора SQL-функций.

Установите расширение PostGIS для Вашей базы данных PostgreSQL, настройте поддержку растров (опционально), включите пространственную поддержку для существующих баз данных или создайте новую - вуаля, Вы готовы к работе!

 

 

Загрузка геопространственных данных с помощью SQL

Если Вам повезло, и Ваши пространственные данные уже доступны в текстовом представлении, то использование форматированного SQL может быть самым простым способом ввести данные в PostGIS:

CREATE TABLE geotest1 (
  gid INT4,    geom GEOMETRY(POINT, 4326),    name VARCHAR(25));INSERT INTO geotest1 (gid, name, geom) VALUES (1, 'Olympia', ST_GeometryFromText('POINT(-122.90 46.97)', 4326)),  VALUES (2, 'Renton', ST_GeometryFromText('POINT(-122.22 47.50)', 4326));

 

Если Ваши пространственные данные больше, чем пара точек данных, их также можно загрузить, передав большой текстовый файл, полный одинаковых операторов SQL INSERT, в psql или Ваш любимый SQL-клиент. Скорее всего, Ваш набор пространственных данных будет намного больше, чем этот, и тогда есть шанс, что он будет представлен в виде одного или нескольких шейп-файлов.

 

Шейп-файлы

Шейп-файл - это цифровой векторный формат хранения, предназначенный для пространственного описания векторных объектов, таких как точки, линии и полигоны, а также описательной информации, связанной с этим вектором, такой как цвет, имя или температура.

 

Под «шейп-файлом» обычно понимается коллекция файлов с расширениями .shp, .shx, .dbf, а также с другими расширениями, имеющими общий префикс. На самом деле шейп-файл относится именно к файлам с расширением .shp. Однако сам по себе файл .shp неполноценен без необходимых вспомогательных файлов.

Обязательный файлы:

.shp—шейп-формат; геометрия объекта

.shx— индекс шейп-формата; позиционный индекс геометрии объекта

.dbf—формат атрибута; столбчатые атрибуты для каждой фигуры, в формате dBase III

 

Опционные файлы:

.prj— формат проекции; система координат и информация о проекции, обычный текстовый файл, описывающий проекцию с использованием известного текстового формата.

 

Загрузка геопространственных данных с помощью утилиты shp2pgsql

Утилита загрузки данных shp2pgsql преобразует шейп-файлы ESRI в формат SQL, пригодный для вставки в базу данных PostGIS/PostgreSQL в формате геометрии или географии.

Загрузчик имеет несколько режимов работы, отличающихся флагами и опциями командной строки:

shp2pgsql [OPTI​ONS] shapefile [schema.]table

 

Наиболее полезными опциями, на мой взгляд, являются следующие:

-d   Удаляйте таблицу, затем создавайте ее заново и заполняйте текущими данными шейп-файла.

-D    Используйте формат PostgreSQL «dump» для выходных данных. Используйте именно этот формат для очень больших наборов данных, так как по сравнению с форматом SQL «insert», используемым по умолчанию, он загружается намного быстрее.

-s [<FROM_SRID>:]<SRID] Используйте его для создания и заполнения таблиц геометрии с указанным SRID. Идентификатор пространственной привязки (SRID) - это уникальный идентификатор, связанный с определенной системой координат, допуском и разрешением.

-I  Создайте индекс GiST для столбца геометрии.

-i Используйте тип int4 для всех целочисленных полей dbf.

 

Полный перечень опций доступен на PostGIS.net .

Утилиту shp2pgsql можно использовать двумя способами:

  • С помощью shp2pgsql подготовьте команды SQL в файл (sample.sql), а затем с помощью psql выполните их в два этапа:
# /usr/local/greenplum-db/bin/shp2pgsql -d -D -s 900913 -i sample-shapefile.shx schemaname.tablename > sample.sql
# psql -d dbname -f sample.sql

 

  • Используйте shp2pgsql и передавайте его вывод непосредственно в psql за один раз:
# /usr/local/greenplu​m-db/bin/shp2pgsql -d -D -s 900913 -i sample-shapefile.shx schema.tablename | psql -d dbname

 

Подытожим все вышесказанное:

  1. PostGIS - это геопространственное расширение для баз данных PostgreSQL и Greenplum, которое добавляет поддержку географических и геометрических объектов, работает с векторными и растровыми геопространственными данными и определяет набор SQL-функций для геопространственного анализа данных.
  2. В сценарии, когда GIS-информация поступает из сторонних источников, набор пространственных данных, скорее всего, будет предоставлен в виде одного или нескольких шейп-файлов, которые представляют собой цифровой формат для описания векторных элементов и описательной информации.
  • Для преобразования шейп-файлов в SQL-запросы INSERT используйте утилиту shp2pgsql data loader. Выберите соответствующие опции shp2pgsql для того, чтобы использовать формат «dump» для очень больших наборов входных данных, выбрать идентификатор пространственной ссылки (SRID) и создать индексы GiST в целевой таблице.

 

Что даль​ше

Теперь Вы готовы начать использовать SQL для получения данных и выполнения запросов к пространственным таблицам.

 

Узнать стоимость решенияЗапросить видео презентацию

← Предыдущая статья
PostGIS – главный помощник при анализе геопространственных данных
Следующая статья →
Greenplum для Data Science: Расширенный текстовый анализ и текстовый поиск на Greenplum с помощью GPText
Запросить видео презентацию Запросить доступ к демо стенду online Узнать стоимость лицензий

Задать вопрос

loading...

Решения

Анализировать ФинансыУвеличивайте ПродажиОптимальный Склад и ЛогистикаМаркетинговые Метрики

Клиенты
  • НПФ «Будущее» — один из крупнейших негосударственных пенсионных фондов России, предоставляющий услуги по пенсионному обеспечению и накоплениям. Фонд активно внедряет цифровые технологии для повышения качества обслуживания клиентов.

  • MoneyCare — кредитная платформа и сервис для ПОС-кредитования в магазинах, установленная в более чем 18 тысячах трейдинговых точек и сотрудничающая с 11 главными банками России.

  • ГК «Акрон Холдинг», одно из крупнейших в России промышленно-металлургических предприятий, запустил проект по модернизации управления данными. В качестве целевого решения для анализа ключевых данных компания выбрала систему PIX BI. В компании уже более 100 пользователей PIX BI, и в этом году в планах увеличить их число в два раза.

  • «Лента» – первая по величине сеть гипермаркетов и четвертая среди крупнейших розничных сетей страны. Компания была основана в 1993 г. в Санкт-Петербурге.

    «Лента» управляет 249 гипермаркетами в 88 городах России и 131 супермаркетом в Москве, Санкт-Петербурге, Сибири, Уральском и Центральном регионах с общей торговой площадью около 1 494 тыс. кв. м. Средняя торговая площадь одного гипермаркета «Лента» составляет около 5 500 кв.м, средняя площадь супермаркета – 800 кв.м. Компания оперирует двенадцатью распределительными центрами. Штат компании – около 50, 5 тыс. человек.

  • Решения
    • Дистрибуция
    • Розничная торговля
    • Производство
    • Операторы связи
    • Страхование
    • Банки
    • Лизинг
    • Логистика
    • Нефтегазовый сектор
    • Медицина
    • Сеть ресторанов
    • E-Commerce
    • Энергетика
    • Фармацевтика
  • Услуги
    • Переход на отечественные BI и DWH
    • Консалтинг
    • Пилотный проект
    • Обучение и сертификация
    • Бесплатное обучение
    • Техническая поддержка
    • Технические задания
    • Сбор требований для проекта внедрения BI-системы
    • CI/CD для DWH
    • Аудит BI приложений
    • Выделенная команда
    • Настойка и поддержка баз данных
    • Разработка BI Стратегии
    • Styleguide для BI-системы
    • Как выбрать BI-систему
  • Платформы
    • FineBI
    • FineReport
    • FineDataLink
    • Коннекторы данных из 1С в BI
    • Airflow + NiFi
    • Visiology
    • Luxms BI
    • Modus BI
    • PIX BI
    • Arenadata
    • ClickHouse
    • Greenplum
    • Postgres Professional
    • Open-source BI: Superset/Metabase
    • Loginom
    • Yandex.DataLens
    • AI / Исскуственный интеллект
    • Optimacros
    • Шины данных
  • Курсы
    • Учебный курс Информационная грамотность
    • Учебный курс для бизнес-аналитиков
    • Учебный курс для системных аналитиков
    • Учебный курс по Data Governance
    • Учебный курс Как стать CDO
    • Учебный курс Современная архитектура хранилища данных
    • Учебный курс по Fine BI
    • Учебный курс по FineReport
    • Учебный курс по DWH
    • Учебный курс по Data Science (ML, AI)
    • Учебный курс по PostgreSQL
    • Учебный курс по Apache Airflow и NiFi
    • Учебный курс по Open-source BI
    • Учебный курс по ClickHouse
    • Учебный курс по DataLens
    • Учебный курс по Loginom
    • Учебный курс по Modus BI и ETL
    • Учебный курс по Visiology
    • Учебный курс по dbt
  • Функциональные решения
    • Создание Data Lake
    • Цифровая трансформация
    • Управление по KPI
    • Финансы
    • Продажи
    • Склад
    • HR
    • Маркетинг
    • Внутренний аудит
    • Категорийный менеджмент
    • S&OP и прогнозная аналитика
    • Геоаналитика
    • Цепочки поставок (SCM)
    • AutoML
    • Process Mining
    • Сквозная аналитика
  • Компания
    • О нас
    • Руководство
    • Новости
    • Клиенты
    • Скачать
    • Контакты
    • Политика конфиденциальности
RutubeVkontakteLinkedInYouTube
ООО "Би Ай Консалт",
ИНН: 7811437757,
ОГРН: 1097847154184
199178, Россия,
Санкт-Петербург,
6-ая линия В.О., Д. 63, 4 этаж
Тел: +7 (812) 334-08-01
Тел: +7 (499) 608-13-06
E-mail: info@biconsult.ru

 

 

 

 

 

×

Пользуясь сайтом, вы соглашаетесь с использованием cookies и политикой конфиденциальности.