Модуль 1. Построение хранилищ данных на базе Postgres Pro: особенности, архитектура и отличия

Хранилища данных (Data Warehouse, DWH) играют ключевую роль в современной аналитической инфраструктуре предприятия. Они позволяют интегрировать данные из разрозненных источников, обеспечить целостность, историчность и доступность информации для принятия решений. На фоне растущих требований к отказоустойчивости, производительности и импортозамещению всё больше организаций в России выбирают отечественные решения. Одним из лидеров среди таких решений является Postgres Pro — промышленная версия PostgreSQL, разработанная компанией Postgres Professional.

В этом модуле мы рассмотрим:

что такое хранилище данных и его архитектура;
методологии проектирования DWH;
ключевые особенности Postgres Pro как аналитической платформы;
отличия Postgres Pro от стандартного PostgreSQL;
обзор версий и лицензирования.

1. Понятие хранилища данных: цели и задачи

Хранилище данных (DWH) — это централизованное хранилище, предназначенное для сбора, хранения и анализа больших объемов информации из различных источников. Главная цель DWH — предоставить единую точку истины (Single Source of Truth) для аналитики и отчетности.

Основные задачи DWH:

Объединение данных из различных операционных систем и внешних источников;
Хранение истории изменений и возможность работы с временными срезами (time-series);
Поддержка сложной аналитики, агрегаций, прогнозов и сценарного моделирования;
Формирование витрин данных для конкретных подразделений и BI-инструментов;
Минимизация нагрузки на операционные системы за счёт выноса аналитики в отдельный слой.

2. Архитектура DWH и методологии проектирования

Классическая трёхуровневая архитектура DWH

Источник данных (Data Source) — ERP, CRM, IoT, внешние API, файлы и др.
ETL/ELT слой — процессы извлечения, трансформации и загрузки.
Хранилище данных — ядро системы, содержащее исторические данные.
Витрины и BI — представления под конкретные задачи пользователей.

Методологии проектирования (в следующем модуле будут рассмотрены детальнее)

1. Методология Билла Инмона (Inmon)

Подход: топ-даун.
Строится централизованное нормализованное хранилище (EDW).
Витрины (Data Mart) формируются позже.
Подходит для крупных систем с высоким уровнем управления данными.

2. Методология Ральфа Кимбала (Kimball)

Подход: боттом-ап.
Строятся витрины данных (Data Marts), объединяемые в логическое хранилище.
Используется денормализованная модель (звезда, снежинка).
Более гибкий и быстрый способ внедрения.

3. Методология Data Vault

Подход, объединяющий плюсы первых двух.
Гибкая модель хранения: Hub (ключи), Link (связи), Satellite (атрибуты).
Хорошо подходит для часто меняющихся источников и регламентов.

3. Обзор Postgres Pro: история и лицензирование

Postgres Pro — это промышленная СУБД, основанная на PostgreSQL и разработанная компанией Postgres Professional. Она дополняет и расширяет функциональность базового движка PostgreSQL, ориентируясь на потребности корпоративных и государственных клиентов.

История

Компания основана в 2015 году российскими разработчиками ядра PostgreSQL.
Первая версия Postgres Pro появилась в 2016 году.
С 2018 года продукт активно внедряется в госсектор и корпоративный сегмент.

Версии

Postgres Pro Standard
- Поддержка PostgreSQL с рядом улучшений.
- Актуален для систем среднего масштаба.
Postgres Pro Enterprise
Расширенная функциональность для высоконагруженных и отказоустойчивых систем.
Включает дополнительные расширения: pgpro_scheduler, pgpro_pwr, pgpro_controldata.
Сертифицированная версия (ФСТЭК, Минобороны).
Используется в госорганах и системах с повышенными требованиями к безопасности.
Postgres Pro Certified

Лицензирование

Ядро Postgres Pro распространяется на условиях свободной лицензии PostgreSQL.
Расширения и коммерческая поддержка лицензируются отдельно.
Доступны платные подписки с технической поддержкой, обновлениями и SLA.

4. Сравнение PostgreSQL и Postgres Pro: аналитическая перспектива

Возможность	PostgreSQL	Postgres Pro
Параллельные запросы	Ограничено	Расширено: JOIN, Aggregate, Index Scan
Мониторинг	pg_stat_statements	+ pgpro_stats, pgpro_pwr
Планировщик задач	Нет	pgpro_scheduler
Поддержка ГОСТ	Нет	Да (в Certified версии)
Поддержка ОС	Linux/Windows/macOS	+ РЕД ОС, Astra, Альт
Секционирование	Базовое	Расширенное, с pg_pathman
Расширения	Стандартный набор	Расширенный набор от Postgres Professional
Уровень поддержки	Сообщество	Платные подписки, SLA, сертификация

Postgres Pro — это PostgreSQL, усиленный для промышленного и аналитического применения. Для задач построения DWH это означает:

Более высокая стабильность под большими нагрузками;
Возможности администрирования и отладки систем в продакшене;
Готовность к работе в условиях российского законодательства.

Особенности Postgres Pro, важные для DWH

Postgres Pro — это промышленная версия PostgreSQL, разработанная российской компанией Postgres Professional. В отличие от классического PostgreSQL, она ориентирована на задачи высокого уровня — в том числе на аналитику, построение хранилищ данных и импортозамещение в госсекторе и корпорациях.

Оптимизация под аналитические запросы

Улучшенное планирование и параллельное выполнение сложных запросов.
Поддержка многопоточности при агрегациях и сканировании индексов.

Работа с большими объемами данных

Секционирование (partitioning) позволяет обрабатывать миллионы строк в рамках отдельного раздела.
Поддержка BRIN-индексов для сжатых временных рядов.

Инструменты для ETL/ELT

Эффективная массовая загрузка через COPY.
Поддержка логической и потоковой репликации.
Совместимость с Apache Airflow, NiFi, BI.Qube, dbt.

Надежность и безопасность

Механизмы Point-in-Time Recovery, резервного копирования и WAL-архивирования.
Расширенные возможности журналирования и аудита (pgpro_audit).

Мониторинг и диагностика

Интеграция с Prometheus и Grafana.
Детализация статистики по таблицам, индексам, транзакциям.
Расширения pgpro_stats и pgpro_pwr для анализа узких мест.

Специфические преимущества Postgres Pro для построения DWH

Повышенная производительность аналитических запросов

Расширенная поддержка параллельного выполнения запросов (включая параллельные JOIN, Aggregate, Index Scan).
Расширенные возможности планировщика: точная оценка стоимости выполнения запросов и эффективное использование планов.
Настройки памяти (work_mem, parallel_workers, jit и др.), адаптированные под аналитические нагрузки.

Расширенные средства хранения больших объемов

Секционирование (partitioning) — улучшено по сравнению с vanilla PostgreSQL. Поддерживается декларативное секционирование, автоматическое создание и удаление секций.
Оптимизированная работа с материализованными представлениями — актуально при формировании витрин.
Поддержка табличных пространств (tablespaces) — позволяет управлять хранением данных по физическим дискам.

Упрощённое администрирование и мониторинг

Встроенный расширенный планировщик задач (аналог cron внутри СУБД).
pgpro_stats — расширение, дающее подробную статистику о работе узлов, индексах, активности и блокировках.
Поддержка сторонних инструментов мониторинга: Prometheus, Zabbix, pgwatch2.

Соответствие требованиям безопасности и импортозамещения

Сертификация ФСТЭК и Минобороны РФ (включая версии Certified и Enterprise).
Поддержка отечественных криптоалгоритмов (ГОСТ) и безопасности уровня РСЯ.
Совместимость с российскими ОС: Astra Linux, РЕД ОС, Альт, МСВС и др.

Расширения и надстройки

pg_pathman — высокопроизводительное секционирование таблиц с динамической маршрутизацией запросов.
pgpro_scheduler — встроенный механизм регулярного выполнения задач (в отличие от внешнего cron).
pgpro_pwr, pgpro_controldata, pgpro_stats — надстройки для аудита, диагностики и анализа производительности.

Роли Postgres Pro в архитектуре DWH

Postgres Pro может выполнять следующие роли в архитектуре:

ODS (операционное хранилище данных) — промежуточный слой, агрегирующий данные из источников.
Core DWH (ядро хранилища) — основное хранилище для централизованных исторических данных.
Data Marts (витрины данных) — представления под конкретные BI-сценарии.
Слой интеграции с BI-системами — Postgres Pro поддерживает коннекторы ко всем популярным BI-инструментам.

Сравнение версий Postgres Pro

Характеристика	Standard	Enterprise	Certified	Enterprise Certified
Целевая аудитория	Разработчики, малые и средние предприятия, образовательные учреждения.	Крупные предприятия, банки, телекоммуникационные компании, государственные организации.	Организации с требованиями по сертификации ФСТЭК и Минобороны РФ.	Крупные предприятия и государственные структуры с требованиями по сертификации ФСТЭК и Минобороны РФ.
Поддержка отечественных ОС	Да (Astra Linux, РЕД ОС, Альт и др.).	Да (Astra Linux, РЕД ОС, Альт и др.).	Да (Astra Linux, РЕД ОС, Альт и др.).	Да (Astra Linux, РЕД ОС, Альт и др.).
Сертификация	Нет.	Нет.	Да (ФСТЭК, Минобороны РФ).	Да (ФСТЭК, Минобороны РФ).
Поддержка расширений	Ограниченная.	Расширенная, включая pg_pathman, pgpro_scheduler, pgpro_stats и др.	Ограниченная.	Расширенная, включая pg_pathman, pgpro_scheduler, pgpro_stats и др.
Механизмы резервного копирования	Базовые средства PostgreSQL.	Расширенные возможности, включая pg_probackup с поддержкой инкрементального и блочного резервного копирования.	Базовые средства PostgreSQL.	Расширенные возможности, включая pg_probackup с поддержкой инкрементального и блочного резервного копирования.
Механизмы репликации	Стандартные средства PostgreSQL.	Расширенные возможности, включая поддержку многомастерной репликации и логической репликации.	Стандартные средства PostgreSQL.	Расширенные возможности, включая поддержку многомастерной репликации и логической репликации.
Инструменты мониторинга и диагностики	Ограниченные.	Расширенные, включая pgpro_stats, pg_wait_sampling и другие инструменты для анализа производительности.	Ограниченные.	Расширенные, включая pgpro_stats, pg_wait_sampling и другие инструменты для анализа производительности.
Поддержка высоких нагрузок	Подходит для средних нагрузок.	Оптимизирована для высоких нагрузок и больших объёмов данных.	Подходит для средних нагрузок.	Оптимизирована для высоких нагрузок и больших объёмов данных.
Лицензирование	Проприетарная лицензия Postgres Professional.	Проприетарная лицензия Postgres Professional.	Проприетарная лицензия Postgres Professional с учётом требований сертификации.	Проприетарная лицензия Postgres Professional с учётом требований сертификации.
Поддержка и обновления	Включает базовую поддержку и обновления.	Включает расширенную поддержку, обновления и консультационные услуги.	Включает базовую поддержку и обновления с учётом требований сертификации.	Включает расширенную поддержку, обновления и консультационные услуги с учётом требований сертификации.

Ключевые особенности версий Postgres Pro

Postgres Pro Standard

Описание: Базовая версия, предоставляющая расширенные возможности по сравнению с PostgreSQL, включая улучшенное секционирование и инструменты мониторинга.
Особенности:
- Ранний доступ к функциям, планируемым для будущих версий PostgreSQL.
- Поддержка JIT-компиляции.
- Инструменты для анализа производительности.

Postgres Pro Enterprise

Описание: Расширенная версия для корпоративного использования с дополнительными функциями и улучшениями.
Особенности:
- Поддержка масштабируемости и высокой доступности.
- Инструменты для резервного копирования и восстановления.
- Дополнительные расширения для управления большими объемами данных.

Postgres Pro Certified

Описание: Сертифицированная версия, соответствующая требованиям российских регуляторов.
Особенности:
- Сертификация ФСТЭК и Минобороны РФ.
- Поддержка отечественных криптоалгоритмов.
- Совместимость с российскими ОС: Astra Linux, РЕД ОС, Альт и др.

Postgres Pro Enterprise Certified

Описание: Сертифицированная корпоративная версия с расширенными возможностями.
Особенности:
- Все функции Postgres Pro Enterprise.
- Сертификация ФСТЭК и Минобороны РФ.
- Поддержка отечественных криптоалгоритмов.
- Совместимость с российскими ОС: Astra Linux, РЕД ОС, Альт и др

Лицензирование Postgres Pro

Виды лицензий Postgres Pro

Postgres Pro предлагает два основных типа лицензий:

1. Постоянные лицензии

Описание: Лицензии без ограничения срока действия.
Особенности:
- Включают 1 год стандартной технической поддержки.
- После окончания поддержки можно приобрести продление.
- Минимально приобретается лицензия на 2 ядра процессора.

2. Временные лицензии

Описание: Лицензии с ограниченным сроком действия (1, 2, 3 года и т.д.).
Особенности:
- Включают стандартную техническую поддержку на весь срок действия.
- По истечении срока необходимо приобрести новую лицензию или прекратить использование ПО.
- Минимально приобретается лицензия на 2 ядра процессора.

Метрики лицензирования Postgres Pro

Лицензирование Postgres Pro осуществляется по следующим метрикам:

По ядрам процессора (vCPU):
- Лицензия приобретается на количество ядер, выделенных для СУБД.
- Минимально — 2 ядра.
- Применимо для всех версий Postgres Pro.
По числу пользователей и серверов:
Применяется для специализированных версий, например, Postgres Pro для 1С.
Лицензия приобретается на количество серверов и пользователей.
Максимальное количество пользователей — 50; при большем числе рекомендуется лицензирование по ядрам.

Лицензирование тестовых и разработческих сред Postgres Pro

При наличии лицензий на продуктивную среду, заказчик может развернуть:

Одну тестовую среду.
Одну среду разработки.

Условия:

Мощность тестовой и разработческой сред не должна превышать мощность продуктивной среды.
Техническая поддержка предоставляется только для продуктивной среды.
Если требуется поддержка для тестовой или разработческой среды, её необходимо приобрести отдельно.

Совместимость с российскими ОС

Совместимость с российскими операционными системами:

Postgres Pro поддерживает установку и стабильную работу на следующих отечественных дистрибутивах Linux

Astra Linux

Редакции: «Смоленск» (1.6, 1.7), «Орёл» (2.12).
Совместимость: Подтверждена совместимость Postgres Pro Enterprise 16 с Astra Linux, что обеспечивает стабильную работу и безопасность в критически важных информационных системах.

РЕД ОС

Поддержка: Postgres Pro успешно работает на различных версиях РЕД ОС, включая серверные редакции, обеспечивая надежную работу в государственных информационных системах.

Альт Линукс

Редакции: СПТ 6.0, СПТ 7.0, СП 8/8.2 и выше.
Совместимость: Postgres Pro поддерживает установку и работу на этих версиях, что подтверждено в документации.

РОСА «КОБАЛЬТ»

Редакции: Сервер 7.9 и выше.
Совместимость: Postgres Pro Enterprise 15 получил сертификат соответствия ФСТЭК РФ, подтверждающий совместимость с этой ОС.

МСВСфера

Совместимость: Сертифицированная версия Postgres Pro может использоваться под управлением сертифицированной операционной системы МСВСфера Сервер.

Сертификация и соответствие требованиям безопасности

Postgres Pro имеет сертификаты соответствия ФСТЭК России, что подтверждает её соответствие требованиям по безопасности информации:

4 уровень доверия: Согласно документу «Требования по безопасности информации, устанавливающие уровни доверия к средствам технической защиты информации и средствам обеспечения безопасности информационных технологий» (ФСТЭК России, 2020).
4 класс защиты: Согласно документу «Требования по безопасности информации к системам управления базами данных» (ФСТЭК России, 2023).
Применение: СУБД Postgres Pro может применяться для защиты информации в значимых объектах критической информационной инфраструктуры 1 категории, в государственных информационных системах 1 класса защищенности, в автоматизированных системах управления производственными и технологическими процессами 1 класса защищенности, в информационных системах персональных данных при необходимости обеспечения 1 уровня защищенности персональных данных, в информационных системах общего пользования II класса.

Технические различия между Postgres Pro и Oracle, Microsoft SQL Server, MySQL

Насколько сложно перейти на Postgres Pro и что нужно учесть

В условиях массового импортозамещения и ухода иностранных вендоров многие компании рассматривают Postgres Pro как замену таким СУБД, как Oracle Database, Microsoft SQL Server и MySQL.

Однако прежде чем приступить к миграции, необходимо понять, в чем заключаются архитектурные и функциональные отличия этих СУБД, что потребуется для перехода, и какие риски нужно предусмотреть.

Сравнение архитектур и возможностей

Характеристика	Postgres Pro	Oracle Database	Microsoft SQL Server	MySQL
Тип лицензии	Проприетарная, российская, с исходниками	Проприетарная, лицензируется по ядрам	Проприетарная, лицензируется по ядрам	Open-source (Oracle), с платной версией
Ядро	PostgreSQL	Собственное	Собственное	InnoDB / MyISAM
Расширяемость	Очень высокая (через расширения)	Ограничена	Умеренная	Умеренная
Поддержка оконных функций	Да	Да	Да	Ограничена
Партиционирование	Декларативное (Postgres Pro улучшено)	Проприетарное	Есть, но ограничено в Express	Вручную
Параллельные запросы	Есть	Есть (в Enterprise)	Есть (в Enterprise)	Нет
Многоверсионность (MVCC)	Да	Да	Да	Да
Секретность / ГОСТ	Да (в Certified версии)	Нет	Нет	Нет
Работа с JSON / JSONB	Да (на уровне SQL)	Ограничено	Да	Да
Хранимые процедуры	Да (PL/pgSQL, C, Python и др.)	PL/SQL	T-SQL	SQL-подобные
Языки триггеров	Много (PL/pgSQL, C, Python и др.)	Только PL/SQL	Только T-SQL	Только SQL
Средства репликации	Встроенные, + логическая репликация	Проприетарные (DataGuard)	Проприетарные	Ограниченные
Мониторинг	pg_stat_statements, расширения	OEM (Oracle Enterprise Manager)	SQL Server Management Studio	Вручную
Интеграция с BI	Поддерживаются все BI по ODBC/JDBC	Power BI, Oracle BI	Power BI	Power BI, Tableau

Что отличает Postgres Pro

Postgres Pro — не просто PostgreSQL, а расширенная и стабилизированная сборка с возможностями для предприятий и госсектора. Вот некоторые уникальные компоненты:

pg_pathman — высокоэффективное секционирование.
pgpro_scheduler — встроенный аналог cron.
pgpro_stats — мониторинг использования таблиц и индексов.
pg_probackup — промышленное резервное копирование.
pgpro_controldata, pgpro_pwr, pg_wait_sampling — средства диагностики производительности.

Сложность миграции с Oracle, MSSQL и MySQL на Postgres Pro

1. С Oracle

Что сложно:

PL/SQL отличается от PL/pgSQL.
Отличия в реализации пакетов, курсоров, циклов.
Миграция схемы требует переписывания логики.
Oracle специфичен в обработке NULL, триггеров, SEQUENCE.

Что помогает:

Инструменты Ora2Pg и pgloader.
Postgres Pro поддерживает аналогичные типы индексов, партиционирование.
Есть опыт миграции крупных клиентов (Росагролизинг, Финсервис).

Что учитывать:

Нужно детально анализировать все хранимые процедуры и пересобрать их под PL/pgSQL.
Придется пересмотреть транзакционную логику.
Следует запланировать адаптацию отчетности, если она использовала Oracle BI.

2. С Microsoft SQL Server

Что сложно:

T-SQL не совместим с PL/pgSQL.
Отсутствие полной замены схем типа tempdb, WITH(NOLOCK).
Различия в триггерах, транзакциях, аналитике.

Что помогает:

Наличие хранимых процедур и транзакций в Postgres Pro.
Переход возможен с помощью SQL Server Migration Assistant (SSMA) или ручной адаптации.

Что учитывать:

BI-отчеты в Power BI могут потребовать перенастройки источников.
Необходимо заменить SQL Server Agent на pgpro_scheduler или Airflow.

3. С MySQL

Что сложно:

Различия в типах данных (особенно enum, datetime).
Отличия в SQL-диалектах и поведении NULL.

Что помогает:

Схемы мигрируются легко (анализатор mysqldump + pgloader).
Процедур мало — логика проще, чем в Oracle/MSSQL.

Что учитывать:

Необходимо проверить поведение всех триггеров и хранимых процедур.
Лучше сразу перейти к PostgreSQL-совместимым BI-инструментам (Metabase, Superset, Power BI через ODBC).

Универсальные шаги миграции

Аудит текущей системы:
- Соберите информацию о таблицах, индексах, хранимых процедурах, отчетах.
Анализ сложности:
Определите объем работы по переписыванию логики.
Ora2Pg, pgloader, SSMA, DBeaver с миграционными плагинами.
Мигрируйте схему и часть данных. Проведите нагрузочное тестирование.
Перенесите источники данных, настройте витрины в Postgres Pro.
Подготовьте разработчиков и аналитиков к работе с Postgres Pro.
Внедрите мониторинг (pg_stat_statements, pgpro_stats), настройте резервное копирование (pg_probackup).
Выбор инструментов:
Тестовая миграция:
Миграция ETL и BI:
Обучение и документация:
Запуск и поддержка:

Postgres Pro — зрелая, мощная, промышленная СУБД, которая по функциональности приближается к Oracle и SQL Server, а по гибкости и открытому коду — превосходит их. Однако переход с проприетарных решений требует подготовки, аудита, адаптации логики и перенастройки BI-инструментов. Наиболее сложной миграцией является переход с Oracle, чуть проще — с SQL Server, и относительно легко переносить проекты с MySQL.

Развертывание в Docker

Postgres Pro можно развернуть в контейнерах Docker для упрощения развертывания и масштабирования:

Создайте Dockerfile с указанием базового образа и необходимых настроек.
Постройте образ:

docker build -t postgrespro

3. Запустите контейнер:

docker run -d --name postgrespro -p 5432:5432 postgrespro

Это позволяет быстро развернуть изолированную среду для разработки или тестирования.

Заключение

Postgres Pro — это не просто форк PostgreSQL. Это зрелая, промышленная СУБД, которая учитывает потребности российских предприятий в производительности, отказоустойчивости и нормативной совместимости. Для задач построения аналитических хранилищ данных Postgres Pro предоставляет оптимальный баланс между открытостью, функциональностью и поддержкой.

В следующих модулях мы рассмотрим, как разрабатывать архитектуру DWH, строить модели данных и реализовывать процессы загрузки и трансформации с использованием всех возможностей Postgres Pro.

Postgres Professional — это российская промышленная СУБД, созданная на базе открытого PostgreSQL, но значительно расширенная для корпоративного применения. В отличие от классического PostgreSQL, решения от Postgres Professional включают в себя поддержку российских ГОСТов и сертификацию ФСТЭК, повышенную надёжность, оптимизации под высоконагруженные системы (в том числе 1С и DWH), инструменты резервного копирования, мониторинга и отказоустойчивости. За платформой стоит команда ядра PostgreSQL в России, что гарантирует актуальность, стабильность и экспертную техническую поддержку 24/7.

Для компаний, которым важно не просто использовать PostgreSQL, а внедрить его на уровне корпоративных стандартов — с гарантией, сопровождением, документированными улучшениями и адаптацией под российское законодательство — Postgres Pro Enterprise становится логичным выбором. Это не просто бесплатная база данных, а полноценный продуктовый стек, совместимый с BI, аналитикой, ERP, 1С и другими системами, в том числе импортозамещёнными.

Следующая статья →

Модуль 2. Проектирование хранилища данных на Postgres Pro