BI Consult Desktop Logo BI Consult Mobile Logo
  • Russian BI Исследование российских bi
  • Перейти на Fine BI
  • Контакты
  • +7 812 334-08-01
    +7 499 608-13-06
  • Отправить сообщение
  • Главная
  • Продукты Эксперт-BI
    • Дистрибуция
    • Розничная торговля
    • Производство
    • Операторы связи
    • Страхование
    • Банки
    • Лизинг
    • Логистика
    • Нефтегазовый сектор
    • Медицина
    • Сеть ресторанов
    • E-Commerce
    • Сельское хозяйство
    • Энергетика
    • FMCG
    • Девелоперы
    • Маркетплейсы
    • Пищевая промышленность
    • Фармацевтика
    • Построение Data Platform
    • Цифровая трансформация
    • Управление по KPI
    • Финансы
    • Продажи
    • Склад
    • HR
    • Маркетинг
    • Внутренний аудит
    • Категорийный менеджмент
    • S&OP и FP&A
    • Геоаналитика
    • Цепочки поставок (SCM)
    • AutoML
    • Process Mining
    • IBP
    • ИТ (CIO)
    • Закупки
  • Платформы
    • Системы бизнес-анализа (BI)
    • Интегрированное бизнес-планирование (IBP)
    • Хранилища данных (DWH / Lakehouse)
    • Каталоги данных (Data Catalog)
    • Системы ETL и ELT
    • AI / Исскуственный интеллект
    • Шина данных (ESB)
    • Система управления мастер-данными (MDM)
    • Семантический слой
  • Услуги
    • Переход на отечественные BI и DWH системы
    • Консалтинг
    • Пилотный проект
    • Обучение и сертификация
    • Бесплатное обучение
    • Поддержка
    • Технические задания
    • Сбор требований для проекта внедрения BI-системы
    • CI/CD для DWH
    • Аудит BI приложений и DWH
    • Выделенная команда
    • Настойка и поддержка баз данных
    • Разработка BI Стратегии
    • Styleguide для BI-системы
    • Как выбрать BI-систему
  • Курсы
    • Учебный курс Информационная грамотность (Data Literacy)
    • Учебный курс для бизнес-аналитиков
    • Учебный курс для системных аналитиков
    • Учебный курс по Data Governance
    • Учебный курс Как стать CDO
    • Учебный курс Современная архитектура хранилища данных
    • Учебный курс по Fine BI
    • Учебный курс по FineReport
    • Учебный курс по DWH
    • Учебный курс по Data Science (ML, AI)
    • Учебный курс по PostgreSQL
    • Учебный курс по Greenplum
    • Учебный курс по Apache Airflow и NiFi
    • Учебный курс по Open-source BI
    • Учебный курс по ClickHouse
    • Учебный курс по DataLens
    • Учебный курс по Loginom
    • Учебный курс по Modus BI и ETL
    • Учебный курс по Visiology
    • Учебный курс по dbt (Data Build Tool)
  • Компания
    • Руководство
    • Новости
    • Клиенты
    • Карьера
    • Скачать
    • Контакты

BI

  • FineBI
  • FineReport
  • FineDataLink
  • FineChatBI (FineAI)
  • Коннекторы данных из 1С в BI
  • Airflow / Nifi
  • Visiology
  • PIX BI
  • Modus BI
  • Yandex.DataLens
  • Open-source BI: Superset/Metabase
  • Luxms BI
  • AW BI + Alpha BI
  • FlyBI + Форсайт. Аналитическая Платформа
  • Loginom
  • Триафлай
  • AI / Исскуственный интеллект
  • Optimacros
  • Навигатор BI
  • Семантический слой

СУБД

  • Arenadata
  • ClickHouse
  • Greenplum
  • Postgres Professional
  • TData

Другое

  • Построение Data Platform
    • Аналитическое хранилище данных
    • Data Lake и Data Engineering
    • Подробнее про Data Lake
    • Внедрение Lakehouse
      • Apache Doris
      • StarRocks
      • Trino
    • Миграция витрин из пропиетарных DWH на новый стек
    • Учебный курс "Современная архитектура хранилища данных"
Главная » Российские платформы современного стека хранения, обработки и анализа данных » Хранилища данных (DWH / Lakehouse) » Postgres Professional » Учебный курс: Postgres Pro для хранилищ данных (DWH) » Эксплуатация Postgres Pro, Обновление Postgres Pro, поддержка

Эксплуатация Postgres Pro, Обновление Postgres Pro, поддержка

Эксплуатация Postgres Pro требует комплексного подхода, включающего настройку, мониторинг, резервное копирование, безопасность и регулярное обслуживание. Ниже представлено подробное руководство с техническими деталями, описанием рисков и рекомендациями по их минимизации.

 

1. Подготовка к эксплуатации

1.1 Инициализация кластера

Инициализация кластера выполняется с помощью команды initdb, где указываются директория для хранения данных, локаль и кодировка. Важно выбрать подходящие параметры для обеспечения корректной работы базы данных.

 

Риски:

  • Неправильная кодировка может привести к проблемам с отображением и хранением данных.

 

Рекомендации:

  • Убедитесь, что выбранная кодировка соответствует требованиям вашего приложения и региона.

 

1.2 Структура пользователей

После установки создайте административного пользователя и разграничьте роли по функционалу: чтение, запись, администрирование. Избегайте использования суперпользователя postgres для бизнес-приложений.

 

Риски:

  • Использование суперпользователя для приложений увеличивает риск случайных изменений критических настроек.

 

Рекомендации:

  • Создайте отдельные роли с минимально необходимыми привилегиями для каждого приложения.

 

1.3 Распределение директорий

Рекомендуется разделять директории для хранения данных, журналов предзаписи (WAL), резервных копий и логов. Размещение WAL и временных файлов на быстром SSD-диске повышает производительность.

 

Риски:

  • Размещение всех файлов в одной директории может привести к проблемам с производительностью и управлением.

 

Рекомендации:

  • Используйте отдельные диски или разделы для различных типов данных для оптимизации ввода-вывода.

 

2. Настройка параметров конфигурации

Файл postgresql.conf содержит основные параметры настройки базы данных.

 

2.1 Параметры памяти

  • shared_buffers: от 25% до 40% от объема оперативной памяти.
  • work_mem: от 64 до 512 мегабайт в зависимости от количества параллельных запросов.
  • effective_cache_size: от 60% до 75% оперативной памяти.
  • maintenance_work_mem: от 512 мегабайт до 2 гигабайт.

 

Риски:

  • Недостаточное выделение памяти может привести к снижению производительности.

 

Рекомендации:

  • Настройте параметры памяти в соответствии с нагрузкой и доступными ресурсами сервера.

 

2.2 Настройки WAL и архивации

  • wal_level: replica.
  • max_wal_senders: 5 и выше.
  • archive_mode: on.
  • archive_command: команда для архивации WAL, например, cp %p /var/lib/pgpro/wal_archive/%f.

 

Риски:

  • Отсутствие архивации WAL может затруднить восстановление данных после сбоев.

 

Рекомендации:

  • Настройте регулярную архивацию WAL и контролируйте объем используемого пространства.

 

2.3 Настройки планировщика

  • random_page_cost: от 1.1 до 2.5.
  • seq_page_cost: 1.0.
  • parallel_workers: количество доступных ядер.

 

Риски:

  • Неправильные настройки могут привести к неэффективному выбору планов выполнения запросов.

 

Рекомендации:

  • Тестируйте различные настройки планировщика для оптимизации производительности.

 

2.4 Настройки мониторинга

  • track_io_timing: on.
  • track_functions: all.
  • shared_preload_libraries: 'pg_stat_statements, auto_explain'.

 

Риски:

  • Отсутствие мониторинга затрудняет выявление и устранение проблем с производительностью.

 

Рекомендации:

  • Включите необходимые расширения для сбора статистики и анализа производительности.

 

3. Резервное копирование и восстановление

3.1 Использование pg_probackup

Утилита pg_probackup предназначена для регулярного создания резервных копий экземпляра Postgres Pro, позволяющих восстанавливать сервер в случае необходимости.

 

Риски:

  • Отсутствие актуальных резервных копий может привести к потере данных при сбоях.

 

Рекомендации:

  • Настройте регулярное создание резервных копий и проверяйте их целостность.

 

3.2 Планирование резервного копирования

Бэкапы запускаются по расписанию, например, с использованием cron или системы оркестрации. Указывайте политику хранения резервных копий, чтобы управлять их количеством и сроком хранения.

 

Риски:

  • Переполнение хранилища из-за накопления старых резервных копий.

 

Рекомендации:

  • Настройте автоматическое удаление устаревших копий согласно политике хранения.

 

А теперь практические детали:

1. Подготовка к эксплуатации

1.1 Инициализация кластера

Для инициализации кластера используйте команду initdb, указав директорию для хранения данных, локаль и кодировку.

 

1.2 Пользовательская структура

Создайте административного пользователя и разграничьте роли по функционалу: чтение, запись, администрирование. Избегайте использования суперпользователя postgres для бизнес-приложений.

 

1.3 Распределение директорий

Рекомендуется разделять:

  • data_dir — основные данные
  • pg_wal — журналы предзаписи
  • backups — резервные копии
  • logs — журналы работы

 

Для повышения производительности желательно разместить WAL и временные файлы на быстром SSD-диске.

 

2. Настройка параметров конфигурации

Файл postgresql.conf содержит основные параметры.

 

2.1 Память

  • shared_buffers — от 25 до 40 процентов от объема оперативной памяти
  • work_mem — от 64 до 512 мегабайт в зависимости от количества параллельных запросов
  • effective_cache_size — от 60 до 75 процентов оперативной памяти
  • maintenance_work_mem — от 512 мегабайт до 2 гигабайт

 

2.2 WAL и архивация

  • wal_level — replica
  • max_wal_senders — 5 и выше
  • archive_mode — on
  • archive_command — команда для архивации WAL, например, cp %p /var/lib/pgpro/wal_archive/%f

 

Убедитесь, что место под архив WAL очищается согласно политике хранения.

 

2.3 Планировщик

  • random_page_cost — от 1.1 до 2.5
  • seq_page_cost — 1.0
  • parallel_workers — количество доступных ядер

 

Эти настройки влияют на выбор между последовательным сканированием и использованием индексов.

 

2.4 Мониторинг

  • track_io_timing — on
  • track_functions — all
  • shared_preload_libraries — 'pg_stat_statements, auto_explain'

 

3. Резервное копирование

3.1 pg_probackup

Утилита pg_probackup предназначена для регулярного создания резервных копий экземпляра Postgres Pro, позволяющих восстанавливать сервер в случае необходимости.

 

3.2 Планирование

Бэкапы запускаются по расписанию, например, с использованием cron или системы оркестрации. Указывайте политику хранения резервных копий, чтобы управлять их количеством и сроком хранения.

 

3.3 Восстановление

Для восстановления используйте команду pg_probackup restore, указав необходимые параметры, такие как целевое время восстановления.

 

4. Обслуживание и оптимизация

4.1 VACUUM

  • Автоматический: убедитесь, что autovacuum включен
  • Ручной: VACUUM FULL для очистки и сжатия таблиц

 

VACUUM сохраняет статистику и очищает "мертвые" кортежи. VACUUM FULL блокирует таблицу, поэтому его следует применять в периоды низкой активности.

 

4.2 ANALYZE

Команда ANALYZE обновляет статистику по распределению значений. Важно выполнять ее после массовой загрузки данных.

 

4.3 REINDEX

Используется при деградации индексов. Команда REINDEX TABLE имя_таблицы позволяет перестроить индекс. Запланируйте периодический REINDEX для больших таблиц.

 

5. Безопасность

5.1 Аутентификация

Файл pg_hba.conf определяет методы аутентификации. Например:

  • local all all peer
  • host all all 0.0.0.0/0 md5

 

Используйте методы md5 или scram-sha-256, избегайте trust.

 

5.2 Роли и привилегии

Разделяйте пользователей по функционалу. Используйте команды CREATE ROLE и GRANT для управления доступом.

 

5.3 Аудит

Включите расширение pg_proaudit для аудита действий пользователей.

 

6. Мониторинг

6.1 Системные представления

  • pg_stat_activity — активные запросы
  • pg_stat_database — статистика по базам данных
  • pg_stat_statements — запросы и их частота

 

6.2 Визуальные инструменты

Рекомендуются:

  • Grafana + Prometheus + postgres_exporter
  • Zabbix с шаблоном для Postgres Pro
  • pgwatch2

 

Обновление Postgres Pro: технические детали

1. Типы обновлений

Postgres Pro, как и PostgreSQL, использует двухуровневую модель версионирования:

  • Минорные обновления: включают исправления ошибок и уязвимостей. Установка таких обновлений не требует миграции данных.
  • Мажорные обновления: включают новые функции и изменения в структуре данных. Требуют миграции данных с использованием инструментов, таких как pg_upgrade.

 

2. Подготовка к обновлению

Перед обновлением рекомендуется:

  • Создать полную резервную копию базы данных.
  • Проверить совместимость используемых расширений и модулей с новой версией.
  • Ознакомиться с изменениями в новой версии, особенно с потенциально несовместимыми изменениями.

 

3. Процесс обновления

Минорное обновление:

  1. Остановите сервер базы данных.
  2. Установите обновленные пакеты Postgres Pro.
  3. Запустите сервер базы данных.

 

Мажорное обновление:

  1. Установите новую версию Postgres Pro параллельно с текущей.
  2. Используйте pg_upgrade для миграции данных.
  3. После успешной миграции протестируйте работу приложений с новой версией.
  4. Удалите старую версию после подтверждения стабильной работы.

 

Поддержка Postgres Pro

1. Уровни поддержки

Компания Postgres Professional предлагает различные уровни технической поддержки, включая:

  • 24/7 поддержка: круглосуточная помощь в решении критических проблем.
  • Консультации: помощь в оптимизации, настройке и разработке решений на базе Postgres Pro.
  • Обновления и патчи: предоставление актуальных обновлений и исправлений.

 

2. Преимущества поддержки

  • Своевременное получение обновлений: доступ к последним версиям и исправлениям.
  • Экспертная помощь: поддержка от разработчиков и экспертов Postgres Pro.
  • Гарантия стабильности: быстрое реагирование на инциденты и минимизация простоев.

 

Риски при обновлении и способы их минимизации

Риск

Описание

Меры по снижению

Потеря данных

Возможна при некорректной миграции.

Создание резервных копий перед обновлением.

Несовместимость расширений

Некоторые расширения могут не поддерживаться в новой версии.

Проверка совместимости и обновление расширений.

Простоев системы

Время обновления может повлиять на доступность системы.

Планирование обновлений в периоды низкой нагрузки.

 

Заключение

Регулярное обновление и наличие технической поддержки Postgres Pro обеспечивают безопасность, стабильность и высокую производительность вашей СУБД. Следуя приведенным рекомендациям, вы сможете минимизировать риски и обеспечить бесперебойную работу ваших информационных систем.

 

 

 

Postgres Professional — это российская промышленная СУБД, созданная на базе открытого PostgreSQL, но значительно расширенная для корпоративного применения. В отличие от классического PostgreSQL, решения от Postgres Professional включают в себя поддержку российских ГОСТов и сертификацию ФСТЭК, повышенную надёжность, оптимизации под высоконагруженные системы (в том числе 1С и DWH), инструменты резервного копирования, мониторинга и отказоустойчивости. За платформой стоит команда ядра PostgreSQL в России, что гарантирует актуальность, стабильность и экспертную техническую поддержку 24/7.

Для компаний, которым важно не просто использовать PostgreSQL, а внедрить его на уровне корпоративных стандартов — с гарантией, сопровождением, документированными улучшениями и адаптацией под российское законодательство — Postgres Pro Enterprise становится логичным выбором. Это не просто бесплатная база данных, а полноценный продуктовый стек, совместимый с BI, аналитикой, ERP, 1С и другими системами, в том числе импортозамещёнными.

 

Узнать стоимость решенияЗапросить видео презентацию

← Предыдущая статья
Технический разбор миграции с Oracle на Postgres Pro
Запросить видео презентацию Запросить доступ к демо стенду online Узнать стоимость лицензий

Задать вопрос

loading...

Решения

Анализировать ФинансыУвеличивайте ПродажиОптимальный Склад и ЛогистикаМаркетинговые Метрики

Клиенты
  • Розничный и интернет-магазин 12 Storeez один из лидеров на рынке женской одежды. С географией рынка не только на территории России, своя продукция представлена еще и в таких странах как Казахстан и Дубай.

  • ИНВИТРО
    ИНВИТРО – крупнейшая частная медицинская компания в России, специализирующаяся на лабораторной диагностике и оказании других медицинских услуг.
     
    ИНВИТРО располагает 9 самыми современными лабораторными комплексами и крупнейшей в Восточной Европе сетью более чем из 900 медицинских офисов. Страны присутствия — Россия, Украина, Казахстан, Беларусь.
     
  • KERAMA MARAZZI — международный бренд, входящий в число лидеров глобального рынка керамики. Бизнес компании охватывает весь процесс создания керамических изделий, от глиняных карьеров до фирменной розницы во всех крупных городах РФ и за рубежом.

  • Novikov group – первый российский ресторанный холдинг, основанный в 1991 году. Это команда профессионалов под управлением Аркадия Новикова, реализующая широкий спектр услуг в сфере гостеприимства: от проведения event-мероприятия до управления рестораном, от установления стандартов сервиса до контроля качества готовой продукции, от построения бизнес-плана проекта до реализации франшизы.

  • Решения
    • Дистрибуция
    • Розничная торговля
    • Производство
    • Операторы связи
    • Страхование
    • Банки
    • Лизинг
    • Логистика
    • Нефтегазовый сектор
    • Медицина
    • Сеть ресторанов
    • E-Commerce
    • Энергетика
    • Фармацевтика
  • Услуги
    • Переход на отечественные BI и DWH
    • Консалтинг
    • Пилотный проект
    • Обучение и сертификация
    • Бесплатное обучение
    • Техническая поддержка
    • Технические задания
    • Сбор требований для проекта внедрения BI-системы
    • CI/CD для DWH
    • Аудит BI приложений
    • Выделенная команда
    • Настойка и поддержка баз данных
    • Разработка BI Стратегии
    • Styleguide для BI-системы
    • Как выбрать BI-систему
  • Платформы
    • FineBI
    • FineReport
    • FineDataLink
    • Коннекторы данных из 1С в BI
    • Airflow + NiFi
    • Visiology
    • Luxms BI
    • Modus BI
    • PIX BI
    • Arenadata
    • ClickHouse
    • Greenplum
    • Postgres Professional
    • Open-source BI: Superset/Metabase
    • Loginom
    • Yandex.DataLens
    • AI / Исскуственный интеллект
    • Optimacros
    • Шины данных
  • Курсы
    • Учебный курс Информационная грамотность
    • Учебный курс для бизнес-аналитиков
    • Учебный курс для системных аналитиков
    • Учебный курс по Data Governance
    • Учебный курс Как стать CDO
    • Учебный курс Современная архитектура хранилища данных
    • Учебный курс по Fine BI
    • Учебный курс по FineReport
    • Учебный курс по DWH
    • Учебный курс по Data Science (ML, AI)
    • Учебный курс по PostgreSQL
    • Учебный курс по Apache Airflow и NiFi
    • Учебный курс по Open-source BI
    • Учебный курс по ClickHouse
    • Учебный курс по DataLens
    • Учебный курс по Loginom
    • Учебный курс по Modus BI и ETL
    • Учебный курс по Visiology
    • Учебный курс по dbt
  • Функциональные решения
    • Создание Data Lake
    • Цифровая трансформация
    • Управление по KPI
    • Финансы
    • Продажи
    • Склад
    • HR
    • Маркетинг
    • Внутренний аудит
    • Категорийный менеджмент
    • S&OP и прогнозная аналитика
    • Геоаналитика
    • Цепочки поставок (SCM)
    • AutoML
    • Process Mining
    • Сквозная аналитика
  • Компания
    • О нас
    • Руководство
    • Новости
    • Клиенты
    • Скачать
    • Контакты
    • Политика конфиденциальности
RutubeVkontakteLinkedInYouTube
ООО "Би Ай Консалт",
ИНН: 7811437757,
ОГРН: 1097847154184
199178, Россия,
Санкт-Петербург,
6-ая линия В.О., Д. 63, 4 этаж
Тел: +7 (812) 334-08-01
Тел: +7 (499) 608-13-06
E-mail: info@biconsult.ru

 

 

 

 

 

×

Пользуясь сайтом, вы соглашаетесь с использованием cookies и политикой конфиденциальности.