Учебный курс по DWH

В рамках курса вы познакомитесь с основными понятиями и задачами, возникающими при создании хранилищ данных. Поймете, как цели влияют на выбор архитектуры и к каким последствиям может привести недостаточное внимание к компонентам. Составите представление о ролях и влиянии участников команды на результат.

В программе курса будут описаны практические подходы к проектированию и внедрению хранилищ данных и его компонент. Вы рассмотрите управление жизненным циклом, включая вывод из эксплуатации и миграцию на новые системы, затронете темы управления данными и построения сервисов на их основе.

В практической части слушатели разобьются на две команды: одна из команд проработает проект по миграции хранилища данных с учетом стратегических целей развития предприятия, а вторая оценит его с точки зрения возможностей, ресурсов и сроков.

1. Введение

2. Компоненты и архитектура

Миграция данных в облако / Перевод работы с данными в облака Cloud

Внедрение DWH в парадигме DWH-as-a-code с помощью YAML-файлов

Учебный курс: StarRocks — полный практический гид по внедрению и эксплуатации

Это комплексная программа, которая от начала и до конца проведёт вас через весь цикл работы со StarRocks — от установки и настройки до проектирования архитектуры, оптимизации и интеграции с BI-системами. Мы учим не только «нажимать кнопки», но и понимать методологию, уметь обосновать архитектурные решения и избегать типичных ошибок при внедрении. Курс разработан так, чтобы его можно было использовать как инструкцию по внедрению StarRocks в реальном проекте — с готовыми DDL-примерами, схемами архитектуры, чек-листами по сайзингу и безопасной эксплуатации.

Учебный курс: Использование Kubernetes (k8s) при внедрении BI и DWH

Это практическая программа для архитекторов данных, SRE/DevOps, DBA, дата-инженеров и BI-разработчиков, которая помогает принять взвешенное решение «нужен ли k8s» и безопасно довести платформу до продакшена. Вы последовательно пройдёте путь от TCO/ROI и критериев целесообразности до настройки сети, хранения и безопасности (RBAC, PodSecurity, NetworkPolicy, mTLS/mesh, SSO), а затем освоите GitOps/CI-CD, наблюдаемость (SLI/SLO, алертинг, логи, трейсинг) и экономику (сайзинг, autoscaling, spot). Отдельные блоки посвящены stateful-нагрузкам и российским решениям (PIX BI, Visiology, Модус BI, Arenadata, Postgres Pro, Гармония MDM), а также ClickHouse, Greenplum, Trino, Iceberg и полному конвейеру CDC→S3/Iceberg→dbt→BI.

Учебный курс: Postgres Pro для хранилищ данных (DWH)

Научить проектировать, разворачивать, оптимизировать и эксплуатировать аналитические хранилища данных на базе Postgres Pro Enterprise — с учётом специфики лицензирования, архитектуры, инструментов и практик реальных внедрений. Подходит для системных архитекторов, аналитиков, data engineers и специалистов по PostgreSQL, переходящих с Oracle/MS SQL/Greenplum/1С.

Учебный курс: Витрины данных на ClickHouse: от архитектуры до SLA

Постройте слой витрин, который выдерживает нагрузку, проходит аудит и «кормит» BI/API без сюрпризов. Этот курс — про практику и эксплуатацию: вы не просто слушаете, а собираете рабочий контур на ClickHouse с наблюдаемостью, безопасностью и процессами.

Курс по информационной безопасности при внедрении BI DWH

В современном мире бизнес-аналитика и управление данными требуют не только умения собирать и анализировать данные, но и гарантировать их безопасность на протяжении всего цикла жизненного цикла BI DWH — от источников данных до дашбордов и отчетов. Введение в информационную безопасность BI DWH — это не набор случайных правил, а системная методика защиты конфиденциальной информации, устойчивости систем к внешним и внутренним угрозам, а также соблюдения регуляторных требований. Цель этой главы — дать новичку прочную теоретическую базу и практические ориентиры, которые можно применить в реальной работе: от проектирования архитектуры до повседневного мониторинга и реагирования на инциденты.

3. Управление данными - Data Governance

4. Методики проектирования хранилищ

Подход Ральфа Кимбалла основывается на важности витрин данных, которые являются хранилищами данных, принадлежащих конкретным направлениям бизнеса. Хранилище данных — это просто сочетание различных витрин данных, которые облегчают отчетность и анализ. Проект хранилища данных по принципу Кимбалла использует подход «снизу вверх».

Подход Билла Инмона основывается на том, что хранилище данных является централизованным хранилищем всех корпоративных данных. При таком подходе организация сначала создает нормализованную модель хранилища данных. Затем создаются витрины размерных данных на основе модели хранилища. Это известно как нисходящий подход к хранилищу данных.

5. Область хранения исходных данных - Stage

6. Области постоянного хранения - ODS и DDS

7. Системы-потребители данных хранилища

8. Новые вызовы в развитии хранилищ данных

9. DBeaver

DBeaver — это клиентское программное обеспечение SQL и инструмент администрирования базы данных. Для реляционных баз данных он использует интерфейс прикладного программирования (API) JDBC для взаимодействия с базами данных через драйвер JDBC. Для других баз данных (NoSQL) используются собственные драйверы баз данных. Он предоставляет редактор, поддерживающий завершение кода и подсветку синтаксиса. Он предоставляет архитектуру подключаемых модулей (основанную на архитектуре подключаемых модулей Eclipse), которая позволяет пользователям изменять большую часть поведения приложения, чтобы обеспечить специфичные для базы данных функции или функции, независимые от базы данных. Он написан на Java и основан на платформе Eclipse.

DBeaver — это бесплатный, с открытым исходным кодом, кроссплатформенный универсальный инструмент для работы с базами данных, предназначенный для разработчиков, аналитиков и администраторов баз данных. Он поддерживает любые СУБД с JDBC-драйверами, а также множество других источников данных благодаря расширениям. Удобный интерфейс, широкие возможности плагинов и мощный функционал делают его подходящим как для повседневной работы, так и для продвинутых задач — моделирования ER-диаграмм, сравнения данных, импорта/экспорта, генерации тестовых данных и других.

Поддерживаемые базы данных:

Athena, Apache Calcite Avatica, Apache Derby, Apache Drill, Apache Ignite, Apache Hive, Apache Kylin, Apache Kyuubi, Apache Phoenix, Apache Spark, Azure Databricks, Azure SQL Server, Babelfish, Cache, Clickhouse, Cloudera Impala, CockroachDB, CrateDB, CUBRID, DB2, Dameng, DuckDB, Data Virtuality, DBF, Denodo 8, DolphinDB, Dremio, EDB, Elasticsearch, Exasol, Firebird, GaussDB, GBase 8s, Gemfire XD, Google BigQuery, Google Cloud Spanner, Greenplum, H2, H2GIS, HSQL, Informix, Ingres, InterSystems IRIS, Kognitio, Machbase, MariaDB, Materialize, Microsoft SQL Server, MySQL, SAP MaxDB, Mimer SQL, Monet DB, Netezza, Neo4j, NuoDB, OceanBase, Ocient, OmniSci, Open Distro Elasticsearch, OpenEdge, OpenSearch, Oracle, OrientDB, Pervasive SQL, PostgreSQL, PrestoSQL, PrestoDB, Redshift, Salesforce CDP, SAP HANA, SnappyData, Snowflake, Solr, SQream DB, SQLite, Sybase, TDengine, TDengine Cloud, Teradata, TimescaleDB, TiDB, TiDB Cloud, Trino, Virtuoso, Vertica, WMI, Yellowbrick, YugabyteDB.

Хотите узнать больше о мире данных?

Если вы уже познакомились с нашим базовым курсом по хранилищам данных (DWH) — отличная новость: это только начало!

Мы подготовили целую серию бесплатных и платных учебных программ, которые помогут углубить знания и освоить конкретные технологии и инструменты, востребованные в индустрии:

Бесплатные курсы:

Современная архитектура хранилища данных — расширенное и углублённое продолжение базового DWH-курса. Здесь вы найдете больше практики, больше технологий и полное понимание современного подхода к построению хранилищ данных.
PostgreSQL, Greenplum, ClickHouse — курсы по конкретным СУБД, которые часто применяются в проектах по аналитике и построению DWH.
Apache Airflow и NiFi — курс по современным оркестраторам данных (ETL-процессы), которые позволяют строить надёжные и управляемые пайплайны.

Платные курсы в нашем учебном центре:

«Руководство по DWH: Архитектура, Инструменты, Внедрение» — практический курс для тех, кто участвует в проектах внедрения хранилищ данных.
Курсы по Greenplum, ClickHouse, Airflow и NiFi — углублённое изучение каждой технологии, примеры из реальных проектов.
Курсы по Arenadata — работа с российскими промышленными решениями в области хранения и обработки данных.

Начните с бесплатных курсов, а затем переходите к профессиональному обучению — вместе с нами вы сможете построить карьеру в мире данных.

Книги Кимбалла

Файлы-примеры из книг Кимбалла

EfCore.SchemaCompare — инструмент для сравнения схем баз данных Entity Framework Core (EF Core). Он позволяет проверять различия между базой данных и миграциями, обеспечивая удобный способ отслеживания изменений в схемах данных. Этот инструмент может быть полезен для управления версиями баз данных и предотвращения ошибок, связанных с несовпадением структуры данных при разработке приложений на EF Core

Построение хранилища данных по Event Driven Architecture (EDA)

Slowly Changing Dimensions (SCD) в хранилищах данных

Pentaho Data Integration: построение ETL-конвейеров - от основ до enterprise-эксплуатации

Деградация DWH: типичные ошибки моделирования измерений

← Предыдущая статья

Учебный курс по MLOps и Data Science (ML, AI)

Следующая статья →

Учебный курс по Data Governance, Data Quality, MDM, Data Lineage