Учебный курс Современная архитектура хранилища данных

Модуль 1 - Роль Аналитики и Инженера данных в организации

Познакомимся с предметом изучения, узнаем кто такой Data Engineer и что он делает, и как его еще называют. Главное, поймем, как он помогает бизнесу быть эффективней и зарабатывать деньги. Рассмотрим типовые архитектуры аналитических решений.

Модуль 2 - Базы Данных и SQL

Рассмотрим пример решения для локальной аналитики. Познакомимся с базами данных и поймем их преимущество для работы с данными по сравнению с Excel/Google Sheets. Потренируемся на SQL, установим базу данных и загрузим в нее данные, потом будем использовать Excel/Google Sheets для визуализации данных.

Доступные решения для России:

Greenplum - бесплатно, но если промышленная - нужна коммерческая поддержка, например Arenadata, учебный курс по GreenPlum
Clickhouse (быстрая колоночная СУБД для витрин данных) - учебный курс по Clickhouse
Postgres - бесплатно, но если промышленная инсталляция - нужна коммерческая поддержка, например Postgres Professional, учебный курс по PostgreSQL
Эволюция архитектуры баз данных: интеграция Big Data, облачных технологий и ИИ
Кому подойдет СУБД Greenplum? Чем Greenplum отличается от Clickhouse
Сравнение 4 баз данных: Greenplum, Teradata, Presto и Clickhouse

СУБД и хранилища для больших данных

Использование классических реляционных, колоночных, NoSQL, SMP/MPP хранилищ для построения DWH:

Исследование всех СУБД можно скачать на https://russianbi.ru/

Пропиетарные облачные решения:

Oracle ADW - бесплатно в облаке на 10 ГБ, потом где-то 1K за ядро в месяц
Vertica - до 1TB без саппорта бесплатно, потом примерно 7k за ТБ в год
Snowflake - в облаке, тоже денег стоит, но надо смотреть что там и как

Модуль 3 - Визуализация данных, дашборды и отчетность - Business Intelligence.

Познакомимся с BI инструментами, научимся использовать Qlik, Tableau и Power BI. Разберемся с клиентской и серверной частью. А также познакомимся с методологией по созданию метрик - Pirate Metrics.

Business Intelligence

1 BI: Обзор - BI building blocks: connecting, modeling, visualising, dashboarding

- учебные курсы по популярным пропиетарным BI-решениям: Looker, Qlik, Tableau и Power BI

- учебные курсы по популярным open-source BI-решениям Open source BI: Superset, Metabase / Учебный курс по Open-source BI

2 BI: Deployment - self-hosted vs. Managed

- Metabase: Deployment with Docker on AWS

- Configuring BI tool: security, metadata, notifications, user access

- Software version upgrades

3 BI: Modeling & Delivering

- Connecting to Data sources

- Моделирование данных: типизация, отображение, документирование

- Задание метрик, фильтров, сегментов

- Сборка Аналитических дашбордов: лучшие практики

4 BI: Углубленные вопросы

- продвинутые фичи: Кросс-фильтрация, Persistent Derived Tables, Calculated fields

- Sharing: public + private Sharing + embedding

- Настройка уведомлений, alerts

- Тестирование дашбордов (Data validation)

Исследование всех российских BI можно скачать на https://russianbi.ru/

Модуль 4 - Интеграция данных и создание потоков данных (data piplelines)

При росте количества источников данных становится сложно вручную загружать и трансформировать данные. Именно для этих задач используются ETL решения. Так же мы рассмотрим разницу между ETL и ELT. Дополнительно рассмотрим рынок решений и потренируемся на Open Source решении, с помощью которого мы сможем загрузить данные в Redshift и автоматизировать этот процесс.

Продукты:

Коммерческий ETL - Microsoft Integration Services и Informatica Power Center
Open Source ETL - Pentaho / Airflow/Nifi : учебный курс по Apache Nifi, Apache Airflow / DBT Tool: Учебный курс по dbt (Data Build Tool)
Облачный ETL - Matillion, Fivetran, AWS Glue, Azure Data Factory

Исследование всех российских ETL-продуктов можно скачать на https://russianbi.ru/

ELT: Структура и типы источников данных

1 Типы источников и их особенности

- классификация баз и источников;

- структурированные и неструктурированные данные;

- чтение из базы напрямую / лога WAL / REST;

- форматы данных;

Обзор инструментов для выгрузки. Self- managed & SaaS.

- свой код или использование сервисов. Как найти баланс;

- как сделать выгрузки своими силами: Databases, Ads:Yandex.Direct, Google Adwords, Web: Yandex.Metrika, Google Analytics;

- ETL / ELT;

- GCP: DataFusion, DataPrep, DataFlow (Beam);

- обзор SaaS: Fivetran, Hevo, Alooma, myBI;

Модуль 4.5 - Оркестрация скриптов и задач

когда нужны инструменты оркестрации;
обзор Airflow, Prefect, Dagster;
Deployment: Self-managed (пример на Kubernetes) vs. Cloud native;
Monitoring & Alerting;
3 DBT: Data Quality Pipeline + Documentation
schema tests
Data tests
Cross-database tests
Documenting your project
Accessing documentation easily with static website
4 Вопросы оптимизации производительности
performance best practices
Execution plan analysis
Compressing data & physical design (DIST, SORT, Materialized views, …)
Incremental updates / building Marts by periods
Code refactoring & KISS (Keep it simple, stupid)

Оркестрация и MLOps

Airflow, Luigi, Oozie

MLflow

Dagster

Модуль 5 - Облачные вычисления (Cloud Computing)

Узнаем, что кроется за понятием облачных вычислений, как они используются на западе и почему так популярны. Познакомимся с аналитическими решениями Amazon Web Services и Microsoft Azure. Рассмотрим реальные примеры миграции в облака.

Модуль 6 - Облачное Хранилище данных

Центр вселенной в аналитике обычно это хранилище данных или платформа данных. Как правило это аналитическое решение с MPP архитектурой и часто используется облачные решения. Мы познакомимся с одним из самых популярных решений Amazon Redshift и узнаем о других аналогах. Также рассмотрим кейсы миграции традиционных решений в облака.

Google BigQuery:

Azure:

Amazon, Snowflake

Databricks

AWS, GCP, Azure

Введение в Apache Doris: хранилище данных нового поколения

Модуль 7 - Знакомство с Apache Spark

Apache Spark является одним из самых популярных инструментов для Инженера Данных. Данный модуль мы посвятим знакомству с Apache Spark и рассмотрим его функциональность. Потренируемся создавать RDD и Data Frame, рассмотрим основные операции и кейсы использования.

Модуль 8 - Создание решения для Big Data с использованием Hadoop и Spark

Hadoop является флагманом решений Big Data. В данном модуле, мы попробуем решить задачу, которая не под силу традиционными инструментам ETL/DW, это поможет вам понять разницу между DW и BigData и вы точно будете знать, почему мы используем Hadoop. В качестве инструмента управления мы воспользуемся Spark который уже будет предустановлен на Amazon Elastic Map Reduce. В качестве упражнения, мы будем использовать PySpark, чтобы читать неструктурированные логи и извлекать из них ценную информацию.

Модуль 9 - Data Lake

Знакомство с понятием Озера Данных и его создание с помощью инструментов AWS. Существует много версий про назназначение Озера Данных и про его роль в Аналитической экосистеме. В данном модуле мы познакомимся с понятием Озера данных, его ролью в экосистеме, рассмотрим типовые архитектуры построения решений с использованием Озера Данных и/или Хранилища данных. В качестве решений будем использовать продукты AWS.

Архитектура медальона описывает ряд слоев данных, которые соответствуют качеству данных, хранящихся в гибридном решении "хранилище и озеро данных". Ведущие вендоры рекомендуют использовать многоуровневый подход к созданию единого источника истины для корпоративных продуктов данных. Эта архитектура гарантирует атомарность, согласованность, изоляцию и устойчивость, так как данные проходят через несколько уровней проверок и преобразований, прежде чем они будут сохранены в схеме, оптимизированной для эффективной аналитики. Термины бронзовый (необработанные), серебряный (проверенные) и золотой (обогащенные) описывают качество данных в каждом из этих уровней.

Apache Parquet, Hudi, Apache Iceberg и Delta Lake

Что такое Apache Hudi?

Модуль 10 - Решение задачи по стримингу данных.

Apache Flink

Рецепт платформы потоковой обработки данных на Apache Flink (конференция Smartdata 2024)

Apache Kafka

Другое:

Модуль 11 - Задачи Машинного Обучения глазами инженера данных.

Итак, в компании уже есть хранилище данных, и сформирован бизнес-запрос на их использование для достижения измеримой бизнес-цели с помощью ML. Представим, что команда внедрения успешно прошла все этапы до внедрения ML-сервиса в продукционный режим («Прод»). Это можно рассматривать как разовое действие для ИТ: обернули в Docker-контейнер, запустили и забыли — до первого инцидента. Но в случае с ML-сервисом возникает ряд дополнительных требований и ограничений:

Нужно понимать, как был получен тот результат, который будет выведен в «Прод». Это и история экспериментов (параметров обученных ML-моделей и данных для их обучения), и версии использованных ML-библиотек (окружение), и достигнутые ML-метрики, и возможности для масштабирования. В общем, нужна организация пайплайнов обучения и тестирования ML-моделей и их версионирование.

Нужно создать механизмы по обработке и получению входных данных для моделей в «Прод» и передаче их результатов потребителям. Это организация пайплайнов эксплуатации (инференса) ML-моделей.

Нужно реализовать сам вывод в «Прод» и возможности для обновления пайплайнов эксплуатации (зачастую совмещенные с пайплайнами дополнительного обучения). Это организация CI/CD-процессов для ML-сервисов.

Наконец, нужно настроить мониторинг ML-сервиса в «Прод» — сюда входит как общая доступность и быстродействие сервиса, так и отслеживание ML-метрик инференса при эксплуатации

Все эти задачи объединяются подходом и инструментами MLOps (DevOps для ML-моделей). На первый взгляд, они нужны только Data Science-команде и частично Product Owner'у. Но у MLOps есть и существенные бизнес-эффекты, важные для Спонсора — прежде всего, это кратное снижение Time-to-Market для новых ML-сервисов (недели вместо месяцев), а также существенное снижение расходов на их эксплуатацию.

DWH Advanced topics

1 DBT: Advanced topics

- advanced Macros + Jinja

- Complex analytics SQL: Geospatial + Sessionizing + Pattern Matching

- Enabling Slim CI

- CI and Deployment with Github Actions

2 DBT: Extending with modules

- importing modules (libraries)

- Overview of modules: dbt_utils, calendar, logging

- Creating your own module

3 DWH + External Data:

- S3 based Data Lake

- Accessing Semi-structured Data

- External Data: Parquet, ORC

- Hive, Presto, Athena

- dbt module: External Data

4 ML and A/B - feature engineering with dbt

- A/B testing

- Deploying models: MLOps

- (SageMaker) demo

Модуль 12 - Лучшие практики инженера данных

Модуль 13 - Data Vault

Модуль 14 - Дополнительные структуры

Дата инженерия не для дата инженеров

CI/CD для пайплайнов данных

Data-driven компания:

DataMart
Тестирование

Recap

1 End-to-end solution - put everything in place. Собираем воедино все части

- Где могут возникнуть проблемы и Как их решить

- Разбор реальных кейсов: Wheely, Spasibo

- Коммуникация - понимаем, чего хочет заказчик и делаем чуть больше

- Deliver result

Модуль 15 - Data Mesh

Любая компания собирает и обрабатывает огромное количество данных, стараясь извлечь из них максимальную ценность, используя, в частности «озера данных». Вместе с тем, в классическом подходе к работе с Data Lake имеются принципиальные ограничения при централизованном развитии хранилища – чем больше интегрированных систем и данных, тем больше требуется ресурсов на их поддержку и развитие, а значит, возникает больше кросс-зависимостей, что означает лавинообразный рост ответственности для определенных групп сотрудников компании. В итоге, например команда работы с Data Lake, становится бутылочным горлышком процесса доставки данных от источников к потребителям. Решение – распределенная структура управления данными (Data Mesh), позволяющая разделить ответственность: владение данными (генерация, описание, контроль качества, публикация) сосредоточено в бизнес-функциях, а CDO выступает в роли провайдера инструментария хранения, обработки данных, а также методологии управления ими. Особое внимание уделено процессам Data Governance, обеспечивающим взаимодействие между узлами распределенной структуры: внедрение каталога данных, определение ландшафта данных, роли владельца данных, общие политики для всех узлов.

Модуль 16 - Change Data Capture (CDC)

Эти системы позволяют наполнять централизованные хранилища/озера извлекая данные из источников по мере их изменения там. Вот хороший базовый обзор этой концепции и систем:

Модуль 17 - Каталог данных (Data Catalog)

Дополнительно

Компоненты аналтитического решения сгруппированы по типам и назначению.