Учебный курс по dbt (Data Build Tool)

dbt (data build tool) — это фреймворк с открытым исходным кодом для выполнения, тестирования и документирования SQL-запросов, который позволяет привнести элемент программной инженерии в процесс анализа данных. Это всё о букве T в акрониме ELT (Extract — Transform — Load).

С появлением таких производительных и масштабируемых аналитических баз данных как BigQuery, Redshift, Snowflake, исчез какой-либо смысл делать трансформации вне Хранилища Данных.

dbt не выгружает данные из источников, но предоставляет огромные возможности по работе с теми данными, которые уже загружены в Хранилище (в Internal или External Storage).

Основное назначение DBT — взять код, скомпилировать его в SQL, выполнить команды в правильной последовательности в Хранилище.

DBT: Overview - dbt building blocks and principles;

- Connecting to DWH: profiles.yaml;

- Configuration: dbt_project.yaml;

- Launching first project;