Рецепт платформы потоковой обработки данных на Apache Flink (конференция Smartdata 2024)

Материал с конференции Smartdata 2024

Apache Flink в инфраструктуре Яндекс Go работает более 4 лет. Но до недавнего момента воспользоваться им могли лишь некоторые продвинутые разработчики — так как Flink не такой дружелюбный, как может показаться на первый взгляд. Все изменилось, когда спрос на стриминг от различных DWH Яндекс Go побудил нас запустить проект по снижению порога входа в потоковую обработку данных.

Расскажу, какую инфраструктуру мы построили вокруг кластеров Apache Flink, начиная от одной и заканчивая сотней Flink job, и о том, какой API выбрали для описания пайплайнов. В итоге мы получили платформу, в которой DE могут легко создавать поставки, не сталкиваясь со сложностями управления Apache Flink job и используя удобный DSL.

скачать презентацию (.pdf)

Спикеры:

Данил Сабиров Яндекс.Такси Технологии

Владимир Верстов Яндекс Go

← Предыдущая статья

Data Vault 2.0. В каких случаях внедрять, разбор основных проблем применения методологии при построении DWH на Greenplum (конференция Smartdata 2024)

Следующая статья →

Процесс миграции DWH из состояния AS IS (Greenplum) в целевое состояние TO BE (Trino, Iceberg REST Catalog, Object Storage) (конференция Smartdata 2024)