Битва форматов файлов: Parquet, Delta Lake, Iceberg и Hudi
С ростом популярности озерных хранилищ данных обострилась борьба за эффективное хранение и обработку огромных объемов данных между 4 популярными форматами файлов - Parquet, Delta Lake, Iceberg и Hudi.
Давайте рассмотрим эти форматы подробнее, чтобы понять их внутреннее устройство, особенности, преимущества и недостатки.
Apache Parquet
Apache Parquet - это формат колоночно-ориентированного хранения файлов, предназначенный для эффективной обработки данных, особенно в контексте приложений для работы с большими данными. Это формат с открытым исходным кодом, разработанный в рамках экосистемы Apache Hadoop, который также достаточно широко используется и за пределами Hadoop в самых различных фреймворках для обработки данных, включая Apache Spark, Apache Drill и Amazon Athena.
Структура
Файл Parquet состоит из нескольких компонентов, которые позволяют ему эффективно хранить и извлекать данных:
- Заголовок файла: Содержит число, идентифицирующее файл как файл Parquet.
- Группы строк: Файл Parquet разделен на группы строк, каждая из которых содержит большое количество строк. Группа строк - это минимальная единица данных, которая может быть прочитана или записана в файл Parquet.
- Группы столбцов: Каждая группа строк содержит часть столбцов, где каждая часть хранит данные для определенного столбца во всех строках этой группы строк.
- Страницы: Группы столбцов далее делятся на страницы. Страницы являются наименьшей единицей хранения в файле Parquet и могут быть закодированы и сжаты по отдельности. Типы страниц включают страницы данных (хранящие фактические данные колонок), страницы словаря (хранящие словарные статьи, если используется кодировка словаря) и индексные страницы (для быстрого поиска).
- Нижний колонтитул файла: Нижний колонтитул содержит метаданные о файле, включая схему, количество строк, расположение групп строк и блоков столбцов в файле. В конце также указывается магический номер файла, служащий для проверки согласованности.
Подробнее: Формат файлов | Parquet (apache.org)
Ключевые особенности
- Столбцовое хранение данных: Parquet организует данные по столбцам, а не по строкам. Это означает, что все значения для определенного столбца хранятся вместе, что очень эффективно для запросов, которым нужно обращаться только к определенным столбцам, а не ко всему набору данных.
- Эффективное сжатие данных: Благодаря колоночно-ориентированному хранению данных Parquet обеспечивает более высокую степень сжатия файлов. Схожие типы данных хранятся вместе, что позволяет использовать более эффективные методы сжатия, сокращая пространство для хранения и пропускную способность каналов ввода-вывода.
- Эволюция схем: Parquet поддерживает эволюцию схемы, что означает, что вы можете добавлять или изменять столбцы в схеме без нарушения обратной совместимости. Это особенно полезно в средах с динамическими данными.
- Разделяемый формат: Файлы Parquet могут быть разбиты на более мелкие фрагменты для параллельной обработки. Эта функция очень важна для распределенных систем обработки данных, позволяя обрабатывать большие массивы данных одновременно на нескольких узлах.
- Совместимость: Parquet разработан для работы с различными инструментами и фреймворками для обработки больших данных. Он поддерживается большинством механизмов обработки данных, таких как Apache Hadoop, Apache Spark и другие, что делает его универсальным форматом для анализа больших данных.
- Поддержка сложных типов данных: Parquet поддерживает сложные вложенные структуры данных, включая массивы, карты и структуры. Это позволяет эффективно хранить и запрашивать иерархические или многомерные данные.
Преимущества
- Производительность запросов: Благодаря столбцовому хранению Parquet очень эффективен для запросов, в которых требуется доступ только к подмножеству столбцов, что сокращает объем данных, которые необходимо считывать с диска.
- Эффективность хранения: Сочетание столбцового хранения данных и передовых методов сжатия позволяет значительно экономить на хранении, особенно при работе с большими наборами данных с повторяющимися данными.
- Совместимость: Широкая поддержка Parquet различными инструментами и платформами для работы с большими данными делает его идеальным выбором для сред, которым необходимо обрабатывать и анализировать большие массивы данных с помощью различных инструментов.
- Экономичность: Снижая требования к хранению и повышая эффективность запросов, Parquet помогает снизить общую стоимость обработки и хранения данных.
Недостаки
- Отсутствие ACID-транзакций: Parquet - это формат файлов, а не система управления данными, поэтому он не поддерживает транзакции ACID (Atomicity, Consistency, Isolation, Durability). Это может затруднить управление одновременной записью или обеспечение согласованности данных.
- Отсутствие эволюции схемы: Хотя Parquet в некоторой степени поддерживает эволюцию схемы, она ограничена по сравнению с более сложными форматами таблиц, такими как Delta Lake или Iceberg. Изменение схемы может потребовать переписывания данных.
- Отсутствие функций управления данными: Parquet не предлагает версионирование данных, перемещение во времени или встроенную поддержку работы с потоковыми данными.
- Сложное управление файлами: Пользователи должны вручную управлять файлами Parquet, что может быть чревато ошибками, особенно при работе с большими массивами данных.
Delta Lake
Delta Lake - это уровень хранения данных с открытым исходным кодом, который обеспечивает ACID (Atomicity, Consistency, Isolation, Durability) транзакций поверх Apache Parquet и используется в основном в архитектурах озер данных для обеспечения надежности и согласованности данных при сложной и масштабной обработке данных. Delta Lake тесно интегрирована с Apache Spark, но может использоваться и с другими процессорами.
Структура
Структура Delta Lake построена на основе базовых файлов Parquet с дополнительными компонентами для управления согласованностью данных, версионированием и транзакциями ACID.
- Журнал транзакций: Журнал транзакций - это основной компонент Delta Lake. В нем фиксируется каждое изменение данных, включая вставки, обновления, удаления и изменения схемы. Журнал хранится в виде последовательности JSON-файлов, в которых подробно описываются операции, выполняемые с данными.
- Паркетные файлы: Фактические данные в таблице Delta Lake хранятся в файлах Parquet. Каждая транзакция может создавать новые файлы Parquet, а старые файлы могут быть сохранены или удалены в зависимости от выполненных операций.
- Контрольные точки: Для оптимизации производительности Delta Lake периодически записывает контрольные точки, которые суммируют состояние журнала транзакций до определенного момента. Эти контрольные точки позволяют ускорить восстановление и производительность запросов за счет сокращения необходимости чтения всего журнала транзакций.
- Файлы данных: Файлы Parquet, содержащие фактические данные, организованы в иерархическую структуру каталогов. Каждой версии данных соответствует набор файлов Parquet, и журнал транзакций отслеживает, какие файлы относятся к той или иной версии.
Подробнее: Официальная документация Delta Lake
Ключевые характеристики
- Транзакции ACID: Delta Lake гарантирует, что все операции с данными являются атомарными, последовательными, изолированными и долговечными. Это позволяет надежно вводить и обновлять данные без риска их повреждения или несогласованности, даже при одновременном чтении и записи.
- Масштабируемая обработка метаданных: Delta Lake использует журнал транзакций для отслеживания изменений в данных, что позволяет эффективно управлять крупными наборами данных с миллионами или миллиардами файлов. Этот журнал транзакций является центральным компонентом, обеспечивающим согласованность данных и позволяющим использовать такие функции, как перемещение во времени.
- Путешествие во времени: Delta Lake позволяет пользователям получать доступ к предыдущим версиям данных с помощью журнала транзакций. Эта функция полезна для аудита, отладки или возврата к предыдущему состоянию данных.
- Версионирование данных: Каждое изменение данных (например, обновление, вставка и удаление) создает новую версию в журнале транзакций. Эта система версионирования позволяет использовать такие функции, как путешествие во времени, и обеспечивает безопасный откат при необходимости.
- Применение и эволюция схемы: Delta Lake применяет схему во время записи, гарантируя, что все данные соответствуют заданной структуре. Кроме того, поддерживается эволюция схемы, позволяющая изменять ее со временем контролируемым образом (например, добавлять новые столбцы).
- Унифицированная пакетная и потоковая обработка: Delta Lake может обрабатывать как пакетные, так и потоковые данные единым образом. Это означает, что Вы можете вводить потоковые и пакетные данные в режиме реального времени в одну и ту же таблицу Delta Lake и запрашивать их без необходимости обрабатывать их отдельно.
- Data Lineage: Delta Lake отслеживает преобразования данных и их историю с течением времени. Эта функция важна для понимания того, как изменились данные, обеспечения качества данных и выполнения нормативных требований.
- Поддержка удалений, обновлений и слияний: В отличие от традиционных озер данных, где такие операции могут быть сложными и неэффективными, Delta Lake поддерживает эти операции нативно, обеспечивая более простое и эффективное управление данными.
Преимущества
- Надежность данных: Delta Lake предоставляет надежные гарантии согласованности и надежности данных, облегчая управление большими массивами данных со сложными рабочими процессами и обеспечивая достоверность данных.
- Эффективное управление данными: Благодаря поддержке транзакций ACID, Delta Lake упрощает такие операции, как обновление, удаление и слияние, которые традиционно сложно эффективно выполнять в озерах данных.
- Путешествие во времени и версионирование данных: Возможность запрашивать предыдущие версии данных и откатывать изменения - это мощная функция для аудита данных, отладки и соответствия политикам управления данными.
- Повышение производительности: Журнал транзакций и контрольные точки Delta Lake повышают производительность запросов за счет снижения накладных расходов, связанных с управлением большими наборами данных. Это особенно полезно в сценариях с частыми обновлениями или потоковыми данными.
- Унифицированная архитектура: Поддерживая пакетные и потоковые данные в единой структуре, Delta Lake упрощает архитектуру конвейеров данных, обеспечивая более рациональную и эффективную обработку данных.
- Открытый исходный код и интеграция в экосистему: Delta Lake имеет открытый исходный код и пользуется широкой поддержкой в сообществе разработчиков больших данных. Она хорошо интегрируется с Apache Spark и другими инструментами для работы с большими данными, что позволяет легко внедрять ее в существующие инфраструктуры.
Недостатки:
- Тесная связь со Spark: Delta Lake тесно интегрирована с Apache Spark. Хотя его можно использовать и с другими движками, такими как Presto или Hive, опыт работы с Spark будет наилучшим. Это может ограничить его применение в средах, не использующих Spark.
- Ограниченная поддержка экосистемы: По сравнению с более открытыми форматами, такими как Iceberg или Parquet, Delta Lake имеет меньшую экосистему инструментов и платформ, которые поддерживают его нативно.
- Потенциальная привязка к поставщику: Delta Lake был изначально разработан компанией Databricks, и хотя он имеет открытый исходный код, некоторые продвинутые функции и оптимизации более доступны в экосистеме Databricks.
- Накладные расходы для небольших файлов: Как и другие форматы, поддерживающие транзакции, Delta Lake может нести накладные расходы при работе с большим количеством маленьких файлов из-за ведения журналов транзакций.
Apache Iceberg
Apache Iceberg, разработанный компанией Netflix, - это формат таблиц с открытым исходным кодом, предназначенный для управления крупными массивами данных в озерах данных. Iceberg обеспечивает высокопроизводительную и надежную основу для работы с огромными массивами данных, предлагая такие функции, как эволюция схемы, разбиение на разделы и версионирование. В отличие от традиционных форматов файлов, Iceberg рассчитан на эффективную обработку петабайтов данных, что делает его идеальным для приложений, работающих с большими данными.
Структура
Внутренняя структура Apache Iceberg разработана для эффективного управления большими массивами данных, обеспечивающая высокую гибкость и производительность:
- Метаданные таблицы: Таблицы Iceberg определяются файлами метаданных, в которых хранится информация о схеме, разбиении на разделы, моментальных снимках и других свойствах таблицы. Файл метаданных - это основной компонент, который управляет чтением и записью данных.
- Манифесты и списки манифестов:
Манифесты: Это файлы, содержащие метаданные о файлах данных в таблице. Манифест отслеживает набор файлов данных, включая их пути к файлам, значения разделов и количество строк. Каждый манифест представляет собой часть данных таблицы.
Списки манифестов: Эти файлы объединяют несколько манифестов в один снимок, представляющий все состояние таблицы в определенный момент времени. При создании нового снимка генерируется новый список манифестов.
- Файлы данных: Фактические данные в таблице Iceberg хранятся в файлах Parquet, ORC или Avro. Эти файлы данных управляются и организуются в соответствии с разбиением таблицы и хранятся в базовой системе хранения озера данных.
- Снимки: Каждый снимок представляет собой последовательное представление таблицы в определенный момент времени, включая все файлы данных, составляющие таблицу в этот момент. Снимки неизменяемы, и при каждом изменении (вставка, обновление, удаление) таблицы создаются новые снимки.
- Разбиение на разделы: Iceberg разделяет данные динамически и эффективно. Вместо того чтобы полагаться на жесткие структуры каталогов для разделов, он использует выражения разбиения, которые позволяют гибко группировать данные и эффективно обрезать запросы.
Подробнее: Введение— Apache Iceberg
Ключевые характеристики
- Эволюция схемы: Iceberg позволяет изменять схему таблицы, не требуя дорогостоящих миграций или полной перезаписи данных. Это включает добавление, переименование или удаление столбцов, а также изменение типов столбцов. Iceberg обеспечивает обратную и прямую совместимость с различными версиями схем.
- Разбиение на разделы: Iceberg предлагает гибкий и эффективный подход к разбиению данных на разделы. Он поддерживает стратегии разбиения, которые могут быть определены независимо от физической схемы данных. Это позволяет эффективно выполнять запросы, отсекая разделы, которые не соответствуют фильтрам запроса, что повышает производительность.
- ACID-транзакции: Iceberg обеспечивает гарантии ACID (Atomicity, Consistency, Isolation, Durability) для модификаций данных, позволяя безопасно и надежно обновлять, вставлять и удалять данные. Это очень важно для обеспечения согласованности данных в многопользовательских средах.
- Версионирование данных и перемещение во времени: Iceberg отслеживает изменения данных во времени, позволяя пользователям запрашивать исторические версии данных. Эта функция, известная как «путешествие во времени», полезна для аудита, отладки и восстановления после случайных модификаций.
- Изоляция моментальных снимков: Iceberg использует модель изоляции на основе моментальных снимков, когда каждая операция (например, вставка, обновление или удаление) создает новый снимок состояния таблицы. Это позволяет эффективно обрабатывать одновременные операции без конфликтов.
- Эффективное управление метаданными: Метаданные Iceberg масштабируются в зависимости от размера набора данных, что позволяет эффективно выполнять запросы и управлять большими таблицами. Она включает файлы метаданных, которые описывают структуру и расположение данных, что помогает оптимизировать планирование запросов.
- Поддержка нескольких движков: Iceberg не зависит от движка и интегрируется с различными движками обработки данных, такими как Apache Spark, Apache Flink, Trino и Presto. Такая гибкость позволяет пользователям выбирать лучшие инструменты для своих рабочих нагрузок.
- Скрытое разбиение: Iceberg абстрагирует сложность разбиения на разделы от пользователя. Он автоматически обрабатывает обрезку разделов и избавляет пользователей от необходимости управлять разделами вручную, что снижает вероятность ошибок.
Преимущества
- Масштабируемость: Iceberg рассчитан на работу с таблицами, содержащими миллиарды записей и петабайты данных. Эффективное управление метаданными и стратегии разбиения на разделы позволяют ему масштабироваться без снижения производительности.
- Надежность: Благодаря поддержке транзакций ACID и изоляции моментальных снимков Iceberg обеспечивает согласованность и надежность данных даже в многопользовательских или параллельных средах.
- Гибкость: Возможность изменения схем и использования гибких стратегий разделения делает Iceberg адаптируемым к изменяющимся требованиям к данным и снижает сложность управления большими массивами данных.
- Производительность: Iceberg оптимизирует производительность запросов с помощью таких методов, как обрезка разделов, эффективная обработка метаданных и скрытое разбиение. Это позволяет ускорить выполнение запросов и снизить потребление ресурсов.
- Интеграция: Совместимость Iceberg с различными механизмами обработки данных позволяет использовать его в различных средах, что делает его универсальным выбором для обработки больших данных.
- Контроль версий и перемещение во времени: Возможность запрашивать исторические версии данных и возвращаться к предыдущим состояниям предоставляет мощные инструменты для управления данными, аудита и восстановления.
Недостатки
- Сложность: Iceberg слишком сложен в плане установки и настройки по сравнению с более простыми форматами, такими как Parquet или даже Delta Lake.
- Оверхеды: Дополнительные функции, такие как эволюция схемы, скрытое разделение и версионирование, могут привести к оверхедам, особенно в сценариях, где эти функции не нужны.
- Незрелая экосистема: Несмотря на то, что Iceberg набирает обороты, его экосистема и поддержка сообщества все еще находятся в стадии становления (по сравнению с более авторитетными форматами).
- Совместимость: Несмотря на то, что Iceberg совместим со многими вычислительными системами (такими как Spark, Presto и Flink), для полной совместимости и оптимизации производительности может потребоваться дополнительная настройка или новые версии этих систем.
Apache Hudi
Apache Hudi (Hadoop Upsert Delete and Incremental) - это фреймворк управления данными с открытым исходным кодом, обеспечивающий возможность управления большими массивами данных поверх распределенных систем хранения, таких как HDFS, Amazon S3 и Google Cloud Storage. Hudi привносит возможности потоковой обработки данных во фреймворки пакетной обработки, позволяя эффективно вводить, обновлять и удалять данные в средах больших данных. Изначально он был разработан компанией Uber для решения проблем, связанных с поддержанием свежести данных в озерах данных.
Структура
Apache Hudi организует данные в озере данных, используя структурированный подход, который облегчает эффективное управление данными, запросы и обработку:
- Таблицы Hudi: Hudi организует данные в таблицы, которые могут быть двух типов: Copy on Write (COW) и Merge on Read (MOR). Каждая таблица представляет собой набор файлов, хранящихся в распределенной файловой системе типа HDFS или облачном хранилище.
- Таблицы Copy on Write (COW): Данные хранятся в формате, основанном на строках (например, Parquet). При обновлении данных создается новая версия файла, старая версия удаляется во время очистки.
- Merge on Read (MOR) Tables: Данные хранятся в комбинации базовых файлов (в формате Parquet) и дельта-журналов (в формате Avro). При обновлении данных обновляются только дельта-журналы, а базовые файлы периодически уплотняются для учета изменений.
- Временная шкала фиксации: Hudi ведет временную шкалу фиксации, которая отслеживает все изменения в наборе данных с течением времени. Каждый коммит представляет собой операцию записи (вставка, обновление, удаление) и включает метаданные об операции, такие как временная метка, пути к файлам и затронутые записи.
- Файлы данных: Hudi хранит фактические данные в файлах Parquet для базовых данных и в файлах Avro для дельта-логов (в случае таблиц MOR). Эти файлы организованы по схемам разбиения (например, по дате, региону) для повышения производительности запросов.
- Индексы: Hudi использует индексы для сопоставления ключей записей с определенными местоположениями файлов. Этот механизм индексирования очень важен для эффективного выполнения обновлений и удалений, позволяя быстро находить записи, которые необходимо обновить или удалить.
Дельта-журналы: В таблицах MOR Hudi ведет дельта-журналы, в которых хранятся инкрементные изменения данных. Эти журналы позволяют быстро обновлять данные и служат в качестве временного хранилища до уплотнения данных в базовые файлы.
- Компактирование: Hudi периодически уплотняет дельта-журналы в базовые файлы в таблицах MOR. Компактирование - это процесс объединения изменений, записанных в дельта-журналах, с базовыми файлами для оптимизации производительности запросов.
Подробнее: Стек Apache Hudi | Apache Hudi
Ключевые характеристики
- Обновления и удаления: Hudi поддерживает возможность выполнения upsert (обновлений и вставок) и delete. Это позволяет исправлять записи, обновлять существующие записи и удалять устаревшие или неверные данные, что упрощает поддержание качества данных.
- Инкрементная обработка данных: Hudi обеспечивает инкрементную обработку данных, отслеживая изменения в них. Это позволяет эффективно вводить и обрабатывать только новые или обновленные записи, а не весь набор данных, сокращая потребление ресурсов и время обработки.
- ACID-транзакции: Hudi обеспечивает семантику ACID (Atomicity, Consistency, Isolation, Durability) для операций с данными, гарантируя согласованность и надежность данных даже при одновременной записи и чтении.
- Индексирование: Hudi поддерживает индекс, который сопоставляет ключи записей с местоположениями файлов, обеспечивая эффективный поиск записей при вставках и удалениях. Этот индекс повышает производительность операций записи и обеспечивает корректное обновление записей.
- Изоляция моментальных снимков и перемещение во времени: Hudi позволяет пользователям запрашивать данные в том виде, в котором они существовали в определенный момент времени, обеспечивая изоляцию моментальных снимков. Эта функция перемещения во времени полезна для аудита, отладки и исторического анализа.
- Оптимизированная компоновка данных: Hudi поддерживает форматы хранения данных как на основе строк (копирование при записи), так и на основе столбцов (объединение при чтении). Такая гибкость позволяет пользователям выбирать между хранением, оптимизированным для записи или чтения, в зависимости от требований рабочей нагрузки.
- Компановка и очистка: Hudi автоматически управляет компоновкой данных, выполняя уплотнение, которое объединяет маленькие файлы в более крупные для повышения производительности запросов. Также поддерживаются политики очистки, позволяющие удалять устаревшие или избыточные файлы данных, освобождая место в хранилище.
- Интеграция с экосистемой больших данных: Hudi хорошо интегрируется с различными механизмами обработки больших данных, такими как Apache Spark, Apache Flink, Apache Hive и Presto. Его можно использовать с существующими конвейерами обработки данных и системами хранения.
- Поддержка массовых вставок: Hudi поддерживает операции массовой вставки для больших начальных загрузок данных, обеспечивая высокую пропускную способность при вводе данных.
Преимущества
- Эффективное управление данными: Поддержка upsert и delete в Hudi упрощает управление изменяющимися наборами данных, позволяя пользователям эффективно исправлять, обновлять и удалять записи в среде озера данных.
- Сокращение задержки данных: Hudi позволяет получать и обрабатывать данные практически в режиме реального времени благодаря поддержке инкрементных обновлений данных и запросов с перемещением во времени. Это сокращает время ожидания между поступлением данных и их доступностью для запросов.
- Масштабируемость: Hudi предназначена для работы с большими массивами данных, поддерживая эффективное индексирование, уплотнение и разбиение на разделы для работы с петабайтами данных без ущерба для производительности.
- Согласованность и надежность данных: Благодаря ACID-транзакциям и изоляции моментальных снимков Hudi обеспечивает постоянство и надежность данных даже в условиях одновременного чтения и записи.
- Экономическая эффективность: Функции уплотнения и очистки данных Hudi помогают снизить затраты на хранение данных за счет минимизации избыточности данных и оптимизации размеров файлов. Это особенно важно в облачных средах, где затраты на хранение могут быть значительными.
- Гибкость: два формата хранения Hudi (COW и MOR) позволяют пользователям оптимизировать расположение данных в зависимости от требований конкретной рабочей нагрузки, будь то приоритет производительности записи или производительности запросов.
- Интеграция с существующими экосистемами: Совместимость Hudi с различными процессорами обработки данных и системами хранения позволяет легко интегрировать ее в существующие конвейеры обработки больших данных, используя возможности таких инструментов, как Apache Spark и Apache Flink.
Недостатки
- Сложность конфигурирования: Apache Hudi предлагает широкий спектр функций (например, инкрементную обработку данных и представления в реальном времени), но это может сделать его сложным в настройке и управлении, особенно для команд, которым не нужны все расширенные возможности.
- Тесная связь со Spark: Как и Delta Lake, Hudi в первую очередь оптимизирован для использования с Apache Spark. Хотя он поддерживает и другие движки, работа с ними может быть не столь удобной.
- Потенциальное превышение производительности: Функции транзакций и версионирования в Hudi могут привести к снижению производительности, особенно в сценариях с частыми обновлениями и удалениями.
- Дублирование данных: Hudi поддерживает различные типы представлений (Copy-on-Write и Merge-on-Read), но иногда это может привести к дублированию данных и увеличению требований к хранению.
- Ограниченная экосистема: Хотя популярность Hudi растет, ее экосистема все еще догоняет более зрелые альтернативы, такие как Delta Lake или Iceberg.
Заключение
Выбор правильного формата зависит от конкретных случаев использования и требований.
- Parquet - это простой и эффективный формат, но в нем отсутствуют функции управления данными.
- Delta Lake предлагает ACID-транзакции, но тесно связан со Spark.
- Iceberg отличается высокой гибкостью, но создает сложности и повышает производительность.
- Hudi обеспечивает управление данными в реальном времени, но может быть сложным и зависимым от Spark.
Понимая все сильные и слабые стороны каждого формата, Вы сможете принимать обоснованные решения для архитектуры данных.
