Архитектура Doris: обзор компонентов и взаимодействий
Doris - распределённая аналитическая база данных с ориентиром на real-time OLAP. Архитектура проекта строится вокруг явного разделения ролей между слоями управления данными и слоями вычислений, что обеспечивает масштабируемость, гибкость и устойчивость к сбоям в условиях больших объёмов данных и низкой задержки аналитических запросов. В рамках данной главы освещаются ключевые компоненты Doris, их взаимодействия и проектные решения, которые позволяют достигать нужной производительности в сценариях реального времени: от загрузки и обработки партий до интерактивной аналитики.
Doris проектировался как система, способная быстро наращивать вычислительную мощь и объём данных без радикального изменения клиентской логики. Центральная идея состоит в разделении архитектуры на две взаимосвязанные, но функционально различающиеся подсистемы: фронтенд-слой, ответственный за метаданные, планирование запросов и управление жизненным циклом объектов, и бекенд-слой, на котором хранятся данные и выполняются вычисления. Взаимодействие между слоями реализуется через надёжный RPC-слой, ориентированный на низкую задержку и эффективную передачу больших объёмов данных. В дополнение к FE и BE Doris включает компонент Broker для работы с внешними источниками данных, механизмы управления транзакциями и инфраструктуру мониторинга.
Глубокое понимание архитектуры Doris требует увидеть не только «что» делают отдельные компоненты, но и «почему» они спроектированы именно так: как достигается консистентность и согласованность данных в распределённой среде, как обеспечиваются высокие скорости чтения и записи, и каким образом оптимизируются планы выполнения запросов для ускорения аналитических задач в реальном времени.
- В Doris архитектура опирается на принцип разделения обязанностей между управлением метаданными и хранением данных.
- Система поддерживает масштабирование путем добавления узлов BE (Backend) и FE (Frontend), что позволяет гибко адаптировать производительность под workload.
- Реализация планирования запросов и исполнения строится вокруг современных техник оптимизации, включая трафаретную оптимизацию и векторизованный движок.
- Интеграции с внешними источниками данных и механизмами безопасности обеспечивают готовность к внедрению в корпоративную инфраструктуру.
Краткое содержание главы
- Обзор глобальных слоёв Doris: FE, BE, Broker и принципы взаимодействия между ними.
- Хранение данных: структура Tablet, Rowset/Segment, логику компакции и репликацию.
- Планирование запросов: парсинг, анализ, современные оптимизаторы и векторизованный движок выполнения.
- Интеграции и безопасность: источники данных, соединения JDBC/ODBC, аутентификация и авторизация.
- Эксплуатация: мониторинг, управление кластером, отказоустойчивость и лучшие практики.
Архитектура Doris: принципы и глобальные слои
Doris реализует многослойную архитектуру, где каждый слой отвечает за свой диапазон задач и имеет чётко определённые интерфейсы. Это обеспечивает независимую эволюцию компонентов, минимизирует взаимные зависимости и облегчает масштабирование.
Фронтенд-слой (FE) - это сервис управления метаданными, планирования запросов и координации операций над схемами, таблицами и транзакциями. FE хранит глобальный каталог объектов, строит планы выполнения и передаёт их бекенд-узлам для исполнения. В FE реализованы механизмы аутентификации, авторизации и управление жизненным циклом миграций схемы, загрузок данных и обновления метаданных. FE часто разворачивают в кластере для обеспечения высокой доступности и отказоустойчивости.
Бэкенд-слой (BE) отвечает за физическое хранение данных и вычислительную часть запросов. Узлы BE содержат локальные хранилища и вычислительный движок, который обрабатывает сканирование данных, агрегации и соединения. Репликация между BE-узлами обеспечивает устойчивость к сбоям и возможность горизонтального масштабирования через добавление новых нод. В BE реализованы механизмы компрессии столбцов, инкрементальных изменений и управление сегментами данных.
Broker-компонент выступает посредником между Doris и внешними источниками данных, такими как HDFS, S3 и другие файловые хранилища. Broker упрощает загрузку данных, конвертацию форматов и интеграцию с внешними системами без необходимости держать специфический коннектор на каждом BE-узле. Этот слой особенно полезен для «снизу вверх» загрузки данных и периодических партийных операций.
Коммуникации между FE, BE и Broker-слоями строятся на внутреннем RPC-слое Doris, который обеспечивает сниженную задержку, эффективную сериализацию и устойчивость к перегрузкам. В рамках архитектуры важную роль играет управление транзакциями и консистентность метаданных: Doris поддерживает сравнительно мощные механизмы для координации изменений схем и данных в распределённой среде, чтобы обеспечить согласованность после операций загрузки, добавления партиций или переразбивки таблиц.
Выбор проектных решений в Doris направлен на достижение следующих целей:
- отделение вычислений от хранения данных для гибкости масштабирования;
- обеспечение низкой задержки и высокой пропускной способности для real-time аналитики;
- поддержку гибкой загрузки и обновления данных без прерывания работы;
- простоту интеграции с экосистемой источников данных и инструментов бизнес-аналитики.
Компоненты Doris: Frontend, Backend, Broker и взаимодействия
Frontend: управление метаданными и планирование
Frontend несёт ответственность за хранение схем, метаданных таблиц и индексов, а также координацию транзакций и сбор статистики. После подачи SQL-запроса FE:
- парсит текст SQL и строит синтаксическое дерево;
- выполняет лексический и семантический анализы над метаданными;
- обращается к каталогу за схемой и статистикой;
- применяет оптимизацию на этапе планирования и формирует физический план выполнения;
- распределяет части плана по BE-узлам, с учётом локализации данных и балансировки нагрузки.
FE также осуществляет контроль доступа и аудит, управляет сессиями пользователей, хранит текущие параметры выполнения и обеспечивает устойчивость к сбоям за счёт кэширования и репликации метаданных. Важным аспектом является способность FE быстро адаптироваться к изменяющимся требованиям к SQL-совместимости и функциональности анализируемых рабочих нагрузок.
Backend: хранение данных и вычисления
Backend-узлы отвечают за физическое хранение таблиц в колоночном формате и выполнение сложных аналитических операций. Архитектурно BE соединяется с FE для получения плана и метаданных, выполняет чтение столбцов, фильтрацию, агрегацию и соединения, а затем возвращает результаты FE или клиенту. Основные особенности BE:
- распределение данных по планшетам (tablet) и параллельное выполнение операций на нескольких узлах;
- хранение данных в форме Rowset/Segment с поддержкой компрессии и индексации;
- репликация и консистентность данных через механизм журналирования изменений и распределённого управления транзакциями;
- поддержка инкрементальных загрузок, утилит для контрольной проверки и восстановления после сбоев.
BE осуществляет execution-цепочку, начиная с сканирования данных (OLAP-сканеры), переходя к локальным операциям агрегации и завершению на операции передачи результатов обратно FE. Важной частью является оптимизация выполнения: использование векторизованного движка, использование runtime-фильтров (например, Bloom-фильтров) для снижения числа сканируемых записей и ускорение фильтрации на раннем этапе.
Broker: источники и загрузка внешних данных
Broker-слой облегчает доступ к внешним данным и загрузку их в Doris. Он поддерживает популярные хранилища, такие как HDFS и S3, и позволяет выполнять конвертацию форматов, партиционирование и подготовку данных для загрузки в внутреннюю структуру Doris. Broker не хранит данные внутри Doris сам по себе; он служит мостом между внешним миром и внутренними таблицами Doris, упрощая загрузку больших партий и управление источниками.
Взаимодействие и путь запроса
Типичный путь запроса начинается с клиента, который отправляет SQL в Doris. FE парсит и анализирует запрос, собирает статистику, применяет планировщик и формирует план выполнения. План разделяется между BE-узлами: каждый BE-парт планируется на узлах, где хранятся соответствующие данные, и затем вычисления объединяются для формирования итогового набора результатов. В процессе может применяться обмен данными между BE-узлами с помощью механизмов перераспределения и сортировки (exchange). Векторизованный движок обеспечивает эффективное выполнение отдельных операций и операторов, таких как фильтрация, агрегация, соединения и сортировки, в пакетах данных, что минимизирует контекстные переключения и ускоряет обработку.
Хранилище данных и консистентность: планшеты, Rowset, компакция и репликация
Хранение данных в Doris основано на колонно-ориентированном подходе с разделением по планшетам (tablet). Таблица делится на партиции и планшеты распределяются по BE-узлам. Основные концепции:
- Rowset/Segment: физические фрагменты данных, которые хранят столбцовые данные и метаданные их версии. Rowset поддерживает версии и инкрементальные изменения, что упрощает загрузку и обновления.
- Репликация: несколько копий планшета на разных BE-узлах обеспечивают отказоустойчивость. Консистентность достигается через контролируемые механизмы обновления и синхронизацию версий между копиями.
- Компакция и сегментация: данные периодически проходят через процессы компакции, чтобы объединить мелкие фрагменты и улучшить эффективность сканов. В разных режимах могут применяться агентские или фоновые задачи по управлению жизненным циклом данных.
- Данные и индексы: Doris поддерживает колоночное хранение с различными опциями сжатия и индексации, что улучшает диапазонность запросов и точность сквозной фильтрации.
Эти механизмы позволяют Doris обрабатывать большие массивы данных с минимальной задержкой чтения. В реальных рабочих нагрузках важно проектировать схемы так, чтобы распредление планшетов обеспечивало однородную загрузку и минимизировало «горячие точки» на отдельных узлах. Разделение по партициям и разумная настройка стратегии репликации критически важны для поддержания устойчивости к сбоям и для возможности горизонтального масштабирования.
Планирование запросов и выполнение: от анализа к исполняемым планам
Путь запроса в Doris начинается с анализа SQL, после чего выполняется серия этапов подготовки и оптимизации. Современная архитектура Doris включает продвинутый оптимизатор (включая современные режимы, иногда известные как Nereids в определённых версиях) и векторизованный движок выполнения.
- Анализ и оптимизация: после разбора синтаксиса FE применяет логический и физический план. Непосредственно после этого выбирается реализация, учитывая статистику по данным, распределение по планшетам и текущую загрузку системы. В рамках оптимизации применяются техники предикатного пуша, перестановки операторов и выбор эффективной стратегии объединения данных.
- Векторизованный движок: выполнение запросов идёт по векторизованным путям, где данные читаются и обрабатываются пакетами столбцов, что обеспечивает высокую пропускную способность и снижает накладные расходы на обработку индивидуальных кортежей.
- Runtime-фильтры и оптимизация соединений: на этапе выполнения применяются runtime-фильтры ( Bloom-фильтры и похожие структуры) для раннего исключения неподходящих строк, что существенно уменьшает объём обрабатываемых данных. Соединения (JOIN) выбираются по оптимальному плану: hash-join, merge-join и другие варианты в зависимости от статистики и размера набора данных.
- Разделение на Fragment и Exchange: вычисления размещаются на нескольких BE-узлах и обмениваются данными через Exchange-узлы, что позволяет эффективно масштабировать выполнение на кластере.
Эти элементы являются основой способности Doris обслуживать real-time аналитические запросы. Главная идея состоит в том, чтобы превратить запрос в набор параллельных задач, которые можно выполнить локально на каждом узле BE, с минимальными задержками на передачу данных между узлами и максимально возможной эффективностью сканирования столбцов.
Интеграции, протоколы и безопасность
Doris поддерживает взаимодействие со внешними данными и интеграцию в корпоративную инфраструктуру через стандартные механизмы и открытые форматы. Основные точки интеграции включают:
- внешние источники данных: HDFS, S3 и аналогичные хранилища через Broker; это упрощает загрузку данных и поддержку разнообразных форматов без необходимости прямого внедрения коннекторов на каждом BE-узле;
- подключение к аналитическим инструментам: поддержка JDBC/ODBC, что упрощает подключение BI-систем и клиентских приложений;
- безопасность: поддержка аутентификации и авторизации, шифрование TLS при передаче данных, а также роль-бейзед доступа для ограничений по пользовательским правам и уровням доступа к объектам данных.
Важно отметить, что интеграции в Doris строятся таким образом, чтобы минимизировать влияние на время обработки запросов и позволить безопасно расширять функциональность за счёт подключения к внешним источникам и инструментам. При этом архитектура сохраняет ясность распределения обязанностей: внешние загрузки и конвертации данных - через Broker, а вычисления - на BE-узлах, с FE, контролирующим контекст и безопасность.
Администрирование, мониторинг и эксплуатация
Успешное внедрение Doris на практике требует понятного подхода к администрированию и мониторингу. В кластере Doris важно обеспечить:
- балансировку нагрузки между FE и BE-узлами; мониторинг использования CPU, памяти и скорости сетевых соединений;
- устойчивость к сбоям: репликация планшетов, автоматическое восстановление и локальные кеши метаданных;
- управление обновлениями: безопасная миграция схем, планов выполнения и версий движка;
- наблюдаемость и системные метрики: интеграция с Prometheus/Grafana или аналогичными системами для отслеживания задержек, пропускной способности, доли ошибок и других индикаторов производительности;
- хранение и поддержка резервного копирования: механизмы резервного копирования схем и данных, а также планирование восстановления.
Эти аспекты являются неотъемлемой частью жизненного цикла эксплуатации Doris: от развёртывания и масштабирования до устойчивости к отказам и соблюдения SLA в рамках бизнес-подразделения.
Key takeaways
- Doris строится вокруг явного разделения метаданных/плана (FE) и хранения/вычислений (BE), с Broker для внешних источников.
- Хранение данных реализуется через планшеты, Rowset/Segment и репликацию, что обеспечивает масштабируемость и отказоустойчивость.
- Планирование запросов опирается на современные оптимизаторы и векторизованный движок, включая раннее применение runtime-фильтров для ускорения сканирования.
- Интеграции с внешними хранилищами и стандартными интерфейсами (JDBC/ODBC) позволяют внедрять Doris в существующую BI-инфраструктуру.
- Безопасность и контроль доступа являются встроенными элементами архитектуры: аутентификация, авторизация и шифрование данных в транзите.
- Мониторинг производительности и устойчивость к сбоям требуют систематического подхода к администрированию кластера и регулярной проверки метрик.
- Эволюционная архитектура Doris позволяет масштабировать как по вычислениям, так и по объёму хранимых данных, сохраняя низкую задержку для real-time аналитики.
FAQ
- Что такое FE и BE в Doris и как они взаимодействуют?
FE (Frontend) отвечает за метаданные, планирование запросов и управление схемами. BE (Backend) хранит данные и выполняет вычисления по планам, предоставляя результаты FE. Взаимодействие реализуется через внутренний RPC-слой: FE формирует планы и делегирует исполнение BE, которые параллельно обрабатывают данные и возвращают результаты. Broker добавляет доступ к внешним источникам, упрощая загрузку данных.
- Как Doris обеспечивает real-time аналитику?
Real-time аналитика достигается за счёт параллельного выполнения запросов на большом количестве BE-узлов, векторизованного движка и раннего применения фильтров, что минимизирует объём данных, подлежащих сканированию. Инкрементальные загрузки и обновления помогают поддерживать актуальность данных, а планировщик адаптируется к текущей нагрузке.
- В чём преимущество разделения планшетов и репликации?
Разделение данных по планшетам обеспечивает эффективное распределение нагрузки и параллельное выполнение запросов. Репликация повышает отказоустойчивость и позволяет продолжать обработку при сбоях отдельных узлов, что критично для корпоративной среды с требованиями к SLA.
- Какие технологии используются для планирования запросов?
Doris использует современный планировщик с поддержкой оптимизаторов и кросс-узлового исполнения. Векторизованный движок ускоряет обработку столбцовых данных, а runtime-фильтры позволяют отсеивать ненужные данные до выполнения дорогих операций.
- Как Doris подключается к внешним источникам данных?
Через Broker-поддержку Doris может загружать данные из HDFS, S3 и прочих хранилищ, преобразуя форматы и подготавливая их к загрузке во внутреннюю схему. Это позволяет централизовать загрузку и уменьшить сложность коннекторов на BE-узлах.
- Какие методы безопасности поддерживает Doris?
Doris поддерживает аутентификацию и авторизацию, включая многоуровневые политики доступа и масштабируемую модель ролей. Передача данных может защищаться TLS, а административные операции - аудитами и логированием.
- Как осуществляется мониторинг кластера Doris?
Мониторинг ведётся через системные таблицы, метрики и интеграцию с внешними системами мониторинга (например, Prometheus и Grafana). Данные позволяют отслеживать задержки, пропускную способность, загрузку узлов и доступность услуг FE/BE.
- Как масштабировать Doris?
Масштабирование достигается за счёт добавления BE-узлов (горизонтальное масштабирование вычислительных мощностей и хранения) и, при необходимости, FE-узлов (для увеличения пропускной способности к расписанию метаданных и планированию). Грамотно настроенная репликация и перераспределение данных помогают удерживать баланс нагрузки.
- Какие лучшие практики внедрения Doris в предприятии?
Определение роли FE и BE, проектирование партиций и планшетов для равномерного распределения нагрузки, настройка политики компрессии и размерности Rowset, внедрение мониторинга и политик резервного копирования, а также планирование миграций и этапности перехода для минимизации простоев.
- Как обеспечить совместимость с существующей BI-инфраструктурой?
Используйте JDBC/ODBC-доступ, настройте внешние источники данных через Broker, позаботьтесь о согласовании моделей данных и простом подключении к инструментам бизнес-аналитики. Важно сохранить единый подход к именованию схем, типам данных и правилам безопасности.
Замечание: описанная архитектура ориентирована на типичные паттерны использования Doris в реальных проектах. Конкретные реализации и настройки могут варьироваться в зависимости от версии Doris, требований бизнес-процессов и существующей инфраструктуры.
