Типы данных в StarRocks

StarRocks реализует продвинутую систему типов, ориентированную на аналитические нагрузки и масштабируемые запросы. Типы данных являются основой не только корректности вычислений, но и оптимизации хранения, быстродействия запросов и эффективности загрузки. В контексте крупных данных важно понимать, как именно хранение и обработка разных типов влияют на использование памяти, кодирование столбцов и обмен данными между источниками и консьюмерами. Архитектура StarRocks построена так, чтобы типы данных унифицировали интерфейсы чтения, агрегаций и функций преобразования, сохраняя совместимость с популярными источниками данных и форматами, такими как Parquet и SQL-совместимые источники.

Во вводных условиях проектирования схем и миграций типов следует учитывать не только требования точности, но и конкретику рабочих нагрузок: частоту обновления данных, характер запросов (фильтрация, агрегации, группировки), а также интенсивность загрузки. В этой главе рассмотрены базовые и расширенные типы, принципы их выбора, правила преобразования и влияние на производительность. Особое внимание уделено архитектурным аспектам хранения и эффективной работе с данными в столбцовом формате, поскольку именно они определяют, насколько типовая спецификация действительно упрощает эксплуатацию и ускоряет аналитические сценарии.

Основные скалярные типы и их характеристики
Правила преобразования типов и их влияние на запросы
Стратегии проектирования схем и миграций при изменении типов
Взаимодействие StarRocks с внешними источниками и форматами данных

Архитектурный обзор типов данных и хранение

Система типов в StarRocks тесно связана с архитектурой столбцного движка и с методами кодирования значений в памяти. Каждый столбец формально имеет фиксированный тип, который определяет размер занимаемой памяти, диапазон значений и поведение при операциях сравнения или агрегаций. В большинстве случаев данные хранятся в колоночном формате, что позволяет эффективно применять векторизацию и специализированные кодировки для каждого типа. На этапе чтения данных из хранилища и источников (например, Parquet, JSON, потоковых конвейеров) применяется согласование типов и возможное приведение к целевому типу столбца.

Ключевые моменты архитектуры:

Плотная связь между типом и кодированием: для числовых типов обычно применяются прямые представления и данные упаковываются в бинарный формат, для строковых типов широко применяются словарные кодировки или другие компрессии, зависящие от cardinality.
Поддержка NULL: большинство типов в StarRocks поддерживает значение NULL, что требует отдельного маркерного слоя и влияет на планы выполнения запросов и стратегию фильтрации.
Векторизация и параллелизм: информация о типе напрямую влияет на планы агрегаций, фильтраций и операций сравнения на уровне конвейеров выполнения.
Интеграции с внешними форматами: форматы как Parquet предусматривают свои внутренние представления для типов; StarRocks выполняет безопасное сопоставление и согласование типов при загрузке и чтении.

В рамках этой главы не приводится детальная документация по всем реализациям кодирования, однако важно отметить, что выбор типа напрямую влияет на:

размерность хранения и сверку данных;
точность арифметических операций;
эффективность индексации и фильтраций;
способность выполнять точную агрегацию и точное сравнение значений.

Скалярные и числовые типы

Скалярные типы занимают основное место в любом аналитическом наборе данных. В StarRocks для числовых типов предусмотрены границы, которые позволяют выбрать наиболее подходящий инструмент для данной задачи, минимизируя риск переполнения и потерь точности.

Числовые типы и их применение

BOOLEAN: значения истинности, обычно используются в условиях фильтрации и логических выражениях. Векторизация по этому типу позволяет эффективно реализовывать фильтры и агрегаты через битовые маски.
TINYINT, SMALLINT, INT, BIGINT: последовательность целочисленных типов разной размерности. Рекомендации по выбору:
- используйте INT или BIGINT для идентификаторов, счетчиков и ключевых полей, где значения заметно превышают пределы меньших типов;
- выбирайте минимальный достаточный размер для экономии памяти и увеличения пропускной способности сканирования.
LARGEINT: 128-битный целочисленный тип, предназначен для крайне больших чисел или уникальных идентификаторов, требующих очень большой диапазон. В большинстве стандартных аналитических сценариев BIGINT достаточно, но для некоторых операций с большими числами LARGEINT обеспечивает безопасную точность.
FLOAT, DOUBLE: числа с числами с плавающей запятой. Рекомендованы для приблизительных расчетов, аналитики с высокой динамической амплитудой и сортировок по оценочным метрикам. Для точной финансовой или DPS-аналитики предпочтительнее DECIMAL, особенно если важна согласованная точность в агрегациях.
DECIMAL(p, s): десятичные числа с фиксированной точностью и масштабом. Поддержка DECIMAL обеспечивает точность вычислений и избегает ошибок округления, характерных для FLOAT/DOUBLE. Рекомендации:
- выбирайте DECIMAL для финансовых данных, сумм и агрегаций, где критична точность;
- используйте диапазоны p, s в пределах требований вашей предметной области (часто p в диапазоне 10-38, s - до 9-18, в зависимости от версии StarRocks).

Важно отметить, что точные пределы и возможности DECIMAL могут зависеть от версии движка и поддержки новых вариантов DECIMALV3/DECIMAL(38,
18) и т. п. Поэтому перед миграцией рекомендуется проверить текущую спецификацию в документации вашей версии.

Правила выборa типов для числовых данных

Для идентификаторов и внешних ключей используйте BIGINT или LARGEINT, если ожидаются очень большие диапазоны и уникальные значения.
Для счетчиков и агрегатов, где величины невелики и важна экономия памяти, рассмотрите INT или BIGINT, в зависимости от диапазона.
Для точных агрегатов финансовых данных используйте DECIMAL(p, s) с достаточным p и s, чтобы предотвратить переполнения и накопление ошибок округления.
```
CREATE TABLE sales_metrics (
  id BIGINT NOT NULL,
  quantity INT,
  price DECIMAL(12, 2),
  created_at TIMESTAMP(3)
) ENGINE=STARROCKS;
```
Приведенный пример демонстрирует сочетание BIGINT, DECIMAL и TIMESTAMP, которые типично встречаются в аналитических схемах. Важно обеспечить согласование типов между источниками данных и целевой таблицей, чтобы минимизировать необходимость преобразования во время загрузки.

Строковые типы и компрессия

Строковые типы занимают значительную долю в аналитических схемах, особенно в размерных атрибутах, текстовых полях и ключевых признаках. В StarRocks поддерживаются основные формы символьных типов с различной фиксированной и переменной длиной, что влияет на компрессию, память и скорость сравнения.

Основные строковые типы

CHAR(n): фиксированная длина. Значения приводятся к фиксированной длине и при необходимости дополняются пробелами. Применение CHAR полезно в сценариях, где колонки представляют фиксированные идентификаторы или коды фиксированной длины и требуется единообразное сравнение.
VARCHAR(n): переменная длина, идеально подходит для текстовых полей и компактных признаков. VARCHAR лучше использовать для данных, где значения варьируются по длине и важно оптимизировать использование памяти.
С учетом практик индустриальных проектов, в некоторых версиях StarRocks присутствуют дополнительные варианты строковых типов или их варианты, обеспечивающие совместимость с внешними форматами. При проектировании схем следует внимательно учитывать ожидаемую кардинальность и длину значений, чтобы выбрать наиболее эффективную кодировку.

Кодирование и компрессия

Строковые столбцы часто подвергаются словарной кодировке (dictionary encoding), особенно когда значения повторяются часто. Это заметно уменьшает память и ускоряет агрегаты и фильтры по столбцу. Однако словарь менее эффективен при высокой кардинальности и большой доле уникальных значений. В таких случаях StarRocks может применять другие техники компрессии и кодирования, чтобы оптимизировать хранение и скорость сканирования.

Выбор длины VARCHAR существенно влияет на размер словаря и количество операций сравнения. Если в вашей бизнес-логике значения редко повторяются, рациональнее ограничить длину и рассмотреть альтернативы для сокращения расхода памяти. Важно обеспечить согласование длины между схемой и источниками данных, чтобы снизить вероятность лишних преобразований.

Практические рекомендации

Для кодовых полей, кодировок и фиксированных идентификаторов используйте CHAR(n) или VARCHAR(n) с ограничением длины, соответствующим данным.
Для текстовых полей, описаний и признаков с переменной длиной используйте VARCHAR и соответствующую настройку длины.
Прежде чем мигрировать на новый размер VARCHAR, оцените кардинальность и частотность повторения значений, чтобы выбрать эффективную кодировку и длину.

Дата и время: точность и временные требования

Типы даты и времени - ключ к корректным временным операторам и синхронизации данных в ETL/ELT конвейерах. StarRocks поддерживает несколько видов дат и времени с различной степенью детализации и распространенными операциями.

Основные типы

DATE: хранит дату без времени. Эффективен для измерения дней, периодов, событий без привязки к времени суток.
DATETIME: дата и время без временной зоны. Подходит для вложенных временных метрик, когда требуется точная отметка момента без привязки к часовому поясу.
TIMESTAMP(precision): момент времени с заданной точностью (например, TIMESTAMP(3) для миллисекунд). Это позволяет хранить временные метки с требуемой детализацией и обеспечивает совместимость с внешними источниками и форматами, которые используют временные зоны на уровне клиента или источника данных.
TIME, при отсутствии явного описания, в некоторых окружениях не используется как отдельный тип в StarRocks; основное внимание уделяется DATE, DATETIME и TIMESTAMP.

Понимание точности и локальных особенностей

Точность TIMESTAMP влияет на точность агрегатов по времени и на точность агрегаций в оконных функциях. При выборе TIMESTAMP(precision) следует учитывать требования аналитики к точности временных интервалов и к конвертации из внешних источников, таких как лог-файлы с наносекундной детализацией.
Разделение по часовому поясу и конвертация времени внутри конвейеров данных часто выполняется на стороне источника или клиента, поскольку StarRocks хранит значения времени без привязки к конкретному часовому поясу. Это упрощает миграции между источниками и обеспечивает единообразие в запросах, но требует согласованного подхода на уровне ETL-процессов.

Примеры применения

Аналитика событий по дневной сессии: использовать DATE и TIMESTAMP(3) для отметок событий и расчета длины сессий.
Финансовая отчетность по времени: использовать DECIMAL для суммы и TIMESTAMP(6) для точной привязки к моменту события.

Преобразование типов и миграции

Динамичность бизнес-требований часто приводит к необходимости изменения типов столбцов. Процессы миграции типов должны быть последовательными и безопасными: избегать потери точности, переполнений и неожиданных последствий для существующих запросов.

Правила преобразования

В большинстве случаев между совместимыми типами возможна явная или неявная конверсия: например, INT к BIGINT, BIGINT к DECIMAL(p, s) с достаточным p.
Преобразование DECIMAL к FLOAT/DOUBLE может привести к потерям точности. Преобразование в обратном направлении требует проверки диапазона и точности.
При преобразованиях строковых типов в числовые следует учитывать формат значений (чистота строк, допускаемые символы, пустые значения). Неудачные конверсии могут приводить к NULL-значениям или ошибкам выполнения.
Внешние источники данных, такие как Parquet или JSON, имеют свои внутренние представления типов. При загрузке StarRocks сопоставляет их с целевыми столбцами и может выполнять автоматическое приведение, но для критичных сценариев рекомендуется явное определение типа целевого столбца и использование CAST в ETL-пайплайнах.

Миграционные стратегии

Планируйте миграцию схемы на два этапа: сначала добавьте новый столбец с нужным типом и перенесите данные, затем удалите старый столбец. Это позволяет минимизировать простои и сохранить доступность данных.
При изменении типа у критичных столбцов следует выполнить валидацию данных: сравнить статистики распределения, проверить корректность агрегаций и фильтров до и после миграции.
В случае больших объемов данных возможно применение пакетной миграции: чтение в новый тип параллельно и запись в новую колонку, затем переключение пишущего потока на новый столбец.

Интеграции и практические аспекты внедрения

Типы данных StarRocks тесно связаны с тем, как данные попадают в систему, обмениваются ими внешние системы и как данные выглядят в источниках. В контексте реального внедрения ключевые моменты включают совместимость с Parquet, SQL-совместимые источники и конвейеры потоков.

Parquet: Parquet поддерживает богатую совокупность типов, и StarRocks выполняет преобразование между внешними типами Parquet и внутренними типами столбцов. Важно согласовать точность и диапазон, чтобы избежать потерь при загрузке.
Ингест-пайплайны: при интеграции с Spark/Flink или потоками Kafka рекомендуется проектировать типовую схему, учитывая кардинальность и ожидаемую частоту обновлений. В некоторых случаях полезно вынести внести зависимости на уровне источника и выполнять приведение типов на уровне конвейера, чтобы минимизировать лишние конверсии в StarRocks.
Совместимость с Open Source/нероссийскими решениями: в зависимости от контекста проекта можно опираться на 1-2 примера целесообразного использования, например Parquet как источник «как-есть» или SQL-совместимый внешний источник для загрузки. В рамках курса такие примеры приводятся как ориентиры, а не как фиксированное требование.

Практические рекомендации по проектированию схем

Задавайте точность и размер, исходя из операционных требований. Для агрегаций по большим числам используйте DECIMAL, чтобы обеспечить корректность сумм и средних значений.
Определяйте NULL- handling на этапе проектирования: помечайте критические поля как NOT NULL, чтобы улучшить производительность фильтрации и векторизации.
При использовании строковых типов выбирайте VARCHAR(n) с разумной длиной и рассмотрите словарную кодировку для повторяющихся значений.
Планируйте миграции типов как отдельный процесс, избегая одновременных изменений множества столбцов в рамках одной операции ALTER TABLE.
Поддерживайте согласованную политику преобразования при загрузке данных из разных источников: документируйте правила кастования и проверяйте результаты через регресс-тесты.

Key takeaways

Типы данных в StarRocks напрямую влияют на хранение, производительность и точность вычислений в аналитических нагрузках.
DECIMAL обеспечивает точность для финансовых и агрегатных сценариев, в то время как FLOAT/DOUBLE подходят для приблизительных метрик.
Выбор строковых типов влияет на компрессию и скорость запросов: CHAR для фиксированных ключей, VARCHAR для переменной длины.
TIMESTAMP/DATE/DATETIME требуют внимания к точности и формату источников; приводить к единому представлению - ключ к стабильной аналитике.
Преобразование типов должно быть контролируемым: избегайте неожиданных потерь точности и переполнений, применяйте явное CAST, планируйте миграции в две стадии.
Интеграции с Parquet и внешними конвейерами требуют согласования типов на уровне схемы и ETL-процессов.
Правильное проектирование схем и миграций минимизирует простои и обеспечивает предсказуемость запросов.

FAQ

Какие типы данных считаются базовыми в StarRocks и чем они ограничиваются?

Базовые скалярные типы включают BOOLEAN, TINYINT, SMALLINT, INT, BIGINT, LARGEINT, FLOAT, DOUBLE, DECIMAL(p, s), DATE, DATETIME, TIMESTAMP(precision), CHAR(n) и VARCHAR(n). Они обеспечивают базовую функциональность для фильтрации, агрегаций и точных или приблизительных вычислений. Ограничения зависят от версии движка, поэтому для конкретной схемы следует свериться с актуальной документацией.

Когда стоит выбрать LARGEINT вместо BIGINT?

LARGEINT применяют, когда требуется числовой диапазон, выходящий за пределы BIGINT (64-бита). В обычных аналитических задачах BIGINT удовлетворяет требованиям идентификаторов и счетчиков, но при крайне больших объемах или уникальных значителях стоит рассмотреть LARGEINT. Важно также учитывать операционные затраты на обработку 128-битных чисел.

Как понять, какой строковый тип использовать: CHAR или VARCHAR?**

CHAR(n) полезен для фиксированной длины кодов или идентификаторов, где повторяемость значений высока и нужна предсказуемость размера. VARCHAR(n) предпочтителен для переменной длины текстов и признаков, где значения разполагаются по-разному и важно экономить память. Для высокой кардинальности длину лучше держать разумной границей и полагаться на внутрненнюю кодировку StarRocks.

Как выбирать между TIMESTAMP, DATETIME и DATE?

DATE годится для событий на уровне дня, без привязки ко времени суток. DATETIME - для точных отметок времени без учета часового пояса. TIMESTAMP(precision) выбирается, когда нужна точность до заданной единицы времени и требуется единообразие временных меток в конвейерах. В большинстве сценариев целесообразно хранить временные значения в TIMESTAMP с нужной точностью и обрабатывать часовые конвертации на уровне источников данных.

Какие риски связаны с преобразованием типов и как их минимизировать?

Риски включают потерю точности, переполнение, неожиданные NULL после конверсии. Минимизировать можно через явное cast в ETL-процессах, валидацию данных до загрузки и миграцию схем через последовательные шаги (добавление нового столбца, копирование данных, переключение на новый столбец).

Как учитывать совместимость с внешними форматами (Parquet, JSON)?

Parquet и другие форматы задают свой набор типов; StarRocks выполняет сопоставление и приведение типов. Реально важна согласованность точности и диапазона между источником и целевой колонкой. При загрузке следует явно указать целевые типы и, при необходимости, применить CAST в конвейере загрузки.

Какие подходы к миграциям схем рекомендуются для больших таблиц?

Рекомендуется использовать двухфазовую миграцию: добавить новый столбец с нужным типом, перенести данные, проверить корректность, затем удалить старый столбец и завершить переключение. Такой подход снижает риск простоя и обеспечивает валидацию на каждом этапе.

Как типы влияют на производительность запросов?

Типы влияют на размер хранения, доступность кэширования и векторизацию. Например, DECIMAL-поля могут обременять вычисления в операциях сложения и умножения, тогда как целочисленные типы обычно выполняются быстрее. Строковые типы с высокой кардинальностью могут влиять на эффективность словарной кодировки и фильтрации.

Какие практики рекомендуется применять при проектировании схем?

Минимизируйте количество уникальных значений в ключевых столбцах, чтобы повысить эффективность словарной кодировки. Выбирайте минимальный достаточный размер для строковых столбцов. Используйте NOT NULL там, где это возможно, чтобы ускорить векторизированные операции. Планируйте миграции типов как отдельные операции и документируйте трансформации.

Где искать дополнительные детали по типам в StarRocks?

Владея архитектурой и требованиями, ориентируйтесь на официальную документацию вашей версии StarRocks, разделы по типам данных, DDL-операциям и управлению схемами. В курсовых материалах часто приводят конкретные примеры совместимости с Parquet и специфику CAST-операций - используйте их как ориентиры и придерживайтесь рекомендаций в вашей среде разработки.

← Предыдущая статья

Обзор моделей таблиц StarRocks

Следующая статья →

Партиционирование и распределение данных в StarRocks