Сайзинг платформы TData
Современные платформы управления данными, включая TData, требуют тщательного проектирования инфраструктуры. Неправильный сайзинг приводит либо к избыточным затратам на оборудование, либо к недостаточной производительности аналитических систем.
Поэтому перед внедрением платформы данных необходимо выполнить архитектурный и инфраструктурный сайзинг, который учитывает:
- объёмы данных
- скорость поступления данных
- тип аналитических нагрузок
- требования к отказоустойчивости
- требования к SLA аналитических сервисов
Наша компания выполняет комплексный сайзинг платформы TData, позволяющий определить оптимальную архитектуру инфраструктуры для реализации:
- Data Lake
- Data Warehouse
- потоковой обработки данных
- аналитических витрин
- BI-аналитики
- AI и Data ScienceМетодология сайзинга основана на best-practice международных консалтинговых компаний и опыте внедрения корпоративных платформ данных.
Роль сайзинга в архитектуре платформы данных
Платформа TData объединяет несколько технологических контуров:
- интеграция данных
- хранение данных
- обработка данных
- управление метаданными
- аналитика
Каждый из этих контуров предъявляет различные требования к инфраструктуре.
Источники данных ↓ Интеграция данных (RT.Streaming) ↓ Хранение данных ├ RT.DataLake ├ RT.Warehouse ├ RT.WideStore └ RT.KeyValue ↓ Data Governance ├ RT.DataGovernance └ RT.MDM ↓ BI и аналитика └ RT.DataVision
Соответственно, сайзинг выполняется по каждому архитектурному слою платформы.
Основные параметры сайзинга
При расчёте инфраструктуры платформы TData учитываются следующие параметры.
| Параметр | Описание |
|---|---|
| Объём исходных данных | размер исторических данных |
| Прирост данных | ежедневный или ежемесячный рост |
| Количество источников | число интегрируемых систем |
| Тип загрузки | batch или streaming |
| Количество пользователей | аналитики и бизнес-пользователи |
| Тип запросов | ad-hoc аналитика или отчётность |
| SLA аналитики | требования к времени ответа |
Эти параметры формируют профиль нагрузки платформы.
Типы нагрузок в платформе TData
Платформа должна поддерживать несколько типов нагрузок.
Интеграционная нагрузка
Связана с загрузкой данных из источников:
- ERP
- CRM
- транзакционные системы
- внешние источники данных
Основные характеристики:
- объём загрузок
- частота загрузок
- сложность трансформаций
Аналитическая нагрузка
Возникает при выполнении аналитических запросов.
Типы запросов:
- агрегирующие запросы
- OLAP-аналитика
- ad-hoc аналитика
- построение отчётов
Для таких нагрузок используются аналитические СУБД Greenplum и ClickHouse.
Потоковая обработка данных
Используется для:
- обработки событий
- обработки транзакций
- real-time аналитики
Компонент платформы: RT.Streaming
ML и Data Science
Нагрузка связана с:
- подготовкой датасетов
- обучением моделей
- запуском аналитических алгоритмов
Методология сайзинга
Сайзинг выполняется в несколько этапов.
1. Анализ текущей архитектуры данных
На этом этапе анализируются:
- источники данных
- существующие системы аналитики
- текущие проблемы производительности
- требования бизнеса
2. Анализ потоков данных
Определяются:
- объём загрузок
- частота обновлений
- структура данных
Формируется карта потоков данных.
3. Анализ аналитических сценариев
Определяются ключевые сценарии:
- управленческая отчётность
- оперативная аналитика
- self-service аналитика
- data science
Для каждого сценария оцениваются:
- количество пользователей
- сложность запросов
- объём данных
4. Расчёт инфраструктуры
На основе полученных данных рассчитываются:
- количество серверов
- объём памяти
- требования к дисковой подсистеме
- сеть
Сайзинг основных компонентов платформы
RT.DataLake
Используется для хранения сырых данных и исторических данных.
Основные параметры
- объём данных
- коэффициент сжатия
- глубина хранения
Пример расчёта
| Показатель | Значение |
|---|---|
| Объём данных в год | 200 ТБ |
| Глубина хранения | 5 лет |
| Общий объём | 1 ПБ |
При этом необходимо учитывать:
- репликацию данных
- резервирование
RT.Warehouse (Greenplum)
Используется для построения корпоративного хранилища данных.
Основные параметры сайзинга:
- количество сегментов
- объём памяти
- производительность CPU
Типовая конфигурация
| Компонент | Параметры |
|---|---|
| CPU | 16-32 cores |
| RAM | 128-256 GB |
| Storage | NVMe SSD |
Количество узлов определяется объёмом данных и типом аналитических запросов.
RT.WideStore (ClickHouse)
Используется для высокопроизводительной аналитики.
Основные параметры:
- количество колонок
- размер датасетов
- частота аналитических запросов
ClickHouse хорошо масштабируется горизонтально, поэтому при росте нагрузки добавляются новые узлы.
RT.Streaming
Для потоковой обработки данных необходимо учитывать:
- количество сообщений
- скорость обработки
- размер сообщений
RT.KeyValue
Используется для высоконагруженных сервисов.
Ключевые параметры:
- количество операций в секунду
- задержка доступа к данным
- размер хранимых данных
Пример типовых конфигураций
Средняя компания
| Параметр | Значение |
|---|---|
| Источники данных | 20-40 |
| Пользователи | 100-300 |
| Объём данных | до 100 ТБ |
Инфраструктура:
- 5-10 серверов хранения
- 3-5 серверов аналитики
- 3 сервера интеграции
Крупная компания
| Параметр | Значение |
|---|---|
| Источники | 100+ |
| Пользователи | 1000+ |
| Данные | 500 ТБ - 5 ПБ |
Инфраструктура:
- 20-50 серверов хранения
- 10-20 серверов аналитики
- отдельный streaming-кластер
Факторы масштабирования платформы
При росте данных необходимо учитывать:
- увеличение числа пользователей
- рост объёма данных
- рост сложности аналитики
- внедрение AI
Платформа TData поддерживает горизонтальное масштабирование, что позволяет увеличивать мощность системы без остановки сервисов.
Оптимизация инфраструктуры
Мы применяем несколько подходов оптимизации.
Разделение контуров
- Data Lake
- DWH
- аналитические витрины
Разделение нагрузок
- batch processing
- streaming processing
- аналитика
Кэширование аналитических запросов
Используется для ускорения BI-отчётов.
Результаты правильного сайзинга
Грамотно выполненный сайзинг позволяет:
- обеспечить стабильную работу платформы
- снизить стоимость инфраструктуры
- обеспечить масштабируемость
- повысить производительность аналитики
Почему сайзинг лучше выполнять на этапе внедрения
В проектах внедрения платформ данных часто встречаются ошибки:
- недооценка объёма данных
- недооценка нагрузки аналитики
- неправильная архитектура хранения
Профессиональный сайзинг позволяет избежать этих проблем.
Наш подход к сайзингу платформы TData
Мы выполняем полный цикл расчёта инфраструктуры:
- анализ архитектуры данных
- анализ потоков данных
- моделирование нагрузки
- расчёт инфраструктуры
- подготовка архитектурного решения
В результате заказчик получает:
- архитектуру платформы данных
- рекомендации по инфраструктуре
- прогноз масштабирования
- оценку стоимости инфраструктуры
Итог
Сайзинг является ключевым этапом внедрения платформы данных. От качества расчётов зависит стабильность работы системы, производительность аналитики и экономическая эффективность проекта.
Наша компания обладает экспертизой в проектировании корпоративных платформ данных и выполняет профессиональный сайзинг решений на базе TData, позволяя компаниям построить устойчивую и масштабируемую архитектуру управления данными.
