Сайзинг серверной инфраструктуры для использования TimeGPT, Chronos, Lag-Llama, Time-LLM и TimesFM
Современные модели прогнозирования временных рядов - TimeGPT, Chronos, Lag-Llama, Time-LLM и TimesFM - относятся к новому классу технологий, который часто называют foundation-моделями для временных рядов. Эти решения используют архитектуры глубокого обучения и способны прогнозировать тысячи и миллионы временных рядов, что делает их востребованными в задачах demand planning, финансового прогнозирования, управления цепочками поставок, прогнозирования загрузки инфраструктуры и операционной аналитики.
Однако внедрение подобных моделей требует правильно спроектированной серверной инфраструктуры. Недостаточная вычислительная мощность приводит к задержкам расчета прогнозов и деградации пользовательского опыта, а избыточная инфраструктура приводит к неоправданным капитальным затратам.
Поэтому при внедрении систем прогнозирования мы выполняем профессиональный сайзинг инфраструктуры, позволяющий определить оптимальные параметры серверов и вычислительных кластеров.
Данная статья описывает подход к сайзингу серверной инфраструктуры для решений на базе TimeGPT, Chronos, Lag-Llama, Time-LLM и TimesFM.
Роль инфраструктуры в архитектуре прогнозной аналитики
В корпоративной архитектуре модели временных рядов являются частью более широкой аналитической платформы.
Типичная архитектура системы прогнозирования выглядит следующим образом:
Операционные системы ERP / CRM / IoT / внешние источники ↓ Интеграция данных ETL / ELT / streaming ↓ Хранилище данных Greenplum / ClickHouse ↓ Подготовка данных и Feature Store ↓ AI Forecasting Layer TimeGPT / Chronos / Lag-Llama / Time-LLM / TimesFM ↓
Системы планирования
Demand Planning / S&OP / Financial Planning ↓ BI и аналитика
В этой архитектуре серверные ресурсы требуются для нескольких ключевых компонентов:
- аналитическое хранилище данных
- обработка данных
- выполнение AI моделей
-
интерактивная аналитика
Основные факторы сайзинга
При определении параметров серверной инфраструктуры учитываются несколько факторов.
Объем данных
Ключевым параметром является объем исторических данных.
Например:
| Объем временных рядов | Типовая нагрузка |
|---|---|
| до 10 тыс. рядов | небольшая инфраструктура |
| 10 тыс. - 500 тыс. рядов | средний аналитический кластер |
| более 500 тыс. рядов | распределенная инфраструктура |
Важны не только сами ряды, но и глубина истории.
Например:
- 2 года данных
- 5 лет данных
- 10 лет данных
Чем глубже история, тем больше требуется вычислительных ресурсов.
Частота обновления прогнозов
Второй фактор - частота пересчета прогнозов.
Типовые сценарии:
| Частота | Пример |
|---|---|
| ежемесячно | стратегическое планирование |
| еженедельно | supply chain planning |
| ежедневно | demand planning |
| почасово | телеком и IoT |
Чем чаще пересчитываются прогнозы, тем выше нагрузка на систему.
Горизонт прогнозирования
Горизонт прогнозирования также влияет на нагрузку.
| Горизонт | Типовая нагрузка |
|---|---|
| 1-3 месяца | низкая |
| 6 месяцев | средняя |
| 12-24 месяца | высокая |
Тип модели
Разные модели требуют различной вычислительной мощности.
| Модель | Нагрузка |
|---|---|
| TimeGPT | средняя |
| Chronos | высокая |
| Lag-Llama | высокая |
| Time-LLM | очень высокая |
| TimesFM | средняя |
Архитектура серверной инфраструктуры
Серверная инфраструктура для прогнозной аналитики обычно включает несколько уровней.
Слой хранения данных
Хранилище данных используется для хранения исторических временных рядов.
В большинстве проектов применяются:
- Greenplum** - аналитическая СУБД для больших объемов данных
- ClickHouse** - высокопроизводительная колоночная база данных
Типовая конфигурация:
| Параметр | Рекомендация |
|---|---|
| CPU | 16-64 ядер |
| RAM | 128-512 ГБ |
| Storage | NVMe SSD |
Слой обработки данных
Этот слой используется для подготовки данных и feature engineering.
Задачи слоя:
- очистка данных
- агрегация
- создание признаков
- подготовка обучающих наборов
Типовая конфигурация:
| Параметр | Рекомендация |
|---|---|
| CPU | 32-64 ядер |
| RAM | 128-256 ГБ |
Слой выполнения моделей
Этот слой выполняет AI модели прогнозирования.
Типовая архитектура: Forecasting Cluster Node 1, Node 2, Node 3 GPU / CPU вычисления
В зависимости от выбранной модели используются:
- CPU вычисления
-
GPU ускорение
GPU или CPU
Для разных моделей используются разные подходы.
| Модель | Тип вычислений |
|---|---|
| TimeGPT | CPU / GPU |
| Chronos | GPU предпочтительно |
| Lag-Llama | GPU |
| Time-LLM | GPU |
| TimesFM | CPU / GPU |
Если используется Time-LLM, GPU практически обязательны.
Типовые конфигурации инфраструктуры
Малые проекты
Применяются в пилотных проектах.
| Параметр | Конфигурация |
|---|---|
| CPU | 16-32 ядра |
| RAM | 64-128 ГБ |
| GPU | 1 GPU |
| Storage | 2-4 ТБ |
Средние проекты
Используются в большинстве корпоративных внедрений.
| Параметр | Конфигурация |
|---|---|
| CPU | 32-64 ядра |
| RAM | 128-256 ГБ |
| GPU | 2-4 GPU |
| Storage | 10-20 ТБ |
Крупные проекты
Используются в ритейле, телекоме и e-commerce.
| Параметр | Конфигурация |
|---|---|
| CPU | 64-128 ядер |
| RAM | 512 ГБ - 1 ТБ |
| GPU | 4-8 GPU |
| Storage | 50-100 ТБ |
Масштабирование системы
Архитектура должна поддерживать горизонтальное масштабирование.
Типичная модель масштабирования:
Data Platform Cluster Greenplum / ClickHouse ↓ ML Compute Cluster GPU Nodes ↓ Planning Applications
Это позволяет:
- добавлять новые узлы
- масштабировать вычисления
-
обрабатывать больше данных
Сайзинг для различных отраслей
Ритейл
Типовые параметры:
- 100 тыс. - 2 млн SKU
- 1-5 лет истории
Требуется:
- крупный аналитический кластер
-
GPU узлы
Производство
Типовые параметры:
- десятки тысяч показателей
- прогноз загрузки оборудования
Нагрузка умеренная.
Телеком
Типовые параметры:
- миллионы временных рядов
- высокая частота обновления
Требуется масштабируемая инфраструктура.
Подход к сайзингу инфраструктуры
Мы используем методологию сайзинга, основанную на практиках крупных консалтинговых компаний.
Этапы включают:
- Анализ данных
- Анализ бизнес-процессов
- Определение сценариев использования
- Расчет вычислительной нагрузки
- Определение архитектуры
-
Формирование конфигурации инфраструктуры
Оптимизация инфраструктуры
При эксплуатации системы мы выполняем оптимизацию инфраструктуры.
Основные методы:
- оптимизация batch прогнозирования
- кэширование результатов
- оптимизация работы GPU
-
распределение вычислений
Облачные и on-premise решения
Системы прогнозирования могут работать в различных инфраструктурных моделях.
On-premise
Преимущества:
- контроль над инфраструктурой
-
соответствие требованиям безопасности
Облако
Преимущества:
- гибкость масштабирования
-
снижение капитальных затрат
Безопасность и устойчивость инфраструктуры
Системы прогнозирования должны соответствовать корпоративным требованиям безопасности.
Используются:
- разграничение доступа
- аудит операций
- журналирование
- шифрование данных
При необходимости решения могут соответствовать требованиям:
- 152-ФЗ
-
187-ФЗ
Практические результаты правильного сайзинга
Корректный сайзинг инфраструктуры позволяет:
- ускорить расчет прогнозов
- снизить стоимость инфраструктуры
- обеспечить устойчивость системы
-
повысить качество аналитики
Итог
Модели TimeGPT, Chronos, Lag-Llama, Time-LLM и TimesFMоткрывают новые возможности для корпоративного прогнозирования. Однако их эффективное использование возможно только при правильно спроектированной серверной инфраструктуре.
Мы выполняем полный цикл работ по сайзингу систем прогнозной аналитики - от анализа данных и бизнес-процессов до проектирования серверной архитектуры и оптимизации вычислительных ресурсов.
Это позволяет компаниям внедрять современные технологии искусственного интеллекта эффективно, безопасно и экономически оправданно, обеспечивая устойчивую работу систем прогнозирования и планирования.
