Что такое DataOps?

DataOps (DATA Operations, датаопс), по аналогии с DevOps (DEVelopment Operations, девопс), — это концепция и набор практик, направленных на непрерывную интеграцию данных между процессами, командами и системами для повышения эффективности корпоративного управления и отраслевого взаимодействия.

Основные цели DataOps включают:

Распределённый сбор данных;
Централизованную аналитику;
Гибкую политику доступа к информации с учётом её конфиденциальности, ограничений на использование и соблюдения целостности.

DataOps можно рассматривать как практику управления данными, которая позволяет создавать, тестировать, развертывать и управлять продуктами данных и приложениями данных аналогично подходу к разработке программного обеспечения. Она объединяет технологии и процессы, способствующие повышению доверия к данным и сокращению времени на создание продуктов данных в компании.

DataOps помогает организациям:

Получать точные сведения и создавать бизнес-ценности на основе данных;
Обеспечивать эффективное взаимодействие команд, занимающихся данными;
Улучшать сотрудничество с заинтересованными сторонами бизнеса.

Эффективность подхода достигается благодаря принципам, заимствованным из DevOps, Agile и бережливого производства, что делает DataOps мощным инструментом для гибкости и оперативности в управлении данными.

DataOps vs DevOps

Если главной целью DevOps является быстрая и непрерывная поставка бизнесу работающего программного обеспечения, то DataOps направлен на оперативное и беспрепятственное предоставление актуальных данных каждому участнику корпоративных процессов.

Это означает устранение когнитивных, временных и организационных разрывов между:

Исследователями данных (data scientist’ы);
Бизнес-аналитиками;
Разработчиками;
Руководителями и пользователями Big Data.

DataOps объединяет гибкость и управление, что способствует сотрудничеству между разработчиками и заинтересованными сторонами. Подход фокусируется на:

Оперативном реагировании на запросы пользователей;
Контроле изменений;
Обеспечении качества и безопасности данных.

Непрерывная разработка, тестирование и предоставление данных ускоряют жизненный цикл данных, повышая удовлетворённость пользователей и снижая общие затраты на разработку.

Почему в организации нужен DataOps

Данные играют ключевую роль в успехе современной организации. Для поддержания конкурентоспособности бизнес-пользователи ожидают:

Доставки данных в тот же день или в реальном времени;
Оперативной аналитики для принятия решений.

Вместе с тем, объём, скорость и разнообразие данных стремительно растут. Источники данных находятся:

Внутри и за пределами организации;
В облаке и на локальных серверах;
В современных и унаследованных системах.

Эти вызовы требуют:

Оркестрации информационных потоков — описания всех источников данных, моделей интеграции и шагов анализа.
Автоматизированного тестирования и обеспечения качества данных.
Непрерывного перемещения кода и конфигураций по всем этапам жизненного цикла данных (CRISP-DM).
Управления моделями данных и «песочницами».
Виртуализации и мониторинга производительности данных.
Интеграции и унификации данных с использованием машинного обучения (ML).