BI Consult Desktop Logo BI Consult Mobile Logo
  • Russian BI Исследование российских bi
  • Перейти на Fine BI
  • Контакты
  • +7 812 334-08-01
    +7 499 608-13-06
  • Отправить сообщение
  • Главная
  • Продукты Эксперт-BI
    • Дистрибуция
    • Розничная торговля
    • Производство
    • Операторы связи
    • Страхование
    • Банки
    • Лизинг
    • Логистика
    • Нефтегазовый сектор
    • Медицина
    • Сеть ресторанов
    • E-Commerce
    • Сельское хозяйство
    • Энергетика
    • FMCG
    • Девелоперы
    • Маркетплейсы
    • Пищевая промышленность
    • Фармацевтика
    • Построение Data Platform
    • Цифровая трансформация
    • Управление по KPI
    • Финансы
    • Продажи
    • Склад
    • HR
    • Маркетинг
    • Внутренний аудит
    • Категорийный менеджмент
    • S&OP и FP&A
    • Геоаналитика
    • Цепочки поставок (SCM)
    • AutoML
    • Process Mining
    • IBP
    • ИТ (CIO)
    • Закупки
  • Платформы
    • Системы бизнес-анализа (BI)
    • Интегрированное бизнес-планирование (IBP)
    • Хранилища данных (DWH / Lakehouse)
    • Каталоги данных (Data Catalog)
    • Системы ETL и ELT
    • AI / Исскуственный интеллект
    • Шина данных (ESB)
    • Система управления мастер-данными (MDM)
    • Семантический слой
  • Услуги
    • Переход на отечественные BI и DWH системы
    • Консалтинг
    • Пилотный проект
    • Обучение и сертификация
    • Бесплатное обучение
    • Поддержка
    • Технические задания
    • Сбор требований для проекта внедрения BI-системы
    • CI/CD для DWH
    • Аудит BI приложений и DWH
    • Выделенная команда
    • Настойка и поддержка баз данных
    • Разработка BI Стратегии
    • Styleguide для BI-системы
    • Как выбрать BI-систему
  • Курсы
    • Учебный курс Информационная грамотность (Data Literacy)
    • Учебный курс для бизнес-аналитиков
    • Учебный курс для системных аналитиков
    • Учебный курс по Data Governance
    • Учебный курс Как стать CDO
    • Учебный курс Современная архитектура хранилища данных
    • Учебный курс по Fine BI
    • Учебный курс по FineReport
    • Учебный курс по DWH
    • Учебный курс по Data Science (ML, AI)
    • Учебный курс по PostgreSQL
    • Учебный курс по Greenplum
    • Учебный курс по Apache Airflow и NiFi
    • Учебный курс по Open-source BI
    • Учебный курс по ClickHouse
    • Учебный курс по DataLens
    • Учебный курс по Loginom
    • Учебный курс по Modus BI и ETL
    • Учебный курс по Visiology
    • Учебный курс по dbt (Data Build Tool)
  • Компания
    • Руководство
    • Новости
    • Клиенты
    • Карьера
    • Скачать
    • Контакты

Отраслевые решения

  • Дистрибуция
  • Розничная торговля
  • Производство
  • Операторы связи
  • Банки
  • Страхование
  • Фармацевтика
  • Нефтегазовый сектор
  • Лизинг
  • Логистика
  • Медицина
  • Сеть ресторанов
  • Сельское хозяйство и агрохолдинги
  • Энергетика
  • E-Commerce
  • FMCG
  • Пищевая промышленность
  • Селлеры на маркетплейсах
  • Строительные компании и девелоперы

Функциональные решения

  • Управление по KPI
  • Финансы
  • Продажи
  • Склад
  • Категорийный менеджмент
  • HR
  • Маркетинг
  • Внутренний аудит
  • Геоаналитика, аналитика на географической карте
  • Цепочка поставок (SCM)
  • S&OP и FP&A
  • Разработка стратегии цифровой трансформации
  • Process Mining
  • Интегрированное планирование (IBP)
  • Закупки
  • ИТ (CIO)
  • Построение хранилища данных
  • Создание Data Lake и Data Engineering
Главная » Решения Эксперт-BI на российских BI-платформах » Эксперт-BI Аудит: система бизнес-анализа для внутреннего аудита » Универсальное аналитическое решение для Департамента информационной безопасности » BI/DWH для Департамента информационной безопасности » Data Security аналитика - выявление неиспользуемых хранилищ данных

Data Security аналитика - выявление неиспользуемых хранилищ данных

Неиспользуемые (забытые, устаревшие) хранилища данных представляют собой серьезный риск для информационной безопасности и экономической эффективности ведомственных BI/DWH-систем. В контексте отдела информационной безопасности они становятся «молчаливыми» воротами для несанкционированного доступа, утечки данных и несоответствий регулятивным требованиям. Глава посвящена методам анализа данных о хранении и доступе, архитектуре решений, процессам по обнаружению и управлению неиспользуемыми хранилищами, а также практикам интеграции с существующей экосистемой управления данными и безопасности.

В современных условиях важнейшие задачи заключаются не столько в создании новых хранилищ, сколько в управлении жизненным циклом существующих активов. Это включает в себя обнаружение «молчаливых» коллекций данных, где отсутствуют регулярные обращения, устаревшие протоколы доступа, дублирование или избыточная копия данных, несоответствие требованиям минимизации данных и требованиям по хранению. Правильный подход предполагает сочетание архитектурного проектирования, метаданных, процедур автоматизации и управляемых изменений в политике доступа и удаления данных.

  • Определение и приоритизация: какие хранилища действительно не используются и представляют риск.
  • Архитектура и метаданные: как связаны каталоги, lineage и мониторинг доступа для выявления неиспользуемых активов.
  • Автоматизация и управление рисками: как осуществлять автоматическое уведомление, архивирование или удаление с учетом нормативов.
  • Интеграции и процессы: как внедрить эти практики в существующий цикл управления данными и безопасности.

     

Краткое содержание главы

  • Понимание контекста и целей аналитики неиспользуемых хранилищ в BI DWH для безопасности.
  • Архитектура данных, метаданные и источники телеметрии, необходимые для идентификации неиспользуемых активов.
  • Методы и критерии обнаружения: Recency, Frequency, Access а также правила политики хранения и удаления.
  • Интеграции в экосистему: каталоги данных, SIEM/ITSM, оркестрация и автоматизация процессов.
  • Управление рисками и соответствие требованиям: минимизация данных, контроль доступа, аудит и хранение логов.
  • Практическая дорожная карта внедрения и кейсы реализации.
  • Рекомендованные практики и ориентиры для эффективного управления неиспользуемыми хранилищами.

     

Контекст и цели аналитики неиспользуемых хранилищ

Неиспользуемые хранилища - это объекты данных, которые не несут активации в рамках бизнес-процессов или анализа на протяжении заданного окна времени. В контексте информационной безопасности они превращаются в уязвимые точки: данные могут содержать чувствительную информацию, а их несанкционированный доступ обходными путями увеличивает риск утечек и нарушение требований к приватности. Основные цели аналитики заключаются в следующем:

  • выявить активы, которые не обслуживаются, не обновляются и не проходят аудит; определить, имеют ли они законные основания для существования;
  • привести к единообразной политике хранения и удаления, соответствующей регулятивным требованиям и внутренним нормам;
  • сократить общую стоимость владения данными за счет устранения дубликатов, устаревших копий и неиспользуемых архивов;
  • повысить прозрачность операций с данными: кто, когда и каким образом получал доступ к конкретным хранилищам, какие данные содержатся и какие механизмы защиты применяются.

Неиспользуемые активы редко возникают в вакууме: они появляются на стыке процессов управления данными, эксплуатации инфраструктуры, реализации политик доступа и регуляторных ограничений. Эффективная аналитика требует наличия тройной основы: (1) полного набора метаданных и контекста хранения, (2) телеметрии по доступам и действиям с данными, (3) единых правил и процессов, которые переводят выводы в управляемые изменения, включая архивирование или удаление.

Для реализации данной области необходимы следующие концепции:

  • управляемый каталог данных и линейная трассировка происхождения данных (data lineage);
  • механизмы классификации данных и их чувствительности (PII, конфиденциальные, общедоступные);
  • телеметрия по доступам к хранилищам, включая аудит логов и показатели использования;
  • политика и автоматизация изменений: уведомления, архивирование, удаление, изменение прав доступа;
  • контроль соответствия и аудиты, подтверждающие выполнение регулятивных требований.

В рамках гибридного подхода к теме можно опираться на современные открытые решения, такие как Amundsen или Apache Atlas, для управления метаданными и линиями данных, но это не исключает внедрения внутренних механизмов контроля и автоматизации для специфики российского рынка и регуляторной среды.

  • Неиспользуемые хранилища образуют скрытые резервы риска: они могут содержать резервные копии, дубликаты, данные, чье целевое применение не известно на данный момент, либо хранить данные с устаревшими политиками доступа.
  • Архитектура должна обеспечивать видимость по всей цепочке хранения данных и автоматизированные механизмы реагирования на признаки неиспользования.
  • Важна синхронная работа между каталогами, системами мониторинга, системами IAM и командами по безопасной очистке данных.

     

Архитектура данных и потоки информации

Современная архитектура для выявления неиспользуемых хранилищ требует объединённой видимости по нескольким слоям:

  • источники данных и хранилища: EDW (Enterprise Data Warehouse), Data Lake, Data Lakehouse, архивы и резервное копирование;
  • телеметрия и журналирование: системные логи доступа к данным, логи ETL/ELT-процессов, отчеты об использовании файлов и таблиц, метаданные из каталога;
  • слой метаданных: реестр данных, каталог, линейная трассировка, классификация по чувствительности и хранению;
  • слой политики: движок правил хранения, приоритетов и удаления, включающий тайм-ауты доступа, политику минимизации данных и юридические требования;
  • оркестрационный слой: автоматизация действий на основе политик (уведомления, архивирование, перемещение в архив/удаление, изменение прав доступа);
  • безопасность и контроль доступа: IAM, RBAC, управление ключами шифрования, аудит и мониторинг.

Ключевые принципы архитектуры в контексте неиспользуемых хранилищ:

  • единая карта данных: каталог должен охватывать все источники и активы, включая резервные копии и архивы;
  • полнота телеметрии: сбор и нормализация логов доступа, изменений, копирований и удаления, плюс метаданные об уровне защиты;
  • линейная трассируемость: возможность проследить путь данных от источника до потребителя и понять, какие хранилища являются частью активов;
  • политика как первоочередной механизм: правила, которым подчиняются все процессы хранения и удаления;
  • автоматизация и операционная зрелость: интеграция с SIEM/ITSM для уведомлений, изменения статуса активов и исполнения действий.

В качестве практических ориентиров можно опираться на открытые решения, которые уже доказали свои возможности в контексте каталога и lineage. Например, Amundsen обеспечивает каталог и поиск метаданных, а Apache Atlas - расширяемый фреймворк для управления данными и линейности данных. Они позволяют построить основу для обнаружения неиспользуемых хранилищ через связывание использования данных с их метаданными. В рамках отечественной практики возможна адаптация этих подходов под требования к локализации данных и регуляторной среде, дополняемая внутренними политиками хранения и безопасной очисткой.

 

Архитектура должна включать следующие слои:

  • данные и хранилища: реализация межуровневой архитектуры с поддержкой DWH, Data Lake/Lakehouse, архивов;
  • телеметрия: сбор данных об обращениях к данным, интенсивности использования, объемах копирования, времени последнего доступа;
  • каталог и lineage: централизованный реестр метаданных и зависимостей;
  • политики: механизм определения порогов «неиспользуемости» и набор действий;
  • автоматизация: конвейеры уведомлений, архивирования и удаления с интеграцией в существующую ITSM-платформу;
  • безопасность и соответствие: журналы аудита, управление доступом, шифрование и защита персональных данных.

Важно помнить, что архитектура не должна создавать узкие места в производительности. Неиспользуемые хранилища могут скрыто увеличивать нагрузку на сеть и инфраструктуру хранения, если процедуры удаления и архивирования реализованы агрессивно и без достаточной проверки. Поэтому целевые политики должны включать этапы верификации, эскалацию на уровне ответственных за данные, а также тестовые окна, в которые можно безопасно применять удаления.

 

Методы и критерии обнаружения

Идентификация неиспользуемых хранилищ строится на совокупности метрик и правил, которые должны быть адаптированы под характер данных и бизнес-процессы. Основные направления включают:

  • Recency (свежесть использования): последний доступ к хранилищу, последний факт изменения данных. Хранилища, не встречавшиеся в виде активного использования в течение заданного окна (например, 12-18 месяцев), становятся кандидатами на пересмотр;
  • Frequency (частота использования): количество обращений к данным за период, объем операций чтения/записи;
  • Ownership и контекст: наличие ответственного за данные, частота обновления метаданных, наличие бизнес-обоснования для сохранения;
  • Sensitivity и классификация: уровень чувствительности данных в хранилище (PII, финансовые данные, секреты) и связанные требования по хранению;
  • Объем и рост: темпы роста хранилища, наличие дубликатов и копий; большие неизменяемые объемы, которые редко читаются;
  • Политики хранения: соответствие текущей политики и внешним нормам (регуляторные требования, юридические требования, нормативы по архивированию);
  • Качество данных: наличие ошибок, устаревших схем, устаревших структур, которые могут свидетельствовать о низком уровне эксплуатации;
  • Контекст использования: интеграции с аналитикой, BI-запросами, сценариями SOC/SECOPS, где можно определить, что хранение уже не применяется.

     

Техническими средствами реализации являются:

  • метаданные и каталоги: единая база, где хранится информация о назначении данных, владельцах и сроках жизни;
  • телеметрия доступа: логи чтения/записи, показатели времени последнего обращения, частота использования;
  • анализатор политики: модуль, оценивающий соответствие текущих практик политике хранения;
  • набор правил чистки и архивирования: условия, при которых initiation может быть запущена автоматизация;
  • контроль изменений: процесс согласования и документирования всех действий по удалению или архивированию.

Алгоритм оценки неиспользуемого хранилища может выглядеть как набор последовательных шагов:

  1. собрать данные об обращениях и изменениях за заданный период;
  2. нормализовать данные в единый формат и вычислить индексы Recency и Frequency для каждого актива;
  3. присвоить вес каждому фактору, включая уровень чувствительности и критичность бизнес-процессов;
  4. вычислить общий балл «неиспользуемости» и сравнить с пороговыми значениями;
  5. инициировать уведомление ответственных и, при отсутствии возражений, запустить автоматизированный сценарий удаления/архивирования.

Для повышения точности можно использовать простые эвристики в сочетании с моделями машинного обучения для прогнозирования вероятности повторного использования (например, регрессии по времени до повторного обращения или классификаторы на основе признаков активности). Важно помнить, что такие модели следует валидировать на тестовом наборе данных и регулярно перенастраивать под меняющиеся бизнес-потребности.

В области дизайна политик важно обеспечить баланс между безопасностью и сохранением исторических данных для аудита. Принципы, которые следует учитывать:

  • минимизация доступа: даже если хранилище не используется часто, доступ должен регулироваться в строгом соответствии с политиками;
  • учет юридических требований: хранение копий согласно регламентам и возможной юридической аналитике;
  • безопасное удаление: удаление должно быть безвозвратным, с полным стиранием и журналированием в аудит-логах;
  • возможности восстановления: в случае ошибок необходимо иметь безопасный маршрут восстановления;
  • проверка воздействия: каждое удаление должно проходить через этап тестирования на тестовой среде (sandbox) и прохождение через ответственных лиц.

При этом следует помнить, что неиспользуемые активы не всегда должны быть удалены безусловно. Некоторые из них могут стать редкими источниками для регулятивного аудита, для исторического анализа или для восстановления данных в случае непредвиденных бизнес-сбоев. Поэтому процесс должен быть управляемым и документированным, с аудиторными отметками и существованием “плана восстановления” на случай ошибок.

Пример реализации по шагам может выглядеть так:

  • Фаза inventory: сканирование хранилищ, идентификация активов по собственникам и характеристикам;
  • Фаза классификации: категоризация по чувствительности и назначению;
  • Фаза анализа использования: расчет Recency и Frequency;
  • Фаза решения: утверждение или отклонение удаления;
  • Фаза исполнения: архивирование или удаление, уведомления, логирование;
  • Фаза аудита: верификация соблюдения политик хранения и регулятивных требований.

Архитектурно ключевым является построение конвейера, который умеет автоматически реагировать на сигналы неиспользуемости, не нарушая бизнес-процессы и регуляторные требования. В этом контексте Open Source-решения, как Amundsen и Apache Atlas, могут служить основой для каталога и lineage, а на их базе строится собственная механика уведомлений и удаления, адаптированная под локальные условия эксплуатации и требования к локализации данных.

 

Интеграции, автоматизация и процессы

Эффективная работа по выявлению неиспользуемых хранилищ требует тесной интеграции между каталогом данных, системами мониторинга и безопасной автоматизацией действий. Основные интеграции включают:

  • каталог данных и индексирование: интеграция с Amundsen/Atlas для хранения метаданных, классификаций и lineage. Необходимо обеспечить синхронизацию с каталогами развёрнутыми в инфраструктурах: облаке, локальной сети и гибридной среде;
  • телеметрия доступа: сбор и корреляция логов доступа к хранилищам и их нормализация в общую модель;
  • аналитика использования: построение дашбордов по Recency, Frequency, объемам хранения, росту и уровню риска;
  • политика и оркестрация: определение правил, триггеров и действий, которые запускают архивирование, перемещение в архив или удаление;
  • уведомления и ITSM: интеграция в системы обслуживания инцидентов и управления изменениями (например, через ERP/ITSM-портал) для документирования решений и аудита;
  • безопасность и аудит: хранение логов аудита, детальные записи об удалении и восстановлении, управление ключами шифрования и правами доступа.

С точки зрения безопасности, автоматизация должна включать следующие элементы:

  • управление доступом: участие IAM/RBAC в процессе - кто имеет право согласовать удаление или архивирование;
  • аудит и доказательства: журналирование всех действий по удалению, архивированию и изменению политик;
  • тестирование изменений: в рамках пилота** - тестирование на тестовой среде и план восстановления;
  • управление ключами и шифрованием: хранение и контроль доступа к ключам шифрования, особенно для архивов и удалённых данных;
  • соблюдение регуляторных требований: хранение доказательств соответствия, регламентов, политик.

Оптимальная практика - вести совместную работу команды BI, безопасности и управления данными. Это обеспечивает согласование бизнес-ценностей и системных ограничений, а также позволяет распределить роли по ответственностям: владельцы активов, специалисты по данным, администраторы каталогов, аналитики по безопасности и операции по хранению.

Для примера можно рассмотреть сценарий, в котором неиспользуемый актив проходит через три шага: уведомление владельца, автоматическое архивирование и последующее удаление по истечении периода после подтверждения отсутствия возражений. Такой подход поддерживает непрерывность бизнес-процессов и минимизирует риск утраты данных, необходимых для аудита или восстановления в случае непредвиденного события.

 

Управление рисками и соответствие требованиям

Управление неиспользуемыми хранилищами обязательно должно учитывать риски безопасностии, юридические требования и регуляторные принципы. Основные направления:

  • минимизация данных: разворачивать подход, при котором хранилище содержит только необходимый объём данных; избегать дублирования;
  • конфиденциальность и защита данных: к чувствительным данным следует применять более строгие политики доступа, криптование и ограничение копирований;
  • аудит и доказательства: постоянное документирование действий по управлению данными, включая архивации и удаления;
  • юридические holds и восстановление: для объектов, находящихся под hold по юридическим причинам, необходимо обеспечить явное уведомление и отсрочку удаления;
  • соответствие регуляторам: соответствие требованиям локальных законов по защите данных и хранения (например, регулятивные сроки хранения, требования к логированию);
  • безопасность инфраструктуры: надёжная физическая и сетевой защита, мониторинг доступа к самим системам хранения и к каталогам.

Важно отметить, что любые изменения в политике хранения должны проходить через процедуры согласования, включая аудит и уведомления. В рамках зрелой организации следует внедрить модель управления изменениями, где удаление или архивирование становится самостоятельной операцией, связанной с конкретной изменяемой записью в журнале аудита, с необходимой верификацией и возможностью отката.

 

Практическая дорожная карта внедрения

Ниже приведена практическая последовательность действий для внедрения аналитики неиспользуемых хранилищ в рамках BI DWH отдела информационной безопасности:

  1. Оценка текущего состояния: каталогизация существующих хранилищ, идентификация владельцев и текущих политик хранения, сбор телеметрии по доступам и движениям данных.
  2. Первая классификация: пометка активов по чувствительности и важности для бизнеса; определение групп активов, которые потенциально можно рассмотреть для удаления или архивирования.
  3. Настройка телеметрии и агрегации: обеспечение сбор данных доступа, использования и изменений в единый репозиторий; установление базовых порогов для Recency и Frequency.
  4. Построение политики: создание правил определения неиспользуемости и набора действий (уведомления, архивирование, удаление, изменение прав).
  5. Внедрение каталога и линейности: настройка Amundsen/Atlas или аналогичных решений, связь с существующими данными и активами, связь с данными об использовании и политиками.
  6. Автоматизация и оркестрация: реализация конвейеров уведомлений и действий через SIEM/ITSM, разработка безопасных процедур архивирования и удаления.
  7. Пилот и масштабирование: запуск пилота на ограниченном наборе активов, оценка влияния и корректировка; расширение на всю инфраструктуру.
  8. Контроль и аудит: формирование постоянной отчетности, мониторинг выполнения политик, аудит и обновление политик на основе результатов.
  9. Обучение и развитие компетенций: обучение сотрудников новым процессам, роли и ответственности в рамках управления неиспользуемыми хранилищами.
  10. Постоянное улучшение: регулярная пересмотр методик, обновление метрик и адаптация к меняющимся регуляторным требованиям и бизнес-потребностям.

Практическая реализация требует тесной координации между отделами. При этом не следует забывать о рисках: удаление может повлечь за собой потерю данных, которые потребуются для аудита или восстановления, если не осуществлены проверка и тестирования. Роль ответственных лиц - обеспечить баланс между безопасностью, юридическим соответствием и возможностями бизнес-анализа.

 

Архитектурные варианты и сценарии внедрения

С учетом особенностей больших организаций можно рассмотреть две базовые модели:

  • централизованный каталог + автоматизация: единый реестр метаданных и контроль доступа, управляемый централизованной командой данных и sécurité. Преимущества: единая политика, упрощённая мониторинга и консолидация прав; риски: риск «узкого места» при управлении. В этом сценарии интеграции с Amundsen или Atlas дают прочную основу для сборки функциональности, обеспечивая единый источник правды по активам.
  • децентрализованный подход с координацией: каждая бизнес-единица сохраняет собственные каталоги и политики, но процессы и правила централизованы через унифицированную систему оркестрации. Преимущества: гибкость, соответствие локальным требованиям; риски: сложность консолидации и риск различий в политике.

Выбор модели зависит от структуры организации, регуляторных требований и зрелости процессов. В любом случае критически важны:

  • единая политика по определению «неиспользуемости» и участие бизнес-владельцев;
  • возможность восстановления и аудита на каждом этапе;
  • мониторинг эффектов архивации/удаления на производственные процессы BI DWH и на аналитические сценарии.

     

Примеры решений и практических подходов

  • Каталоги данных и lineage: Amundsen, Apache Atlas - позволяют централизовать метаданные, определить lineage и связь между источниками и потребителями. Они облегчают обнаружение неиспользуемых активов, если эти данные помимо того что хранятся, также имеют соответствующую активность и контекст владения.
  • Мониторинг доступа: SIEM-решения, интегрированные с логами доступа к хранилищам и к каталогам данных, могут обеспечить корреляцию подозрительных или редких паттернов использования с политиками хранения и правилами удаления.
  • Управление политиками хранения: движки правил и оркестрация, которые позволяют автоматизировать архивацию и удаление на основе Recency/Frequency и классификации. В рамках этого можно опираться на открытые решения и внутренние механизмы.
  • Разграничение доступа к архивам: шифрование и ограничение доступа к архивам, логирование действий и обеспечение возможности восстановления данных при необходимости.

На практике выбор решений зависит от контекста. В открытой экосистеме целесообразно использование Amundsen/Atlas как основного ядра по метаданным и lineage, а также внедрение внутреннего модуля автоматизации для архивирования и удаления с учётом локальных требований и регуляторной среды. В отечественных реалиях возможна адаптация решений под требования локализации, безопасности и аудита, а также использование внутренних политик хранения и инструментов мониторинга.

 

Ключевые принципы и рекомендации

  • Всегда начинать с полноты данных о активах: активы должны быть доступны в каталоге, а владельцы и политики - четко определены.
  • Учитывать бизнес-контекст: неиспользуемость не означает «неважность» - иногда активы сохраняются ради аудита или юридических требований.
  • Интегрировать управление неиспользуемыми хранилищами в цикл данных: политики должны быть частью процессов управления данными и безопасностью, а не отдельной задачей.
  • Обеспечить прозрачность: все решения об удалении/архивировании должны сопровождаться документированием и аудируемыми доказательствами.
  • Баланс между безопасностью и аналитикой: ожидаемые сценарии бизнес-аналитики и возможность восстановления должны быть прописаны и протестированы.
  • Реализовать безопасное удаление и архивирование: использование безопасных методов стирания и надлежащего хранения архивов.
  • Постепенная эволюция: подходить к изменениям как к долгосрочной стратегии, вводя пилоты, оценку рисков и адаптации по мере роста компетентности.

     

Key takeaways

  • Неиспользуемые хранилища представляют значимый риск для безопасности, соответствия и стоимости владения данными.
  • Эффективная аналитика требует единых метаданных, полной телеметрии и политики, которые можно автоматизировать.
  • Архитектура должна обеспечивать видимость по всем слоям хранения, поддержку lineage и интеграцию в IaC/ITSM-процессы.
  • Метрики Recency, Frequency, классификация по чувствительности и регуляторные требования - ядро критериев обнаружения.
  • Интеграции с каталогами данных и системами мониторинга позволяют превратить выводы в управляемые действия: уведомления, архивирование, удаление.
  • Управление рисками требует документирования, аудита и возможности восстановления.
  • Внедрение следует вести по дорожной карте: инвентаризация, классификация, пилоты, аудит и масштабирование.
  • Важно поддерживать баланс между безопасностью, эффективностью аналитики и соблюдением регуляторных требований.
  • Применимые решения могут включать Amundsen и Apache Atlas как отправную точку, адаптируя их под локальные условия и регуляторную среду.
  • Грамотное управление неиспользуемыми хранилищами - это непрерывный процесс, требующий сотрудничества между BI, безопасностью и управлением данными.

     

FAQ

  1. Что такое неиспользуемые хранилища в контексте BI DWH?
  • Это активы данных, к которым редко обращаются, не поддерживаются владельцами и чьи данные могут больше не соответствовать текущим бизнес-потребностям или требованиям хранения. В контексте безопасности они создают риск утечки, если защита данных на этих активах не поддерживается, и могут увеличивать стоимость эксплуатации.

 

  1. Какие признаки указывают на неиспользуемость хранилища?
  • Последний доступ и последняя запись за продолжительный период, низкая частота операций, отсутствие бизнеса, владение устаревшими данными, противоречия между политиками хранения и текущими практиками, отсутствие активной классификации.

 

  1. Какие данные учитываются при построении модели обнаружения?
  • Метаданные хранилищ, данные об их содержимом (чувствительность), телеметрия доступа и использования, политики хранения, юридические требования и связи с бизнес-потребителями.

 

  1. Какой баланс достигается между удалением и сохранением архива?
  • Необходимо определить поля для законного хранения (juridical holds), требования аудита и бизнес-обоснование. Архивирование сохраняет данные, но в менее доступной форме, тогда как удаление полностью освобождает ресурсы и уменьшает риск.

 

  1. Какие риски связаны с автоматическим удалением?
  • Риск потери данных, необходимых для аудита, ошибок в идентификации неиспользуемого актива, регуляторные нарушения и возможные последствия для бизнес-процессов. Требуется тестирование, эскалации и возможность восстановления.

 

  1. Какие инструменты эффективнее всего использовать для каталога и lineage?
  • Популярные открытые решения включают Amundsen и Apache Atlas. Они предоставляют базовую функциональность каталога, поиска и lineage, что упрощает интеграцию с существующими данными и процессами. В рамках российской практики возможно их адаптировать под локальные требования и регуляторные условия.

 

  1. Как интегрировать идентификацию неиспользуемых хранилищ в существующие процессы?
  • Включить в процесс управления данными: определить владение, добавить в карту активов, подключить телеметрию и политики хранения, внедрить автоматизацию архивирования/удаления и обеспечить аудит действий.

 

  1. Какие характеристики помогут снизить риски при чистке данных?
  • Предварительная верификация через пилотные тесты, аудит всех операций, документирование решений, согласование с владельцами, наличие плана восстановления и резервного копирования, а также применение прав доступа к архивам и удаляемым данным.

 

  1. Какой уровень зрелости процессов необходим для внедрения?
  • Необходим системный подход: наличие каталога, политики хранения, телеметрии и инструментов автоматизации. Желательно наличие команды по данным, отдела безопасности и ITSM-процессов для эффективной координации.

 

  1. Как оценивать успех проекта по выявлению неиспользуемых хранилищ?
  • Метрики включают снижение общего объема неиспользуемых активов, сокращение затрат на хранение, уменьшение числа инцидентов, связанных с утечками, улучшение времени реакции на запросы аудита и увеличение соответствия регуляторным требованиям. Важно устанавливать целевые значения до начала пилота и регулярно пересматривать их на основе результатов.

 

Глава подготовлена с учётом гибридного профиля: она сочетает архитектурные принципы, методы анализа и организационные аспекты внедрения. В тексте отсутствуют демонстрационные коды, вместо этого приведены архитектурные концепты, процессы и принципы реализации, а также практические ориентиры для внедрения в реальных условиях BI DWH и информационной безопасности.

← Предыдущая статья
Data Security аналитика - анализ активности пользователей с доступом к данным
Следующая статья →
Data Security аналитика - анализ дублирования данных

 

Узнать стоимость решенияЗапросить видео презентацию

Запросить видео презентацию Узнать стоимость решения Запросить доступ к демо стенду online

Задать вопрос

loading...

Решения

Анализировать ФинансыУвеличивайте ПродажиОптимальный Склад и ЛогистикаМаркетинговые Метрики

Клиенты
  • Банк "Санкт-Петербург" - это универсальный коммерческий банк, предоставляющий полный спектр финансовых услуг для частных и корпоративных клиентов. Банк основан в 1990 году и имеет генеральную лицензию Банка России на осуществление банковских операций. Сеть банка включает более 170 офисов и отделений, а также свыше 1000 банкоматов и терминалов в Санкт-Петербурге, Москве и других регионах.

  • Ситилинк

    Электронный дискаунтер «Ситилинк» — один из крупнейших онлайн‑ритейлеров России (3‑е место по объему онлайн‑продаж в рейтинге Data Insight и Ruward 2016 года E‑commerce Index TOP‑100, 8 место в рейтинге Forbes «20 самых дорогих компаний Рунета — 2017»). На рынке работает 9 лет.

    В ассортименте дискаунтера более 50 000 наименований компьютерной цифровой, бытовой и садовой техники, офисной мебели и других товарных категорий. Более 700 мировых брендов в портфеле. Около 4 000 сотрудников по всей России

  • KazanExpress — торговая площадка, на которой представлены товары с бесплатной доставкой за один день в более, чем 70 городах России. Аналитическое решение на базе платформы данных Yandex Cloud позволило компании обеспечить демократизацию данных. Результат — принятие обоснованных решений на всех уровнях, увеличение лояльности партнеров и повышение прозрачности бизнеса.

    Мониторинг ключевых метрик в реальном времени минимизировал недополученную прибыль и обеспечил рост прибыльных направлений, а возможности геоаналитики сервиса Yandex DataLens помогли за короткое время проанализировать локации для открытия более 90 ПВЗ в 25 городах России и заложить основу для роста компании.

  • ПАО «Ростелеком» — российский провайдер цифровых услуг и сервисов. Предоставляет услуги широкополосного доступа в Интернет, интерактивного телевидения, сотовой связи, местной и дальней телефонной связи и др. Занимает лидирующие позиции на российском рынке высокоскоростного доступа в интернет, платного ТВ, хранения и обработки данных, а также кибербезопасности

  • Решения
    • Дистрибуция
    • Розничная торговля
    • Производство
    • Операторы связи
    • Страхование
    • Банки
    • Лизинг
    • Логистика
    • Нефтегазовый сектор
    • Медицина
    • Сеть ресторанов
    • E-Commerce
    • Энергетика
    • Фармацевтика
  • Услуги
    • Переход на отечественные BI и DWH
    • Консалтинг
    • Пилотный проект
    • Обучение и сертификация
    • Бесплатное обучение
    • Техническая поддержка
    • Технические задания
    • Сбор требований для проекта внедрения BI-системы
    • CI/CD для DWH
    • Аудит BI приложений
    • Выделенная команда
    • Настойка и поддержка баз данных
    • Разработка BI Стратегии
    • Styleguide для BI-системы
    • Как выбрать BI-систему
  • Платформы
    • FineBI
    • FineReport
    • FineDataLink
    • Коннекторы данных из 1С в BI
    • Airflow + NiFi
    • Visiology
    • Luxms BI
    • Modus BI
    • PIX BI
    • Arenadata
    • ClickHouse
    • Greenplum
    • Postgres Professional
    • Open-source BI: Superset/Metabase
    • Loginom
    • Yandex.DataLens
    • AI / Исскуственный интеллект
    • Optimacros
    • Шины данных
  • Курсы
    • Учебный курс Информационная грамотность
    • Учебный курс для бизнес-аналитиков
    • Учебный курс для системных аналитиков
    • Учебный курс по Data Governance
    • Учебный курс Как стать CDO
    • Учебный курс Современная архитектура хранилища данных
    • Учебный курс по Fine BI
    • Учебный курс по FineReport
    • Учебный курс по DWH
    • Учебный курс по Data Science (ML, AI)
    • Учебный курс по PostgreSQL
    • Учебный курс по Apache Airflow и NiFi
    • Учебный курс по Open-source BI
    • Учебный курс по ClickHouse
    • Учебный курс по DataLens
    • Учебный курс по Loginom
    • Учебный курс по Modus BI и ETL
    • Учебный курс по Visiology
    • Учебный курс по dbt
  • Функциональные решения
    • Создание Data Lake
    • Цифровая трансформация
    • Управление по KPI
    • Финансы
    • Продажи
    • Склад
    • HR
    • Маркетинг
    • Внутренний аудит
    • Категорийный менеджмент
    • S&OP и прогнозная аналитика
    • Геоаналитика
    • Цепочки поставок (SCM)
    • AutoML
    • Process Mining
    • Сквозная аналитика
  • Компания
    • О нас
    • Руководство
    • Новости
    • Клиенты
    • Скачать
    • Контакты
    • Политика конфиденциальности
RutubeVkontakteLinkedInYouTube
ООО "Би Ай Консалт",
ИНН: 7811437757,
ОГРН: 1097847154184
199178, Россия,
Санкт-Петербург,
6-ая линия В.О., Д. 63, 4 этаж
Тел: +7 (812) 334-08-01
Тел: +7 (499) 608-13-06
E-mail: info@biconsult.ru

 

 

 

 

 

×

Пользуясь сайтом, вы соглашаетесь с использованием cookies и политикой конфиденциальности.