Snowflake 101: Знакомство с облаком данных Snowflake
С постоянным ростом объема и скорости данных организации ищут решения для обработки больших данных и любых связанных с этим проблем. Одно из первых решений, которые принимают организации? Принятие облачной модели, которая предлагает гибкость, масштабируемость и высокую производительность.
Snowflake — это облачная платформа хранилища данных, которая набирает популярность благодаря своим многочисленным функциям и эффективности.
В этой статье мы углубимся в архитектуру Snowflake, ключевые функции и цели, которые она решает.
Что такое Snowflake?
Snowflake — это платформа хранилища данных (DWH) на основе SaaS, которая работает в облачной инфраструктуре AWS или MS Azure. (Вы могли услышать, что это называется хранилищем данных как услуга.)
В отличие от других складских решений, Snowflake использует усовершенствованный ANSI-совместимый механизм SQL, предназначенный для работы исключительно в облаке.
По сути, основная архитектура Snowflake позволяет ей работать в общедоступном облаке, используя виртуальные вычислительные экземпляры и эффективные сегменты хранилища, что делает ее высокомасштабируемым и экономичным решением для обработки огромных объемов больших данных.
Ключевые особенности Snowflake
По сравнению с устаревшими технологиями DWH, Snowflake предлагает ряд функций, в том числе:
Стандартная и расширенная поддержка SQL
Будучи хранилищем данных на основе SQL, он поддерживает указанный язык данных и язык манипулирования данными DML-команды, используемые SQL. Он также предоставляет расширенные команды DML для многотабличных операций, таких как INSERT, MERGE и MULTI-MERGE.
С помощью Snowflake пользователи могут:
- Настройте временные и переходные таблицы для краткосрочных данных
- Используйте аналитические и статистические агрегированные функции и виды сбоку
- Создавайте пользовательские функции (UDF)для расширения функциональности как в SQL, так и в JavaScript.
Графический веб-интерфейс пользователя (GUI)
Snowflake предоставляет пользователям веб-интерфейс для взаимодействия с облаком данных. С помощью веб-интерфейса пользователи могут:
- Управлять своей учетной записью и другими общими настройками
- Мониторинг ресурсов и использования системы
- Данные запроса
Клиент командной строки (CLI)
Snowflake предоставляет CLI на основе Python под названием SnowSQL для подключения к DWH. Это отдельный загружаемый и устанавливаемый терминальный инструмент для выполнения всех запросов, включая запросы определения данных и обработки данных для загрузки и выгрузки данных.
Богатый набор клиентских коннекторов
Snowflake предоставляет широкий спектр коннекторов и драйверов, которые пользователи могут использовать для подключения к своему облаку данных. Некоторые из этих клиентских соединителей включают:
- Python Connector, программный интерфейс для написания приложений Python, которые подключаются к Snowflake.
- Драйвер NodeJS
- Драйвер ODBCдля разработки на C / C ++
- Также драйвер JBDCдля программирования на Java
Обширные сторонние плагины
В дополнение к программным интерфейсам, упомянутым выше, со Snowflake интегрируется несколько других инструментов для работы с большими данными. Эти инструменты варьируются от инструментов бизнес-аналитики до программного обеспечения для интеграции данных, машинного обучения, безопасности и управления.
Массовая загрузка и выгрузка данных
Snowflake позволяет загружать данные в разных форматах и из разных источников — при условии, что данные используют поддерживаемую кодировку символов. Пользователи могут загружать данные из:
- Сжатые файлы
- Источники данных AWS S3
- Локальные файлы
- Плоские файлы данных, такие как CSV и TSV
- Файлы данных в форматах Avro, JSON, ORC, Parquet и XML.
Кроме того, с помощью Snowpipe пользователи могут непрерывно загружать данные партиями из этапов Snowflake, AWS S3 или хранилища Azure.
Надлежащая защита данных и реализация безопасности
С помощью Snowflake пользователи могут:
- Установите регионы для хранения данных в соответствии с нормативными требованиями
- Настройте их уровни безопасности в соответствии с требованиями
Snowflake также автоматически шифрует данные. Контроль доступа на уровне объектов предлагает детальный контроль над тем, кто и к чему имеет доступ.
Snowflake архитектура
Snowflake следует за гибридом архитектуры баз данных с общим диском и без совместного использования. Это состоит из:
- Центральный репозиторий, в котором хранятся данные
- Вычислительные узлы в хранилище данных могут получить доступ к этому базовому хранилищу данных.
Для выполнения запросов Snowflake использует распределенные узлы кластера с массовой параллельной обработкой (MPP), каждый из которых имеет собственное локальное хранилище для локального хранения частей данных, ЦП и памяти.
Каркас Snowflake обычно разделен на три слоя. Все эти уровни независимы друг от друга и могут масштабироваться, настраиваться и управляться индивидуально. Эти слои включают:
- Уровень хранения
- Вычислить слой
- Уровень облачных сервисов
Уровень хранения
Слой, на котором находится центральное хранилище. Любые данные, загруженные в систему, подвергаются разделению и реорганизации в сжатый, внутренне оптимизированный столбчатый формат Snowflake, шифрование с использованием AES 256 и впоследствии сохраняются в облачном хранилище. Snowflake автоматически разбивает разделы, но предоставляет пользователям настройки для настройки параметров разделов.
Данные, хранящиеся на этом уровне, являются центральными, и все узлы в кластере могут получить к ним доступ. Snowflake управляет всеми аспектами хранения данных, тем самым позволяя пользователям взаимодействовать с базовыми данными только через SQL-запросы.
Вычислить слой
Вычислительный уровень обрабатывает выполнение запросов. Для этого используются виртуальные хранилища — независимые вычислительные кластеры MPP с несколькими вычислительными узлами.
Snowflake назначает эти вычислительные узлы от выбранного облачного провайдера каждому пользователю. Эти кластеры автономны — имеют собственный ЦП, память и локальное хранилище, — производительность одного из них не влияет на другие.
Уровень облачных сервисов
Snowflake предоставляет набор сервисов для администрирования и управления облаком данных Snowflake. На этом уровне происходит несколько действий:
- Контроль доступа
- Аутентификация
- Управление инфраструктурой
- Управление метаданными
- Разбор запроса
- Оптимизация
Зачем использовать Snowflake?
Есть множество причин, по которым организации выбирают Snowflake. Вот основные причины:
- Гибридная архитектура предлагает пользователям лучшее из обоих миров. Пользователи платят отдельно за базовый центральный репозиторий и столько вычислительной мощности, сколько им требуется.
- На основе SQL для быстрого обучения. Реализация на основе SQL гарантирует, что разработчикам не придется проходить сложную кривую обучения, чтобы понять новую технологию.
- Данные в первую очередь. Поддерживает клонирование данных и безопасный обмен данными.
- Нет конфигурации инфраструктуры. Snowflake не требует какой-либо конфигурации инфраструктуры — вместо этого Snowflake делает это автоматически после того, как вы выбрали предпочтительного поставщика облачных услуг.
Начало работы со Snowflake
Готовы начать? В настоящее время Snowflake предлагает новым пользователям 30-дневную бесплатную пробную версию. Получив доступ, вы сможете:
Просмотрите наше меню Справочника по снежинкам справа, где вы найдете несколько руководств.
Обратитесь к официальной документации
Snowflake из облаков
Облачные сервисы — это новая норма.
Snowflake — это служба DWH, созданная специально для облака, которая позволяет организациям обрабатывать и хранить огромные большие объемы данных, позволяя независимо масштабировать вычисления и хранилище. Для более быстрого выполнения запросов и повышения производительности Snowflake позволяет пользователям масштабироваться с помощью дополнительных хранилищ данных, предлагая дополнительные вычислительные ресурсы по мере необходимости.
Предлагая расширенные функции DWH, Snowflake помогает сократить расходы на предоставление инфраструктуры и избыточные усилия по ее управлению, позволяя организациям сосредоточиться на создании эффективной аналитики — единственной цели данных.
