Что такое Amazon S3?
Amazon Simple Storage Service (Amazon S3) - это служба объектного хранения данных, которая обеспечивает лучшую в отрасли масштабируемость, доступность и безопасность данных, а также производительность в целом. Компании всех размеров не зависимо от отрасли могут использовать Amazon S3 для хранения и защиты любых объемов данных в самых различных форматах (Data Lake, веб-сайты, мобильные приложения, корпоративные приложения, устройства IoT, системы BI и т.д.). Amazon S3 предоставляет функции управления, позволяющие оптимизировать работу с данными, упорядочить и настроить доступ к данным в соответствии со специфическими требованиями со стороны бизнеса и организаций, регулирующих деятельность предприятий.
Основные характеристики Amazon S3
- Классы хранения данных
Amazon S3 предлагает ряд классов хранения. Так, критически важные производственные данные, используемые часто, можно хранить в S3 Standard или S3 Express One Zone. Редко используемые данные с экономической точки зрения целесообразно хранить в S3 Standard-IA или S3 One Zone-IA. Архивировать данные с наименьшими затратами лучше всего в S3 Glacier Instant Retrieval, S3 Glacier Flexible Retrieval или S3 Glacier Deep Archive.
Amazon S3 Express One Zone - это высокопроизводительный класс хранилищ Amazon S3 с одной зоной доступа, созданный специально для обеспечения стабильного и быстрого доступа к данным с точностью до одной миллисекунды для приложений, чувствительным к задержкам. S3 Express One Zone - это один из самых совершенных классов облачных объектных хранилищ, обеспечивающий высокую скорость доступа к данным, при этом стоимость запроса у него на 50 % ниже, чем у S3 Standard. По сути, это первый класс хранения S3, в котором можно выбрать одну зону доступности с возможностью совместного размещения объектного хранилища и вычислительных ресурсов, что как раз и обеспечивает максимально возможную скорость доступа к данным. Кроме того, для дальнейшего увеличения скорости доступа и поддержки сотен тысяч запросов в секунду данные хранятся в новом типе корзин - корзинах каталога Amazon S3.
Вы можете хранить данные, используя гибкие шаблоны доступа в S3 Intelligent-Tiering, который в свою очередь оптимизирует затраты на хранение за счет автоматического перемещения данных между 4 уровнями доступа - два уровня доступа с низкой задержкой, оптимизированные для частого и нечастого использования данных, и 2 уровня доступа, предназначенные для асинхронного доступа к редко запрашиваемым данным.
- Управление хранением данных
В Amazon S3 предусмотрены функции управления хранилищем данных, которые можно использовать для управления расходами, снижения задержек и сохранения нескольких отдельных копий данных в соответствии с требованиями законодательства в области работы с данными.
S3 Lifecycle – настройте параметры работы с данными для управления объектами и организации экономически выгодного хранения на протяжении всего жизненного цикла данныхх. Вы можете переводить объекты в другие классы хранения S3 или удалять объекты, срок жизни которых подошел к концу;
S3 Object Lock – предотвратите удаление или перезапись объектов Amazon S3 на определенное время или на неопределенный срок. Блокировку объектов можно использовать для выполнения нормативных требований, требующих хранения данных по принципу WORM, или просто для обеспечения дополнительного уровня защиты данных от нежелательных изменений и удаления.
S3 Replication – реплицируйте объекты и соответствующие им метаданные и теги в один или несколько целевых корзин в одном или разных регионах AWS с целью минимизации задержек, обеспечения безопасности и т.д.
S3 Batch Operations – управляйте миллиардами объектов с помощью одного запроса S3 API или нескольких щелчков мыши в консоли Amazon S3. Вы можете использовать пакетные решения для выполнения таких операций, как копирование, вызов функции AWS Lambda и восстановление миллионов или миллиардов объектов.
- Управление доступом к данным и безопасность
Amazon S3 предоставляет широкие возможности для аудита и управления доступом к Вашим данным. По умолчанию корзины S3 и содержащиеся в них объекты являются частными. Вы имеете доступ только к ресурсам S3, созданным Вами. Чтобы предоставить разрешение на доступ к ресурсам или провести аудит выданных разрешений, Вы можете использовать следующие функции.
S3 Block Public Access – заблокируйте публичный доступ к корзинам и объектам S3. По умолчанию настройки Block Public Access включены на уровне корзины. Мы рекомендуем держать все параметры блокировки публичного доступа включенными.
AWS Identity and Access Management (IAM). IAM - это веб-служба, которая помогает Вам контролировать доступ к ресурсам AWS, включая ресурсы Amazon S3. С помощью IAM Вы можете централизованно управлять разрешениями, которые контролируют доступ пользователей к ресурсам AWS. С помощью IAM Вы видите, кто прошел аутентификацию (вошел в систему) и авторизован (имеет разрешения) на использование ресурсов.
Bucket policies – для настройки разрешений на основе ресурсов для корзин S3 и объектов, содержащихся в них, используйте политики на основе IAM
Amazon S3 access points – настройте сетевые конечные точки с выделенными политиками доступа для управления доступом к данным Amazon S3.
Access control lists (ACLs) – предоставьте разрешения на чтение и запись для отдельных корзин и объектов авторизованным пользователям. Как правило, для контроля доступа вместо ACL рекомендуется использовать политики на основе ресурсов S3 (политики корзин и точек доступа) или пользовательские политики IAM. Политики - это упрощенный и более гибкий вариант управления доступом. С помощью политик для корзин и точек доступа можно определить правила, которые применяются ко всем запросам к ресурсам Amazon S3.
S3 Object Ownership – получите право собственности на каждый объект в своей корзине, упростив управление доступом к данным, хранящимся в Amazon S3. S3 Object Ownership - это параметр уровня корзины Amazon S3, который можно использовать для отключения или включения ACL. По умолчанию ACL отключены. При отключенных ACL владелец корзины владеет всеми объектами и управляет доступом к данным исключительно с помощью политик управления доступом.
IAM Access Analyzer for S3 – анализируйте и контролируйте политики доступа к корзинам S3, следя за тем, чтобы они обеспечивали только целевой доступ к ресурсам S3.
- Обработка данных
Для преобразования данных и запуска рабочих процессов в целях автоматизации операций по обработке данных Вы можете использовать следующие функции:
S3 Object Lambda – добавляйте свой собственный код в запросы S3 GET, HEAD и LIST. Фильтруйте строки, изменяйте размер изображений, редактируйте конфиденциальные данные и т.д.
Event notifications – получайте уведомления при запуске рабочих процессов, использующих Amazon Simple Notification Service (Amazon SNS), Amazon Simple Queue Service (Amazon SQS) и AWS Lambda.
- Ведение журналов и мониторинг
Amazon S3 предоставляет инструменты для ведения журналов и мониторинга, с помощью которых Вы можете отслеживать и контролировать использование ресурсов Amazon S3.
Автоматический мониторинг
Amazon CloudWatch metrics for Amazon S3 – отслеживайте работоспособность ресурсов S3 и настраивайте оповещения в случае, когда расходы достигают заданного пользователем порога.
AWS CloudTrail – фиксируйте действия, выполняемые пользователем или службой AWS в Amazon S3. Журналы CloudTrail обеспечивают подробное отслеживание операций API на уровне корзин и объектов S3.
Ручной мониторинг
Server access logging – получите подробные записи о запросах, которые были сделаны к корзине. Журналы доступа к серверу можно использовать для самых разных целей, например, для проведения аудита безопасности и доступа, изучения клиентской базы и анализа счетов за услуги Amazon S3.
AWS Trusted Advisor – проанализируйте свою учетную запись с помощью проверок AWS для определения способов оптимизации инфраструктуры, повышения безопасности и производительности, снижения затрат и т.д. Следуйте полученным рекомендациям.
- Аналитика эффективности хранения данных
Amazon S3 предлагает своим пользователям функции, которые помогут получить информацию об использовании хранилища, и на ее основе принять взвешенное решение об оптимизации соответствующих процессов.
Amazon S3 Storage Lens –анализируйте и оптимизируйте работу хранилища. S3 Storage Lens предоставляет 60+ показателей использования и активности, а также интерактивные панели для агрегирования данных по всей организации
Storage Class Analysis – анализируйте модели доступа к хранилищу с целью определения того, стоит ли переместить какие либо данные в другой класс или нет с точки зрения оптимизации затрат на хранение данных.
S3 Inventory with Inventory reports – проводите аудит и составляйте отчеты об объектах и соответствующих им метаданных, а также настраивайте другие функции Amazon S3 Ю касающиеся выполнение действий в отчетах Inventory. Например, Вы можете создавать отчеты о состоянии репликации и шифрования данных.
- Соблюдение согласованности операций
Amazon S3 обеспечивает надежную согласованность запросов PUT и DELETE объектов в корзине Amazon S3 во всех регионах AWS. Это касается как записи новых объектов, так и запросов PUT, которые перезаписывают существующие объекты и запросы DELETE. Кроме того, система внимательно следит за тем, чтобы операции чтения Amazon S3 Select, списки контроля доступа (ACL) Amazon S3, метки объектов Amazon S3 и метаданные объектов (например, объект HEAD) были строго согласованы.
Принцип работы Amazon S3
Amazon S3 - это служба объектного хранения, которая хранит данные в виде объектов в корзинах. Объект - это файл и любые метаданные, которые описывают этот файл. Корзина - это контейнер для объектов.
Для того, чтобы хранить данные в Amazon S3, сначала необходимо создать корзину, указать ее имя, а также определить регион AWS. Затем необходимо загрузить свои данные в эту корзину в виде объектов. У каждого объекта есть свой ключ (или имя ключа), который является уникальным идентификатором объекта в корзине.
Корзины и объекты, содержащиеся в них, являются частными, доступ к ним возможен только при предоставлении разрешений на доступ. Для управления доступом можно использовать политики корзин, политики AWS Identity and Access Management (IAM), списки контроля доступа (ACL)Ю а также точки доступа S3.
- Корзины
Корзина - это контейнер для объектов, хранящихся в Amazon S3. В корзине можно хранить абсолютно любое количество объектов, в одном аккаунте разрешено иметь до 100 корзин.
Как уже говорилось ранее, каждый объект хранится в корзине. Например, если объект с именем photos/puppy.jpg хранится в корзине DOC-EXAMPLE-BUCKET в регионе US West (Oregon), то к нему можно обратиться по URL https://DOC-EXAMPLE-BUCKET.s3.us-west-2.amazonaws.com/photos/puppy.jpg.
При создании корзины необходимо выбрать для нее имя, а также выбрать регион AWS, в котором она будет находиться. После создания корзины изменить ее имя и регион невозможно. Имена ведер должны соответствовать правилам присвоения имен корзинам .
Кроме того, корзины:
- Организуют пространство имен Amazon S3 на самом высоком уровне.
- Определяют учетную запись, ответственную за оплату хранения и передачу данных.
- Предоставляют возможности управления доступом, такие как политики корзин, списки контроля доступа (ACL) и точки доступа S3, которые можно использовать для управления доступом к ресурсам Amazon S3.
- Служат единицей агрегирования данных при составлении различных отчетов.
- Объекты
Объекты - это основные сущности, хранящиеся в Amazon S3. Объекты состоят из данных объекта и метаданных. Метаданные - это набор пар имя-значение, которые описывают объект. По умолчанию эти пары включают в себя некоторые метаданные, например, дату последнего изменения или Content-Type. Вы также можете указать свои собственные метаданные.
Объект, находящийся в корзине, идентифицируется по ключу (имени) , а также по ID версии (если такая опция доступна для той или иной корзины).
- Ключи
Ключ объекта (или имя ключа) - это уникальный идентификатор объекта в корзине. Каждый объект имеет ровно один ключ. Комбинация корзины, ключа объекта и, при желании, идентификатора версии (если для ведра включена функция S3 Versioning) однозначно идентифицирует каждый объект.
Каждый объект в Amazon S3 можно однозначно идентифицировать по комбинации конечной точки веб-сервиса, имени корзины, ключа и, по желанию, версии. Например, в URL https://DOC-EXAMPLE-BUCKET.s3.us-west-2.amazonaws.com/photos/puppy.jpg DOC-EXAMPLE-BUCKET - это имя ведра, а photos/puppy.jpg – это ключ.
- S3 версионирование
S3 версионирование может быть использовано для хранения нескольких версий объекта в одной корзине. С помощью этой функции Вы сможете сохранять, извлекать и восстанавливать все версии объектов, хранящихся в корзинах. Кроме того, эта опция дает Вам возможность с легкостью восстанавливать данные как после неверных действий пользователей, так и после сбоев в работе приложений.
- ID версии
Как только Вы включаете функцию S3 версионирования, Amazon S3 начинает генерировать уникальный идентификатор версии для каждого объекта, добавленного в корзину. Объекты, которые находились в корзине на момент включения версионирования, имеют идентификатор версии, равный null. Если Вы измените эти (или любые другие) объекты с помощью таких операций, как CopyObject или PutObject, обновленным объектам будет присвоить новый уникальный идентификатор версии.
- Политика бакета
Политика бакета - это политика AWS Identity and Access Management (IAM), которую используется для предоставления разрешений на доступ к корзине и содержащейся в ней объектам. Разрешения, привязанные к корзине, применяются ко всем объектам, которые принадлежат владельцу корзины. Размер политик ограничен 20 КБ.
Политики бакета используют язык политик доступа на основе JSON, который является стандартным для AWS. Данные политики можно использовать для добавления или удаления разрешений для объектов в корзине.
Политики бакета разрешают (или запрещают) запросы на основе элементов политики, включая запросчика, действия S3, ресурсы, а также аспекты или условия запроса (например, IP-адрес, используемый для запроса).
В данных политиках можно использовать символы подстановки в именах ресурсов Amazon (ARN), а также другие значения для предоставления разрешений на подмножество объектов. Например, можно контролировать доступ к группам объектов, которые начинаются с общего префикса или заканчиваются заданным расширением, например .html.
- S3 Access Points
Amazon S3 Access Points - это функция, с помощью которой можно упростить доступ к данным, а также создавать индивидуальные политики контроля доступа для каждой точки. Точки доступа привязываются к корзинам, которые можно использовать для выполнения операций с объектами S3, таких как GetObject и PutObject.
Каждая точка доступа имеет собственную политику доступа. Для каждой точки доступа можно настроить параметры Block Public Access. Чтобы ограничить доступ к данным Amazon S3 в частной сети, можно настроить любую точку доступа так, чтобы она принимала запросы только из виртуального частного облака (VPC).
- Access control lists (ACL)
С помощью ACL можно предоставлять авторизованным пользователям разрешения на чтение и запись для отдельных корзин и объектов. Каждая корзина и объект имеет ACL, прикрепленный к нему в качестве субресурса. ACL определяет, каким учетным записям или группам AWS предоставляется доступ к данным. Кроме того, данный список отражает тип доступа. По сути, ACL - это механизм управления доступом, который появился еще до IAM.
S3 Object Ownership - это настройка, которую можно использовать как для контроля прав собственности на объекты, загружаемые в корзину, так и для отключения или включения ACL. По умолчанию для параметра Object Ownership установлено значение Bucket owner enforced, при этом все ACL отключены. Когда ACL отключены, владелец корзины владеет всеми объектами в корзине и управляет доступом к ним исключительно с помощью политик управления доступом.
Большинство современных случаев использования Amazon S3 больше не требуют применения ACL. Мы рекомендуем отключать ACL, за исключением отдельных случаев, когда необходимо контролировать доступ для каждого объекта по отдельности. Если ACL отключены, для контроля доступа ко всем объектам в корзине Вы можете использовать политики, независимо от того, кто загрузил эти объекты в Вашу корзину.
- Регионы
Вы можете выбрать географический регион AWS, в котором Amazon S3 будет хранить создаваемые Вами корзины. Правильный выбор региона необходим для оптимизации задержек, минимизации затрат, а также для обеспечения соответствия нормативным требованиям. Объекты, хранящиеся в регионе AWS, не покидают этот регион, до тех пор, пока Вы не перенесете их в другой регион.
NB
Вы можете получить доступ к Amazon S3 и его функциям только в тех регионах AWS, которые доступны для Вашей учетной записи. Дополнительную информацию о регионах и управления ресурсами AWS смотрите в разделе Managing AWS Regions Общего справочника AWS.
Модель согласованности данных Amazon S3
Amazon S3 обеспечивает надежную согласованность запросов PUT и DELETE объектов в корзине Amazon S3 во всех регионах AWS. Это правило распространяется как на запись новых объектов, так и на запросы PUT, которые перезаписывают существующие объекты, а также на запросы DELETE. Кроме того, строго согласованы операции чтения Amazon S3 Select, списки контроля доступа (ACL) Amazon S3, метки объектов Amazon S3 и метаданные объектов (например, объекта HEAD).
Обновления одного ключа являются атомарными. Например, если Вы выполняете PUT-запрос к существующему ключу из одного потока и одновременно выполняете GET-запрос к тому же ключу из второго потока, Вы получите либо «старые», либо новые данные, но никак не частичные или поврежденные данные.
Простота работы с Amazon S3 основана на репликации данных на нескольких серверах в центрах обработки данных AWS. Успешная обработка запроса PUT означает то, что Ваши данные были надежно сохранены. Любое чтение (запрос GET или LIST), инициированное после получения успешного ответа PUT, вернет данные, записанные в результате запроса PUT:
- Процесс записывает новый объект в Amazon S3 и сразу же составляет список ключей в корзине. Новый объект появляется в списке.
- Процесс заменяет существующий объект и сразу же пытается его прочитать. Amazon S3 возвращает новые данные.
- Процесс удаляет существующий объект и сразу же пытается его прочитать. Amazon S3 ничего не возвращает, поскольку объект был удален.
- Процесс удаляет существующий объект и сразу же составляет список ключей в корзине. Объект в списке не появляется
NB
- Amazon S3 не поддерживает функцию блокировки объектов для одновременных писателей. Если к одному и тому же ключу одновременно выполняются два запроса PUT, «побеждает» запрос с самой поздней временной меткой.
- Обновления зависят от ключа. Не существует способа атомарного обновления по ключам. Например, нельзя сделать так, чтобы обновление одного ключа зависело от обновления другого ключа, если только Вы заранее не предусмотрите эту опцию в своем приложении
Конфигурации корзин имеют модель согласованности данных. Это означает то, что:
- Если Вы удалите корзину и сразу же выведете список всех корзин, удаленная корзина может отобразиться в списке.
- Если Вы включили версионирование для корзины впервые, имейте в виду, что установление всех изменений займет определенное время. Мы рекомендуем подождать около 15 минут и только после этого можно приступить к выполнению операции записи (запросы PUT или DELETE) для объектов, содержащихся в корзине.
Параллельные приложения
В этом разделе приведены примеры процессов, ожидаемых от Amazon S3, в случае, когда несколько клиентов записывают в одни и те же элементы.
В этом примере запись W1 (запись 1) и W2 (запись 2) завершается до начала записи R1 (чтение 1) и R2 (чтение 2). Поскольку S3 является строго последовательным, R1 и R2 оба возвращают color = ruby.
В следующем примере W2 не заканчивается до начала R1. Поэтому R1 может вернуть color = ruby или color = garnet. Однако, поскольку W1 и W2 заканчиваются до начала R2, R2 возвращает color= garnet.
В последнем примере запись W2 начинается до того, как W1 получит подтверждение. Поэтому эти записи считаются одновременными. Для определения приоритетности записи Amazon S3 использует семантику «last-writer-wins». Однако порядок получения запросов AWS и порядок получения приложениями подтверждений невозможно предсказать из-за различных факторов, таких как сетевая задержка. Например, запрос W2 может быть инициирован экземпляром Amazon EC2 в том же регионе, а запрос W1 может быть инициирован хостом, находящимся на большем расстоянии. Лучший способ определить окончательное значение - выполнить чтение после того, как обе записи будут подтверждены.
Сопутствующие службы
После загрузки данных в Amazon S3 Вы сможете использовать их в других службах AWS:
Amazon Elastic Compute Cloud (Amazon EC2) предоставляет безопасные и масштабируемые вычислительные мощности в облаке AWS. Использование Amazon EC2 избавит Вас от необходимости вкладывать средства в оборудование, поэтому Вы сможете быстрее разрабатывать и развертывать приложения. С помощью Amazon EC2 Вы можете запустить столько виртуальных серверов, сколько Вам нужно, настроить безопасность и сетевое взаимодействие, а также управлять хранилищем.
Amazon EMR помогает предприятиям, аналитикам данных и разработчикам легко и с минимальными затратами обрабатывать огромные объемы данных. Amazon EMR использует хостинговый фреймворк Hadoop, работающий на веб-инфраструктуре Amazon EC2 и Amazon S3.
AWS Snow Family помогает пользователям, которым необходимо выполнять операции в не самых комфортных условиях, за пределами центров обработки данных, а также в местах, где отсутствует постоянное подключение к сети. Вы можете использовать устройства AWS Snow Family для локального и экономически эффективного доступа к хранилищу и вычислительным мощностям облака AWS в местах, где подключение к Интернету невозможно.
AWS Transfer Family обеспечивает полностью управляемую поддержку передачи файлов непосредственно в и из Amazon S3 или Amazon Elastic File System (Amazon EFS) с помощью протоколов Secure Shell (SSH) File Transfer Protocol (SFTP), File Transfer Protocol over SSL (FTPS) и File Transfer Protocol (FTP).
Получения доступа к Amazon S3
Вы можете работать с Amazon S3 любым из следующих способов:
- Консоль управления AWS (AWS Management Console)
Консоль - это веб-интерфейс для управления Amazon S3 и ресурсами AWS. Если Вы зарегистрировали учетную запись AWS, Вы можете получить доступ к консоли Amazon S3, войдя в AWS Management Console и выбрав S3 на главной странице.
- Интерфейс командной строки AWS (AWS CLI)
С помощью инструментов командной строки AWS Вы можете вводить команды или создавать скрипты в командной строке Вашей системы AWS (включая S3).
Интерфейс командной строки AWS (AWS CLI) предоставляет команды для широкого набора сервисов AWS. AWS CLI поддерживается Windows, macOS и Linux. Перед началом работы с интерфейсом внимательно ознакомьтесь с Руководством по работе с AWS CLI. Более подробную информацию касательно команд Вы найдете в разделах s3api и s3control справочника команд AWS CLI.
- AWS SDK
AWS предоставляет SDK (комплекты для разработки программного обеспечения), состоящие из библиотек и примеров кода для различных языков программирования и платформ (Java, Python, Ruby, .NET, iOS, Android и т.д.). AWS SDK предоставляют удобный способ создания программного доступа к S3 и AWS.
Вы можете отправлять запросы к Amazon S3 с помощью библиотек AWS SDK, которые оборачивают базовый REST API Amazon S3 и упрощают выполнение задачи программирования. Например, SDK решают такие задачи, как криптографическая подпись запросов, обработка ошибок и автоматическое повторение запросов. Информацию о SDK AWS, в том числе о том, как их загрузить и установить, смотрите в разделе Инструменты для AWS.
Каждое взаимодействие с Amazon S3 происходит либо с помощью аутентификации, либо анонимно. Если Вы используете AWS SDK, библиотеки автоматически вычисляют подпись для аутентификации из предоставленных Вами ключей.
- Amazon S3 REST API
REST API - это HTTP-интерфейс, разработанный специально для Amazon S3. С помощью REST API Вы можете использовать стандартные HTTP-запросы для создания, получения и удаления корзин, а также объектов.
Для работы с REST API допустимо использовать любой инструментарий, поддерживающий HTTP. Вы даже можете использовать браузер для получения объектов, если только они доступны для анонимного чтения.
В REST API используются стандартные заголовки и коды состояния HTTP, поэтому браузеры и инструментальные средства работают бесперебойно. В некоторых областях мы добавили функциональность в HTTP (например, заголовки для поддержки контроля доступа). По большому счету мы сделали все возможное, чтобы добавить новую функциональность так, чтобы она соответствовала стилю стандартного использования HTTP.
NB
Поддержка API SOAP по протоколу HTTP устарела, но она актуальна для протокола HTTPS. Новые функции Amazon S3 не доступны для SOAP, поэтому мы рекомендуем использовать либо REST API, либо AWS SDK.
