По мере того, как организации масштабируют внедрение машинного обучения (ML), они ищут эффективные и надежные способы развертывания новой инфраструктуры и адаптации команд к средам ML. Одной из проблем является настройка аутентификации и детальных разрешений для пользователей в зависимости от их ролей и действий. Например, инженеры MLOps обычно выполняют действия по развертыванию модели, тогда как специалисты по данным выполняют обучение и проверку ML. Еще одна проблема — усилия, необходимые для настройки сетевых конфигураций и управления ими. Как правило, у администраторов нет простого механизма для обнаружения, внедрения и управления правильными конфигурациями сети и безопасности, которые нужны их командам.
Вот почему сегодня мы рады объявить о новом опыте адаптации, который позволит вам легко настраивать домены Amazon SageMaker для вашей организации. Как администратор платформы, вы можете использовать обновленный пользовательский интерфейс (UI) и API для более быстрого подключения пользователей с правильными настройками безопасности и инфраструктурой.
Давайте посмотрим, что нового и с чего начать!
Представляем пользовательский интерфейс настройки домена SageMaker для организаций
Новый пользовательский интерфейс для организаций позволяет настроить домен SageMaker через консоль AWS и подключить пользователей и организации всего за несколько кликов. Обновленный пользовательский интерфейс поможет вам выполнить настройку и предоставит пошаговые инструкции для быстрого масштабирования. Вы можете выбрать между использованием AWS Identity Access Management (IAM) или аутентификацией AWS IAM Identity Center и сопоставить ограниченные политики с существующими группами или пользователями. Вы можете назначить существующие роли или создать новые на основе их типичных действий по машинному обучению. Действие ML представляет собой набор разрешений для конкретной задачи, например запуска заданий обучения ML.
Помимо установки и настройки приложений SageMaker и ролей выполнения, новый интерфейс предлагает обновленный пользовательский интерфейс для реализации сложной сетевой конфигурации, такой как конечные точки VPC, подсети и группы безопасности, а также настройки шифрования. Вы также можете управлять своими подсетями и режимами подключения позже, если потребуются изменения.
Теперь давайте пройдемся по новому опыту более подробно.
Предварительные условия
Прежде чем использовать расширенную настройку для организаций, вам необходимо иметь следующее:
- Аккаунт AWS
- Роль IAM с разрешениями на создание ресурсов, необходимых для настройки домена SageMaker.
Настройка домена SageMaker для организаций
Чтобы воспользоваться обновленным пользовательским интерфейсом, администратор ML выполняет следующие шаги:
- На консоли SageMaker выберите Настройка для организаций.
Вы перейдете к мастеру настройки домена SageMaker, где Настройка для организаций опция уже выбрана. - Выбирать Настроить.
- На Детали домена странице, введите имя домена, затем выберите Следующий.
- На Пользователи и действия ML странице выберите предпочитаемый метод аутентификации. Для этого поста мы выбираем Центр идентификации AWS. Обратите внимание, что ваша установка AWS Identity Center должна находиться в том же регионе, в котором вы создаете домен SageMaker.
- в Кто будет использовать Studio? В разделе вы можете дополнительно выбрать группы пользователей, которым будет предоставлен доступ к домену SageMaker.
- Выбирать Создать новую роль чтобы создать новую роль для назначения действий или использовать существующую роль. Для МО деятельностьвыберите из списка предопределенных действий.
- в Доступ к сегменту S3 В разделе введите корзину Amazon Simple Storage Service (Amazon S3), к которой будут иметь доступ все пользователи домена, затем выберите Следующий. Вы можете указать более одного сегмента S3.
- На Приложения На странице вы можете указать и настроить интегрированные среды разработки (IDE), доступные в домене SageMaker. Для Студия SageMaker, выберите обновленную или классическую версию. Вы также можете настроить Canvas, Code Editor и RStudio.
- Выбирать Следующий.
- На Сеть На странице выберите использовать только VPC или общедоступный доступ в Интернет. Для этого поста мы выбираем Только виртуальное частное облако (VPC). Если вы используете VPC, укажите свой VPC, подсети и группы безопасности, затем выберите Следующий.
- На Хранилище На странице вы можете дополнительно установить ключ шифрования.
- Вы также можете дополнительно настроить размер пространства по умолчанию и максимальный размер тома Amazon Elastic Block Store (Amazon EBS) для экземпляра Amazon Elastic Compute Cloud (Amazon EC2), на котором размещены JupyterLab и редактор кода.
- Выбирать Следующий.
- На Просмотрите и создайте странице, просмотрите свои конфигурации, затем выберите Представлять на рассмотрение создать домен.
- После этого начнется процесс настройки домена SageMaker, который займет 2–4 минуты.
- Когда домен будет готов, появится баннер успеха.
Новое: обновление существующих доменов для организаций.
Теперь, когда мы прошли путь администратора по настройке нового домена SageMaker для организаций, домен готов, и пользователи ML могут быть подключены к SageMaker. Этот процесс не является разовым событием; после создания доменов требования могут измениться, и потребуются обновления конфигурации домена. Давайте рассмотрим некоторые недавно запущенные функции в рамках этой настройки, которые позволяют обновлять существующие домены.
Предварительные условия для обновления доменов
Чтобы использовать эти новые функции, администраторы ML должны иметь доступ к:
Обновите подсеть в существующем домене через интерфейс командной строки AWS.
По мере того как организации масштабируют внедрение машинного обучения, их потребности меняются, что требует изменений в их инфраструктуре. По мере того, как вы добавляете больше пользователей и ресурсов в свои проекты и команды, вам требуется больше ресурсов (таких как диапазон IP-адресов и конечные точки). Вы также можете захотеть изолировать несколько подсетей и отключить эти подсети от SageMaker Studio и, следовательно, удалить их из своих доменов. Одна из проблем, с которой сталкиваются администраторы, когда вы хотите добавить или удалить подсети, заключается в том, что обновление подсетей домена требует опыта и времени. Мы рады сообщить, что мы упростили этот процесс, и администраторы ML теперь могут обновлять подсети домена через AWS CLI.
Давайте пройдемся по этой функции.
В этом примере вы создали новый домен SageMaker Studio с двумя подсетями: subnet-1 и subnet-2. Вы исчерпали все IP-адреса подсети домена и теперь хотите добавить новые подсети. subnet-3 и subnet-4 в домен. См. следующий код:
Если вы понимаете, что вам на самом деле не нужно так много IP-адресов, вы можете удалить подсеть (в этом примере: subnet-4) из существующего списка подсетей. См. следующий код:
Измените режим сетевого подключения в существующем домене через интерфейс командной строки AWS.
Когда вы проводите тестирование или изучаете SageMaker, чтобы узнать больше об этой службе, вы можете создать свой домен с общедоступным доступом в Интернет. Однако при настройке проектов и масштабировании рабочих нагрузок машинного обучения вам может потребоваться изменить режим аутентификации на VPC только для обеспечения соответствия существующим требованиям к сети и безопасности вашей организации. Мы рады сообщить, что администраторы ML теперь могут изменить режим своего сетевого подключения с общедоступного Интернета на режим только VPC через интерфейс командной строки AWS.
Например, в следующем коде мы обновляем домен AppNetworkAccessType к VpcOnly:
В следующем коде мы обновляем домен AppNetworkAccessType к PublicInternetOnly:
Заключение
Новый пользовательский интерфейс для организаций, позволяющий настраивать домены, а также новые функции, связанные с обновлением существующих доменов, доступны сегодня без дополнительной оплаты во всех регионах AWS, где доступен SageMaker, за исключением регионов AWS GovCloud и AWS China.
Попробуйте эти новые функции и дайте нам знать, что вы думаете. Мы всегда с нетерпением ждем ваших отзывов! Вы можете отправить его через свои обычные контакты службы поддержки AWS или опубликовать на форуме AWS для SageMaker.
Чтобы узнать больше, посетите раздел «Новые возможности регистрации в SageMaker» и установите флажок «Включение в домен Amazon SageMaker с помощью IAM Identity Center».
Об авторах
Озан Экен — старший менеджер по продукту в Amazon Web Services. Он с энтузиазмом занимается созданием новых продуктов с подходящей инфраструктурой, средствами безопасности и управлением для SageMaker. Вне работы он любит заниматься различными видами активного отдыха и смотреть футбол.
Викеш Пандей — специалист по архитектуре решений в области машинного обучения в AWS, помогающий клиентам из финансовой отрасли разрабатывать и создавать решения на основе генеративного искусственного интеллекта и машинного обучения. Помимо работы Викеш любит пробовать разные кухни и заниматься спортом на свежем воздухе.
Анастасия Цевелека — специалист по архитектуре решений в области машинного обучения и искусственного интеллекта в AWS. Она работает с клиентами в регионе EMEA и помогает им разрабатывать масштабные решения машинного обучения с использованием сервисов AWS. Она работала над проектами в различных областях, включая обработку естественного языка (NLP), MLOps и инструменты Low Code No Code.