Amazon SageMaker Studio — это интегрированная веб-среда разработки (IDE) для машинного обучения (ML), которая позволяет создавать, обучать, отлаживать, развертывать и отслеживать модели машинного обучения. SageMaker Studio предоставляет все инструменты, необходимые для перехода от подготовки данных к экспериментам и производству моделей, одновременно повышая вашу производительность.

Amazon SageMaker Canvas — это мощный инструмент машинного обучения без программирования, предназначенный для бизнес-команд и групп данных, позволяющий генерировать точные прогнозы без написания кода или большого опыта машинного обучения. Благодаря интуитивно понятному визуальному интерфейсу SageMaker Canvas упрощает процесс загрузки, очистки и преобразования наборов данных, а также построения моделей машинного обучения, делая его доступным для более широкой аудитории.

Однако по мере развития ваших потребностей в машинном обучении или если вам требуются более продвинутые настройки и контроль, вы можете захотеть перейти от среды без кода к подходу, основанному на коде. Именно здесь вступает в игру плавная интеграция между SageMaker Canvas и SageMaker Studio.

В этом посте мы представляем решение для следующих типов пользователей:

• Эксперты, не связанные с машинным обучением, такие как бизнес-аналитики, инженеры по данным или разработчики, которые являются экспертами в предметной области и интересуются инструментами low-code no-code (LCNC), которые помогут им при подготовке данных для машинного обучения и построении моделей машинного обучения. Этот персонаж обычно является только пользователем SageMaker Canvas и часто полагается на экспертов ML в своей организации для проверки и утверждения своей работы.
• Эксперты по машинному обучению, которые интересуются тем, как инструменты LCNC могут ускорить некоторые этапы жизненного цикла машинного обучения (например, подготовку данных), но также, вероятно, будут использовать подход с высоким уровнем кода для определенных частей жизненного цикла машинного обучения (например, построение моделей). Обычно этим персонажем является пользователь SageMaker Studio, который также может быть пользователем SageMaker Canvas. Эксперты по МО также часто играют роль в проверке и утверждении работы экспертов, не связанных с МО, для производственных сценариев использования.

Полезность решений, предложенных в этом посте, двоякая. Во-первых, демонстрируя, как можно обмениваться моделями в SageMaker Canvas и SageMaker Studio, эксперты, не владеющие машинным обучением, и специалисты по машинному обучению могут сотрудничать в предпочитаемых ими средах, которые могут быть средой без кода (SageMaker Canvas) для неспециалистов и средой с высоким уровнем кода. среда (SageMaker Studio) для экспертов. Во-вторых, демонстрируя, как поделиться моделью из SageMaker Canvas в SageMaker Studio, мы показываем, как эксперты по машинному обучению, желающие перейти от подхода LCNC для разработки к подходу с высоким уровнем кода для производства, могут сделать это в средах SageMaker. Решение, описанное в этом посте, предназначено для пользователей новой SageMaker Studio. Для пользователей SageMaker Studio Classic см. раздел «Сотрудничество с учеными по обработке данных», чтобы узнать, как можно плавно перейти между SageMaker Canvas и SageMaker Studio Classic.

Обзор решения

Чтобы плавно перейти от машинного обучения без кода к машинному обучению с использованием кода с помощью SageMaker Canvas и SageMaker Studio, мы наметили два варианта. Вы можете выбрать вариант исходя из своих требований. В некоторых случаях вы можете решить использовать оба варианта параллельно.

• Вариант 1: Реестр моделей SageMaker – Пользователь SageMaker Canvas регистрирует свою модель в реестре моделей Amazon SageMaker, вызывая рабочий процесс управления для экспертов ML, который проверяет детали и показатели модели, затем утверждает или отклоняет ее, после чего пользователь может развернуть утвержденную модель из SageMaker Canvas. Этот вариант представляет собой автоматизированный процесс обмена, предоставляющий встроенные функции управления и отслеживания утверждений. Вы можете просмотреть метрики модели; однако представление о коде модели и архитектуре ограничено. Следующая диаграмма иллюстрирует архитектуру.

• Вариант 2. Экспорт блокнотов – В этом варианте пользователь SageMaker Canvas экспортирует весь блокнот из SageMaker Canvas в Amazon Simple Storage Service (Amazon S3), а затем делится им с экспертами по машинному обучению для импорта в SageMaker Studio, обеспечивая полную видимость и настройку кода и логики модели перед эксперт по машинному обучению развертывает расширенную модель. В этом варианте обеспечивается полная видимость кода и архитектуры модели, а эксперт по машинному обучению может настраивать и улучшать модель в SageMaker Studio. Однако этот вариант требует ручного экспорта и импорта модели записной книжки в IDE. Следующая диаграмма иллюстрирует эту архитектуру.

Следующие этапы описывают этапы сотрудничества:

• Делиться – Пользователь SageMaker Canvas регистрирует модель из SageMaker Canvas или загружает блокнот из SageMaker Canvas.
• Обзор – Пользователь SageMaker Studio получает доступ к модели через реестр модели, чтобы просмотреть и запустить экспортированный блокнот через JupyterLab для проверки модели.
• Одобрение – Пользователь SageMaker Studio утверждает модель из реестра моделей.
• Развертывать – Пользователь SageMaker Studio может развернуть модель из JupyterLab, а пользователь SageMaker Canvas может развернуть модель из SageMaker Canvas.

Давайте подробно рассмотрим два варианта (реестр модели и экспорт блокнота) на каждом этапе.

Предварительные условия

Прежде чем приступить к решению, убедитесь, что вы зарегистрировались и создали учетную запись AWS. Затем вам необходимо создать пользователя с правами администратора и группу. Инструкции по обоим шагам см. в разделе Настройка необходимых компонентов Amazon SageMaker. Вы можете пропустить этот шаг, если у вас уже установлена ​​собственная версия SageMaker Studio.

Выполните предварительные требования для настройки SageMaker Canvas и создайте модель по вашему выбору для вашего варианта использования.

Поделитесь моделью

Пользователь SageMaker Canvas делится моделью с пользователем SageMaker Studio, либо зарегистрировав ее в реестре моделей SageMaker, что запускает рабочий процесс управления, либо загрузив полную записную книжку из SageMaker Canvas и предоставив ее пользователю SageMaker Studio.

Реестр моделей SageMaker

Чтобы развернуть с помощью реестра моделей SageMaker, выполните следующие шаги:

1. После создания модели в SageMaker Canvas выберите меню параметров (три вертикальные точки) и выберите Добавить в реестр моделей.
   
2. Введите имя группы моделей.
3. Выбирать Добавлять.
   

Теперь вы можете видеть, что модель зарегистрирована.

Вы также можете видеть, что модель ожидает утверждения.

Экспорт блокнота SageMaker

Чтобы развернуть с помощью блокнота SageMaker, выполните следующие шаги:

1. В меню параметров выберите Посмотреть блокнот.
   
2. Выбирать Копировать URI S3.
   

Теперь вы можете поделиться URI S3 с пользователем SageMaker Studio.

Обзор модели

Пользователь SageMaker Studio получает доступ к общей модели через реестр модели, чтобы просмотреть ее сведения и показатели, или он может импортировать экспортированный блокнот в SageMaker Studio и использовать блокноты Jupyter для тщательной проверки кода, логики и производительности модели.

Реестр моделей SageMaker

Чтобы использовать реестр моделей, выполните следующие действия:

1. На консоли SageMaker Studio выберите Модели в панели навигации.
2. Выбирать Зарегистрированные модели.
3. Выберите свою модель.
   

Вы можете просмотреть сведения о модели и увидеть, что статус находится на рассмотрении.

Вы также можете просмотреть различные показатели, чтобы проверить производительность модели.

Вы можете просмотреть метрики модели; однако представление о коде модели и архитектуре ограничено. Если вам нужна полная видимость кода модели и архитектуры с возможностью настройки и улучшения модели, используйте опцию экспорта записной книжки.

Экспорт блокнота SageMaker

Чтобы использовать опцию экспорта записной книжки в качестве пользователя SageMaker Studio, выполните следующие шаги.

1. Запустите SageMaker Studio и выберите ЮпитерЛаб под Приложения.
2. Откройте пространство JupyterLab. Если у вас нет пространства JupyterLab, вы можете его создать.
   
3. Откройте терминал и выполните следующую команду, чтобы скопировать блокнот из Amazon S3 в SageMaker Studio (номер учетной записи в следующем примере изменен на awsaccountnumber):

   sagemaker-user@default:~$ aws s3 cp s3://sagemaker-us-east-1-awsaccountnumber/Canvas/default-20240130t161835/Training/output/Canvas1707947728560/sagemaker-automl-candidates/notebooks/SageMakerAutopilotCandidateDefinitionNotebook.ipynb ./canvas.ipynb

   

4. После загрузки блокнота вы можете открыть его и запустить для дальнейшей оценки.

Утвердить модель

После всесторонней проверки пользователь SageMaker Studio может принять обоснованное решение об одобрении или отклонении модели в реестре моделей на основе оценки ее качества, точности и пригодности для предполагаемого варианта использования.

Для пользователей, которые зарегистрировали свою модель через пользовательский интерфейс Canvas, выполните следующие действия, чтобы утвердить модель. Пользователи, которые экспортировали записную книжку модели из пользовательского интерфейса Canvas, могут зарегистрировать и утвердить модель с помощью реестра моделей SageMaker, однако эти действия не являются обязательными.

Реестр моделей SageMaker

Как пользователь SageMaker Studio, когда вы освоитесь с моделью, вы можете обновить ее статус до утвержденного. Утверждение происходит только в реестре моделей SageMaker. Выполните следующие шаги:

1. В SageMaker Studio перейдите к версии модели.
2. В меню параметров выберите Обновить состояние и Одобренный.
   
3. Введите необязательный комментарий и выберите Сохранить и обновить.
   

Теперь вы можете видеть, что модель одобрена.

Развертывание модели

Когда модель готова к развертыванию (она получила необходимые проверки и одобрения), у пользователей есть два варианта. Пользователи, выбравшие подход с использованием реестра моделей, могут выполнить развертывание либо из SageMaker Studio, либо из SageMaker Canvas. Пользователи, воспользовавшиеся подходом экспорта модельного блокнота, могут выполнить развертывание из SageMaker Studio. Оба варианта развертывания подробно описаны ниже.

Развертывание через SageMaker Studio.

Пользователь SageMaker Studio может развернуть модель из пространства JupyterLab.

После развертывания модели вы можете перейти в консоль SageMaker и выбрать Конечные точки под Вывод в области навигации и просмотрите модель.

Развертывание через SageMaker Canvas

Альтернативно, если развертывание выполняется пользователем SageMaker Canvas, вы можете развернуть модель из SageMaker Canvas.

После развертывания модели вы можете перейти к Конечные точки на консоли SageMaker, чтобы просмотреть модель.

Очистить

Чтобы избежать будущих расходов на сеанс, выйдите из SageMaker Canvas.

Чтобы избежать постоянных расходов, удалите конечные точки вывода SageMaker. Вы можете удалить конечные точки через консоль SageMaker или из блокнота SageMaker Studio, используя следующие команды:

predictor.delete_model()

predictor.delete_endpoint()

Заключение

Раньше публиковать модели в SageMaker Canvas (или просматривать общие модели SageMaker Canvas) можно было только в SageMaker Studio Classic. В этом посте мы показали, как обмениваться моделями, созданными в SageMaker Canvas, с SageMaker Studio, чтобы разные команды могли сотрудничать, а вы могли перейти от пути развертывания без кода к пути развертывания с большим количеством кода. Используя реестр моделей SageMaker или экспортируя блокноты, эксперты по машинному обучению и неспециалисты могут сотрудничать, просматривать и улучшать модели на этих платформах, обеспечивая плавный рабочий процесс от подготовки данных до производственного развертывания.

Дополнительную информацию о совместной работе над моделями с использованием SageMaker Canvas см. в разделе «Создание, совместное использование, развертывание: как бизнес-аналитики и специалисты по обработке данных сокращают время выхода на рынок с помощью машинного обучения без кода и Amazon SageMaker Canvas».

Об авторах

Раджакумар Сампаткумар является главным техническим менеджером по работе с клиентами в AWS, предоставляя клиентам рекомендации по согласованию бизнес-технологий и поддерживая переосмысление их моделей и процессов облачных операций. Он увлечен облачными технологиями и машинным обучением. Радж также является специалистом по машинному обучению и работает с клиентами AWS над проектированием, развертыванием и управлением их рабочими нагрузками и архитектурами AWS.

Минакшисундарам Тандавараян работает в AWS специалистом по AI/ML. У него есть страсть к проектированию, созданию и продвижению ориентированных на человека данных и аналитики. Мина специализируется на разработке устойчивых систем, которые обеспечивают измеримые конкурентные преимущества стратегическим клиентам AWS. Мина является специалистом по связям с общественностью и дизайнерским мыслителем и стремится вывести бизнес на новые способы работы посредством инноваций, инкубации и демократизации.

Клэр О’Брайен Раджкумар — старший менеджер по продукту в команде Amazon SageMaker, специализирующейся на SageMaker Canvas, рабочей среде SageMaker с низким кодом и без кода для машинного обучения и генеративного искусственного интеллекта. SageMaker Canvas помогает демократизировать машинное обучение и генеративный искусственный интеллект, снижая барьеры для внедрения для новичков в машинном обучении и ускоряя рабочие процессы для опытных практиков.