Amazon SageMaker Canvas, запущенный в 2021 году, представляет собой визуальный сервис «укажи и щелкни», предназначенный для создания и развертывания моделей машинного обучения (ML) без необходимости написания кода. Готовые к использованию базовые модели (FM), доступные в SageMaker Canvas, позволяют клиентам использовать генеративный искусственный интеллект для таких задач, как создание и обобщение контента.

Мы рады объявить о последних обновлениях Amazon SageMaker Canvas, которые привносят в платформу новые потрясающие возможности генеративного искусственного интеллекта. Благодаря поддержке моделей Meta Llama 2 и Mistral.AI, а также запуску потоковой передачи ответов, SageMaker Canvas продолжает расширять возможности всех, кто хочет начать работу с генеративным ИИ, не написав ни единой строки кода. В этом посте мы обсудим эти обновления и их преимущества.

Представляем модели Meta Llama 2 и Mistral

Llama 2 — это передовая базовая модель от Meta, которая обеспечивает улучшенную масштабируемость и универсальность для широкого спектра задач генеративного ИИ. Пользователи сообщают, что Llama 2 способна вести содержательные и связные разговоры, генерировать новый контент и извлекать ответы из существующих заметок. Llama 2 — одна из самых современных моделей больших языков (LLM), доступных сегодня сообществу открытого исходного кода для создания собственных приложений на базе искусственного интеллекта.

Mistral.AI, ведущий французский стартап в области искусственного интеллекта, разработал Mistral 7B, мощную языковую модель с 7,3 миллиардами параметров. Модели Mistral были очень хорошо приняты сообществом разработчиков программного обеспечения с открытым исходным кодом благодаря использованию группового запроса (GQA) для более быстрого вывода, что делает его высокоэффективным и сравнимым по производительности с моделями с вдвое или втрое большим количеством параметров.

Сегодня мы рады сообщить, что SageMaker Canvas теперь поддерживает три варианта модели Llama 2 и два варианта Mistral 7B:

Чтобы протестировать эти модели, перейдите на холст SageMaker. Готовые к использованию модели страницу, затем выберите Генерировать, извлекать и обобщать контент. Здесь вы найдете чат SageMaker Canvas GenAI. Здесь вы можете использовать любую модель из Amazon Bedrock или SageMaker JumpStart, выбрав ее в раскрывающемся меню модели.

В нашем случае мы выбираем одну из моделей Llama 2. Теперь вы можете предоставить свой вклад или запрос. Когда вы отправляете входные данные, SageMaker Canvas пересылает их в модель.

Выбор того, какая из моделей, доступных в SageMaker Canvas, лучше всего подходит для вашего случая использования, требует принятия во внимание информации о самих моделях: модель Llama-2-70B-chat является более крупной моделью (70 миллиардов параметров по сравнению с 13 миллиардами с Llama-2-13B-chat), что означает, что его производительность, как правило, выше, чем у меньшего, за счет немного более высокой задержки и повышенной стоимости токена. Мистраль-7Б имеет характеристики, сравнимые с Llama-2-7B или Llama-2-13B, однако он размещен на Amazon SageMaker. Это означает, что модель ценообразования изменилась: от модели ценообразования в долларах за токен к модели в долларах в час. Это может быть более экономически эффективным при значительном количестве запросов в час и стабильном масштабном использовании. Все вышеперечисленные модели могут хорошо работать в различных вариантах использования, поэтому мы предлагаем оценить, какая модель лучше всего решает вашу проблему, принимая во внимание компромисс между производительностью, пропускной способностью и затратами.

Если вы ищете простой способ сравнить поведение моделей, SageMaker Canvas изначально предоставляет эту возможность в форме сравнения моделей. Вы можете выбрать до трех разных моделей и отправить один и тот же запрос всем им одновременно. Затем SageMaker Canvas получит ответы от каждой модели и отобразит их в параллельном пользовательском интерфейсе чата. Для этого выберите Сравнивать и выберите другие модели для сравнения, как показано ниже:

Представляем потоковую передачу ответов: взаимодействие в реальном времени и повышение производительности

Одним из ключевых достижений в этом выпуске является появление потоковых ответов. Потоковая передача ответов обеспечивает более широкие возможности для пользователя и лучше отражает опыт общения в чате. Благодаря потоковой передаче ответов пользователи могут получать мгновенную обратную связь и легко интегрироваться в свои приложения чат-ботов. Это обеспечивает более интерактивный и отзывчивый опыт, повышая общую производительность и удовлетворенность пользователей чат-бота. Возможность получать немедленные ответы в форме чата создает более естественный поток разговора и улучшает взаимодействие с пользователем.

Благодаря этой функции вы теперь можете взаимодействовать со своими моделями ИИ в режиме реального времени, получая мгновенные ответы и обеспечивая плавную интеграцию в различные приложения и рабочие процессы. Все модели, к которым можно выполнить запрос в SageMaker Canvas (из Amazon Bedrock и SageMaker JumpStart), могут передавать ответы пользователю в потоковом режиме.

Начните сегодня

Независимо от того, создаете ли вы чат-бота, систему рекомендаций или виртуального помощника, модели Llama 2 и Mistral в сочетании с потоковой передачей ответов повышают производительность и интерактивность ваших проектов.

Чтобы использовать новейшие функции SageMaker Canvas, обязательно удалите и заново создайте приложение. Для этого выйдите из приложения, выбрав Выйти, затем снова откройте SageMaker Canvas. Вам стоит увидеть новые модели и насладиться последними новинками. Выход из приложения SageMaker Canvas высвободит все ресурсы, используемые экземпляром рабочей области, что позволит избежать дополнительных непредвиденных затрат.

Заключение

Чтобы начать работу с новыми потоковыми ответами для моделей Llama 2 и Mistral в SageMaker Canvas, посетите консоль SageMaker и изучите интуитивно понятный интерфейс. Чтобы узнать больше о том, как SageMaker Canvas и генеративный искусственный интеллект могут помочь вам в достижении ваших бизнес-целей, ознакомьтесь с разделами «Расширение возможностей бизнес-пользователей для извлечения ценной информации из документов компании с помощью Amazon SageMaker Canvas и генеративного искусственного интеллекта» и «Преодоление распространенных проблем контакт-центров с помощью генеративного искусственного интеллекта и Amazon SageMaker Canvas». .

Если вы хотите узнать больше о функциях SageMaker Canvas и подробно изучить другие варианты использования ML, ознакомьтесь с другими публикациями, доступными в категории SageMaker Canvas в блоге AWS ML. Нам не терпится увидеть удивительные приложения искусственного интеллекта, которые вы создадите с помощью этих новых возможностей!

Об авторах

Давиде Галлителли — старший специалист по архитектуре решений для искусственного интеллекта и машинного обучения. Он живет в Брюсселе и тесно сотрудничает с клиентами по всему миру, которые хотят внедрить технологии машинного обучения с низким кодом и без кода, а также генеративный искусственный интеллект. Он был разработчиком с самого раннего возраста и начал программировать в возрасте 7 лет. Он начал изучать AI/ML в университете и с тех пор влюбился в это.

Дэн Синнрайх — старший менеджер по продуктам в AWS, помогающий демократизировать машинное обучение с низким кодом и без него. До работы в AWS Дэн создавал и коммерциализировал корпоративные SaaS-платформы и модели временных рядов, используемые институциональными инвесторами для управления рисками и построения оптимальных портфелей. В свободное от работы время он играет в хоккей, занимается подводным плаванием и читает научную фантастику.