Что такое вершинный ИИ? Наш взгляд на Google Machine Learning Workbench

Нейронные сети

Что такое вершинный ИИ? Наш взгляд на Google Machine Learning Workbench | DeepTech

DEEPTECH

July 17, 2023

Введение

Vertex AI — это облачная платформа машинного обучения, разработанная Google Cloud, которая обеспечивает сквозной рабочий процесс для создания, обучения и развертывания моделей машинного обучения. Он поддерживает различные типы задач машинного обучения, предлагает инструменты для предварительной обработки и анализа данных, а также включает предварительно обученные модели для распространенных случаев использования. Vertex AI устраняет необходимость в управлении инфраструктурой, позволяя разработчикам, специалистам по данным и исследователям сосредоточиться на задачах машинного обучения. С помощью Vertex AI пользователи могут обучать и развертывать модели в облачной инфраструктуре Google, включая AI Platform, Kubernetes и AutoML.

Превращение приложений машинного обучения (ML) из простой идеи в полноценный продукт раньше было прерогативой специалистов по данным. Vertex AI от Google Cloud стремится сделать весь процесс доступным без необходимости кодирования.

Цель состоит в том, чтобы открыть программирование ML для более широкого круга пользователей, помимо инженеров по машинному обучению. Кроме того, улучшенный рабочий процесс и удобный пользовательский интерфейс также должны ускорить работу специалистов по данным. В этой статье мы познакомимся поближе.

Читайте также: Google Chimera Painter: использование ИИ для создания фантастических существ

Что такое вершинный ИИ?

Цель Vertex AI — объединить инструменты машинного обучения на одной платформе. Вместо того, чтобы искать и получать доступ к различным платформам Google Cloud на разных платформах машинного обучения на разных этапах рабочего процесса, разработчики находят все в одном месте.

Прием данных, обучение моделей машинного обучения и развертывание наиболее успешных моделей в удобных для пользователя приложениях — все это можно выполнить на одной платформе. Кроме того, единый интерфейс Vertex AI позволяет начинающим разработчикам и тем, у кого нет обширных знаний в области кодирования, легко разрабатывать приложения, необходимые их пользователям.

По мере того как новые разработчики накапливают свой опыт с помощью конвейеров Vertex, опытные разработчики могут пожинать плоды работы в гибкой и бесшовной среде. В обоих случаях разработка приложений становится более быстрым и плавным процессом.

Унифицированный рабочий процесс машинного обучения

Чтобы лучше понять преимущества Vertex AI, стоит более подробно рассмотреть типичный рабочий процесс машинного обучения.

После того как разработчики выбрали задачу, для которой они хотят создать приложение на основе машинного обучения, им необходимо принимать, анализировать и преобразовывать необработанные данные. Затем создается и обучается конкретная модель для выполнения рассматриваемой задачи. Учебные модели часто могут быть самой трудоемкой частью процесса.

После этого следует этап оценки. Здесь может оказаться, что модель надежна, но она также может показать проблемы. Если разработчики недовольны своей исходной моделью, они могут использовать другую и повторить эти два этапа.

Как только команда нашла надежную модель, она может развернуть свое приложение и выполнить задачи прогнозирования.

Vertex AI упрощает весь рабочий процесс обработки данных с самого начала. Управляемые наборы данных поддерживают начальные этапы подготовки данных. Данные также могут быть помечены и аннотированы прямо на платформе. Просто нет необходимости переключаться между разными сервисами.

На этапе обучения Vertex AI доступен Auto ML для обработки файлов изображений, видео, текстовых данных и таблиц. Если ваши данные хранятся в этих форматах, нет необходимости создавать пользовательскую модель. Vertex AI просто выберет наиболее подходящую модель для предсказания.

В то же время разработчикам не нужно идти на компромисс в отношении инсайтов. Метаданные Vertex ML позволяют им записывать параметры и наблюдения эксперимента. Метаданные Vertex ML также помогают отслеживать артефакты модели. Атрибуция функций позволяет пользователям просматривать прогнозы Vertex AI еще более подробно. Атрибуция функций помогает вам увидеть, какие функции или обучающий код больше всего повлияли на результат, формируя основу для дальнейшей разработки функций.

Для других приложений или если разработчики хотят большего контроля, они могут использовать специально обученные модели из фреймворков и их оптимальные архитектуры моделей вместо предварительно обученных моделей. Чтобы облегчить это, Vertex предоставляет образы контейнеров Docker в рамках своей службы обучения.

Объяснимый ИИ Vertex позволяет понять причины прогнозов вашей модели на этапе оценки. После этого Vertex AI поставляется со всеми программными и аппаратными требованиями, необходимыми для развертывания. После этапа развертывания модели у пользователей есть несколько вариантов доступа к сведениям, лежащим в основе прогнозов модели.

В результате пользователи всех уровней получают единую среду разработки. Они могут получить доступ ко всему рабочему процессу машинного обучения из одной центральной точки. Отсюда они могут упростить обслуживание моделей и ускорить запуск моделей в производство.

Предварительно обученные API

Vertex AI поставляется в комплекте с предварительно обученными интерфейсами прикладного программирования (API) для некоторых наиболее распространенных вариантов использования. К ним относятся приложения для перевода или преобразования речи в текст, но они также очень хорошо работают с наборами данных на основе изображений и видео.

Если ваши наборы данных попадают в одну из этих категорий, вы можете обучать модели с минимальными знаниями ML.

Vertex_AI_Process — Vertex AI предоставляет унифицированный набор API для жизненного цикла машинного обучения. Диаграмма предоставлена Генри Таппеном и Брайаном Кобашикавой.

Полная интеграция данных с ИИ

Мы уже упоминали о бесшовности рабочего места Vertex AI. Через панель управления платформы пользователи могут очень быстро получить доступ к BigQuery, Dataproc или Spark. Инструментарий позволяет экспортировать целые наборы данных из BigQuery и запускать их в Vertex AI.

Функция маркировки данных Vertex AI помогает создавать точные метки для сбора данных.

Поддержка всех фреймворков с открытым исходным кодом

Платформа также поддерживает разработчиков, которые хотят писать свои собственные модели машинного обучения. Он легко интегрируется с широко используемыми платформами с открытым исходным кодом, такими как TensorFlow или PyTorch. Кроме того, Vertex AI также имеет настраиваемые контейнеры для прогнозов и обучения. Встроенные интеграции позволяют ускорить выбор модели и ее мониторинг.

Преимущества вершинного ИИ

Vertex AI обеспечивает три ключевые функции и преимущества:

Возможность обучать модели с минимальными знаниями благодаря предварительно обученным API для зрения, языка, общения и структурированных данных.
Возможность ускорить развертывание моделей с помощью оптимизированной инфраструктуры ИИ без потери точности прогнозов.
Возможность уверенно управлять всеми своими моделями с помощью таких инструментов, как конвейеры Google Cloud Vertex AI и хранилище функций Vertex AI.

Повышение эффективности инфраструктуры

Создание эффективной среды для обучения моделей ИИ и машинного обучения может быть сложной задачей. Vertex AI упрощает задачу, предоставляя полностью управляемую платформу и избавляя от необходимости администрировать физическую инфраструктуру.

На практике это означает, что разработчики могут строить, не беспокоясь о серверах и затратах, связанных с их проектом. Вместо того, чтобы иметь дело с расходами, которые выходят из-под контроля, разработчики будут просто платить за используемые ими ресурсы. Например, Vertex выберет стандартный тип машины. Если вам нужно больше вычислительной мощности, вы можете выделить для проекта различные ресурсы, в том числе виртуальные машины. Облачное хранилище Workbench доступно в зависимости от ваших потребностей через гибкое облачное хранилище Google.

Поскольку разработчики создают свой центральный репозиторий образцов кода, им не нужно беспокоиться о нехватке места.

Платформа также заботится об организации очередей и регистрации заданий, а также о моделях мониторинга, позволяя разработчикам сосредоточиться на создаваемом ими машинном обучении, не отвлекаясь.

Идеально подходит для начинающих и экспертов

Vertex AI — одна из немногих платформ, которые удовлетворяют потребности новичков в машинном обучении и предлагают инструменты, достаточно сложные, чтобы заинтересовать опытных разработчиков.

В то время как те, кто относительно плохо знаком с ML, могут использовать предварительно обученные API для некоторых из наиболее распространенных задач ML, более опытные разработчики обнаружат, что платформа совместима с платформами с открытым исходным кодом. Этот уровень гибкости вмещает столько пользовательского кода, сколько разработчик хочет написать, не делая его недоступным для тех, у кого меньше опыта.

Даже если разработчикам необходимо на определенное время отойти от своих моделей, реестр моделей Vertex AI позволяет им хранить текущие модели и обучающие задания, чтобы вернуться к ним позже. Для более опытных разработчиков Vertex AI TensorBoard предлагает корпоративную управляемую версию TensorBoard.

Помогает решать все более сложные задачи

Vertex AI справляется с тем, с чем боролись предыдущие платформы. Он решает сложные проблемы, такие как запуск миллиардов итераций модели для определения наилучшего алгоритма.

Google считает, что ее единый подход к разработке машинного обучения позволяет пользователям ускорить разработку и экспериментирование машинного обучения на 5%. Кроме того, это уменьшает количество строк кода, которые необходимо написать, на 80%.

Кроме того, одно из его величайших достижений — сделать эти сложные задачи доступными для большего числа людей. Пользователям не нужно быть специалистами по данным, чтобы использовать платформу. По данным Google, этот демократичный подход уже дает результаты. с в 2,5 раза больше прогнозов Vertex AI произведено в 2021 г., чем в 2020 г.

Читайте также: Как начать работу с машинным обучением в Julia

Снижает риск для производственных развертываний

Предотвращение несанкционированного доступа к проектам машинного обучения, моделям в производстве и данным, используемым для обучения, является одним из приоритетов для многих пользователей. Верстак Vertex AI оснащен экземплярами ноутбуков, управляемыми пользователями, которые защищены авторизацией и аутентификацией Google Cloud.

Эти экземпляры управляемых ноутбуков предварительно упакованы и настроены в рабочей среде на основе ноутбуков Jupyter. Ноутбуки Jupiter поддерживают ускорители GPU, а также синхронизируются с репозиториями данных GitHub.

Среду записной книжки можно настроить для использования встроенных интеграций, или вы можете управлять ячейками записной книжки с помощью опции записной книжки, управляемой пользователем. Оба варианта, в том числе экземпляр блокнотов, управляемых пользователем, запрограммированы заранее, что позволяет разработчикам выбирать предпочтительное исполнение блокнота.

Начните использовать Google Vertex AI

Готовы ли вы оптимизировать развертывание ИИ и машинного обучения? Команда Google увидела 25% увеличение среди активных клиентов, использующих Vertex AI в первые шесть месяцев 2022 года, и эта тенденция, похоже, сохранится.

Варианты использования охватывают розничную торговлю, обработку платежей и производство, а такие известные бренды, как Coca-Cola, используют эту технологию. Финансовой компании Cash App удалось сократить время выполнения некоторых основных рабочих процессов машинного обучения на 66%.

Начать работу с Vertex AI очень просто. После того, как пользователь решил, какой метод обучения он хотел бы применить для своего проекта онлайн-прогнозирования, все, что требуется, — это перенести ресурсы и приложения в Vertex AI перед настройкой проекта.

Ссылки на Vertex AI

Поскольку Vertex AI предназначен как для неопытных пользователей, так и для экспертов, Google предлагает широкий спектр письменные руководства и знакомства на основе видео и инструкции.

Источник: YouTube

Документы позволяют неспециалистам легко начать работу и понять важность каждого отдельного шага. По мере того, как информация о поддержке становится все более конкретной, опытные пользователи найдут именно ту информацию, которую ищут.

Читайте также: Siri, Alexa и Cortana: сравнение виртуальных личных помощников

Заключение

Google уже некоторое время устанавливает стандарты для разработки ML. В то время как платформа Google Colab предназначена для специалистов по данным и разработчиков, прогнозы Vertex AI доступны для всех, кто обладает базовыми знаниями в этой области. Ускорение запуска модели в производство — это только одно из преимуществ. Предсказание Vertex AI также сделало разработку приложений более доступной для людей, не занимающихся наукой о данных, что приветствовалось сторонниками разработчиков.