Вот горькая правда: генеративный ИИ получил развитие, но производственные процессы ИИ не успевают за ним. Фактически, они все чаще остаются позади. И это огромная проблема для команд во всем мире. Существует желание внедрить большие языковые модели (LLM) в широкий спектр бизнес-инициатив, но команды не имеют возможности безопасно внедрить их в производство. Лидерам поставок теперь предстоит создать еще больше стеков Франкенштейна на основе генеративного и прогнозирующего ИИ — отдельные технологии и инструменты, больше хранилищ данных, больше моделей для отслеживания и больше проблем с эксплуатацией и мониторингом. Это снижает производительность и создает риск из-за отсутствия наблюдаемости и ясности в отношении производительности модели, а также уверенности и правильности.
Уже имеющимся командам машинного обучения и обработки данных невероятно сложно масштабироваться. Теперь они не только перегружены требованиями LLM, но и сталкиваются с затруднениями в принятии решений LLM, которые могут привести к риску будущих головных болей и технического обслуживания, и все это при манипулировании существующими прогнозными моделями и производственными процессами. Это рецепт производственного безумия.
Именно поэтому мы анонсируем наш расширенный продукт для производства ИИ с генеративным ИИ, который позволит командам безопасно и уверенно использовать LLM, унифицированные с их производственными процессами. Мы обещаем предоставить вашей команде инструменты для управления, развертывания и мониторинга всех ваших генеративных и прогнозных моделей в рамках единого решения для управления производством, которое всегда будет соответствовать вашему развивающемуся стеку искусственного интеллекта и машинного обучения. С летним запуском 2023 года компания DataRobot представила платформу генеративного и прогнозного ИИ «все в одном», и теперь вы можете отслеживать и управлять развертываниями генеративного ИИ в масштабе предприятия одновременно с прогнозирующим ИИ. Давайте углубимся в детали!
Команды искусственного интеллекта должны решить проблему доверия к LLM
Если только вы не прятались под очень большим камнем или только Просматривая реалити-шоу 2000-х годов в течение последнего года, вы слышали о росте и доминировании больших языковых моделей. Если вы читаете этот блог, велика вероятность, что вы используете их в своей повседневной жизни или ваша организация включила их в свой рабочий процесс. Но, к сожалению, LLM имеют тенденцию предоставлять уверенную, правдоподобно звучащую дезинформацию, если они не находятся под тщательным контролем. Вот почему управляемое внедрение LLM — лучшая стратегия для организации, позволяющая получить от них реальную, осязаемую выгоду. Точнее, сделать их безопасный и контролируемый Во избежание юридических или репутационных рисков имеет первостепенное значение. Вот почему LLMOps имеет решающее значение для организаций, стремящихся уверенно получать прибыль от своих проектов генеративного ИИ. Но в каждой организации LLM не существует в вакууме, это всего лишь один тип модели и часть гораздо более широкой экосистемы искусственного интеллекта и машинного обучения.
Пришло время взять под контроль мониторинг всех ваших моделей
Исторически сложилось так, что организации изо всех сил пытались отслеживать и управлять растущим числом моделей прогнозного машинного обучения и обеспечивать получение результатов, необходимых бизнесу. Но теперь, с бурным развитием генеративных моделей искусственного интеллекта, проблема мониторинга может усугубиться. По мере того, как прогнозирующие, а теперь и генеративные модели распространяются по всему бизнесу, команды по обработке данных никогда не были менее подготовлены к эффективному и действенному выявлению низкопроизводительных моделей, которые обеспечивают неудовлетворительные бизнес-результаты и низкую или отрицательную рентабельность инвестиций.
Проще говоря, мониторинг прогнозных и генеративных моделей на всех уровнях организации имеет решающее значение для снижения рисков и обеспечения производительности, не говоря уже о сокращении ручных усилий, которые часто связаны с отслеживанием растущего разрастания моделей.
Уникально, что LLM ставит совершенно новую проблему: управление и снижение риска галлюцинаций. По сути, задача состоит в том, чтобы решить проблему доверия к LLM в масштабе. Организации рискуют, что их продукт LLM окажется грубым, предоставит дезинформацию, увековечит предвзятость или включит конфиденциальную информацию в свой ответ. Все это делает мониторинг поведения и производительности моделей первостепенным.
Именно здесь DataRobot AI Production сияет. Его обширный набор функций мониторинга, интеграции и управления LLM позволяет пользователям быстро развертывать свои модели с полной наблюдаемостью и контролем. Используя наш полный набор инструментов управления моделями, используя реестр моделей для автоматического управления версиями моделей вместе с нашими конвейерами развертывания, вы можете перестать беспокоиться о своем LLM (или даже о своей классической модели логистической регрессии). сходить с рельсов.
Мы расширили возможности мониторинга DataRobot, чтобы получить представление о поведении LLM и помочь выявить любые отклонения от ожидаемых результатов. Это также позволяет компаниям отслеживать производительность моделей, соблюдать соглашения об уровне обслуживания и соблюдать рекомендации, обеспечивая этичное и управляемое использование всех моделей, независимо от того, где они развернуты или кто их создал.
Фактически, мы предлагаем надежную поддержку мониторинга для всех типов моделей, от прогнозных до генеративных, включая все модели LLM, что позволяет организациям отслеживать:
- Здоровье службы: Важно отслеживать, чтобы убедиться в отсутствии проблем с вашим конвейером. Пользователи могут отслеживать общее количество запросов, завершений и подсказок, время ответа, время выполнения, медианную и пиковую нагрузку, ошибки данных и системы, количество потребителей и частоту попаданий в кэш.
- Отслеживание дрейфа данных: данные со временем меняются, и производительность модели, которую вы обучили несколько месяцев назад, уже может падать, что может стоить дорого. Пользователи могут отслеживать изменение данных и производительность с течением времени и даже отслеживать завершение, температуру и другие параметры, специфичные для LLM.
- Пользовательские показатели: Используя структуру пользовательских метрик, пользователи могут создавать свои собственные метрики, специально адаптированные к их собственной модели сборки или LLM. Такие показатели, как мониторинг токсичности, стоимость использования LLM и актуальность темы, могут не только защитить репутацию бизнеса, но и гарантировать, что LLM остается «в теме».
Захватывая взаимодействия пользователей в приложениях GenAI и направляя их обратно на этап построения модели, потенциал для улучшения оперативного проектирования и тонкой настройки огромен. Этот итеративный процесс позволяет уточнять подсказки на основе реальной активности пользователей, что приводит к более эффективному общению между пользователями и системами искусственного интеллекта. Это не только позволяет ИИ лучше реагировать на потребности пользователей, но и помогает создавать более качественные программы LLM.
Командование и контроль над всеми вашими генеративными и производственными моделями
В стремлении охватить LLM команды по обработке и анализу данных сталкиваются с еще одним риском. LLM, который вы выберете сейчас, может не совпадать с тем LLM, который вы будете использовать через шесть месяцев. Через два года это может быть совершенно другая модель, которую вы захотите запустить в другом облаке. Из-за огромных темпов внедрения инноваций в LLM риск накопления технического долга становится актуальным в течение месяцев, а не лет. компания рискует.
Организациям нужен способ безопасно внедрить LLM в дополнение к существующим моделям, а также управлять ими, отслеживать их, а также подключать и использовать. Таким образом, команды изолированы от изменений.
Именно поэтому мы обновили реестр производственных моделей ИИ Datarobot, который является фундаментальным компонентом производства ИИ и машинного обучения, чтобы обеспечить полностью структурированный и управляемый подход для организации и отслеживания как генеративного, так и прогнозирующего ИИ, а также вашего общего развития внедрения LLM. Реестр моделей позволяет пользователям подключаться к любой LLM, будь то популярные версии, такие как GPT-3.5, GPT-4, LaMDA, LLaMa, Orca, или даже модели, изготовленные по индивидуальному заказу. Он предоставляет пользователям центральный репозиторий для всех их моделей, независимо от того, где они были созданы или развернуты, что обеспечивает эффективное управление моделями, управление версиями и развертывание.
Хотя все модели со временем развиваются из-за изменения данных и требований, управление версиями, встроенное в реестр моделей, помогает пользователям обеспечить отслеживаемость и контроль над этими изменениями. Они могут уверенно перейти на более новые версии и при необходимости легко вернуться к предыдущему развертыванию. Этот уровень контроля необходим для обеспечения оптимальной работы любых моделей, особенно моделей LLM, в производственных средах.
С DataRobot Model Registry пользователи получают полный контроль над своими классическими прогнозными моделями и LLM: сборка, тестирование, регистрация и развертывание этих моделей становятся простыми, и все это с единой панели.
Раскрытие преимущества универсальности и гибкости
Адаптация к изменениям имеет решающее значение, поскольку постоянно появляются разные LLM, подходящие для разных целей, от языков до творческих задач.
Чтобы адаптироваться к ним, вам нужна универсальность производственных процессов, а также гибкость, позволяющая подключить и использовать правильную генеративную или прогнозирующую модель для вашего варианта использования, а не пытаться принудительно ее адаптировать. Таким образом, в DataRobot AI Production вы можете развертывать свои модели удаленно или в DataRobot, чтобы ваши пользователи получали универсальные возможности для прогнозных и генеративных задач.
Мы также пошли еще дальше, выпустив API DataRobot Prediction, которые позволяют пользователям гибко интегрировать свои собственные модели или предпочтительные LLM в свои приложения. Например, теперь стало проще быстро добавить в ваши приложения генерацию текста или создание контента в реальном времени.
Вы также можете использовать наши API-интерфейсы прогнозирования, чтобы позволить пользователям выполнять пакетные задания с помощью LLM. Например, если вам необходимо автоматически генерировать большие объемы контента, например статей или описаний продуктов, вы можете использовать DataRobot для пакетной обработки с помощью LLM.
А поскольку LLM можно развертывать даже на периферийных устройствах с ограниченным подключением к Интернету, вы можете использовать DataRobot для облегчения создания контента непосредственно на этих устройствах.
Datarobot AI Production разработан, чтобы позволить вам уверенно, эффективно и безопасно масштабировать генерирующий и прогнозирующий искусственный интеллект.
DataRobot AI Production предоставляет лидерам новый способ унифицировать, управлять, гармонизировать, отслеживать результаты и обеспечивать перспективность своих генеративных и прогнозирующих инициатив в области искусственного интеллекта, чтобы они могли добиться успеха в удовлетворении сегодняшних потребностей и соответствовать меняющимся условиям завтрашнего дня. Это позволяет командам масштабировать создание большего количества моделей, независимо от того, являются ли они генеративными или прогнозирующими, отслеживая их все, чтобы гарантировать, что они обеспечивают наилучшие бизнес-результаты, чтобы вы могли развивать свои модели устойчивым бизнес-путем. Теперь команды могут централизовать свои производственные процессы по всему спектру инициатив в области искусственного интеллекта и взять под контроль все свои модели, чтобы обеспечить более эффективное управление, а также уменьшить привязку к облачным поставщикам или моделям LLM.
Больше производительности, больше гибкости, больше конкурентных преимуществ, лучшие результаты и меньшие риски — речь идет о том, чтобы каждая инициатива в области ИИ была ориентирована на ценность.
Чтобы узнать больше, вы можете сегодня зарегистрироваться для участия в демо-версии от одного из наших экспертов по прикладному искусственному интеллекту и продуктам, чтобы вы могли получить четкое представление о том, как AI Production может взглянуть на вашу организацию. Никогда еще не было лучшего времени, чтобы начать разговор и разобраться с этим комком волос ИИ.
Об авторе
Брайан Белл-младший возглавляет управление продуктами для производства машинного обучения в DataRobot. У него есть опыт работы в области инженерии, где он руководил разработкой DataRobot Data Ingest и инфраструктуры машинного обучения. Ранее он работал в Лаборатории реактивного движения НАСА, работал исследователем машинного обучения в группе эволюционного проектирования и оптимизации Массачусетского технологического института, а также аналитиком данных в сфере финансовых технологий. Он изучал информатику и искусственный интеллект в Массачусетском технологическом институте.
Знакомьтесь, Брайан Белл-младший.
Мэри Рейган — менеджер по продукту в DataRobot, ей нравится создавать ориентированные на пользователя продукты, управляемые данными. Имея докторскую степень. Окончив Стэнфордский университет и получив опыт работы в качестве специалиста по данным, она уникальным образом сочетает академическую строгость с практическим опытом. Ее карьерный путь демонстрирует плавный переход от аналитики к продуктовой стратегии, что делает ее многогранным лидером в области технологических инноваций. Она живет в районе залива и любит проводить выходные, исследуя мир природы.
Знакомьтесь, Мэри Рейган