Продвижение лучших в своем классе крупных моделей, оптимальных для вычислений агентов RL и более прозрачных, этичных и справедливых систем искусственного интеллекта.

Тридцать шестая Международная конференция по нейронным системам обработки информации (НейрИПС 2022) проходит с 28 ноября по 9 декабря 2022 года как гибридное мероприятие в Новом Орлеане, США.

NeurIPS — крупнейшая в мире конференция по искусственному интеллекту (ИИ) и машинному обучению (МО), и мы гордимся тем, что поддерживаем это мероприятие в качестве бриллиантовых спонсоров, способствуя обмену исследовательскими достижениями в сообществе ИИ и МО.

Команды из DeepMind представляют 47 докладов, в том числе 35 внешних совместных работ на виртуальных панелях и постерных сессиях. Вот краткое введение в некоторые исследования, которые мы представляем:

Лучшие в своем классе большие модели

Большие модели (LM) — генеративные системы искусственного интеллекта, обученные на огромных объемах данных — привели к невероятным результатам в таких областях, как создание языка, текста, аудио и изображений. Часть их успеха сводится к их простому масштабу.

Однако в Chinchilla мы создали языковую модель с 70 миллиардами параметров, которая превосходит многие более крупные модели, включая Gopher. Мы обновили законы масштабирования больших моделей, показав, что ранее обученные модели были слишком велики для объема проведенного обучения. Эта работа уже сформировала другие модели, которые следуют этим обновленным правилам, создав более компактные и лучшие модели, и завоевала признание. Выдающаяся основная статья награда на конференции.

Опираясь на Chinchilla и наши мультимодальные модели NFNets и Perceiver, мы также представляем Flamingo , семейство моделей визуального языка для обучения с несколькими выстрелами.. Обрабатывая изображения, видео и текстовые данные, Flamingo представляет собой мост между моделями только для зрения и только для языка. Единая модель Flamingo устанавливает новый уровень в обучении за несколько шагов по широкому кругу открытых мультимодальных задач.

И все же масштаб и архитектура — не единственные факторы, влияющие на мощность моделей на основе трансформаторов. Существенную роль также играют свойства данных, которые мы обсудим в презентации, посвященной свойства данных, которые способствуют обучению в контексте в моделях преобразования.

Оптимизация обучения с подкреплением

Обучение с подкреплением (RL) показало большие перспективы как подход к созданию обобщенных систем ИИ, которые могут решать широкий спектр сложных задач. Это привело к прорыву во многих областях, от Go до математики, и мы всегда ищем способы сделать агентов RL умнее и компактнее.

Мы представляем новый подход, который повышает способность агентов RL принимать решения эффективным с точки зрения вычислений способом. резко расширяя масштаб информации, доступной для их поиска.

Мы также продемонстрируем концептуально простой, но общий подход к исследованию на основе любопытства в визуально сложных средах — агент RL, называемый BYOL-Исследуйте. Он обеспечивает сверхчеловеческую производительность, будучи устойчивым к шуму и намного проще, чем предыдущая работа.

Алгоритмические достижения

От сжатия данных до запуска симуляций для прогнозирования погоды алгоритмы являются фундаментальной частью современных вычислений. Таким образом, дополнительные улучшения могут оказать огромное влияние при масштабной работе, помогая экономить энергию, время и деньги.

Мы делимся радикально новым и хорошо масштабируемым методом автоматической настройки компьютерных сетей, основанным на нейронных алгоритмах, демонстрируя, что наш очень гибкий подход работает до 490 раз быстрее, чем текущий уровень техники, при этом удовлетворяя большинству входных данных. ограничения.

В ходе той же сессии мы также представляем тщательное исследование ранее теоретического понятия «алгоритмического выравнивания», подчеркивая нюансы взаимосвязи между графовыми нейронными сетями и динамическим программированием, а также то, как их лучше всего сочетать для оптимизации производительности вне дистрибутива.

Ответственное новаторство

В основе миссии DeepMind лежит наше стремление действовать как ответственные пионеры в области искусственного интеллекта. Мы стремимся разрабатывать прозрачные, этичные и справедливые системы искусственного интеллекта.

Объяснение и понимание поведения сложных систем ИИ — важная часть создания честных, прозрачных и точных систем. Мы предлагаем набор желаний, которые отражают эти амбиции и описывают практический способ их удовлетворениякоторый включает в себя обучение системы ИИ построению причинно-следственной модели самой себя, что позволяет ей осмысленно объяснять собственное поведение.

Чтобы действовать безопасно и этично в мире, агенты ИИ должны уметь рассуждать о вреде и избегать вредных действий. Мы представим совместную работу над новой статистической мерой под названием контрфактический вреди продемонстрируйте, как он преодолевает проблемы с помощью стандартных подходов, чтобы избежать проведения вредных политик.

Наконец, мы представляем наш новый документ, в котором предлагаются способы диагностики и устранения сбоев в обеспечении справедливости модели, вызванных сдвигами в распределении, и показано, насколько важны эти проблемы для развертывания безопасных технологий машинного обучения в медицинских учреждениях.

‍

Посмотреть весь спектр наших работ на NeurIPS 2022 здесь.