Развитие лучших в своем классе больших моделей, оптимальных для вычислений агентов RL и более прозрачных, этичных и справедливых систем искусственного интеллекта.

Тридцать шестая Международная конференция по нейронным системам обработки информации (г.НейрИПС 2022) пройдет с 28 ноября по 9 декабря 2022 года как гибридное мероприятие в Новом Орлеане, США.

NeurIPS — крупнейшая в мире конференция по искусственному интеллекту (ИИ) и машинному обучению (ML), и мы гордимся тем, что поддерживаем это мероприятие в качестве спонсоров Diamond, помогая способствовать обмену научными достижениями в сообществе AI и ML.

Команды со всего DeepMind представили 47 докладов, в том числе 35 — в рамках внешнего сотрудничества на виртуальных панелях и стендовых докладах. Вот краткое введение в некоторые исследования, которые мы представляем:

Лучшие в своем классе большие модели.

Большие модели (LM) — генеративные системы искусственного интеллекта, обученные на огромных объемах данных — привели к невероятным результатам в таких областях, как генерация языка, текста, аудио и изображений. Частично их успех объясняется их масштабом.

Однако в Шиншилле мы создали Языковая модель с 70 миллиардами параметров, которая превосходит многие более крупные модели, включая Гофера. Мы обновили законы масштабирования больших моделей, показав, что ранее обученные модели оказались слишком большими для объема выполняемого обучения. Эта работа уже сформировала другие модели, которые следуют этим обновленным правилам, создавая более компактные и лучшие модели, и получила премию Выдающаяся основная бумага награда на конференции.

Основываясь на Chinchilla и наших мультимодальных моделях NFNets и Perceiver, мы также представляем Flamingo, семейство моделей визуального обучения, состоящих из нескольких кадров.. Обрабатывая изображения, видео и текстовые данные, Flamingo представляет собой мост между моделями, ориентированными только на зрение, и моделями, ориентированными только на язык. Единая модель Flamingo устанавливает новый уровень развития в области однократного обучения широкому кругу открытых мультимодальных задач.

И все же масштаб и архитектура — не единственные факторы, которые важны для мощности моделей на основе трансформатора. Свойства данных также играют важную роль, о чем мы поговорим в презентации свойства данных, которые способствуют контекстному обучению в моделях преобразователей.

Оптимизация обучения с подкреплением

Обучение с подкреплением (RL) показало большие перспективы как подход к созданию обобщенных систем искусственного интеллекта, способных решать широкий спектр сложных задач. Это привело к прорывам во многих областях, от Go до математики, и мы всегда ищем способы сделать агентов RL умнее и компактнее.

Мы представляем новый подход, который повышает способность агентов RL принимать решения эффективным с точки зрения вычислений способом. радикально расширяя масштабы информации, доступной для их поиска..

Мы также продемонстрируем концептуально простой, но общий подход к исследованию, основанному на любопытстве, в визуально сложных средах — агент RL под названием BYOL-Исследуйте. Он обеспечивает сверхчеловеческую производительность, при этом устойчив к шуму и намного проще, чем предыдущие работы.

Алгоритмические достижения

Алгоритмы являются фундаментальной частью современных вычислений: от сжатия данных до запуска моделирования для прогнозирования погоды. Таким образом, постепенные улучшения могут оказать огромное влияние при работе в больших масштабах, помогая сэкономить энергию, время и деньги.

Мы предлагаем радикально новый и легко масштабируемый метод для автоматическая настройка компьютерных сетейоснованный на нейронных алгоритмических рассуждениях, показывающий, что наш очень гибкий подход работает до 490 раз быстрее, чем текущий уровень техники, при этом удовлетворяя большинству входных ограничений.

В ходе той же сессии мы также представляем тщательное исследование ранее теоретического понятия «алгоритмического выравнивания». подчеркивая нюансы взаимосвязи между графовыми нейронными сетями и динамическим программированиеми как лучше всего их объединить для оптимизации производительности вне дистрибутива.

Ответственное новаторство

В основе миссии DeepMind лежит наше стремление действовать как ответственные пионеры в области искусственного интеллекта. Мы стремимся разрабатывать системы искусственного интеллекта, которые будут прозрачными, этичными и справедливыми.

Объяснение и понимание поведения сложных систем ИИ — важная часть создания справедливых, прозрачных и точных систем. Мы предлагаем набор желаний, которые отражают эти амбиции и описывают практический способ их достижения.который предполагает обучение системы ИИ построению причинно-следственной модели самой себя, позволяющей ей осмысленно объяснять свое собственное поведение.

Чтобы действовать безопасно и этично в мире, агенты ИИ должны иметь возможность рассуждать о вреде и избегать вредных действий. Мы начнем совместную работу над новым статистическим показателем под названием контрфактический вреди продемонстрировать, как он преодолевает проблемы с помощью стандартных подходов, чтобы избежать проведения вредной политики.

Наконец, мы представляем нашу новую статью, в которой предлагается способы диагностики и устранения нарушений справедливости модели, вызванных сдвигами распределенияпоказывая, насколько важны эти проблемы для внедрения безопасных технологий ML в медицинских учреждениях.

Полный спектр наших работ смотрите на NeurIPS 2022 здесь.