Исследования в области моделей искусственного интеллекта, которые могут обобщать, масштабировать и ускорять науку.

На следующей неделе начнется 11-е число. Международная конференция по обучению представлений (ICLR), который пройдет 1–5 мая в Кигали, Руанда. Это будет первая крупная конференция по искусственному интеллекту (ИИ), которая пройдет в Африке, и первое очное мероприятие с начала пандемии.

Исследователи со всего мира соберутся, чтобы поделиться своими передовыми разработками в области глубокого обучения, охватывающими области искусственного интеллекта, статистики и науки о данных, а также приложений, включая машинное зрение, игры и робототехнику. Мы гордимся тем, что поддерживаем конференцию в качестве бриллиантового спонсора и чемпиона DEI.

В этом году команды со всего DeepMind представят 23 статьи. Вот несколько основных моментов:

Открытые вопросы на пути к AGI

Недавний прогресс показал невероятную производительность ИИ в области текста и изображений, но необходимы дополнительные исследования, чтобы системы могли обобщать данные в различных областях и масштабах. Это станет решающим шагом на пути к развитию общего искусственного интеллекта (AGI) как инструмента преобразования нашей повседневной жизни.

Мы представляем новый подход, в котором модели учиться, решая две задачи в одной. Обучая модели смотреть на проблему с двух точек зрения одновременно, они учатся рассуждать о задачах, требующих решения аналогичных проблем, что полезно для обобщения. Мы также исследовали способность нейронных сетей обобщать сравнивая их с иерархией языков Хомского. Тщательно протестировав 2200 моделей в 16 различных задачах, мы обнаружили, что некоторые модели с трудом поддаются обобщению, и обнаружили, что дополнение их внешней памятью имеет решающее значение для повышения производительности.

Еще одна задача, которую мы решаем, — как добиваться прогресса в решении долгосрочных задач на экспертном уровне, где награды немногочисленны и редки. Мы разработали новый подход и набор обучающих данных с открытым исходным кодом, чтобы помочь моделям научиться исследовать, как это делают люди, в долгосрочной перспективе.

Инновационные подходы

По мере того, как мы разрабатываем более совершенные возможности искусственного интеллекта, мы должны гарантировать, что существующие методы работают должным образом и эффективно в реальном мире. Например, хотя языковые модели могут давать впечатляющие ответы, многие из них не могут объяснить свои ответы. Мы представляем метод использования языковых моделей для решения многоэтапных задач рассуждения используя их основную логическую структуру, предоставляя объяснения, которые могут быть поняты и проверены людьми. С другой стороны, состязательные атаки — это способ исследовать пределы моделей ИИ, подталкивая их к созданию неправильных или вредных результатов. Обучение на состязательных примерах делает модели более устойчивыми к атакам, но это может привести к снижению производительности на «обычных» входных данных. Мы покажем, что, добавляя адаптеры, мы можем создать модели, которые позволяют нам контролировать этот компромисс на лету.

Обучение с подкреплением (RL) оказалось успешным для целого ряда задач. реальные проблемы, но алгоритмы RL обычно предназначены для хорошего выполнения одной задачи и с трудом могут обобщаться на новые. Мы предлагаем алгоритм дистилляции, метод, который позволяет одной модели эффективно обобщать новые задачи, обучая преобразователь имитировать истории обучения алгоритмов RL для различных задач. Модели RL также обучаются методом проб и ошибок, что может потребовать очень большого объема данных и времени. Нашей модели Agent 57 потребовалось около 80 миллиардов кадров данных, чтобы достичь производительности человеческого уровня в 57 играх Atari. Мы поделимся новым способом тренируйтесь до этого уровня, используя в 200 раз меньше опытачто значительно снижает затраты на вычисления и электроэнергию.

ИИ для науки

ИИ — мощный инструмент для исследователей, позволяющий анализировать огромные объемы сложных данных и понимать мир вокруг нас. В нескольких статьях показано, как ИИ ускоряет научный прогресс и как наука продвигает ИИ.

Предсказание свойств молекулы по ее трехмерной структуре имеет решающее значение для открытия лекарств. Мы представляем метод шумоподавления который достигает нового уровня в прогнозировании молекулярных свойств, позволяет проводить крупномасштабное предварительное обучение и обобщать различные наборы биологических данных. Также мы представляем новый трансформатор, который может производить более точные квантово-химические расчеты используя только данные о позициях атомов.

Наконец, с Фигнет, мы черпаем вдохновение из физики для моделирования столкновений сложных фигур, таких как чайник или пончик. Этот симулятор может найти применение в робототехнике, графике и механическом проектировании.

Посмотреть полный список Документы DeepMind и расписание мероприятий ICLR 2023.