Исследования моделей ИИ, которые могут обобщать, масштабировать и ускорять науку
На следующей неделе начнется 11-е число. Международная конференция по обучающим представлениям (ICLR), проходящей 1-5 мая в Кигали, Руанда. Это будет первая крупная конференция по искусственному интеллекту (ИИ), которая пройдет в Африке, и первое очное мероприятие с начала пандемии.
Исследователи со всего мира соберутся, чтобы поделиться своими передовыми разработками в области глубокого обучения, охватывающего области искусственного интеллекта, статистики и науки о данных, а также приложений, включая машинное зрение, игры и робототехнику. Мы гордимся тем, что поддерживаем конференцию в качестве бриллиантового спонсора и чемпиона DEI.
В этом году команды из DeepMind представляют 23 статьи. Вот несколько основных моментов:
Открытые вопросы на пути к AGI
Недавний прогресс показал невероятную производительность ИИ в тексте и изображениях, но необходимы дополнительные исследования, чтобы системы могли обобщать области и масштабы. Это станет важным шагом на пути к развитию общего искусственного интеллекта (AGI) как инструмента преобразования нашей повседневной жизни.
Мы представляем новый подход, когда модели учиться, решая две задачи в одной. Обучая модели смотреть на проблему с двух точек зрения одновременно, они учатся рассуждать о задачах, требующих решения схожих проблем, что полезно для обобщения. Мы также исследовали способность нейронных сетей обобщать сравнивая их с иерархией языков Хомского. Тщательно протестировав 2200 моделей в 16 различных задачах, мы обнаружили, что некоторые модели с трудом поддаются обобщению, и обнаружили, что дополнение их внешней памятью имеет решающее значение для повышения производительности.
Еще одна проблема, которую мы решаем, заключается в том, как добиться прогресса в долгосрочных задачах на экспертном уровне, где награды немногочисленны и редки. Мы разработали новый подход и набор данных для обучения с открытым исходным кодом, чтобы помочь моделям научиться исследовать по-человечески в долгосрочной перспективе.
Инновационные подходы
По мере того, как мы разрабатываем более продвинутые возможности ИИ, мы должны обеспечить, чтобы текущие методы работали должным образом и эффективно в реальном мире. Например, хотя языковые модели могут давать впечатляющие ответы, многие из них не могут объяснить свои ответы. Мы представляем метод использования языковых моделей для решения многошаговых задач рассуждения используя их базовую логическую структуру, предоставляя объяснения, которые могут быть поняты и проверены людьми. С другой стороны, враждебные атаки — это способ исследовать пределы моделей ИИ, подталкивая их к созданию неправильных или вредных результатов. Обучение на состязательных примерах делает модели более устойчивыми к атакам, но может снижать производительность на «обычных» входных данных. Мы показываем, что, добавляя адаптеры, мы можем создать модели, которые позволяют нам контролировать этот компромисс на лету.
Обучение с подкреплением (RL) доказало свою эффективность в решении целого ряда реальных задач, но алгоритмы RL обычно разрабатываются для того, чтобы хорошо выполнять одну задачу и с трудом обобщаются на новые. Мы предлагаем алгоритм дистилляции, метод, который позволяет одной модели эффективно обобщать новые задачи, обучая преобразователь имитировать истории обучения алгоритмов RL в различных задачах. Модели RL также учатся методом проб и ошибок, что может потребовать больших объемов данных и времени. Нашей модели Agent 57 потребовалось почти 80 миллиардов кадров данных, чтобы достичь производительности человеческого уровня в 57 играх Atari. Мы делимся новым способом тренироваться до этого уровня, используя в 200 раз меньше опытазначительно снижая затраты на вычисления и электроэнергию.
ИИ для науки
ИИ — это мощный инструмент для исследователей, позволяющий анализировать огромные объемы сложных данных и понимать окружающий мир. В нескольких статьях показано, как ИИ ускоряет научный прогресс и как наука продвигает ИИ.
Предсказание свойств молекулы по ее трехмерной структуре имеет решающее значение для разработки лекарств. Мы представляем метод шумоподавления который достигает нового уровня техники в предсказании молекулярных свойств, позволяет проводить крупномасштабное предварительное обучение и обобщать различные наборы биологических данных. Мы также представляем новый трансформатор, который может сделать более точные расчеты квантовой химии используя только данные о положении атомов.
Наконец, с ФИГНЕТ, мы черпаем вдохновение из физики для моделирования столкновений между сложными формами, такими как чайник или пончик. Этот симулятор может найти применение в робототехнике, графике и механическом дизайне.
Посмотреть полный список Документы DeepMind и расписание мероприятий на ICLR 2023.