Недавно мы встретились с Петаром Величковичем, научным сотрудником DeepMind. Вместе со своими соавторами Петар представляет свою статью The CLRS Algorithmic Reasoning Benchmark на ICML 2022 в Балтиморе, штат Мэриленд, США.

Мое путешествие в DeepMind…

На протяжении всех моих курсов бакалавриата в Кембриджском университете неспособность умело играть в игру Го рассматривалась как явное свидетельство недостатков современных систем глубокого обучения. Я всегда задавался вопросом, как освоение таких игр может выйти за рамки возможного.

Однако в начале 2016 года, когда я защитил докторскую диссертацию по машинному обучению, все изменилось. DeepMind встретился с одним из лучших игроков в го в мире на матче-вызове, за просмотром которого я провел несколько бессонных ночей. DeepMind победил, создав новаторский геймплей (например, «Move 37»).

С этого момента я думал о DeepMind как о компании, которая может делать, казалось бы, невозможные вещи. Итак, я сосредоточил свои усилия на том, чтобы однажды присоединиться к компании. Вскоре после подачи кандидатской диссертации в начале 2019 года я начал свой путь в качестве ученого-исследователя в DeepMind!

Моя роль…

Моя роль — это благотворный цикл обучения, исследований, общения и консультирования. Я всегда активно пытаюсь узнавать что-то новое (последнее Теория категорийувлекательный способ изучения вычислительной состав), читайте соответствующую литературу и смотрите доклады и семинары.

Затем, используя эти знания, я провожу мозговой штурм со своими товарищами по команде о том, как мы можем расширить эту совокупность знаний, чтобы положительно повлиять на мир. На этих сессиях рождаются идеи, и мы используем комбинацию теоретического анализа и программирования, чтобы установить и проверить наши гипотезы. Если наши методы приносят плоды, мы обычно пишем статью, в которой делимся идеями с более широким сообществом.

Исследование результата не так ценно без надлежащего информирования о нем и предоставления другим возможности эффективно его использовать. Из-за этого я провожу много времени, представляя нашу работу на конференциях, таких как ICML, выступая с докладами и консультируя студентов. Это часто приводит к установлению новых связей и раскрытию новых научных результатов для изучения, еще раз запуская благотворный цикл!

В ICML…

Мы проводим презентацию по нашей статье, Тест алгоритмического мышления CLRSкоторый, как мы надеемся, поддержит и обогатит усилия в быстро развивающейся области нейронное алгоритмическое мышление. В этом исследовании мы ставим перед графовыми нейронными сетями задачу выполнения тридцати различных алгоритмов из Введение в алгоритмы учебник.

Многие недавние исследовательские усилия направлены на создание нейронных сетей, способных выполнять алгоритмические вычисления, в первую очередь для того, чтобы наделить их способностями к рассуждениям, которых обычно не хватает нейронным сетям. Критически важно то, что каждая из этих статей генерирует свой собственный набор данных, что затрудняет отслеживание прогресса и повышает порог входа в поле.

Бенчмарк CLRS с легкодоступными генераторами наборов данных и общедоступный код, стремится улучшить эти проблемы. Мы уже видели высокий уровень энтузиазма со стороны сообщества, и мы надеемся направить его еще дальше во время ICML.

Будущее алгоритмического мышления…

Основная цель нашего исследования алгоритмического мышления — захватить вычисление классических алгоритмов внутри многомерных нейронных исполнителей. Затем это позволило бы нам развертывать эти исполнители непосредственно над необработанными или зашумленными представлениями данных и, следовательно, «применять классический алгоритм» к входным данным, для которых он никогда не предназначался.

Что интересно, так это то, что этот метод может обеспечить обучение с подкреплением с эффективным использованием данных. Обучение с подкреплением изобилует примерами сильных классических алгоритмов, но большинство из них нельзя применять в стандартных средах (таких как Atari), учитывая, что они требуют доступа к огромному количеству закрытой информации. Наш план сделает этот тип приложений возможным, захватив вычисления этих алгоритмов внутри нейронных исполнителей, после чего они могут быть непосредственно развернуты во внутренних представлениях агента. У нас даже есть рабочий прототип, опубликованный на НейрИПС 2021. Я не могу дождаться, чтобы увидеть, что будет дальше!

Я в предвкушении…

я с нетерпением жду Семинар ICML по сотрудничеству и совместной работе человека и машины, тема близкая моему сердцу. По сути, я считаю, что наилучшие приложения ИИ появятся благодаря синергии с экспертами в области человека. Этот подход также хорошо согласуется с нашей недавней работой над расширение возможностей интуиции чистых математиков с помощью ИИкоторая была опубликована на обложке журнала Nature в конце прошлого года.

Организаторы семинара пригласили меня на панельную дискуссию, чтобы обсудить более широкие последствия этих усилий. Я буду выступать вместе с интересной группой участников дискуссии, в том числе сэр Тим Гауэрс, которым я восхищался во время учебы в Тринити-колледже в Кембридже. Излишне говорить, что я действительно в восторге от этой панели!

Заглядывая вперед…

Для меня такие крупные конференции, как ICML, представляют собой момент, когда нужно сделать паузу и подумать о разнообразии и инклюзивности в нашей области. Хотя гибридные и виртуальные форматы конференций делают мероприятия доступными для большего числа людей, чем когда-либо прежде, нам нужно сделать гораздо больше, чтобы сделать искусственный интеллект разнообразной, справедливой и инклюзивной сферой. Вмешательства, связанные с ИИ, повлияют на всех нас, и мы должны сделать так, чтобы недопредставленные сообщества оставались важной частью разговора.

Именно поэтому я веду курс по Геометрическое глубокое обучение в Африканский магистр машинного интеллекта (AMMI) – тема моего недавно написанного в соавторстве прото-книга. AMMI предлагает первоклассное обучение машинному обучению самым ярким начинающим исследователям Африки, создавая здоровую экосистему практиков ИИ в регионе. Я так счастлив, что недавно встретил нескольких студентов AMMI, которые присоединились к DeepMind для стажировки.

Я также невероятно увлечен возможностями распространения информации в восточноевропейском регионе, откуда я родом, что дало мне научную основу и любопытство, необходимые для освоения концепций искусственного интеллекта. Восточноевропейское машинное обучение (EEML) особенно впечатляет – благодаря его деятельности начинающие студенты и практики в регионе связываются с исследователями мирового уровня и получают бесценные советы по карьере. В этом году я помог привезти EEML в мой родной город Белград как один из ведущих организаторов EEML. Сербский семинар по машинному обучению. Я надеюсь, что это только первое мероприятие в серии мероприятий, призванных укрепить местное сообщество ИИ и расширить возможности будущих лидеров ИИ в регионе Восточной Европы.

‍