Недавно мы встретились с Петром Величковичем, научным сотрудником DeepMind. Вместе со своими соавторами Петар представляет свою статью The CLRS Algorithmic Reasoning Benchmark на МКМЛ 2022 в Балтиморе, штат Мэриленд, США.

Мое путешествие в DeepMind…

На протяжении всего моего обучения в Кембриджском университете неспособность умело играть в го рассматривалась как явное свидетельство недостатков современных систем глубокого обучения. Мне всегда было интересно, как освоение таких игр может выйти за рамки возможного.

Однако в начале 2016 года, когда я защитил докторскую диссертацию в области машинного обучения, все изменилось. DeepMind сразился с одним из лучших игроков в го в мире. вызов матча, за просмотром которого я провел несколько бессонных ночей. Победу одержала DeepMind, создав при этом революционный игровой процесс (например, «Move 37»).

С этого момента я начал думать о DeepMind как о компании, способной осуществить, казалось бы, невозможные вещи. Итак, я сосредоточил свои усилия на том, чтобы однажды присоединиться к компании. Вскоре после защиты докторской степени в начале 2019 года я начал свой путь в качестве научного сотрудника в DeepMind!

Моя роль…

Моя роль – это эффективный цикл обучения, исследований, общения и консультирования. Я всегда активно пытаюсь узнать что-то новое (последнее время Теория категорийувлекательный способ изучения вычислительной техники состав), читать соответствующую литературу, смотреть доклады и семинары.

Затем, используя эти знания, я вместе со своими товарищами по команде провожу мозговой штурм о том, как мы можем расширить этот массив знаний, чтобы положительно повлиять на мир. На этих занятиях рождаются идеи, и мы используем сочетание теоретического анализа и программирования для постановки и проверки наших гипотез. Если наши методы приносят плоды, мы обычно пишем статью, делясь своими мыслями с более широким сообществом.

Исследование результата не будет таким ценным без надлежащего информирования о нем и предоставления другим возможности эффективно его использовать. По этой причине я провожу много времени, представляя нашу работу на таких конференциях, как ICML, выступая с докладами и консультируя студентов. Это часто приводит к формированию новых связей и открытию новых научных результатов для изучения, еще раз запуская благотворный цикл!

В ИКМЛ…

Мы проводим презентацию нашей статьи, Тест алгоритмического рассуждения CLRSкоторый, как мы надеемся, поддержит и обогатит усилия в быстро развивающейся области нейронно-алгоритмическое мышление. В этом исследовании мы ставим перед нейронными сетями на графе задачу выполнить тридцать различных алгоритмов из Введение в алгоритмы учебник.

Многие недавние исследовательские усилия направлены на создание нейронных сетей, способных выполнять алгоритмические вычисления, в первую очередь для того, чтобы наделить их способностями к рассуждению, которых обычно не хватает нейронным сетям. Важно отметить, что каждая из этих статей генерирует свой собственный набор данных, что затрудняет отслеживание прогресса и повышает барьер входа в эту область.

Тест CLRS с его легко доступными генераторами наборов данных и общедоступный код, стремится улучшить решение этих проблем. Мы уже заметили большой энтузиазм сообщества и надеемся направить его еще дальше во время ICML.

Будущее алгоритмического мышления…

Основная мечта наших исследований алгоритмического мышления — охватить вычисления классических алгоритмов внутри многомерных нейронных исполнителей. Это позволило бы нам развернуть эти исполнители непосредственно над необработанными или зашумленными представлениями данных и, следовательно, «применить классический алгоритм» к входным данным, на которых он никогда не был предназначен для выполнения.

Что интересно, так это то, что этот метод потенциально может обеспечить эффективное обучение с подкреплением данных. Обучение с подкреплением наполнено примерами сильных классических алгоритмов, но большинство из них не могут быть применены в стандартных средах (таких как Atari), поскольку они требуют доступа к огромному количеству конфиденциальной информации. Наш план сделает возможным применение такого типа приложений, фиксируя вычисления этих алгоритмов внутри нейронных исполнителей, после чего их можно будет напрямую применить к внутренним представлениям агента. У нас даже есть рабочий прототип, который был опубликован на сайте НейрИПС 2021. Не могу дождаться, чтобы увидеть, что будет дальше!

Я в предвкушении…

Я с нетерпением жду Семинар ICML по сотрудничеству и взаимодействию человека и машины, тема близкая моему сердцу. По сути, я считаю, что величайшие применения ИИ станут возможными благодаря синергии с экспертами в области человеческой деятельности. Этот подход также очень соответствует нашей недавней работе над расширение возможностей интуиции чистых математиков с помощью ИИкоторый был опубликован на обложке журнала Nature в конце прошлого года.

Организаторы семинара пригласили меня на панельную дискуссию, чтобы обсудить более широкие последствия этих усилий. Я буду выступать вместе с очаровательной группой участников дискуссии, в том числе сэр Тим Гауэрс, которым я восхищался во время учебы в Тринити-колледже в Кембридже. Излишне говорить, что я в восторге от этой панели!

Заглядывая вперед…

Для меня крупные конференции, такие как ICML, представляют собой момент, чтобы остановиться и задуматься о разнообразии и инклюзивности в нашей области. Хотя гибридные и виртуальные форматы конференций делают мероприятия доступными для большего числа людей, чем когда-либо прежде, нам нужно сделать гораздо больше, чтобы сделать ИИ разнообразной, справедливой и инклюзивной областью. Вмешательства, связанные с ИИ, повлияют на всех нас, и нам необходимо убедиться, что недостаточно представленные сообщества остаются важной частью разговора.

Именно поэтому я веду курс по Геометрическое глубокое обучение в Африканский магистр машинного интеллекта (AMMI) – тема моего недавно написанного в соавторстве протокнига. AMMI предлагает первоклассное обучение машинному обучению самым ярким начинающим исследователям Африки, создавая здоровую экосистему практиков ИИ в регионе. Я так рад, что недавно встретил нескольких студентов AMMI, которые присоединились к DeepMind для прохождения стажировки.

Меня также невероятно интересуют возможности информационно-просветительской работы в восточноевропейском регионе, откуда я родом, что дало мне научную подготовку и любопытство, необходимые для освоения концепций искусственного интеллекта. Восточноевропейское машинное обучение Сообщество (EEML) особенно впечатляет: благодаря его деятельности начинающие студенты и практики в регионе связываются с исследователями мирового уровня и получают бесценные советы по вопросам карьеры. В этом году я помог провести EEML в моем родном городе Белграде как один из ведущих организаторов EEML. Сербский семинар по машинному обучению. Я надеюсь, что это только первое из серии мероприятий, призванных укрепить местное сообщество ИИ и расширить возможности будущих лидеров ИИ в регионе Восточной Европы.