Успешное управление плазмой ядерного синтеза в токамаке с помощью глубокого обучения с подкреплением

Чтобы решить глобальный энергетический кризис, исследователи уже давно ищут источник чистой, безграничной энергии. Ядерный синтез, реакция, которая питает звезды Вселенной, является одним из претендентов. Разбивая и сплавляя водород, обычный элемент морской воды, этот мощный процесс высвобождает огромное количество энергии. Здесь, на Земле, ученые воссоздали эти экстремальные условия с помощью токамака, вакуума в форме пончика, окруженного магнитными катушками, который используется для содержания водородной плазмы, которая горячее ядра Солнца. Однако плазма в этих машинах по своей природе нестабильна, что делает поддержание процесса, необходимого для ядерного синтеза, сложной задачей. Например, система управления должна координировать работу множества магнитных катушек токамака и регулировать напряжение на них тысячи раз в секунду, чтобы гарантировать, что плазма никогда не касается стенок сосуда, что может привести к потере тепла и, возможно, повреждению. Чтобы помочь решить эту проблему и в рамках миссии DeepMind по развитию науки, мы сотрудничали с Швейцарский плазменный центр в ЭПФЛ разработать первую систему глубокого обучения с подкреплением (RL), которая автономно обнаружит, как управлять этими катушками и успешно удерживать плазму в токамаке, открывая новые возможности для продвижения исследований ядерного синтеза.

В статья, опубликованная сегодня в журнале Nature, мы описываем, как мы можем успешно управлять плазмой ядерного синтеза, создав и запустив контроллеры на токамаке переменной конфигурации (TCV) в Лозанне, Швейцария. Используя архитектуру обучения, сочетающую в себе глубокое RL и моделируемую среду, мы создали контроллеры, которые могут как поддерживать стабильность плазмы, так и использоваться для точного придания ей различных форм. Эта «лепка плазмы» показывает, что система RL успешно контролирует перегретую материю и, что важно, позволяет ученым исследовать, как плазма реагирует в различных условиях, улучшая наше понимание термоядерных реакторов.

Эта работа — еще один яркий пример того, как машинное обучение и экспертные сообщества могут объединиться для решения грандиозных задач и ускорения научных открытий. Наша команда усердно работает, применяя этот подход к таким разнообразным областям, как квантовая химия, чистая математика, дизайн материалов, прогнозирование погоды и т. д., чтобы решить фундаментальные проблемы и гарантировать, что ИИ принесет пользу человечеству.

Обучение, когда данные трудно получить

Исследования ядерного синтеза в настоящее время ограничены возможностями исследователей проводить эксперименты. Хотя в мире существуют десятки действующих токамаков, они дорогие машины и пользуются большим спросом. Например, TCV может поддерживать плазму в одном эксперименте только до трех секунд, после чего ему требуется 15 минут, чтобы остыть и перезагрузиться перед следующей попыткой. Мало того, токамак часто используется несколькими исследовательскими группами совместно, что еще больше ограничивает время, доступное для экспериментов.

Учитывая нынешние препятствия для доступа к токамаку, исследователи обратились к симуляторам, чтобы помочь продвинуться в исследованиях. Например, наши партнеры из EPFL создали мощный набор инструментов моделирования, моделирующих динамику токамаков. Мы смогли использовать их, чтобы позволить нашей системе RL научиться управлять TCV в моделировании, а затем проверить наши результаты на реальном TCV, показав, что мы можем успешно придавать плазме желаемые формы. Хотя это более дешевый и удобный способ обучения наших диспетчеров; нам еще предстояло преодолеть множество препятствий. Например, симуляторы плазмы медленны и требуют многих часов компьютерного времени для имитации одной секунды реального времени. Кроме того, состояние TCV может меняться изо дня в день, что требует от нас разработки алгоритмических улучшений, как физических, так и моделируемых, а также адаптации к реалиям аппаратного обеспечения.

Успех благодаря приоритету простоты и гибкости

Существующие системы управления плазмой сложны и требуют отдельных контроллеров для каждой из 19 магнитных катушек TCV. Каждый контроллер использует алгоритмы для оценки свойств плазмы в реальном времени и соответствующей регулировки напряжения магнитов. Напротив, наша архитектура использует одну нейронную сеть для одновременного управления всеми катушками, автоматически определяя, какое напряжение лучше всего подходит для достижения конфигурации плазмы непосредственно с датчиков.

В качестве демонстрации мы впервые показали, что можем управлять многими аспектами плазмы с помощью одного контроллера.

На видео выше мы видим плазму в верхней части TCV в тот момент, когда наша система берет на себя управление. Наш контроллер сначала формирует плазму по заданной форме, затем смещает плазму вниз и отрывает ее от стенок, подвешивая посередине сосуда на двух ножках. Плазма удерживается неподвижно, что необходимо для измерения свойств плазмы. Затем, наконец, плазма возвращается в верхнюю часть сосуда и благополучно уничтожается.

Затем мы создали ряд форм плазмы, которые изучаются физиками плазмы на предмет их полезности для выработки энергии. Например, мы создали форму «снежинки» со множеством «ножек», которая могла бы помочь снизить затраты на охлаждение за счет распределения энергии выхлопных газов к различным точкам контакта на стенках сосуда. Мы также продемонстрировали форму, близкую к предложению по ИТЭР, токамак следующего поколения, находящийся в стадии строительства, поскольку EPFL проводила эксперименты по предсказанию поведения плазмы в ИТЭР. Мы даже сделали то, чего никогда раньше не делали в TCV: стабилизировали «капельку», когда внутри сосуда одновременно находятся две плазмы. Наша единая система смогла найти контроллеры для всех этих различных условий. Мы просто изменили запрошенную цель, и наш алгоритм самостоятельно нашел подходящий контроллер.

Будущее термоядерного синтеза и не только

Подобно прогрессу, который мы наблюдаем при применении ИИ в других научных областях, наша успешная демонстрация управления токамаком показывает способность ИИ ускорять и помогать науке о термоядерном синтезе, и мы ожидаем, что в будущем использование ИИ будет становиться все более изощренным. Эта возможность автономного создания контроллеров может быть использована для разработки новых типов токамаков при одновременной разработке их контроллеров. Наша работа также указывает на светлое будущее обучения с подкреплением при управлении сложными машинами. Особенно интересно рассматривать области, в которых ИИ может расширить человеческий опыт, выступая в качестве инструмента для открытия новых и творческих подходов к решению сложных реальных проблем. Мы прогнозируем, что в ближайшие годы обучение с подкреплением станет революционной технологией для промышленных и научных приложений управления, начиная от энергоэффективности и заканчивая персонализированной медициной.