Исследователи из Массачусетского технологического института разработали метод машинного обучения, который может автономно управлять автомобилем или самолетом по очень сложному сценарию «стабилизация-избегание», в котором транспортное средство должно стабилизировать свою траекторию, чтобы достичь определенной целевой области и оставаться в ней, избегая при этом препятствий. . Изображение: предоставлено исследователями

Адам Зеве | Офис новостей Массачусетского технологического института

В фильме «Лучший стрелок: Маверик,” Маверику, которого играет Том Круз, поручено обучать молодых пилотов выполнению, казалось бы, невыполнимой миссии — направить свои самолеты глубоко в скалистый каньон, оставаясь так низко над землей, чтобы их не мог обнаружить радар, а затем быстро выбраться из каньона. под экстремальным углом, избегая каменных стен. Спойлер: с помощью Маверика эти люди-пилоты выполняют свою миссию.

С другой стороны, машина с трудом справилась бы с той же сложной задачей. Например, для автономного летательного аппарата самый прямой путь к цели противоречит тому, что машина должна делать, чтобы избежать столкновения со стенами каньона или остаться незамеченной. Многие существующие методы ИИ не могут преодолеть этот конфликт, известный как проблема стабилизации-избегания, и не смогут безопасно достичь своей цели.

Исследователи Массачусетского технологического института разработали новую технику, которая может решать сложные проблемы стабилизации-избегания лучше, чем другие методы. Их подход к машинному обучению соответствует или превосходит безопасность существующих методов, обеспечивая при этом десятикратное увеличение стабильности, что означает, что агент достигает и остается стабильным в своей целевой области.

В ходе эксперимента, которым Маверик мог бы гордиться, их техника эффективно пилотировала имитацию реактивного самолета через узкий коридор, не врезавшись в землю.

«Это давняя и сложная проблема. Многие люди смотрели на это, но не знали, как справиться с такой многомерной и сложной динамикой», — говорит Чучу Фандоцент Вильсона по аэронавтике и астронавтике, сотрудник Лаборатории систем информации и принятия решений (LIDS) и старший автор новая бумага на этой технике.

К фанатам присоединился ведущий автор Освин Со, аспирант. Доклад будет представлен на конференции «Робототехника: наука и системы».

Задача «стабилизировать-избежать»

Многие подходы решают сложные проблемы стабилизации-избегания путем упрощения системы, чтобы их можно было решить с помощью простой математики, но упрощенные результаты часто не соответствуют реальной динамике.

Более эффективные методы используют обучение с подкреплением, метод машинного обучения, при котором агент учится методом проб и ошибок с вознаграждением за поведение, которое приближает его к цели. Но на самом деле здесь две цели — оставаться стабильным и избегать препятствий — и поиск правильного баланса утомителен.

Исследователи Массачусетского технологического института разбили проблему на два этапа. Во-первых, они переформулируют проблему стабилизации-избегания как задачу оптимизации с ограничениями. В этой настройке решение оптимизации позволяет агенту достичь своей цели и стабилизироваться, то есть он остается в определенной области. Применяя ограничения, они гарантируют, что агент избегает препятствий, объясняет Со.

Затем на втором этапе они переформулируют эту задачу оптимизации с ограничениями в математическое представление, известное как форма эпиграфа, и решают ее с помощью алгоритма глубокого обучения с подкреплением. Форма эпиграфа позволяет им обойти трудности, с которыми сталкиваются другие методы при использовании обучения с подкреплением.

«Но глубокое обучение с подкреплением не предназначено для решения эпиграфической формы задачи оптимизации, поэтому мы не могли просто включить его в нашу задачу. Нам нужно было вывести математические выражения, которые работают для нашей системы. Как только у нас появились эти новые производные, мы объединили их с некоторыми существующими инженерными приемами, используемыми в других методах», — говорит Со.

Нет очков за второе место

Чтобы проверить свой подход, они разработали ряд контрольных экспериментов с различными начальными условиями. Например, в некоторых симуляциях автономному агенту необходимо достичь целевой области и оставаться в ней, совершая резкие маневры, чтобы избежать препятствий, которые находятся на пути столкновения с ним.

В этом видео показано, как исследователи использовали свою технику для эффективного управления имитацией реактивного самолета в сценарии, когда ему нужно было стабилизироваться до цели у земли, сохраняя при этом очень малую высоту и оставаясь в узком коридоре полета. Предоставлено исследователями.

По сравнению с несколькими исходными вариантами их подход был единственным, который мог стабилизировать все траектории при сохранении безопасности. Чтобы продвинуть свой метод еще дальше, они использовали его для полета на симулированном реактивном самолете в сценарии, который можно увидеть в «Лучшем стрелке». фильм. Самолет должен был стабилизироваться до цели у земли, сохраняя при этом очень малую высоту и оставаясь в узком коридоре полета.

Эта смоделированная модель реактивного самолета была открыта в 2018 году и была разработана экспертами по управлению полетом в качестве тестовой задачи. Могли ли исследователи создать сценарий, при котором их контроллер не мог бы летать? Но модель была настолько сложной, что с ней было трудно работать, и она по-прежнему не могла обрабатывать сложные сценарии, говорит Фэн.

Контроллеру исследователей Массачусетского технологического института удалось предотвратить крушение или сваливание самолета, стабилизировав его до цели намного лучше, чем любой из базовых вариантов.

В будущем этот метод может стать отправной точкой для разработки контроллеров для высокодинамичных роботов, которые должны отвечать требованиям безопасности и стабильности, таких как автономные дроны-доставщики. Или это может быть реализовано как часть более крупной системы. Возможно, алгоритм активируется только тогда, когда автомобиль заносит на заснеженной дороге, чтобы помочь водителю безопасно вернуться на стабильную траекторию.

«Навигация по экстремальным сценариям, с которыми человек не смог бы справиться, — вот где их подход действительно сияет», — добавляет Со.

«Мы считаем, что цель, к которой мы должны стремиться как область, состоит в том, чтобы дать усиленному обучению гарантии безопасности и стабильности, которые нам понадобятся, чтобы обеспечить нам уверенность при развертывании этих контроллеров в критически важных системах. Мы считаем, что это многообещающий первый шаг к достижению этой цели», — говорит он.

Двигаясь вперед, исследователи хотят улучшить свою технику, чтобы она могла лучше учитывать неопределенность при решении задач оптимизации. Они также хотят исследовать, насколько хорошо алгоритм работает при развертывании на оборудовании, поскольку будут несоответствия между динамикой модели и реальным миром.

«Команда профессора Фэна улучшила эффективность обучения с подкреплением для динамических систем, где важна безопасность. Вместо того, чтобы просто достигать цели, они создают контроллеры, которые гарантируют, что система может безопасно достичь своей цели и оставаться там неопределенное время», — говорит Стэнли Бак, доцент кафедры компьютерных наук Университета Стоуни-Брук, который не участвовал в этом исследовании. . «Их улучшенная формулировка позволяет успешно создавать безопасные контроллеры для сложных сценариев, включая нелинейную модель реактивного самолета с 17 состояниями, частично разработанную исследователями из Исследовательской лаборатории ВВС (AFRL), которая включает нелинейные дифференциальные уравнения с таблицами подъемной силы и сопротивления. ”

Работа частично финансируется Лабораторией Линкольна Массачусетского технологического института в рамках программы «Безопасность пилотажных режимов».