В то время как автономное вождение уже давно опирается на машинное обучение для планирования маршрутов и обнаружения объектов, некоторые компании и исследователи теперь делают ставку на то, что генеративный искусственный интеллект — модели, которые собирают данные об окружающей среде и генерируют прогнозы — помогут вывести автономность на следующий этап. Wayve, конкурент Waabi, в прошлом году выпустила аналогичную модель, созданную на основе видео, которое собирают ее автомобили.

Модель Waabi работает аналогично генераторам изображений или видео, таким как DALL-E и Sora от OpenAI. Он берет облака точек лидарных данных, которые визуализируют трехмерную карту окружения автомобиля, и разбивает их на фрагменты, подобно тому, как генераторы изображений разбивают фотографии на пиксели. На основе данных обучения Copilot4D затем прогнозирует, как будут перемещаться все точки лидарных данных. Если делать это постоянно, он сможет генерировать прогнозы на 5–10 секунд вперед.

Waabi — одна из немногих компаний, занимающихся беспилотным вождением, включая конкурентов Wayve и Ghost, которые описывают свой подход как «ИИ-прежде всего». Для Уртасуна это означает разработку системы, которая учится на данных, а не системы, которую нужно обучать реакции на конкретные ситуации. Группа делает ставку на то, что их методы могут потребовать меньше часов дорожных испытаний беспилотных автомобилей, что стало актуальной темой после октябрьского 2023 года. несчастный случай где роботакси Cruise перетащил пешехода в Сан-Франциско.

Waabi отличается от своих конкурентов тем, что создает генеративную модель для лидара, а не для камер.

«Если вы хотите стать игроком 4-го уровня, лидар просто необходим», — говорит Уртасун, имея в виду уровень автоматизации, на котором автомобиль не требует внимания человека для безопасного вождения. Камеры хорошо показывают то, что видит автомобиль, но они не столь искусны в измерении расстояний или понимании геометрии окружения автомобиля, говорит она.

Хотя модель Waabi может генерировать видеоролики, показывающие, что автомобиль увидит через свои лидарные датчики, эти видеоролики не будут использоваться в качестве обучения в компании. симулятор вождения который он использует для создания и тестирования своей модели вождения. Это сделано для того, чтобы любые галлюцинации, возникающие из-за Copilot4D, не обучались симулятору.

Базовая технология не нова, говорит Бернард Адам Ланге, аспирант Стэнфордского университета, который создавал и исследовал подобные модели, но он впервые видит, как генеративная лидарная модель выходит за пределы исследовательской лаборатории и масштабируется для коммерческого использования. . По его словам, подобная модель, как правило, поможет сделать «мозг» любого автономного транспортного средства способным рассуждать быстрее и точнее.

«Это масштаб, который меняет», — говорит он. «Мы надеемся, что эти модели можно будет использовать в последующих задачах», таких как обнаружение объектов и прогнозирование того, куда люди или вещи могут двигаться дальше.