А исследователи из Научно-исследовательского института Toyota, Колумбийского университета и Массачусетского технологического института смогли быстро научить роботов выполнять множество новых задач с помощью метода обучения искусственного интеллекта, называемого имитационным обучением, плюс генеративный искусственный интеллект. Они считают, что нашли способ расширить технологию, позволяющую вывести генеративный искусственный интеллект из области текста, изображений и видео в область движений роботов.

Многие другие также воспользовались преимуществами генеративного ИИ. Covariant, робототехнический стартап, отделившийся от ныне закрытого исследовательского подразделения робототехники OpenAI, создал мультимодальную модель под названием RFM-1. Он может принимать подсказки в виде текста, изображений, видео, инструкций робота или измерений. Генеративный ИИ позволяет роботу как понимать инструкции, так и генерировать изображения или видео, относящиеся к этим задачам.

3. Больше данных позволяет роботам освоить больше навыков
Сила крупных моделей искусственного интеллекта, таких как GPT-4, кроется в куче данных, собранных из Интернета. Но на самом деле это не работает для роботов, которым нужны данные, собранные специально для роботов. Им нужна физическая демонстрация того, как открываются стиральные машины и холодильники, собирают посуду или складывают белье. Сейчас этих данных очень мало, и людям требуется много времени для их сбора.

Новая инициатива, инициированная Google DeepMind, под названием Open X-Embodiment Collaboration, призвана изменить это. В прошлом году компания сотрудничала с 34 исследовательскими лабораториями и около 150 исследователями для сбора данных с 22 различных роботов, включая Hello Robot’s Stretch. Итоговый набор данных, опубликованный в октябре 2023 года, состоит из роботов, демонстрирующих 527 навыков, таких как сбор, толкание и перемещение.

Первые признаки показывают, что больший объем данных ведет к созданию более умных роботов. Исследователи создали две версии модели роботов под названием RT-X, которую можно запускать локально на компьютерах отдельных лабораторий или получать доступ через Интернет. Более крупная, доступная через Интернет модель была предварительно обучена с использованием интернет-данных для развития «визуального здравого смысла» или базового понимания мира на основе больших языковых и графических моделей. Когда исследователи протестировали модель RT-X на множестве разных роботов, они обнаружили, что роботы способны осваивать навыки на 50% успешнее, чем в системах, разрабатываемых каждой отдельной лабораторией.

Подробнее читайте в моей истории здесь.

Более глубокое обучение

Генеративный ИИ может превратить ваши самые ценные воспоминания в фотографии, которых никогда не существовало

Мария выросла в Барселоне, Испания, в 1940-х годах. Ее первые воспоминания об отце яркие. В шестилетнем возрасте Мария приходила в квартиру соседа в своем доме, когда хотела его увидеть. Оттуда она могла заглянуть через перила балкона в тюрьму внизу и попытаться увидеть его через маленькое окошко камеры, где он был заперт за сопротивление диктатуре Франсиско Франко. На этом балконе нет фотографии Марии. Но теперь она может хранить что-то подобное: фальшивую фотографию или реконструкцию на основе воспоминаний.