Исследователи Массачусетского технологического института разработали сенсорный датчик на базе камеры, длинный, изогнутый и по форме напоминающий человеческий палец. Их устройство, которое обеспечивает тактильное распознавание высокого разрешения на большой площади, может позволить роботизированной руке выполнять несколько типов захватов. Изображение: предоставлено исследователями

Адам Зеве | Новости Массачусетского технологического института

Представьте, что вы держите одной рукой тяжелый предмет, например трубный ключ. Скорее всего, вы схватите гаечный ключ всеми пальцами, а не только кончиками пальцев. Сенсорные рецепторы вашей кожи, расположенные по всей длине каждого пальца, будут отправлять в ваш мозг информацию об инструменте, который вы держите в руках.

В роботизированной руке тактильные датчики, использующие камеры для получения информации о захваченных объектах, маленькие и плоские, поэтому часто располагаются на кончиках пальцев. Эти роботы, в свою очередь, используют только кончики пальцев для захвата объектов, обычно сжимающими движениями. Это ограничивает задачи манипуляции, которые они могут выполнять.

Исследователи Массачусетского технологического института разработали сенсорный датчик на базе камеры, длинный, изогнутый и по форме напоминающий человеческий палец. Их устройство обеспечивает тактильное распознавание высокого разрешения на большой площади. Датчик, получивший название GelSight Svelte, использует два зеркала для отражения и преломления света, так что одна камера, расположенная в основании датчика, может видеть по всей длине пальца.

Кроме того, исследователи создали датчик в форме пальца с гибкой основой. Измеряя, как изгибается позвоночник, когда палец касается объекта, они могут оценить силу, действующую на датчик.

Они использовали датчики GelSight Svelte для создания роботизированная рука который мог схватить тяжелый предмет, как это сделал бы человек, используя всю чувствительную область всех трех пальцев. Рука также может выполнять те же захваты, что и традиционные роботизированные захваты.

На этой гифке изображена роботизированная рука, оснащенная тремя датчиками GelSight Svelte в форме пальцев. Датчики, обеспечивающие тактильное распознавание с высоким разрешением на большой площади, позволяют руке выполнять несколько захватов, включая захваты сжиманием, при которых используются только кончики пальцев, и силовой захват, при котором используется вся чувствительная область всех трех пальцев. Фото: предоставлено исследователями

«Поскольку наш новый датчик имеет форму человеческого пальца, мы можем использовать его для выполнения разных типов захватов для разных задач вместо того, чтобы использовать щипковые захваты для всего. С захватом с параллельными губками вы можете сделать очень многое. Наш датчик действительно открывает новые возможности для решения различных задач манипулирования, которые мы могли бы решать с помощью роботов», — говорит Алан (Цзялян) Чжао, аспирант машиностроения и ведущий автор исследования. бумага на GelSight Svelte.

Чжао написал статью вместе со старшим автором Эдвардом Адельсоном, профессором науки о зрении Джона и Дороти Уилсон на факультете наук о мозге и когнитивных науках и членом Лаборатории компьютерных наук и искусственного интеллекта (CSAIL). Исследование будет представлено на конференции IEEE по интеллектуальным роботам и системам.

Зеркало Зеркало

Камеры, используемые в тактильных датчиках, ограничены своим размером, фокусным расстоянием линз и углами обзора. Таким образом, эти тактильные датчики, как правило, маленькие и плоские, поэтому их размер ограничивается кончиками пальцев робота.

Поскольку чувствительная область более длинная и больше напоминает человеческий палец, камере придется располагаться дальше от чувствительной поверхности, чтобы видеть всю область. Это особенно сложно из-за ограничений по размеру и форме роботизированного захвата.

Чжао и Адельсон решили эту проблему, используя два зеркала, которые отражают и преломляют свет в сторону единственной камеры, расположенной у основания пальца.

GelSight Svelte включает в себя одно плоское наклонное зеркало, расположенное напротив камеры, и одно длинное изогнутое зеркало, расположенное вдоль задней части датчика. Эти зеркала перераспределяют лучи света от камеры таким образом, что камера может видеть по всей длине пальца.

Чтобы оптимизировать форму, угол и кривизну зеркал, исследователи разработали программное обеспечение, имитирующее отражение и преломление света.

«С помощью этого программного обеспечения мы можем легко поиграться с тем, где расположены зеркала и как они изогнуты, чтобы понять, насколько хорошо будет выглядеть изображение после того, как мы действительно создадим датчик», — объясняет Чжао.

Зеркала, камера и два набора светодиодов для освещения прикреплены к пластиковой основе и заключены в гибкую оболочку из силиконового геля. Камера просматривает тыльную сторону кожи изнутри; основываясь на деформации, он может увидеть, где происходит контакт, и измерить геометрию контактной поверхности объекта.

Разбивка компонентов, из которых состоит пальцеобразный сенсорный датчик. Изображение: предоставлено исследователями

Кроме того, красные и зеленые светодиодные матрицы дают представление о том, насколько глубоко гель прижимается при захвате объекта благодаря насыщенности цвета в разных местах датчика.

Исследователи могут использовать эту информацию о насыщенности цвета для реконструкции трехмерного изображения глубины захватываемого объекта.

Пластиковая основа датчика позволяет ему определять проприоцептивную информацию, например, крутящий момент, приложенный к пальцу. Позвоночник сгибается и сгибается при захвате предмета. Исследователи используют машинное обучение, чтобы оценить, какая сила прилагается к датчику, основываясь на этих деформациях позвоночника.

Однако объединить эти элементы в работающий датчик оказалось непростой задачей, говорит Чжао.

«Убедиться, что у вас правильная кривизна зеркала, соответствующая той, которую мы имеем в моделировании, довольно сложно. Кроме того, я понял, что существуют некоторые виды суперклея, которые препятствуют отверждению силикона. Чтобы создать датчик, который действительно работает, потребовалось много экспериментов», — добавляет он.

Универсальный захват

Доведя конструкцию до совершенства, исследователи протестировали GelSight Svelte, прижимая объекты, например винты, к различным местам сенсора, чтобы проверить четкость изображения и посмотреть, насколько хорошо он может определять форму объекта.

Они также использовали три датчика для создания руки GelSight Svelte, которая может выполнять несколько захватов, включая захват, боковой захват и силовой захват, который использует всю чувствительную область трех пальцев. Большинство роботизированных рук, имеющих форму капельницы с параллельными челюстями, могут выполнять только щипковые захваты.

Силовой захват тремя пальцами позволяет роботизированной руке более устойчиво удерживать более тяжелый объект. Тем не менее, захваты щипком по-прежнему полезны, когда объект очень мал. По его словам, возможность выполнять оба типа захвата одной рукой придаст роботу большую универсальность.

В дальнейшем исследователи планируют усовершенствовать GelSight Svelte, чтобы датчик был шарнирным и мог сгибаться в суставах, как человеческий палец.

«Оптико-тактильные датчики пальцев позволяют роботам использовать недорогие камеры для сбора изображений контакта с поверхностью в высоком разрешении, и, наблюдая за деформацией гибкой поверхности, робот оценивает форму контакта и приложенные силы. Эта работа представляет собой усовершенствование конструкции пальца GelSight с улучшением охвата всего пальца и возможностью аппроксимации моментов изгибающего отклонения с использованием различий изображений и машинного обучения», — говорит Монро Кеннеди III, доцент кафедры машиностроения в Стэнфордском университете, которая была не участвовал в этом исследовании. «Улучшение осязания робота, чтобы приблизиться к человеческим способностям, является необходимостью и, возможно, проблемой-катализатором для разработки роботов, способных выполнять сложные и ловкие задачи».

Это исследование частично поддерживается Исследовательским институтом Toyota.