Исследователи из Columbia Engineering объявили, что они создали новый тип роботизированных пальцев с высокоточным чувством осязания. Их палец может локализовать прикосновение с очень высокой точностью до <1 мм по большой, изогнутой поверхности, что очень похоже на человека.
Существующие методы построения сенсорных датчиков оказались сложными для интеграции в пальцы робота из-за множества проблем, в том числе из-за сложности покрытия многоугольных поверхностей, большого количества проводов или из-за сложности установки датчиков в маленькие кончики пальцев, что не позволяет использовать их как ловкие руки, чувствующие прикосновения. Команда Columbia Engineering разработала новый подход: новое использование перекрывающихся сигналов от излучателей и приемников света, встроенных в прозрачный волноводный слой, который покрывает функциональные области пальца.
Измеряя перенос света между каждым излучателем и приемником, они показали, что можно получить очень богатый набор данных от сигнала, который изменяется в ответ на деформацию пальца в результате прикосновения. Затем они продемонстрировали, что методы глубокого обучения, основанные исключительно на данных, могут извлекать полезную информацию из данных, включая местоположение контакта и приложенную нормальную силу. Их конечный результат — полностью интегрированный сенсорный роботизированный палец с небольшим количеством проводов, созданный с использованием доступных методов производства и предназначенный для легкой интеграции в роботизированные руки.
В этом проекте исследователи используют свет для ощущения прикосновения. Под «кожей» у их пальца есть слой из прозрачного силикона, в который они вставили более 30 светодиодов. Палец также имеет более 30 фотодиодов, которые измеряют, как свет отражается вокруг. Всякий раз, когда палец касается чего-либо, его кожа деформируется, поэтому свет перемещается в прозрачном слое под ним. Измеряя, сколько света идет от каждого светодиода к каждому диоду, исследователи получают около 1 000 сигналов, каждый из которых содержит некоторую информацию о соприкосновении. Поскольку свет может также отражаться в искривленном пространстве, эти сигналы могут покрывать сложную трехмерную форму, например, кончик пальца. Человеческий палец, для сравнения, обеспечивает невероятно богатую контактную информацию — более 400 крошечных сенсорных датчиков на каждый квадратный сантиметр кожи.
Команда также разработала обработку данных с помощью алгоритмов машинного обучения. Поскольку существует так много сигналов, все они частично перекрывают друг друга, поэтому данные слишком сложны, чтобы их могли интерпретировать люди. К счастью, современные методы машинного обучения могут извлекать информацию, которая волнует исследователей: где касаются пальца, что касается пальца, какое усилие прикладывается и тому подобное.
Кроме того, команда создала палец, чтобы его можно было надеть на руки робота. Интегрировать систему в руку очень просто: благодаря этой новой технологии палец собирает почти 1 000 сигналов, но ему нужен только 14-проводной кабель, соединяющий его с рукой, и он не требует сложной встроенной электроники. У исследователей уже есть две ловкие руки (способные захватывать и манипулировать объектами) в своей лаборатории, оснащенные этими пальцами. Одна рука имеет три пальца, а другая — четыре. В ближайшие месяцы команда будет использовать эти руки, чтобы попытаться продемонстрировать ловкие манипуляционные способности, основанные на тактильных и проприоцептивных данных.