Роботы не спасут человечество от скучной работы, пока мы не объясним им, что надо делать. Поэтому исследователи уже несколько десятков лет пытаются разными способами объяснить им, как выполнять рутинные операции, контролировать работу и убедиться, что устройства не угрожают ничьей безопасности. Как в этом помогают дополненная, виртуальная и смешанные реальности, объясняет Михаил Останин, аспирант, младший научный сотрудник Центра компетенций НТИ, на базе Университета Иннополис.
Третья волна устройств
XR-технологии и очки, которые появляются в мире, — это третья волна персональных устройств. Сначала были компьютеры, потом появились мобильные телефоны, сейчас это умные очки. Через них мы можем выходить в интернет, общаться с людьми и даже взаимодействовать с роботами. Вот так выглядит мир, когда мы взаимодействуем с ним через очки.
Наш мир в нем полностью обогащается голограммами, через которые мы визуализируем события и информацию. Эти возможности можно использовать для проектирования, например, когда нужно посмотреть 3D-модель в пространственном мире. Через эту систему можно общаться с людьми, видеть их голограмму, слышать их, передавать им ощущения и эмоции.
Через виртуальную или смешанную реальность можно создавать новые объекты, проектировать их, создавать макеты в пространстве на основе 2D-рисунка. Все это позволяют делать очки Microsoft HoloLens или устройства с похожей технологией.
XR — это аббревиатура от extended realitу, расширенная реальность. Она подразделяется на три категории: виртуальная реальность, смешанная реальность и дополненная реальность.
В смешанной реальности голографические объекты и реальный мир взаимодействуют друг с другом, происходит смешение виртуальных и реальных объектов. В виртуальной реальности пользователь находится только в виртуальном мире. В дополненной реальности мы видим виртуальные объекты, голограммы, но не ощущаем их глубину. В смешанной реальности пользователь видит и чувствует глубину — это когда голограмма ощущается так, как будто она настоящая.
Ближе всего к реальному миру — дополненная реальность, как, например, когда-то популярное приложение Pokemon Go. Если говорить о виртуальной реальности, то в этом году вышла игра Half-Life: Alyx, когда человек погружается в виртуальный мир и взаимодействует там с персонажами. В смешанной реальности популярных игр пока нет — чтобы погрузиться в смешанную реальность, нужно специальное устройство, например, Microsoft HoloLens.
Это целый портативный компьютер: на нем есть классические модули — батарея, процессоры и специальные модули, такие как оптика, сенсоры для построения окружающего пространства, анализирования жестов и поведения пользователя.
Для этого процесса нужна специальная оптика, мы не можем просто поставить два одинаковых дисплея на каждый глаз. Ведь если пользователю выдавать одну и ту же картинку, тогда будет казаться, что объект находится в бесконечности из-за стереозрения. Microsoft HoloLens должны учитывать это и подстраивать изображение конкретно под положение очков, и вот даже что HoloLens сейчас обладают специальными сенсорами, которые детектируют положение зрачка и подстраивают голограммы, в зависимости от того, куда мы смотрим.
Камеры в очках нужны для того, чтобы оценивать окружающий мир, чтобы голограмму можно было разместить в глубине, за реальным объектом. Для этого и используют специальные сенсоры — это глубинные камеры, которые анализируют пространство вокруг нас и анализируют его глубину.
Также есть специальная камера, которая анализирует жесты пользователя — современные очки Microsoft HoloLens могут детектировать кисти рук. Это значит, что можно взаимодействовать с голограммами — брать, двигать их.
Анализ пространства
Главная функция камер — это анализ пространства вокруг. Пользователь должен понять, где находятся стена, стол, объекты в комнате. Они оценивают их, строя сетку пространства. Это геометрия вокруг, где можно поставить голограмму за стеной. Мы можем спрятать виртуальный объект за реальной стеной, и за счет этого достигается ощущение глубины и реального присутствия голограмм.
Очки детектирует жесты, но для чего это нужно? Для взаимодействия с голограммами — пользователи должны иметь возможность нажимать на них, вращать, перемещать, у пользователей должна быть виртуальная клавиатура, которой вводится текст. Хотя сейчас это очень неудобно — получается нажимать только одну клавишу в секунду.
Поэтому пользователям надо учиться заново взаимодействовать с миром и интерфейсом. Ни у кого раньше не было таких устройств, поэтому разработчикам надо учитывать, что они должны быть понятными, похожими на взаимодействия в реальном мире. Все должно происходить ровно так же, как это происходит обычно — пользователь должен уметь взять кружку так же, как в обычной жизни. И это пространство для даже пространство для фантазии, чтобы создавать новые поведенческие механики.
Где можно применять смешанную реальность в реальной жизни
Фокус современных очков — это промышленность. Почему не обычный пользователь? Потому что такие устройства стоят дорого — около 3,5 тысяч долларов. Только производство в критических ситуациях может оправдать стоимость такого устройства.
Первое решение, которое можно реализовать через очки, — это виртуальный ассистент, его идея в том, что на производстве некоторые операции имеют инструкцию из 100–150 шагов по сборке и технической документации, в которой нужно глубоко разбираться. А идея таких очков — оцифровать эту инструкцию и выводить все эти шаги в виде голограмм.
Мы разрабатывали прототип такого решения для газовой выставки в Санкт-Петербурге, где в приложении реализовали инструкцию для заправщика сжиженного природного газа. Работник в виде голограмм, текста и аудио слышит и видит то, что ему нужно делать. Причем это еще и хорошая платформа для обучения не только в ходе технического процесса, и вот такое вот решение и можно делать на очках Microsoft HoloLens.
Еще один вариант — это удаленный ассистент, когда мы связываем работника, на котором одеты очки, и удаленного эксперта. Эксперт через 2D-интерфейс видит то, что наблюдает работник через камеру и может подсказывать ему что-то через аудио и видео, рисовать ему подсказки в пространстве. Она крепится в реальном пространстве, и если эксперт обвел, например, кран и сказал, что его надо повернуть, то работник может отвлечься, но подсказка никуда не исчезнет.
Сюда же входят и игровые движки — Unity Engine и Unreal Engine, которые используются для разработки игр или приложений дополненной виртуальной реальности.
Взаимодействия с роботом
Робот — устройство, которое контролируется по нескольким степеням свободы. Например, у него может быть два мотора, которые можно двигать и координировать с помощью программ. В лаборатории Университета Иннополис есть множество таких устройств — дрон, который не ломается при падении, гуманоидный и шагающий робот, похожие на человека. Есть технические манипуляторы, их можно использовать в производстве. С каждым из этих устройств можно взаимодействовать.
Как это можно сделать? Первый пример — виртуальная реальность, VR-симулятор для промышленных манипуляторов. На нем можно научиться работать с роботом, понять, как действует устройство, в нем можно запрограммировать его для выполнения какого-то действия и проверить в симуляции.
Следующее решение на стыке VR-технологий и робототехники — симулятор физического процесса. Например, развлекательный симулятор полета в космическом аппарате, где робот симулируют полет, а VR-очки выдают решение и картинку, которая соответствует определенной стадии полета. Так процесс становится с эффектом погружения и более реалистичным.
Виртуальная реальность используется для телеопераций — когда есть опасное производство, небезопасная среда, в которой человеку сложно находиться. Там могут работать устройства, они уменьшают опасность для человека. Но ими надо управлять, робот может выполнять только рутинные операции, а если мы говорим про катастрофы или небезопасную среду, то в этом случае понадобится интеллект человека. Поэтому нужны для интерфейсы для телеуправления — VR будет одним из вариантов для этого.
Применение дополненной и смешанной реальности больше всего представлено в программировании роботов. Пользователь может через устройство видеть состояние робота, то, что он собирается выполнить. На таких решениях и фокусируется дополненная и смешанная реальность. Когда робота установили и его нужно настроить на какую-то задачу, — для этого используется специальный пульт, в котором устройство можно перемещать на конкретную позицию, запоминать ее и перемещать дальше.
Но когда программа создана полностью — сложно представить, не произойдет ли какого-то непредвиденного инцидента. Для этого и создаются специальные интерфейсы. Это нужно как для безопасности, так и для более эффективного взаимодействия.
XR и смешанная реальность помогают в этом. Там можно конфигурировать виртуальное пространство, подстраивать его под конкретный эксперимент или менять робота. У инженеров есть неограниченные возможности для конфигурации, а это уменьшение рисков безопасности.
Конкретно в нашем решении используют несколько виртуальных объектов. В нем есть меню, чтобы взаимодействовать с системой, целевая точка, которая описывает положение, куда мы хотим, чтобы пришел робот. Дальше должны быть виртуальные модели роботов и его устройств — захвата или инструмента.
После установки наших точек мы можем запускать симуляцию движения, чтобы проверить, как будет исполняться траектория. Без нее может повредиться робот или оснастка, а когда мы видим виртуальную симуляцию — это безопасно и наглядно для человека.
И после того, как мы точно поняли что программа верна и уверены в этом, мы можем запустить работу реального в робота и выполнить нужную нам программу.
Как общаться с роботом
Ниже можно увидеть, как взаимодействие происходит через наше приложение. Эти съемки сделаны в лаборатории и экспериментальном зале. Мы взаимодействуем с двумя типами роботом: мобильным устройством Platoon и с индустриальным роботом Kuka IIWA.
Пользователи надевают очки Microsoft Hololens, сначала они анализируют пространство и потом, при помощи жестов, пользователь начинает взаимодействовать с роботами, определяет их положение, устанавливает координаты и уточки, для того чтобы устройства начали двигаться.
Для мобильного робота достаточно поставить точку на полу — это 2D-координата, а для манипулятора нужно задать 3D-координату. У каждого манипулятора есть свои требования, и после сдачи программы устройства можно просимулировать. И при этом можно сразу наглядно увидеть траектории, то, что робот будет делать — это невозможно сделать через планшет или обычный интерфейс текстового редактора. Смысл такой системы в том, что через один интерфейс можно взаимодействовать с различными типами роботов.
Именно такие кросс-платформенные технологии могут быть интересны людям, которые пока находятся в поиске того, что им интересно. В случае пересечения XR и робототехники можно отметить такие технологии, как компьютерное зрение — и на очках, и на роботе есть специальные камеры, чтобы анализировать пространство. Также есть алгоритмы SLAM для построения карты, контроллеры, система трекинга для позиционирования устройства.
Читать далее
Сравните, как сняли затмение Луны НАСА и Роскосмос
«Пятая сила» создает во Вселенной невидимые «стены». Главное о новой теории физиков