Третья волна устройств
XR-технологии и очки, которые появляются в мире, — это третья волна персональных устройств. Сначала были компьютеры, потом появились мобильные телефоны, сейчас это умные очки. Через них мы можем выходить в интернет, общаться с людьми и даже взаимодействовать с роботами. Вот так выглядит мир, когда мы взаимодействуем с ним через очки.
Наш мир в нем полностью обогащается голограммами, через которые мы визуализируем события и информацию. Эти возможности можно использовать для проектирования, например, когда нужно посмотреть 3D-модель в пространственном мире. Через эту систему можно общаться с людьми, видеть их голограмму, слышать их, передавать им ощущения и эмоции.
Через виртуальную или смешанную реальность можно создавать новые объекты, проектировать их, создавать макеты в пространстве на основе 2D-рисунка. Все это позволяют делать очки Microsoft HoloLens или устройства с похожей технологией.
XR — это аббревиатура от extended realitу, расширенная реальность. Она подразделяется на три категории: виртуальная реальность, смешанная реальность и дополненная реальность.
В смешанной реальности голографические объекты и реальный мир взаимодействуют друг с другом, происходит смешение виртуальных и реальных объектов. В виртуальной реальности пользователь находится только в виртуальном мире. В дополненной реальности мы видим виртуальные объекты, голограммы, но не ощущаем их глубину. В смешанной реальности пользователь видит и чувствует глубину — это когда голограмма ощущается так, как будто она настоящая.
Ближе всего к реальному миру — дополненная реальность, как, например, когда-то популярное приложение Pokemon Go. Если говорить о виртуальной реальности, то в этом году вышла игра Half-Life: Alyx, когда человек погружается в виртуальный мир и взаимодействует там с персонажами. В смешанной реальности популярных игр пока нет — чтобы погрузиться в смешанную реальность, нужно специальное устройство, например, Microsoft HoloLens.
Это целый портативный компьютер: на нем есть классические модули — батарея, процессоры и специальные модули, такие как оптика, сенсоры для построения окружающего пространства, анализирования жестов и поведения пользователя.
Для этого процесса нужна специальная оптика, мы не можем просто поставить два одинаковых дисплея на каждый глаз. Ведь если пользователю выдавать одну и ту же картинку, тогда будет казаться, что объект находится в бесконечности из-за стереозрения. Microsoft HoloLens должны учитывать это и подстраивать изображение конкретно под положение очков, и вот даже что HoloLens сейчас обладают специальными сенсорами, которые детектируют положение зрачка и подстраивают голограммы, в зависимости от того, куда мы смотрим.
Камеры в очках нужны для того, чтобы оценивать окружающий мир, чтобы голограмму можно было разместить в глубине, за реальным объектом. Для этого и используют специальные сенсоры — это глубинные камеры, которые анализируют пространство вокруг нас и анализируют его глубину.
Также есть специальная камера, которая анализирует жесты пользователя — современные очки Microsoft HoloLens могут детектировать кисти рук. Это значит, что можно взаимодействовать с голограммами — брать, двигать их.
Анализ пространства
Главная функция камер — это анализ пространства вокруг. Пользователь должен понять, где находятся стена, стол, объекты в комнате. Они оценивают их, строя сетку пространства. Это геометрия вокруг, где можно поставить голограмму за стеной. Мы можем спрятать виртуальный объект за реальной стеной, и за счет этого достигается ощущение глубины и реального присутствия голограмм.
Очки детектирует жесты, но для чего это нужно? Для взаимодействия с голограммами — пользователи должны иметь возможность нажимать на них, вращать, перемещать, у пользователей должна быть виртуальная клавиатура, которой вводится текст. Хотя сейчас это очень неудобно — получается нажимать только одну клавишу в секунду.
Поэтому пользователям надо учиться заново взаимодействовать с миром и интерфейсом. Ни у кого раньше не было таких устройств, поэтому разработчикам надо учитывать, что они должны быть понятными, похожими на взаимодействия в реальном мире. Все должно происходить ровно так же, как это происходит обычно — пользователь должен уметь взять кружку так же, как в обычной жизни. И это пространство для даже пространство для фантазии, чтобы создавать новые поведенческие механики.
Где можно применять смешанную реальность в реальной жизни
Фокус современных очков — это промышленность. Почему не обычный пользователь? Потому что такие устройства стоят дорого — около 3,5 тысяч долларов. Только производство в критических ситуациях может оправдать стоимость такого устройства.
Первое решение, которое можно реализовать через очки, — это виртуальный ассистент, его идея в том, что на производстве некоторые операции имеют инструкцию из 100–150 шагов по сборке и технической документации, в которой нужно глубоко разбираться. А идея таких очков — оцифровать эту инструкцию и выводить все эти шаги в виде голограмм.
Мы разрабатывали прототип такого решения для газовой выставки в Санкт-Петербурге, где в приложении реализовали инструкцию для заправщика сжиженного природного газа. Работник в виде голограмм, текста и аудио слышит и видит то, что ему нужно делать. Причем это еще и хорошая платформа для обучения не только в ходе технического процесса, и вот такое вот решение и можно делать на очках Microsoft HoloLens.
Еще один вариант — это удаленный ассистент, когда мы связываем работника, на котором одеты очки, и удаленного эксперта. Эксперт через 2D-интерфейс видит то, что наблюдает работник через камеру и может подсказывать ему что-то через аудио и видео, рисовать ему подсказки в пространстве. Она крепится в реальном пространстве, и если эксперт обвел, например, кран и сказал, что его надо повернуть, то работник может отвлечься, но подсказка никуда не исчезнет.
Сюда же входят и игровые движки — Unity Engine и Unreal Engine, которые используются для разработки игр или приложений дополненной виртуальной реальности.
Взаимодействия с роботом
Робот — устройство, которое контролируется по нескольким степеням свободы. Например, у него может быть два мотора, которые можно двигать и координировать с помощью программ. В лаборатории Университета Иннополис есть множество таких устройств — дрон, который не ломается при падении, гуманоидный и шагающий робот, похожие на человека. Есть технические манипуляторы, их можно использовать в производстве. С каждым из этих устройств можно взаимодействовать.
Как это можно сделать? Первый пример — виртуальная реальность, VR-симулятор для промышленных манипуляторов. На нем можно научиться работать с роботом, понять, как действует устройство, в нем можно запрограммировать его для выполнения какого-то действия и проверить в симуляции.
Следующее решение на стыке VR-технологий и робототехники — симулятор физического процесса. Например, развлекательный симулятор полета в космическом аппарате, где робот симулируют полет, а VR-очки выдают решение и картинку, которая соответствует определенной стадии полета. Так процесс становится с эффектом погружения и более реалистичным.
Виртуальная реальность используется для телеопераций — когда есть опасное производство, небезопасная среда, в которой человеку сложно находиться. Там могут работать устройства, они уменьшают опасность для человека. Но ими надо управлять, робот может выполнять только рутинные операции, а если мы говорим про катастрофы или небезопасную среду, то в этом случае понадобится интеллект человека. Поэтому нужны для интерфейсы для телеуправления — VR будет одним из вариантов для этого.
Применение дополненной и смешанной реальности больше всего представлено в программировании роботов. Пользователь может через устройство видеть состояние робота, то, что он собирается выполнить. На таких решениях и фокусируется дополненная и смешанная реальность. Когда робота установили и его нужно настроить на какую-то задачу, — для этого используется специальный пульт, в котором устройство можно перемещать на конкретную позицию, запоминать ее и перемещать дальше.
Но когда программа создана полностью — сложно представить, не произойдет ли какого-то непредвиденного инцидента. Для этого и создаются специальные интерфейсы. Это нужно как для безопасности, так и для более эффективного взаимодействия.
XR и смешанная реальность помогают в этом. Там можно конфигурировать виртуальное пространство, подстраивать его под конкретный эксперимент или менять робота. У инженеров есть неограниченные возможности для конфигурации, а это уменьшение рисков безопасности.
Конкретно в нашем решении используют несколько виртуальных объектов. В нем есть меню, чтобы взаимодействовать с системой, целевая точка, которая описывает положение, куда мы хотим, чтобы пришел робот. Дальше должны быть виртуальные модели роботов и его устройств — захвата или инструмента.
После установки наших точек мы можем запускать симуляцию движения, чтобы проверить, как будет исполняться траектория. Без нее может повредиться робот или оснастка, а когда мы видим виртуальную симуляцию — это безопасно и наглядно для человека.
И после того, как мы точно поняли что программа верна и уверены в этом, мы можем запустить работу реального в робота и выполнить нужную нам программу.
Как общаться с роботом
Ниже можно увидеть, как взаимодействие происходит через наше приложение. Эти съемки сделаны в лаборатории и экспериментальном зале. Мы взаимодействуем с двумя типами роботом: мобильным устройством Platoon и с индустриальным роботом Kuka IIWA.
Пользователи надевают очки Microsoft Hololens, сначала они анализируют пространство и потом, при помощи жестов, пользователь начинает взаимодействовать с роботами, определяет их положение, устанавливает координаты и уточки, для того чтобы устройства начали двигаться.
Для мобильного робота достаточно поставить точку на полу — это 2D-координата, а для манипулятора нужно задать 3D-координату. У каждого манипулятора есть свои требования, и после сдачи программы устройства можно просимулировать. И при этом можно сразу наглядно увидеть траектории, то, что робот будет делать — это невозможно сделать через планшет или обычный интерфейс текстового редактора. Смысл такой системы в том, что через один интерфейс можно взаимодействовать с различными типами роботов.
Именно такие кросс-платформенные технологии могут быть интересны людям, которые пока находятся в поиске того, что им интересно. В случае пересечения XR и робототехники можно отметить такие технологии, как компьютерное зрение — и на очках, и на роботе есть специальные камеры, чтобы анализировать пространство. Также есть алгоритмы SLAM для построения карты, контроллеры, система трекинга для позиционирования устройства.
Читать далее
Сравните, как сняли затмение Луны НАСА и Роскосмос
«Пятая сила» создает во Вселенной невидимые «стены». Главное о новой теории физиков