Специалист по компьютерному зрению Гэри Брэдски создал библиотеку алгоритмов OpenCV, а затем основал калифорнийский офис американского AR-стартапа Magic Leap, оцененного более чем в миллиард долларов. В 2016 году Magic Leap подал в суд на Брэдски и другого топ-менеджера подразделения, после чего получил ответный иск. Тяжба закончилась соглашением сторон. Сейчас Брэдски занимается запуском Open Source Vision Foundation — НКО с задачей развития технологий компьютерного зрения, также он является сооснователем компании Arraiy. После конференции Machines Can See, организованной компанией VisionLabs, «Хайтек» поговорил с Брэдски о его проектах и будущем технологии.
Отличить камень на дороге от пакета
— В своем выступлении вы сказали, что прогресс умных роботов просто жалок. В чем причина этого?
— Их недостаточно. Есть много стартапов, но очень немногие делают что-то в серьезном масштабе. Я знаю только три крупных проекта — Roomba, Blue River и KEBA. Можно еще добавить роботы-газонокосилки.
— Это проблема технологии?
— Да. Трудно разрабатывать и внедрять роботов, делать их надежными, и нам не помешала бы база, с которой можно начинать. Как OpenCV. В машинном зрении обычно все начинают с OpenCV, каких-то глубоких сетей. Но я думаю, что можно было бы начинать с гораздо более связного фреймворка. Маневрирование в пространстве, определение местонахождения, базовые манипуляции — все это должно быть уже данным.
Машинное зрение для роботов отличается от того, что делают для интернета или камер видеонаблюдения. Роботы, особенно те, которые двигаются в суровых погодных условиях, сложнее.
— Поэтому вы говорите, что мы не увидим массовое внедрение беспилотного транспорта в следующие десять лет?
— Я думаю, что это займет много времени из-за corner-cases, необычных случаев. Например, полиэтиленовый пакет на улице — что, если это камень?
— Сейчас машинное зрение не отличает пакет от камня?
— Это зависит от сенсоров. Илон Маск считает, что все можно заменить камерами. Я считаю, что это возможно — мы же водим машины только с помощью наших глаз. Но я думаю, это не очень умно — не иметь разные системы сенсоров, которые вместе будут менее подвержены ошибкам. Вы водите машину — и можете кого-то убить, и это не то же самое, что искать картинки в интернете. Поэтому, мне кажется, нужно большее взаимодействие систем — один сенсор перестает работать, второй продолжает.
— К примеру, лидары?
— Лидары, радары, камеры, для близких расстояний — сонары. Они дешевые, доступные и уже есть во многих автомобилях, чтобы вы не врезались, когда сдаете назад.
— Тогда почему все компании обещают беспилотные автомобили чуть ли не завтра?
— Потому что они ищут инвестиции. Я не знаю точных сроков, но беспилотный транспорт еще не настолько надежен. На шоссе они уже практически готовы, есть также грузовики, которые ездят в беспилотном режиме только по шоссе. Человек отвозит грузовик на остановку, кузов отцепляется и забирается беспилотным грузовиком, который едет по шоссе до нужной точки. Потом в дело снова вступает человек. Я немного знаю о шоссе в России, кроме того, что они могли быть и лучше. Если бы я был президентом, это стало бы первой вещью, которой бы я занялся. Хорошие дороги — это здоровая экономика.
В США огромное количество дорог, но если посмотреть на исследования, грузы на самом деле сконцентрированы на дорогах общей длиной 60 тыс. миль. Это в две стороны, то есть 30 тыс. Это главные артерии, связывающие страну, и главные грузы текут по ним и практически только по ним. Так что, если бы была система из нескольких тысяч грузовиков, можно было бы практически получить карту всего этого в реальном времени. Мне кажется, это вполне возможно. А не в городе, где маленькие дети и вечные стройки.
И другие технологии уже готовы к использованию. Например, мы могли бы сделать перекрестки безопаснее. Можно избавиться от слепых зон, идентифицировать подходящих людей и транслировать это, чтобы машины были безопаснее. Я не знаю, как в России, но в США почти все светофоры принадлежат кому-то вроде Siemens — попасть туда трудно. Но умные сенсоры могли бы быть намного умнее и легче в установке, чем обычные светофоры.
Что люди готовы носить на голове
— Я знаю, что вы не можете говорить о Magic Leap. Поэтому можно поговорить просто об абстрактной AR-компании.
— Я могу говорить общие вещи, но ничего конкретного. Вы можете сказать все, что угодно, просто не в моих словах. Можем представить, что рядом со мной сидит какой-нибудь Джо, который может говорить о Magic Leap.
— Когда Magic Leap представили свои промовидео с китом, выпрыгивающим из спортзала, казалось, что AR вот-вот изменит мир. В реальном продукте компании однако все было не так радужно. Когда мы сможем дойти до этого уровня AR? Чего не хватает сейчас для этого?
— Я думаю, что AR сдерживает фактор формы — никто не будет носить те девайсы, которые сейчас представлены на рынке.
— Вы не думаете, что кто-то будет носить очки?
— Я ношу очки, и не потому, что я люблю очки. Просто это намного удобнее, чем не быть в состоянии распознать людей или надписи вокруг. Я ношу очки, так как их преимущества перевешивают неудобство использования. Так что очки с AR должны быть очень легкими — если это не для работы. Если вы и так носите что-то на голове во время работы, туда можно встроить AR. Врачи и так надевают специальное оборудование для операций, если устройство будет давать значительные дополнительные возможности, его будут использовать. Но для ежедневного использования форма девайса должна быть потрясающей. Есть лимит — около 50 г, которые вы можете захотеть носить. Я пробовал Nreal, на которых недавно подали в суд Magic Leap.
— У вас много общего.
— Да. Их очки весят около 80 г, и они почти достигли цели, но, возможно, у их технологии все же есть пределы. Технология Magic Leap основана на дифракции. Nreal делают волноводные дисплеи (waveguide — «Хайтек»). Дифракция приводит к потерям в качестве, нужно много света, выделяется много тепла. Технология waveguide в компактном размере — это потрясающая работа. Толщина составляет где-то полдюйма, около сантиметра.
У меня есть ответ на вопрос, как сделать девайсы еще компактнее. Надо убрать камеры. Сделать их съемными. Когда вы хотите поиграть в игру — закрепите камеру. Если вам просто нужно что-то вроде умных часов перед глазами, то хватит основных функций, и камеру можно убрать. Кроме того, будет понятно, что когда человек не носит камеру, он не снимает вас. Это гарантия приватности.
Текущие AR-девайсы могут стать легче 50 г, но я не думаю, что можно снизить толщину ниже 0,5 см. Сейчас все же большинство обзоров на AR делают, не поносив девайсы на себе и часа. Некоторые из них сильно нагреваются после получаса-часа использования, это просто неприемлемо.
Возможно, пока просто нет таких технологий — вне зависимости от компании, они просто не могут достигнуть нужной формы. Но это все же второстепенно к тому, что они показывают. Так что мы хотим показывать? Мы действительно хотим видеть единорогов, вылетающих из окружающего пространства весь день? Скорее всего, это быстро надоест. Сначала приходит период новизны, потом — период раздражения.
Технологии еще не готовы к тому, чтобы их носить. Если их не захотят носить, особенно молодые девушки, если они выглядят глупо, — то и не будут. А если их не захотят носить молодые девушки, то не захотят и мужчины. Может, захотят какие-то геймеры, но для игр VR лучше. Зачем ограничивать себя пространством дома, когда вы можете быть где угодно во вселенной? В AR очки уже подходят к пределам формы, и это довольно жестко. На свои очки я потратил на несколько сотен долларов больше, чтобы их сделали в титановой оправе. Просто для того, чтобы они были немного легче.
«Я не понял, почему Facebook не захотел немедленно нас купить»
— В вашей текущей компании Arraiy вы делаете компьютерную графику в реальном времени?
— Мы делаем трекинг и сегментацию объектов для трансляций и кино — в реальном времени.
— Уровень технологий в реальном времени и постпродакшне одинаковый?
— Мы решили работать в реальном времени — и мы на кинематографическом уровне качества. Я думаю, у нас лучшая система трекинга в мире. Несмотря на это, индустрия развлечений очень медленная: пробовали много разных продуктов и направлений, и, возможно, потратили слишком много времени на поиск. Индустрия проявляет интерес — мы показали, что наш трекинг лучше всех других решений. Но решает ли это проблемы компании, особенно венчурной? Они же хотят видеть рост-рост-рост, если вкладывают деньги. Так что сейчас самый вероятный сценарий — нас купят.
— И технология будет использоваться в чужом продукте?
— Возможно, в беспилотных машинах или в ритейле. Индустрия развлечений двигается медленно, в нее сложно зайти, она растет не быстро. Когда вы — венчурная компания, все это плохо.
Facebook проявлял некоторый интерес, но он не был заинтересован в технологии, что для меня удивительно. Когда я удалил приложение Facebook со своего телефона, то стал использовать его на 90% реже. Платформа действительно основана на том, что она центральна для телефона, и при этом нет никакого AR. Мы могли бы быть им. Я не понял, почему Facebook не захотел немедленно купить нас. Но я — не они. Может, информация не дошла достаточно высоко.
— Почему рынок не был заинтересован в решении?
— Киноиндустрия в США — очень старая. У них есть целая система бюджетирования фильмов, продюсирования достаточного количества хитов, чтобы заработать. Мы хотели снизить издержки, но они не верят новым технологиям, так как все и так работает. Если бы у нас было больше времени, мы бы захватили рынок. Ошибкой оказалось то, что с самого начала у нас было венчурное финансирование.