Как смарт-дисплеи наблюдают за хозяином и управляют умным домом

Смарт-дисплей — это умное устройство, состоящее из колонки и экрана. В него встроены микрофоны дальнего поля действия, динамики, а за коммуникацию с пользователем отвечает голосовой ассистент. Эти устройства также поддерживают алгоритмы голосового управления: активацию по ключевому слову (wake word engine), VAD (voice activity detection, обнаружение голосовой активности — «Хайтек») и прочие алгоритмы обработки голоса.

Экран показывает видео, текстовую и графическую информацию, с его помощью можно делать видеозвонки. Некоторые воспринимают смарт-дисплей как электронный планшет, но это концептуально разные устройства. Интерфейс смарт-дисплея нарочито упрощен, так как его основная цель — решение бытовых задач с помощью голосового ассистента: управление умным домом, планирование и управление календарем, поиск информации, настройка таймера или будильника.

Умные дисплеи умеют то же, что и умные колонки, но к этому добавляется дополнительный функционал. К примеру, вот на что способен Google Nest Hub Max:

• Показывать видеоролики и фильмы, но из-за особенностей DRM, Netflix появился на Hub и Hub Max сравнительно недавно, только в июле 2020 года.
• Отображать фотографии.
• Искать информацию и показывать результаты поиска на экране. Интересно, что большую долю в статистике поисковых запросов с умных дисплеев занимают рецепты блюд — это и выдает одно из наиболее популярных расположений девайса в доме.
• Совершать видеозвонки с помощью Duo и Meet, а с августа 2020-го — еще и Zoom.
• Переводить голосовые команды на иностранные языки в режиме реального времени — при этом перевод при чтении с экрана легче осмыслить.

Если говорить про управление умным домом, то выбрав нужный девайс из списка, можно, к примеру, в одно касание отрегулировать яркость лампы. Очень удобно.

Интересная также опция, доступная при реализации видеозвонков, — auto-framing (также известную, как auto-zoom или auto-pan). При автофрейминге камера фокусируется на человеке и «следует» за ним при передвижениях (в пределах поля зрения камеры разумеется). Это достигается с помощью компьютерного зрения и кропа изображения. Впервые на умных дисплеях autoframing внедрили на Facebook Portal, а затем на Nest Hub Max. Активно эту фичу используют Google и Facebook, и пользователи позитивно на нее реагируют — это видно по Net Promoter Score.

С чего все начиналось

Прообразы умных дисплеев без голосовых помощников появились в 2000 году. Первопроходцем в разработке устройств интернета вещей с экраном стал 3Com, производитель цифровой электроники (его сооснователь Роберт Меткалф придумал Ethernet). 3Com Audrey задумывалось как устройство для кухни и имело доступ в интернет, писать и отправлять электронные письма, а также проигрывать аудио и видео.

В 2006 году анонсирован первый тачскрин девайс от Chumby для потребления медиаконтента, который положил начало одноименной линейке устройств. В Sony Dash, выпущенном в 2010 году, использовалась платформа от Chumby с функциями будильника, радио, выходом в интернет, проигрыванием аудио и видеоконтента и огромным количеством приложений. Несмотря на стабильную работу девайса, в 2017 году Sony приостановили работу обслуживающих Sony Dash серверов без выпуска другого аналога.

Основное, что отличало эти устройства от нынешних смарт-дисплеев — отсутствие виртуального ассистента, жестового, а также голосового управления.

От первых моделей к буму потребительских дисплеев

За последние три года только в США и Европе вышло более 30 моделей умных дисплеев от более 12 брендов. В июне 2017 года Amazon запустил продажи своего первого смарт-дисплея — Amazon Echo Show, в сентябре этого же года — продажи Echo Spot, умного будильника с экраном и голосовым ассистентом.

Вплоть до лета 2018 года онлайн-гигант был монополистом на рынке умных экранов, пока Lenovo и JBL не выпустили свои устройства с Google-ассистентом. Сам Google анонсировал Google Home Hub (позже переименовали в Nest Hub) в октябре 2018 года, позиционируя девайс как хаб для управления умным домом, в то время как его партнеры, использовавшие Google-ассистент, сделали ставку на качество звука.

Месяцем позже на рынок пришел Facebook Portal c голосовым помощником Alexa от Amazon, и его главным пользовательским сценарием назвали видеозвонки. Россия также не стала отставать от тренда — в конце 2020-го SberDevices анонсировали SberPortal — первый российский смарт-дисплей с системой виртуальных ассистентов на борту. К слову, дизайном российского портала занималась команда notAnotherOne,и уже в апреле 2021-го девайс завоевал самые престижные дизайн-награды — Red Dot Design и iF design awards, — и вместе с ними признание мирового дизайн-сообщества. Наконец, анонсированное недавно обновление линейки iMac хоть и нельзя назвать смарт-дисплеем, но ряд функций почерпнут именно в смарт-дисплеях — микрофонная матрица из трех микрофонов и шесть встроенных динамиков. Эти нововведения позволяют как использовать устройство для конференц-связи, так и управлять функциями с помощью голосового помощника / голосового ввода (начиная с ревизии MacOS Catalina, пользователям доступны функции расширенного голосового управления, в дополнение к функционалу Siri).

Сегодня мы можем наблюдать взрывной рост сегмента смарт-дисплеев во всем мире.

Немного аналитики

Рынок умных дисплеев

Первое место занимает Амазон с 55% долей рынка, далее Google — 33%, а Facebook — всего 2% с его тремя поколениями устройств: Facebook Portal, Facebook Portal Plus и Facebook Portal Mini. Умные дисплеи от Lenovo, JBL и LG со встроенным Google-ассистентом занимают 6% рынка (без разбивки по брендам).

Рост популярности дисплеев наглядно иллюстрируют цифры: в первом квартале 2018 года доля смарт-дисплеев составляла менее 2 % рынка, в первом квартале 2019-го — 10 %, а к концу 2020 года — уже 26 %.

*Global Smart Speaker Market Report Q3 2020

По состоянию на Q4 2020 года объем продаж умных дисплеев составил чуть более 25% от общих продаж умных колонок. В Q1 2018 доля продаж умных дисплеев менее 2%, в Q1 2019 — порядка 10%

Места размещения умных дисплеев

Места, где принято располагать смарт-дисплеи и колонки весьма прогнозируемы: 44% устройств находится в гостиных, 37% устройств находятся в спальне, 32% — на кухне.

Если в гостиных чаще находятся колонки, так как функцию дисплея на себя берет телевизор, на кухне — смарт-дисплеи, то в спальне главенствуют смарт-будильники и умные часы.

На изображении выше несколько представителей этих устройств. Их объединяет маленький базовый экран, разрешения которого хватает для отображения основной информации, а также микрофонная матрица, динамик и голосовой ассистент. Ценник такого девайса может начинаться от $50. Amazon изначально заняли премиальный сегмент, добавив камеру и качественные динамики.

Отдельно стоит упомянуть свежий релиз умного дисплея от Google — Nest Home Hub 2. Благодаря встроенному mmWave-радару, девайс может следить за фазами и длительностью сна владельца, поэтому подойдет для размещения на прикроватной тумбочке.

С помощью массива микрофонов устройство также способно измерить частоту дыхания, продолжительность храпа и количество покашливаний за ночь.

Распознает ли устройство владельца по храпу — пока не ясно, но мы обязательно протестируем этот момент.

Дисплеи для кухни

В 2018 году компания General Electric анонсировала умную вытяжку с 27-дюймовым тачскрин-экраном, двумя камерами и ассистентом от Google на борту — Kitchen Hub. Вытяжка умеет совершать видеозвонки, позволяет просматривать рецепты и проигрывать видео на дисплее. Голосовое управление устройством осуществляется через пульт.

Уже запустив продажи Kitchen Hub, GE объявили о Kitchen Hub 2, микроволновой печи с экраном. Разработчики поместили третью камеру с искусственным интеллектом внутрь устройства, что позволяет распознавать ингредиенты и готовность блюд. К сожалению, информации о старте продаж пока нет.

На CES 2019 представили еще один прототип смарт-дисплея для кухни — 10-дюймовый KitchenAid Smart Display c Google Assistant от Whirlpool. Его основное отличие — влагозащищенность и олеофобное покрытие дисплея, благодаря которому на поверхности не остаются отпечатки пальцев — обычное дело на кухне. Увы, устройство в продажу так и не поступило.

Дисплеи для других комнат

Компания Kohler в 2018 году анонсировала умное зеркало. К сожалению, его функциональность ограничена только голосовым помощником, и оно не способно отображать информацию. В 2019 году несколько китайских компаний начали разработку умного зеркала с интегрированным дисплеем. Несмотря на большое количество DIY-продуктов, массовых и коммерчески успешных умных зеркал для дома пока не случилось.

Нам хотелось бы заглянуть в будущее и показать, как нам видится концепт умного зеркала, который отлично впишется в любую ванную комнату.

Несколько возможных фич этого устройства:

• Фокус на приватности — без камер + кнопка физического включения микрофона или жест для включения и выключения.
• Электрохромное стекло — изменяемая степень зеркальности и прозрачности в зависимости от условий и контента, который там отображается.
• Влагозащита, в этом поможет использование MEMS-динамиков и пьезо-микрофонов.
• Встроенный mmWave-радар для распознавания пользователей, управления жестами, распознавания параметров жизнедеятельности (температура, пульс, цвет кожных покровов, состояние зрачка). Радар может без использования камер, с сохранением приватности пользователя, распознавать скелет и движения пользователя, считывать частоту сердцебиения и дыхания.

Что же может случиться с рынком смарт-дисплеев в ближайшем будущем?

• Со временем рынок дисплеев станет еще более сегментированным, усилится специализация и сценарии использования устройства: от дисплеев для кухни до усовершенствованных дисплеев в спальне. Например, умный будильник с мягкой подсветкой, которая позволит мягко разбудить пользователя.
• Появление нового сегмента: сегодня на рынке наблюдается нехватка премиальных устройств. Средняя стоимость девайса для дома составляет порядка $400. Возможно, есть потребность со стороны производителей люксовой техники, в том числе и премиальных аудиобрендов.
• Возможно использование технологий-enabler’ов: дисплеи (microLED, AMOLED, 3D дисплеи, проекторы), динамики и микрофоны (массивы CMOS-динамиков, параметрические динамики, дальнейшее наращивание количества микрофонов в матрицах, использование пьезо-микрофонов), радары и сенсоры (mmWave-радары, датчики окружающей среды), connectivity (WiFi 6, 5G).
• Дальнейший рост сегмента при небольшом количестве новых игроков: быть партнером Google / Amazon с большим объемом вложений и низкой маржинальностью готово лишь ограниченное количество компаний. Но все сливки сегодня снимают то небольшое количество игроков, обладающих полной инфраструктурой сервисов.

Дисплеи для B2B

Дисплеи в корпоративном сегменте

Во многих компаниях, особенно из Fortune 500, использование устройств с микрофонами и умных колонок под запретом. Причиной тому огромное недоверие к устройствам с микрофонами и камерами, прежде всего из-за соображений приватности и защиты данных. Одной из немногих компаний, кому удалось зайти в крупный корпоративный сегмент, стала Cisco.

Cisco в 2020 году обновила линейку умных дисплеев для конференц-связи. Сейчас представлены две модели. Младшая модель — 23″, старшая — 27″. Камера — с физической шторкой в обеих моделях. Старшая модель — поддерживает стилус, подключение ноутбука с параллельной его зарядкой, ИИ / динамические фоны, запатентованную систему шумоподавления. Стоимость младшей начинается от $1 490. Стоимость старшей — от $5 990.

Отдельно стоит упомянуть кобрендинг-инициативу от Zoom — Zoom for Home, линейку профессиональных устройств для работы из дома. Рекомендованная розничная стоимость первого устройства линейки — $599. При этом устройство обладает широким набором интерфейсов, начиная с 27″ тач-дисплея с поддержкой пера, заканчивая тремя камерами, массивом из восьми микрофонов и стереодинамиками. При всем при этом, это узкоспециализированное устройство для видеоконференций и презентаций, — прочий функционал урезан на уровне ОС. Не имея экспертизы в сфере электронике, Zoom Inc. привлекли в качестве партнера производителя конференц-решений DTEN, что принесло свои плоды — устройство удостоили звания Best of The Best Red Dot design award в 2019.

Смарт-дисплеи в гостиничном бизнесе

Большой тренд — использование умных колонок и дисплеев в гостиницах.

Несмотря на то, что Amazon запустил Alexa for Hospitality еще в июне 2018 года, поддержка этой программы на Echo Show еще не доступна.

Nest for hospitality — программа и инициатива от Google, направленная на использование смарт-устройств в сетях отелей. Используется кастомная версия Hub Max без камеры (в пользовательской версии камера присутствует, в версии для отеля она убрана) и специальная версия прошивки / UI (ограничен функционал, администрируется удаленно; упор — на приватность, после того, как пользователь выполнил чекаут, вся информация о нем стирается). Основное предназначение дисплея в этом случае — предоставление пользователю информации об услугах отеля и его окрестностях, получение финансовой информации (счет за проживание и доп. услуги) .

Еще один интересный кейс для отелей был представлен компанией CIRQ+ в прошлом году. Данная модульная система позволяет контролировать системы кондиционирования, мультимедиа и освещения. В устройстве есть радар, предназначенный для управления системами. К примеру, если радар находится в другой комнате, то он регулирует интенсивность кондиционирования таким образом, что сэкономить затраты на электроэнергию.

Но, как и во многих других отраслях, Китай опережает западных конкурентов — китайский стартап Xiezhu представил аж пять умных устройств, ориентированных на гостиничный сегмент:

• Дисплей для саморегистрации, призванный заменить сотрудников ресепшне.

• Умный дверной видеозвонок для отелей с возможностью впускать посетителей не вставая с кровати.

• Смарт-дисплей для номеров, интегрированный с системами освещения, климат-контроля и мультимедиа.

• Умный пульт для телевизора с голосовым управлением.

Смарт-дисплеи в телемедицине

Пандемия привела к повышенному интересу к телемедицине, причем, как к сервисам, так и к устройствам для телемедицинских обследований.

Ряд игроков (Amwell, H4D, etc.) анонсировали киоски для телемедицины, центральным элементом которых является умный дисплей. В части устройств — базовые рекомендации / инструкции даются голосовым помощником, а сам процесс происходит под контролем врача.

Позволим себе немного пофантазировать на тему киоска для телемедицины: портативная система, мозгом которой является умный дисплей. Требуется чаще всего направлять экран ближе к пользователю, предполагается автоматическая подстройка на сервоприводах. Массив из камер и сенсоров для отслеживания основных жизненных параметров / показателей.

• Портативная система для телемедицины, центром которой является умный дисплей.
• Автоматическая подстройка положения экрана на сервоприводах.
• Массив из камер для анализа vital signs, мимики.
• Высокочувствительные far-field микрофоны (анализ дыхания, кашля, хрипов).
• Мощность платформы, достаточная для процессинга задач КЗ.

Развитие и популярность технологий смарт-дисплеев обусловлена безусловным спросом на их функционал: от управления умным домом до мониторинга сна и демонстрации рецептов на кухне. Тотальная социальная изоляция еще больше подогрела интерес к таким устройствам, а развитие интернета вещей и технологий беспроводной связи позволит адаптировать использование смарт-дисплеев для более прикладных кейсов, в том числе и в непростых условиях применения.

Читайте также:

Умная одежда: что это такое и как она работает

Ученые представили микроскоп, который позволяет видеть мельчайшие клеточные структуры

Животное ожило после 24 тыс. лет спячки в сибирской вечной мерзлоте