Сообщить об ошибке на сайте
URL
Ошибка
Идеи

Навыком чтения по губам владеют единицы, большинство людей распознает лишь одно слово из 10. Созданный оксфордскими учеными машинный алгоритм смог превзойти этот барьер — система LipNet практически в реальном времени расшифровывает текст с беззвучного видеоролика и делает это с высокой точностью. Однако говорить о революции в расшифровке беззвучной речи пока рано, так как система работает только со специфичным набором данных.

Ученые из Оксфордского университета при фондовой поддержке знаменитого стартапа DeepMind (создатели алгоритма для игры в го AlphaGo) разработали программу для чтения по губам на основе глубокого обучения. Алгоритм LipNet расшифровывает сказанное с точностью до 93,4%. Для сравнения средний показатель точности у профессионального чтеца по губам составляет 52,3%, а общий диапазон варьируется от 20% до 60%. В предыдущих экспериментах максимальная точность алгоритмов составляла 79,6%.

В отличие от других ИИ-систем для чтения по губам, LipNet не изучала отдельные визуальные фонемы, то есть внешний вид губ при произнесении конкретных звуков. Как пишет Quartz, разработка британских ученых обрабатывает предложения целиком и самостоятельно определяет, какая буква соответствует каким мимическим движениям.

Несмотря на внушительные показатели, главный недостаток системы — это ее ограниченность. Ученые использовали строго проработанный набор данных GRID. В этот набор входят 29 000 коротких видеороликов с субтитрами, записанных волонтерами. Они зачитывают бессмысленные предложения, выстроенные по структуре: командный глагол, цвет, предлог, буква, цифра и наречие. Например: «Установи синий к А четыре, пожалуйста» (set blue by A four please). При этом глаголов всего четыре, как и цветов.

Кроме того, люди на видео стоят в анфас под хорошим освещением, что делает процесс угадывания еще более простым. Отсюда можно сделать вывод, что прочитать по губам послание незнакомца с видеоролика на YouTube с почти 100%-ной точностью алгоритм, вероятнее всего, не сможет. С другой стороны, этот факт должен успокоить тех, кто опасается тотальной слежки.

Эксперт из организации OpenAI Джек Кларк считает, что для развития технологий чтения по губам необходимо использовать больше видеороликов с реалистичной обстановкой, обучать ИИ расшифровывать текст даже под углом, а также расширить диапазон доступных фраз. Кларк полагает, что алгоритмы, аналогичные LipNet, рано или поздно появятся и помогут глухонемым людям общаться с другими людьми, а также позволят мгновенно создавать точные субтитры к видеороликам.

Альтернативный подход недавно представили российские разработчики. Браслет uSEEband крепится на внутренней стороне ладони и с помощью встроенных сенсоров и программной нейросети распознает 32 буквы русского жестового языка. Таким образом, жесты автоматически преобразуются в текст на экране смартфона.

Подписывайтесь на наши каналы в Telegram

«Хайтек» - новости онлайн по мере их появления

«Хайтек» Daily - подборки новостей 2 раза в день

перейдите по одной из ссылок и нажмите кнопку Join
Новая технология позволит редактировать гены клеток мозга
Исследования мозга
МТИ начал выдавать дипломы на блокчейне
Блокчейн-технологии
К концу года мощность солнечной энергетики Китая достигнет 50 ГВт
Тренды
Тим Кук лично ответил поклоннику Mac mini о будущем модели
ИТ-компании
Тренды
Amazon станет первой в мире компанией, которая стоит $1 трлн
Молекулы-самоубийцы могут защитить нас от рака
Борьба с раком
Blue Origin впервые провела огневые испытания своего двигателя BE-4
Частный космос
Уникальная бетонная крыша превращает жилой дом в электростанцию
Солнечная энергетика
Toyota Sora — новый водородный автобус для гостей Олимпийских игр
Транспорт будущего
Ученые создали двумерный «идеальный» транзистор
Новая электроника
Huawei добилась 20 Гбит/с в испытаниях 5G Dual Connectivity
Переход на 5G
Сингапурские ученые делают фотоэлементы из меди, цинка и олова
Энергия солнца
Транспорт будущего
Маск купил еще одну буровую машину и роет тоннель в Вашингтон
В Швеции выбрали место для строительства конкурента Gigafactory
Тренды
Россия получила рекордное количество медалей на World Skills 2017
Кейсы
Эндрю Ын возглавил стартап, разрабатывающий чатбота-психотерапевта
Кейсы
Блокчейн может трансформировать сферу туризма
Блокчейн-технологии
Водоросли помогли улучшить органические солнечные элементы
Солнечная энергия
Veo Robotics переложит тяжелый труд на плечи роботов
Робототехника
Соцпособия будущего
Блокчейн и криптовалюты совершат революцию в БОД
Flare — камера слежения с ИИ для умного дома
Умный дом
Разработана компьютерная память молекулярного уровня
Компьютерная память
5 открытий в сфере гравитационных волн, которые изменили астрофизику
Астрофизика
4 фактора, которые преобразят IoT
Интернет вещей
Синтезирован препарат, эффективно подавляющий ВИЧ
Лечение ВИЧ
«Вертолеты России» покажут электрический конвертоплан в 2019 году
Городская авиация
Идеи
Toyota создала водородный минивэн с дальностью хода 1000 км
Число криптовалютных хедж-фондов перевалило за сотню
Тренды
Тренды
В США стартует первый государственный эксперимент с выплатой БОД
В Китае открыли роботизированную промзону за $300 млн
Промышленная робототехника
В Канаде начали тестировать робомобили на дорогах общего пользования
Беспилотные автомобили
В Шотландии запущена первая плавучая ветровая ферма
Ветровая энергетика
Робот-садовник поливает и защищает растения от вредителей
Робототехника
Виталик Бутерин: «Центробанкам еще далеко до введения криптовалют»
Криптовалюты
Электромопед от Honda станет домашней системой хранения энергии
Электромотоциклы
Eviation обещает запустить авиационный Uber в 2019 году
Электроавиация
Роберт Уразов: «На смену дипломам приходят паспорта навыков»
Тренды
Биосфера
Ученые не могут объяснить резкое сокращение числа летающих насекомых
Китай выпустит 1 млн электромобилей в 2018 году
Электромобили
ИИ от DeepMind стал гроссмейстером по игре го за 3 дня
Искусственный интеллект
Центробанк Бразилии признал биткойн финансовой пирамидой
Криптовалюты
«Мозги» беспилотной системы Apple размещаются на крыше автомобиля
Беспилотный транспорт
Новое открытие приближает появление квантовых компьютеров
Нанотехнологии
В 2018 году Baidu запустит в Китае беспилотный автобус
Беспилотный транспорт
Garmin Speak — умный автонавигатор с Alexa
Умный автомобиль
Daimler показала, на что способны ее беспилотные грузовики
Беспилотный транспорт
Рейтинг лучших
11 главных инженерных инноваций 2017 года
Электробайки Zero станут в 2018 году быстрее, мощнее, выносливее
Транспорт будущего
Samsung хочет подключить всю бытовую технику к IoT
Интернет вещей