Сообщить об ошибке на сайте
URL
Ошибка
Идеи

Навыком чтения по губам владеют единицы, большинство людей распознает лишь одно слово из 10. Созданный оксфордскими учеными машинный алгоритм смог превзойти этот барьер — система LipNet практически в реальном времени расшифровывает текст с беззвучного видеоролика и делает это с высокой точностью. Однако говорить о революции в расшифровке беззвучной речи пока рано, так как система работает только со специфичным набором данных.

Ученые из Оксфордского университета при фондовой поддержке знаменитого стартапа DeepMind (создатели алгоритма для игры в го AlphaGo) разработали программу для чтения по губам на основе глубокого обучения. Алгоритм LipNet расшифровывает сказанное с точностью до 93,4%. Для сравнения средний показатель точности у профессионального чтеца по губам составляет 52,3%, а общий диапазон варьируется от 20% до 60%. В предыдущих экспериментах максимальная точность алгоритмов составляла 79,6%.

В отличие от других ИИ-систем для чтения по губам, LipNet не изучала отдельные визуальные фонемы, то есть внешний вид губ при произнесении конкретных звуков. Как пишет Quartz, разработка британских ученых обрабатывает предложения целиком и самостоятельно определяет, какая буква соответствует каким мимическим движениям.

Несмотря на внушительные показатели, главный недостаток системы — это ее ограниченность. Ученые использовали строго проработанный набор данных GRID. В этот набор входят 29 000 коротких видеороликов с субтитрами, записанных волонтерами. Они зачитывают бессмысленные предложения, выстроенные по структуре: командный глагол, цвет, предлог, буква, цифра и наречие. Например: «Установи синий к А четыре, пожалуйста» (set blue by A four please). При этом глаголов всего четыре, как и цветов.

Кроме того, люди на видео стоят в анфас под хорошим освещением, что делает процесс угадывания еще более простым. Отсюда можно сделать вывод, что прочитать по губам послание незнакомца с видеоролика на YouTube с почти 100%-ной точностью алгоритм, вероятнее всего, не сможет. С другой стороны, этот факт должен успокоить тех, кто опасается тотальной слежки.

Эксперт из организации OpenAI Джек Кларк считает, что для развития технологий чтения по губам необходимо использовать больше видеороликов с реалистичной обстановкой, обучать ИИ расшифровывать текст даже под углом, а также расширить диапазон доступных фраз. Кларк полагает, что алгоритмы, аналогичные LipNet, рано или поздно появятся и помогут глухонемым людям общаться с другими людьми, а также позволят мгновенно создавать точные субтитры к видеороликам.

Альтернативный подход недавно представили российские разработчики. Браслет uSEEband крепится на внутренней стороне ладони и с помощью встроенных сенсоров и программной нейросети распознает 32 буквы русского жестового языка. Таким образом, жесты автоматически преобразуются в текст на экране смартфона.

Подписывайтесь на наши каналы в Telegram

«Хайтек» - новости онлайн по мере их появления

«Хайтек» Daily - подборки новостей 2 раза в день

перейдите по одной из ссылок и нажмите кнопку Join
Nikola представила сверхмощный электровездеход
Электромобили
Microsoft разработала систему ускоренного обучения ИИ
Обучение машин
Идеи
10 главных научных открытий 2017 года
Lilium обещает вывести летающие такси на рынок в 2025 году
Летающие такси
Открыт новый тип электропроводности
Идеи
Фотосинтез бактерий-«киборгов» в 40 раз эффективнее, чем у растений
Идеи
Apple протестирует беспилотный автобус для сотрудников
Беспилотный транспорт
Эстония запустит эсткойн — национальную криптовалюту
Криптовалюты
К 2020 году вся линейка бытовых приборов Samsung получит ИИ-функции
Тренды
Человеческий мозг может предсказывать будущее
Нейротехнологии
ИИ предскажет деменцию до появления симптомов
Деменция
Мексика выпустит свой первый электромобиль
Тренды
Электроавиация
Электросамолет Sun Flyer выгоднее бензиновых аналогов
Хакеры взламывают криптокошельки через номера мобильных телефонов
Криптовалюты
Возрожден проект ядерного реактора на расплавах солей тория
Ядерная энергетика
Entocycle разводит съедобных личинок
Еда будущего
Медицинские технологии
Разработана вакцина, дающая иммунитет к героину
Дома-электростанции набирают популярность в США
Возобновляемая энергетика
Блокчейн-платформа TRON — это новый Alibaba
Криптовалюты
Марк Кьюбан инвестировал в венчурный криптовалютный фонд
Тренды
Проведена первая биткойн-транзакция со спутника
Кейсы
В Гарварде создают пробиотик, превращающий обычных людей в спортсменов
Спорт
В процессорах Intel Core 8-го поколения будет 6 ядер
Железо
Миллиардеры делают ставку на космический бизнес
Тренды
«Запрет роботов-убийц не имеет смысла»
Мнения
В Великобритании приравняли онлайн-преступления к обычным
Онлайн-преступления
Нанолазер уничтожает клетки рака
Борьба с раком
3D-печать
Новый 3D-принтер печатает пластиковые инструменты, крепкие как сталь
Хранение энергии
Cтартап использует поезда для хранения энергии
Солнечный самолет совершит первый полет в стратосферу в 2018 году
Транспорт будущего
В США криптовалюты хотят приравнять к доллару
Тренды
Распознавание лиц избавит человечество от паролей и ключей
Распознавание лиц
«Ледяные батареи» сократят потребление энергии на 95%
Чистая энергия
Sky Hopper — грузовой конвертоплан на электротяге
Идеи
Uber предложили объединить с Tesla
Технологические компании
«Электронная кожа» соберет данные о состоянии здоровья
Идеи
Aspire откроет роботизированную ферму по выращиванию насекомых
Тренды
В Великобритании создали самого маленького робота-хирурга
Робот-врач
Топ-5 функций Oreo — новой ОС Android
Мобильные технологии
«Формула-1» проведет киберспортивный чемпионат мира
Кейсы
Ford может полностью перейти на электромобили
Электромобили
Искусственный интеллект
«Из-за ИИ придется пересмотреть отношение к образованию и карьере»
Открыт новый класс химических реакций
Научные открытия
«Роботы уничтожат средний класс»
Мнения
Энди Рубин: «ИИ-смартфон станет виртуальной копией пользователя»
Мнения
Wal-Mart запатентовала летающий склад-дирижабль
Идеи
Транспорт будущего
«Дни двигателя внутреннего сгорания сочтены»
Один день на крупнейшей в мире китайской биткойн-шахте
Криптовалюты
Японские ученые продлили срок службы солнечных модулей из перовскитов
Идеи
Найден способ предотвращения нестабильности термоядерной реакции
Термоядерный синтез
«Дети должны обучаться программированию с двух лет»
Образование
К 2021 году в России будет использоваться 12,8 млн VR-шлемов
Мнения
ИИ научился видеть скрытые аналогии
Обучение машин