Вместо ручной аннотации, система распознавания голоса учится на видео. На первом этапе система компьютерного зрения анализирует большое количество видеороликов и определяет их основные объекты и сцены. После этого новый алгоритм устанавливает корреляцию между визуальными объектами и звуками из реального мира.
Разработчики протестировали свою систему на двух стандартных базах аудиозаписей и результат получился на 13-15% выше предшествующих алгоритмов. На выборке, состоящей из 10 различных звуковых категорий, алгоритм показал точность 92%, на 50 категориях — 74%. У человека точность определения на тех же базах данных составляет 96% и 81% соответственно.
При этом собирать аудиоданные гораздо проще, чем изображения или видео, поэтому ученые пророчат широкое применение и еще большее развитие алгоритмам распознавания звуков. Когда системы научатся разбираться в окружающем шуме, то это повысит эффективность во многих смежных областях. Так автопилоты автомобилей, могут не увидеть технику экстренных служб, но они всегда слышат сирены — и предпримут нужные действия. Телефоны смогут разбираться окружающей среде и отключать звук в театрах. Автономные роботы станут чувствовать себя более естественно.
Ученые создали батарейку из ядерных отходов
Кейсы
При этом машинам теперь даже не обязательно слышать то, о чем говорит человек. Оксфордские ученые создали алгоритм, который умеет читать по губам с точностью 93%. Осталось дождаться, когда все эти технологии дойдут до конечного пользователя.