Алгоритм VoCo редактирует аудиозаписи, синтезируя человеческую речь

Технология, разработанная учеными Принстонского университета, способна вносить изменения в аудиозапись речи так же, как текстовый редактор исправляет опечатки, добавляет слова или меняет их на синонимы. В перспективе технология позволит роботам разговаривать по-человечески и вернет естественное звучание компьютерному голосу Стивена Хокинга и других людей, лишенных возможности говорить.

Программа VoCo предлагает легкий способ добавлять или менять слова в аудиозаписях, редактируя ее транскрипцию. Новые слова автоматически синтезируются и вставляются в речь, даже если точно таких слов в записи не было.

Такая система, основанная на алгоритме глубокого обучения и воспроизведения звука, может существенно облегчить обработку видеоматериалов и подкастов. А в перспективе — стать основой для придания естественного звучания голосам роботов.

На экране компьютера пользовательский интерфейс VoCo выглядит похожим на программы редактирования аудиофайлов вроде Audacity или GarageBand. Есть окно с визуализированной кривой аудиотрека и инструменты редактирования. Однако, есть и отличия: записанные слова можно изменить, удалить или вставить новые. После этого VoCo синтезирует речь заново, переписывая файл.

«Смыслом жизни бесполезного класса станут компьютерные игры»

Сердцевину VoCo составляет алгоритм оптимизации, умеющий находить лучшую комбинацию фонем, из которых можно составить любое слово. И для этого не обязательно искать фонемы, произнесенные голосом автора — машина может «сшить» их из обрывков звуков и вставить в речь так, что «швов» будет незаметно. Ударение и интонация также сохраняются.

Во время испытаний речь с вкраплениями искусственных фонем давали прослушать группе респондентов. В 60% случаев они принимали ее за полностью человеческую речь, сообщает EurekAlert.

«К нам обратился человек, страдающий от нейродегенеративного заболевания, который мог говорить только через систему преобразования текста в речь, которой он управлял движениями век, — рассказывает один из авторов разработки Цзэюй Цзинь. — Голос его звучал механически, как в устройстве, которое использует Стивен Хокинг. Но он хотел, чтобы его маленькая дочь могла услышать его настоящий голос. Однажды станет возможно проанализировать его прошлые записи и создать на их основе аппарат, который будет говорить его голосом».

7 предсказаний Билла Гейтса, которые должны сбыться

Программу быстрой расшифровки аудиофайлов формата .wav и .mp3 представил недавно китайский поисковик Baidu. Время ее работы сокращено в 1,67 раз по сравнению с аналогами. Пока SwiftScribe работает только с английским языком и бесплатно, но в будущем ее собираются монетизировать.

Подписывайтесь
на наши каналы в Telegram

«Хайтек»новостионлайн

«Хайтек»Dailyновости 3 раза в день

Первая полоса
Антидот от 13 ядовитых змей получили из крови донора, которого укусили 856 раз
Наука
Телескоп «Чандра» наблюдал причину «перелома кости» в центре Млечного Пути
Космос
Оптический транзистор разогнали до 240 ГГц: это основа для компьютеров нового поколения
Новости
Google бросает вызов ChatGPT: в поисковике появилась вкладка с ИИ
Новости
Посмотрите, как рождаются планеты: опубликованы самые четкие изображения в истории
Космос
Рыбы в виртуальной реальности обучают роботов двигаться косяками
Новости
У мертвой звезды нашли самую холодную из известных планет
Космос
После обновления ChatGPT стал подхалимом: OpenAI объяснила, что случилось
Новости
«Википедия» внедрит ИИ: это будет работать и что станет с редакторами
Новости
Поднимет и авианосец: для реактора ИТЭР сделали мощнейший магнит в мире
Наука
Посмотрите на маневренный дрон с крыльями, как у белки-летяги
Новости
Недалеко от Земли нашли странную группу молодых звезд, стремящихся разлететься в разные стороны
Космос
Летучие мыши учатся подслушивать за сексом лягушек, чтобы выбрать добычу
Наука
В МФТИ разработана технология для создания долговечной памяти электронных устройств
Наука
Зонд «Юнона» рассмотрел холодный северный полюс Юпитера
Космос
Роботы-собаки Unitree стреляют водой на 60 метров, чтобы тушить пожары
Новости
Самки бонобо научились держать самцов «в узде»: как им удалось
Наука
Снайперы застрелили с вертолетов 700 коал: власти Австралии объяснили, зачем это сделали
Наука
Бесплатную смену по подготовке к ЕГЭ проведут в Университете Иннополис 
Новости
Назван неожиданный напиток, который может снизить риск остановки сердца
Наука