Алгоритм VoCo редактирует аудиозаписи, синтезируя человеческую речь

Технология, разработанная учеными Принстонского университета, способна вносить изменения в аудиозапись речи так же, как текстовый редактор исправляет опечатки, добавляет слова или меняет их на синонимы. В перспективе технология позволит роботам разговаривать по-человечески и вернет естественное звучание компьютерному голосу Стивена Хокинга и других людей, лишенных возможности говорить.

Программа VoCo предлагает легкий способ добавлять или менять слова в аудиозаписях, редактируя ее транскрипцию. Новые слова автоматически синтезируются и вставляются в речь, даже если точно таких слов в записи не было.

Такая система, основанная на алгоритме глубокого обучения и воспроизведения звука, может существенно облегчить обработку видеоматериалов и подкастов. А в перспективе — стать основой для придания естественного звучания голосам роботов.

На экране компьютера пользовательский интерфейс VoCo выглядит похожим на программы редактирования аудиофайлов вроде Audacity или GarageBand. Есть окно с визуализированной кривой аудиотрека и инструменты редактирования. Однако, есть и отличия: записанные слова можно изменить, удалить или вставить новые. После этого VoCo синтезирует речь заново, переписывая файл.

«Смыслом жизни бесполезного класса станут компьютерные игры»

Сердцевину VoCo составляет алгоритм оптимизации, умеющий находить лучшую комбинацию фонем, из которых можно составить любое слово. И для этого не обязательно искать фонемы, произнесенные голосом автора — машина может «сшить» их из обрывков звуков и вставить в речь так, что «швов» будет незаметно. Ударение и интонация также сохраняются.

Во время испытаний речь с вкраплениями искусственных фонем давали прослушать группе респондентов. В 60% случаев они принимали ее за полностью человеческую речь, сообщает EurekAlert.

«К нам обратился человек, страдающий от нейродегенеративного заболевания, который мог говорить только через систему преобразования текста в речь, которой он управлял движениями век, — рассказывает один из авторов разработки Цзэюй Цзинь. — Голос его звучал механически, как в устройстве, которое использует Стивен Хокинг. Но он хотел, чтобы его маленькая дочь могла услышать его настоящий голос. Однажды станет возможно проанализировать его прошлые записи и создать на их основе аппарат, который будет говорить его голосом».

7 предсказаний Билла Гейтса, которые должны сбыться

Программу быстрой расшифровки аудиофайлов формата .wav и .mp3 представил недавно китайский поисковик Baidu. Время ее работы сокращено в 1,67 раз по сравнению с аналогами. Пока SwiftScribe работает только с английским языком и бесплатно, но в будущем ее собираются монетизировать.

Подписывайтесь
на наши каналы в Telegram

«Хайтек»новостионлайн

«Хайтек»Dailyновости 3 раза в день

Первая полоса
Чем питался мегалодон на самом деле: учёные пересмотрели рацион гигантской акулы
Наука
Серьезная угроза для Земли скрывается рядом с Венерой: ученые требуют срочной разведки
Космос
Мошенники в Telegram используют новую схему — предлагают «работу» за лайки и крадут деньги
Новости
Патологоанатом рассказал о самых странных и абсурдных причинах смерти
Наука
Эта нейросеть подскажет, почему жена злится и кричит на мужа
Новости
Доступ к крупнейшим запасам золота на Земле нашли в жерле вулкана
Наука
Роботов научили ориентироваться как люди: они запоминают ориентиры, а не карту
Новости
«Вояджеру» сыграют Штрауса: вальс в юбилей композитора отправят в космос
Космос
Нужно в 20 раз меньше кубитов: риски взлома шифрования квантовым компьютером пересмотрели
Новости
Шимпанзе стучат по дереву: это не суеверие, а способ общения
Наука
Тайна свечения грибов: Красноярские ученые объяснили биолюминесценцию
Наука
Университет Иннополис изучает российский рынок промышленных роботов
Иннополис
Ветры черных дыр могут создавать самое мощное излучение во Вселенной
Космос
Донор спермы с редким геном рака стал отцом 67 детей в восьми странах
Наука
Первый турнир по боксу среди гуманоидных роботов прошел в Китае
Новости
Частная космическая компания начала продажи суборбитальных беспилотников
Космос
Новосибирский школьник обучил нейросеть находить поражения сетчатки у младенцев
Наука
SpaceX объяснила взрыв ракеты Starship: новая попытка запуска на этой неделе
Космос
Силикон сделали проводником и заставили сиять: это считалось невозможным
Наука
Разработаны контактные линзы ночного зрения: они позволяют видеть в темноте
Наука