В новой версии Translate компания отказалась от технологии перевода речи в текст, а затем озвучивания ее. Такой подход часто приводит к ошибкам при переводе, говорится в сообщении Google.
Вместо этого речь говорящего напрямую переводится с одного языка на другой. Разработанная компанией нейросеть принимает голосовой ввод, обрабатывает его как спектрограмму — визуальное представление частот — и генерирует на ее основе новую спектрограмму на целевом языке.
Как отмечает Engadget, переведенная речь все еще звучит немного роботизированной, однако компании удалось добиться того, что ИИ считывает и воспроизводит некоторые особенности речи говорящего. Послушать, как звучит выполненный алгоритмом перевод с одного языка на другой, можно здесь.
Ранее Google объявил о планах научить свой алгоритм распознавания голоса понимать слова людей, страдающих нарушениями речевого аппарата.