В МТИ компьютер учит языки по картинкам

На конференции по нейронным системам обработки информации исследователи МТИ представили новый метод обучения систем распознавания речи, основанный не на транскрипции, а на сопоставлении изображений и их устных описаний.

«Цель этой работы — заставить машину изучать язык так, как это делает человек», — говорит Джим Гласс, старший научный сотрудник и соавтор исследования. Успехи Siri и Google впечатляют, но метод, который используется для их обучения, очень дорогой, поэтому его применяют только для самых распространенных языков. В мире примерно 7000 языков, но только для 2% из них созданы автоматические системы распознавания устной речи.

Исследователи МТИ создали систему, которая связывает запись устной речи с группой тематически подобранных изображений. Если, к примеру, высказывание ассоциируется с отдельным классом изображений, а у изображений есть текстовое описание, машина может найти транскрипцию без вмешательства человека. Аналогичным образом класс изображений с описанием на разных языках даст возможность сделать автоматический перевод.

Компания DroneShield создала антидроновое ружье

Система, которая изучает визуализацию слов, обладает более широким потенциалом применения, чем стандартная система распознавания речи.

Во время испытаний ученые «скормили» компьютеру базу данных из 1000 изображений, каждое из которых обладало вербальным описанием в аудиоформате. Затем проиграли одну из записей и попросили найти 10 изображений, которые лучше всего подходят к высказыванию. Корректность выбора машины исследователи оценили в 31%, сообщает MIT News.

«Я всегда подчеркиваю, что мы движемся маленькими шагами, и нам предстоит пройти долгий путь, — говорит Гласс. — Но это обнадеживающий старт».

Boom возрождает сверхзвуковые «Конкорды»

С помощью глубоких нейронных сетей исследователи Microsoft добились того, что созданная ими система распознавания речи практически сравнялась с человеком и научилась формировать ассоциации.

Подписывайтесь
на наши каналы в Telegram

«Хайтек»новостионлайн

«Хайтек»Dailyновости 3 раза в день

Первая полоса
Посмотрите, что будет с вами при падении в черную дыру
Новости
Сибирские «врата в подземный мир» растут: что происходит в Батагайке
Новости
Оказалось, в прошлом Марс был больше похож на Землю, чем все думали
Наука
Крепость римских легионеров, которой 2000 лет, нашли рядом с собором
Наука
Терапия светом помогла при травмах позвоночника
Наука
Робот-гуманоид с электроприводом может работать вслепую
Новости
Вакцина заставляет иммунитет бороться с раком мозга, показали испытания на людях
Наука
Вольфрамовый токамак WEST удерживал плазму в течение рекордных 6 минут
Наука
Посмотрите, как робопес, обученный ИИ, балансирует на гимнастическом шаре
Новости
Генная терапия улучшила зрение у людей с наследственной слепотой
Наука
Перед презентацией Apple появились подробности о новых iPad Pro и iPad Air
Новости
Астрономы наблюдали свет вокруг гигантских черных дыр, образовавшихся вскоре после Большого взрыва
Наука
В мозге человека нашли «нейронный компас», который помогает определять направление
Наука
Электричество получили из влаги в воздухе с помощью бактериальных «проводов»
Наука
Разработана вакцина, которая защищает от коронавирусов будущего
COVID-19
Ограничения в работе TikTok не повлияли на популярность социальной сети
Новости
Исчезновение «щита» от солнечной радиации совпало с рассветом жизни на Земле 590 млн лет назад
Наука
Крошечные «бессмертные» черные дыры могут заполнять Вселенную и объяснять темную материю
Наука
Ученые впервые наблюдали, как орангутанг занимается самолечением
Наука
SpaceX не смогла скрыть полет ракеты над Россией: в сети публикуют фото
Космос