В МТИ компьютер учит языки по картинкам

На конференции по нейронным системам обработки информации исследователи МТИ представили новый метод обучения систем распознавания речи, основанный не на транскрипции, а на сопоставлении изображений и их устных описаний.

«Цель этой работы — заставить машину изучать язык так, как это делает человек», — говорит Джим Гласс, старший научный сотрудник и соавтор исследования. Успехи Siri и Google впечатляют, но метод, который используется для их обучения, очень дорогой, поэтому его применяют только для самых распространенных языков. В мире примерно 7000 языков, но только для 2% из них созданы автоматические системы распознавания устной речи.

Исследователи МТИ создали систему, которая связывает запись устной речи с группой тематически подобранных изображений. Если, к примеру, высказывание ассоциируется с отдельным классом изображений, а у изображений есть текстовое описание, машина может найти транскрипцию без вмешательства человека. Аналогичным образом класс изображений с описанием на разных языках даст возможность сделать автоматический перевод.

Компания DroneShield создала антидроновое ружье

Система, которая изучает визуализацию слов, обладает более широким потенциалом применения, чем стандартная система распознавания речи.

Во время испытаний ученые «скормили» компьютеру базу данных из 1000 изображений, каждое из которых обладало вербальным описанием в аудиоформате. Затем проиграли одну из записей и попросили найти 10 изображений, которые лучше всего подходят к высказыванию. Корректность выбора машины исследователи оценили в 31%, сообщает MIT News.

«Я всегда подчеркиваю, что мы движемся маленькими шагами, и нам предстоит пройти долгий путь, — говорит Гласс. — Но это обнадеживающий старт».

Boom возрождает сверхзвуковые «Конкорды»

С помощью глубоких нейронных сетей исследователи Microsoft добились того, что созданная ими система распознавания речи практически сравнялась с человеком и научилась формировать ассоциации.

Подписывайтесь
на наши каналы в Telegram

«Хайтек»новостионлайн

«Хайтек»Dailyновости 3 раза в день

Первая полоса
Этот ядерный двигатель поможет быстрее долететь до Марса: как он работает
Космос
Запуск Falcon 9 завершился успехом: что было на борту миссии
Космос
Прототип Boom Supersonic XB-1 приблизился к звуковому барьеру
Новости
Ученые заглянули внутрь нейтронных звезд, используя квантовую физику
Космос
Квантовые симуляторы: объяснение от ученого
Мнения
Источник в СМИ назвал возможную причину сбоя рунета
Новости
Мошенники начали выдавать себя за начальников в рабочих чатах: как это работает
Новости
Холодные атомы этого металла могут создавать новые состояния материи
Наука
Древние артефакты в Украине раскрыли тайны навигации викингов
Наука
Послушайте, как звучат вспышки на Солнце: данные собрал Solar Orbiter  
Космос
Тяжелый беспилотник на водородных топливных ячейках впервые испытали в Китае
Новости
Ученые создали катализатор, который нарушает законы физики
Наука
Физики обнаружили необычные магнитные свойства в трехслойном графене
Наука
Биоинженеры создали ДНК-робота, который может менять форму искусственной клетки
Наука
«Горы» на нейтронных звездах могут вызывать рябь в пространстве-времени
Космос
На телах древних мумий из Перу нашли сложные узоры татуировок
Наука
У черной дыры прячется белый карлик, движущийся с половиной скорости света
Космос
Стартап из России разрабатывает нанопротез для восстановления поврежденных нервов
Наука
Генетики разгадали секреты выживания устойчивой к антибиотикам бактерии
Наука
Астрофизики разгадали тайну космических ускорителей частиц
Космос