В МТИ компьютер учит языки по картинкам

На конференции по нейронным системам обработки информации исследователи МТИ представили новый метод обучения систем распознавания речи, основанный не на транскрипции, а на сопоставлении изображений и их устных описаний.

«Цель этой работы — заставить машину изучать язык так, как это делает человек», — говорит Джим Гласс, старший научный сотрудник и соавтор исследования. Успехи Siri и Google впечатляют, но метод, который используется для их обучения, очень дорогой, поэтому его применяют только для самых распространенных языков. В мире примерно 7000 языков, но только для 2% из них созданы автоматические системы распознавания устной речи.

Исследователи МТИ создали систему, которая связывает запись устной речи с группой тематически подобранных изображений. Если, к примеру, высказывание ассоциируется с отдельным классом изображений, а у изображений есть текстовое описание, машина может найти транскрипцию без вмешательства человека. Аналогичным образом класс изображений с описанием на разных языках даст возможность сделать автоматический перевод.

Компания DroneShield создала антидроновое ружье

Система, которая изучает визуализацию слов, обладает более широким потенциалом применения, чем стандартная система распознавания речи.

Во время испытаний ученые «скормили» компьютеру базу данных из 1000 изображений, каждое из которых обладало вербальным описанием в аудиоформате. Затем проиграли одну из записей и попросили найти 10 изображений, которые лучше всего подходят к высказыванию. Корректность выбора машины исследователи оценили в 31%, сообщает MIT News.

«Я всегда подчеркиваю, что мы движемся маленькими шагами, и нам предстоит пройти долгий путь, — говорит Гласс. — Но это обнадеживающий старт».

Boom возрождает сверхзвуковые «Конкорды»

С помощью глубоких нейронных сетей исследователи Microsoft добились того, что созданная ими система распознавания речи практически сравнялась с человеком и научилась формировать ассоциации.

Подписывайтесь
на наши каналы в Telegram

«Хайтек»новостионлайн

«Хайтек»Dailyновости 3 раза в день

Первая полоса
Подросток установил шесть рекордов по математике за день: в чем секрет
Новости
Эту звезду искали 40 лет: она состоит из очень необычной материи
Новости
Найдена связь между взрывом сверхновой и эволюции жизни на Земле
Новости
«Случайность маловероятна»: в Балтике поврежден интернет-кабель
Новости
SpaceX запустит телескоп для защиты Земли: как он будет работать
Новости
Ученые создают датчики, похожие на усики комаров, для обнаружения землетрясений
Наука
ИИ диагностирует диабет, ВИЧ и COVID по одному образцу крови
Наука
Китайские генетики создали «рис для укрепления здоровья сердечной системы»
Наука
Тяжелое генетическое заболевание вылечили до рождения в утробе матери
Наука
Высокоскоростная съемка показала, что происходит с каплей при падении в бассейн
Наука
В России создали ИИ-платформу для ускоренной разработки лекарств
Иннополис
Физики побили рекорд Китая по удержанию плазмы в искусственном Солнце
Наука
Мертвая галактика посылает мощные радиовсплески: ученые не могут это объяснить  
Космос
«Невозможная» пара звезд-вампиров странно ведет себя в космосе
Космос
В iPhone 16e стоят чипы, которые оказались недостаточно хороши для iPhone 16
Новости
Выяснилось, как темная тема на сайтах влияет на гаджеты
Новости
Ученые впервые создали «пластичный» инопланетный лед
Наука
В каких странах больше боятся замены людей на ИИ, показало исследование
Наука
Мини-землетрясения под ледяным щитом Гренландии могут изменить уровень моря
Наука
Посмотрите, как Blue Ghost летит над обратной стороной Луны
Космос