В МТИ компьютер учит языки по картинкам

На конференции по нейронным системам обработки информации исследователи МТИ представили новый метод обучения систем распознавания речи, основанный не на транскрипции, а на сопоставлении изображений и их устных описаний.

«Цель этой работы — заставить машину изучать язык так, как это делает человек», — говорит Джим Гласс, старший научный сотрудник и соавтор исследования. Успехи Siri и Google впечатляют, но метод, который используется для их обучения, очень дорогой, поэтому его применяют только для самых распространенных языков. В мире примерно 7000 языков, но только для 2% из них созданы автоматические системы распознавания устной речи.

Исследователи МТИ создали систему, которая связывает запись устной речи с группой тематически подобранных изображений. Если, к примеру, высказывание ассоциируется с отдельным классом изображений, а у изображений есть текстовое описание, машина может найти транскрипцию без вмешательства человека. Аналогичным образом класс изображений с описанием на разных языках даст возможность сделать автоматический перевод.

Компания DroneShield создала антидроновое ружье

Система, которая изучает визуализацию слов, обладает более широким потенциалом применения, чем стандартная система распознавания речи.

Во время испытаний ученые «скормили» компьютеру базу данных из 1000 изображений, каждое из которых обладало вербальным описанием в аудиоформате. Затем проиграли одну из записей и попросили найти 10 изображений, которые лучше всего подходят к высказыванию. Корректность выбора машины исследователи оценили в 31%, сообщает MIT News.

«Я всегда подчеркиваю, что мы движемся маленькими шагами, и нам предстоит пройти долгий путь, — говорит Гласс. — Но это обнадеживающий старт».

Boom возрождает сверхзвуковые «Конкорды»

С помощью глубоких нейронных сетей исследователи Microsoft добились того, что созданная ими система распознавания речи практически сравнялась с человеком и научилась формировать ассоциации.

Подписывайтесь
на наши каналы в Telegram

«Хайтек»новостионлайн

«Хайтек»Dailyновости 3 раза в день

Первая полоса
Первую операцию по имплантации нейростимулятора для лечения боли провели в России
Наука
GigaChat готовится к выходу в космос: нейросеть от Сбера станет ассистентом космонавтов на МКС
Космос
Млечный Путь может избежать столкновения с Андромедой: но есть нюанс
Космос
Россия развернет 886 спутников «Рассвет» для интернета до 2030 года
Космос
Юра Борисов может сыграть сооснователя OpenAI, разработавшей ChatGPT: что известно прямо сейчас
Новости
Физики создали «самую маленькую скрипку в мире»: она тоньше человеческого волоса
Новости
Воссоздан рецепт производства древнейшего красителя: его использовали в Древнем Египте
Наука
Конкурент Neuralink впервые испытал мозговой имплантат на человеке
Новости
Спутник показал гигантские волны, которые девять дней сотрясали Землю
Наука
Ученые раскрыли секрет памяти: как мозг запоминает и воспоминает информацию
Наука
Экспериментальные российские спутники связи выведут на орбиту уже в этом году: что о них известно
Наука
Подо льдами Антарктиды нашли следы затерянного мира
Наука
Физики поняли, что произошло в первые секунды Вселенной: это их удивило
Космос
Секретный ИИ-гаджет от OpenAI принесет миллионы вдове Джобса: о чем идет речь
Новости
Отец устал слушать сына и «сбагрил» его ChatGPT: что из этого вышло
Новости
Выяснилось, что влияет на самооценку мужчин на самом деле
Наука
Ютубер собрал из «мусора» ручной лазер, прожигающий алмазы
Новости
Физики придумали, как создать настольный ускоритель частиц с мощностью гигантских установок
Наука
Китайский робот научился готовить пельмени и пользоваться палочками
Новости
Цифровые лидеры нового времени: объявлены лауреаты ежегодной Премии Digital Leaders-2025
Новости