Новая игра с помощью ИИ позволит выучить язык жестов

Разработчики смогли создать самую точную модель определения жестов.

Доступность — это еще одна растущая область исследований «ИИ для добра», которую Монреальский стартап Stradigi AI намерен продвигать с помощью нового инструмента для глухих и слабослышащих. На конференции NeurIPS 2018 в Монреале компания показала игру, в которой компьютерное зрение помогает людям изучать американский язык жестов — амслен.

The ASL Alphabet Game разработали в партнерстве с Центром помощи для слабослышащих — канадской организацией, которая стремится предоставить базовые навыки грамотности и социализации глухим. «Есть очень много людей, спрашивающих, как ИИ может внести позитивный вклад [в общество], — отметили разработчики. — Мы подумали, что это будет хорошим способом показать, как мы можем изменить ситуацию».

Игроки зарабатывают очки за имитацию 26 букв алфавита на американском языке жестов, которые сверхточные нейронные сети, обученные на коллекции из более чем 100 тыс. изображений, классифицируют в почти реальном времени.

Видео, из которых были собраны изображения, тщательно выбрали, чтобы минимизировать предвзятость. Исследователи пояснили, что нейронная сеть, обученная по нерепрезентативному набору данных, имела бы проблемы с распознаванием знаков, сделанных людьми определенных этнических групп, или с длинными пальцами и крупными украшениями.

Оценка жеста выполняется трехэтапным инструментом, который учитывает места соединения рук, когда они расположены перед веб-камерой. Модель передает обрезанные изображения во вторую нейронную сеть для классификации, которая создает тепловые карты со все более точными оценками жестикуляции игрока.

Система искусственного интеллекта точна на 99.03%. Это примерно на полпроцента лучше, чем в случае Google Inception V4 (98,50%), и почти на 2% лучше, чем популярный алгоритм Xception (97,37%).

На разработку всей игры ушло около полутора месяцев при участии всех сотрудников Stradigi AI — это не только 30 исследователей, но и графические дизайнеры, разработчики программного обеспечения.

Подписывайтесь
на наши каналы в Telegram

«Хайтек»новостионлайн

«Хайтек»Dailyновости 3 раза в день

Первая полоса
Китай построит «фабрику элементарных частиц» для поиска темной материи
Наука
«Звездотрясения» разрывают нейтронные звезды перед столкновением с черной дырой
Космос
Эксперты: DeepSeek использовала Gemini от Google для обучения своей модели ИИ
Новости
ИИ научился диагностировать депрессию и аутизм по сканам мозга
Наука
Астрономы раскрыли тайну происхождения экстремально горячей экзопланеты
Космос
Исследователь Университета Иннополис получил премию посла Китая в области искусственного интеллекта
Иннополис
Посмотрите на мощное извержение Этны из космоса: что происходит прямо сейчас 
Космос
Первую операцию по имплантации нейростимулятора для лечения боли провели в России
Наука
GigaChat готовится к выходу в космос: нейросеть от Сбера станет ассистентом космонавтов на МКС
Космос
Млечный Путь может избежать столкновения с Андромедой: но есть нюанс
Космос
Россия развернет 886 спутников «Рассвет» для интернета до 2030 года
Космос
Юра Борисов может сыграть сооснователя OpenAI, разработавшей ChatGPT: что известно прямо сейчас
Новости
Физики создали «самую маленькую скрипку в мире»: она тоньше человеческого волоса
Новости
Воссоздан рецепт производства древнейшего красителя: его использовали в Древнем Египте
Наука
Конкурент Neuralink впервые испытал мозговой имплантат на человеке
Новости
Спутник показал гигантские волны, которые девять дней сотрясали Землю
Наука
Ученые раскрыли секрет памяти: как мозг запоминает и воспоминает информацию
Наука
Экспериментальные российские спутники связи выведут на орбиту уже в этом году: что о них известно
Наука
Подо льдами Антарктиды нашли следы затерянного мира
Наука
Физики поняли, что произошло в первые секунды Вселенной: это их удивило
Космос