Доступность — это еще одна растущая область исследований «ИИ для добра», которую Монреальский стартап Stradigi AI намерен продвигать с помощью нового инструмента для глухих и слабослышащих. На конференции NeurIPS 2018 в Монреале компания показала игру, в которой компьютерное зрение помогает людям изучать американский язык жестов — амслен.
The ASL Alphabet Game разработали в партнерстве с Центром помощи для слабослышащих — канадской организацией, которая стремится предоставить базовые навыки грамотности и социализации глухим. «Есть очень много людей, спрашивающих, как ИИ может внести позитивный вклад [в общество], — отметили разработчики. — Мы подумали, что это будет хорошим способом показать, как мы можем изменить ситуацию».
Игроки зарабатывают очки за имитацию 26 букв алфавита на американском языке жестов, которые сверхточные нейронные сети, обученные на коллекции из более чем 100 тыс. изображений, классифицируют в почти реальном времени.
Видео, из которых были собраны изображения, тщательно выбрали, чтобы минимизировать предвзятость. Исследователи пояснили, что нейронная сеть, обученная по нерепрезентативному набору данных, имела бы проблемы с распознаванием знаков, сделанных людьми определенных этнических групп, или с длинными пальцами и крупными украшениями.
Оценка жеста выполняется трехэтапным инструментом, который учитывает места соединения рук, когда они расположены перед веб-камерой. Модель передает обрезанные изображения во вторую нейронную сеть для классификации, которая создает тепловые карты со все более точными оценками жестикуляции игрока.
Система искусственного интеллекта точна на 99.03%. Это примерно на полпроцента лучше, чем в случае Google Inception V4 (98,50%), и почти на 2% лучше, чем популярный алгоритм Xception (97,37%).
На разработку всей игры ушло около полутора месяцев при участии всех сотрудников Stradigi AI — это не только 30 исследователей, но и графические дизайнеры, разработчики программного обеспечения.