;
Новости 18 октября 2021

Facebook собрал самый крупный датасет, чтобы обучать алгоритмы поведению человека

Далее

Исследователи собрали самый крупный датасет от первого лица, чтобы обучать алгоритмы очков дополненной реальности и голосовых помощников пониманию того, что именно делает человек.

Разработчики из Facebook AI и еще из 13 университетов создали самый объемный датасет видеороликов, которые сняты от первого лица. Эти данные помогут исследователям во время обучения алгоритмов компьютерного зрения, которые анализируют окружающую остановку с человеческого ракурса.

В сборе данных участвовали 855 добровольцев из 74 городов и 9 стран. Они снимали ролики с помощью камеры и умных очков. Во время съемки участники занимались повседневными делами: готовили еду, выбирали продукты в магазине, общались с другими людьми. Общая длина записей составила 3 025 часов.

Для каждого отдельного ролика есть описание того, что в нем происходит. Также для части видео есть и другие подробные данные о звуке, трехмерной модели помещения, направлении взгляда, а также стереоскопические кадры, снятые носимой стереокамерой с одного человека и набор синхронизированных роликов, сделанных разными людьми в одном месте и в одно время, например, во время настольной игры.

Также на собранных данных можно обучиться конкретным навыкам, для этого были созданы специальные тематические модули:

  • Для обучения эпизодической памяти, когда алгоритм должен ответить на вопрос о произошедших событиях, например, во сколько у меня был вчера прием у врача.
  • Предсказание будущих действий, например, не забыть посолить блюдо или убрать вещи из стиральной машинки. 
  • Понимание того, что делает человек и как двигаются объекты в кадре.
  • Отслеживание разговора и понимание того, кто что сказал в беседе.
  • Анализ взаимодействия между людьми, в частности понимание, что на носителя камеры смотрят или к нему обращаются.

Авторы планируют до конца ноября 2021 года опубликовать датасет, его можно будет получить после того, как пользователь подпишет лицензионное соглашение. 

Читать далее

Хокинг был прав, но иногда ошибался: самые смелые идеи ученого

Астрономы выяснили, что Земля и Солнечная система находятся в гигантском магнитном туннеле

Замерзший мамонт и человек в «асфальте»: как природа останавливает время

Загрузка...