Facebook собрал самый крупный датасет, чтобы обучать алгоритмы поведению человека

Исследователи собрали самый крупный датасет от первого лица, чтобы обучать алгоритмы очков дополненной реальности и голосовых помощников пониманию того, что именно делает человек.

Разработчики из Facebook AI и еще из 13 университетов создали самый объемный датасет видеороликов, которые сняты от первого лица. Эти данные помогут исследователям во время обучения алгоритмов компьютерного зрения, которые анализируют окружающую остановку с человеческого ракурса.

В сборе данных участвовали 855 добровольцев из 74 городов и 9 стран. Они снимали ролики с помощью камеры и умных очков. Во время съемки участники занимались повседневными делами: готовили еду, выбирали продукты в магазине, общались с другими людьми. Общая длина записей составила 3 025 часов.

Для каждого отдельного ролика есть описание того, что в нем происходит. Также для части видео есть и другие подробные данные о звуке, трехмерной модели помещения, направлении взгляда, а также стереоскопические кадры, снятые носимой стереокамерой с одного человека и набор синхронизированных роликов, сделанных разными людьми в одном месте и в одно время, например, во время настольной игры.

Также на собранных данных можно обучиться конкретным навыкам, для этого были созданы специальные тематические модули:

  • Для обучения эпизодической памяти, когда алгоритм должен ответить на вопрос о произошедших событиях, например, во сколько у меня был вчера прием у врача.
  • Предсказание будущих действий, например, не забыть посолить блюдо или убрать вещи из стиральной машинки. 
  • Понимание того, что делает человек и как двигаются объекты в кадре.
  • Отслеживание разговора и понимание того, кто что сказал в беседе.
  • Анализ взаимодействия между людьми, в частности понимание, что на носителя камеры смотрят или к нему обращаются.

Авторы планируют до конца ноября 2021 года опубликовать датасет, его можно будет получить после того, как пользователь подпишет лицензионное соглашение. 

Читать далее

Хокинг был прав, но иногда ошибался: самые смелые идеи ученого

Астрономы выяснили, что Земля и Солнечная система находятся в гигантском магнитном туннеле

Замерзший мамонт и человек в «асфальте»: как природа останавливает время

Подписывайтесь
на наши каналы в Telegram

«Хайтек»новостионлайн

«Хайтек»Dailyновости 3 раза в день

Первая полоса
В Москве дожди, а в пустыне — выпал снег: посмотрите на редкое явление из космоса
Космос
Обнаружено самое далекое мини-гало: радиосигнал прошел 10 млрд световых лет
Космос
Товары для взрослых начнут продавать онлайн по биометрии
Новости
Две трети абитуриентов выбирают ИИ как приоритетное ИТ-направление
Наука
Тираннозавр был не таким, как в фильмах, рассказывает палеонтолог
Наука
Google запустил ИИ-приложение для виртуальной примерки одежды
Новости
В России создали ИИ для защиты памятников от разрушения при строительстве
Новости
Галактику Андромеды показали такой, какой ее еще не видели
Космос
Минспорт требует от киберспортсменов бег и отжимания: новый стандарт вызвал споры
Новости
AAEON выпустила самый компактный одноплатный компьютер с чипами Intel Core 13-го поколения
Наука
Этот паразит годами незаметно поедает мозг: названы главные признаки
Наука
Посмотрите на редкое фото Сатурна: это затмение не увидеть еще 15 лет
Космос
Старые смартфоны превратили в подводные центры обработки данных
Новости
Телескоп в Антарктиде зафиксировал первый свет Вселенной с рекордной точностью
Космос
Орангутаны тоже спят сиесту: днем приматы компенсируют ночной недосып
Наука
Искусственный интеллект науился писать код для компьютерных чипов
Новости
Кофеин активирует механизм, который замедляет старение в клетках
Наука
Археологи повторили путешествие древних людей на каноэ каменного века
Наука
Как правильно мыть голову летом: это важно для аллергиков
Наука
В России в 2025 году появятся шесть новых университетских стартап-студий
Новости