По видео на YouTube сегодня можно обучиться любому навыку: вырезать по дереву, чинить карбюратор, печь пироги и понимать языки. Конечно, среди этого многообразия оказываются ролики с ненужной или ошибочной информацией. Алгоритм RoboWatch создан для того, чтобы фильтровать видео-контент и находить только полезные инструкции, отсеивая все лишнее. Проект представила команда ученых из Стэнфордского и Корнелльского университетов.
Программа анализирует видеоряд и субтитры сразу из нескольких видеороликов и выводит на основе этой информации пошаговую инструкцию, как выполнять то или иное действие.
Если спросить RoboWatch, как готовить омлет, то программа скачает большой массив видео. Обработав их, она выведет последовательность действий: «Разбейте яйца, взбейте их в миске. Разогрейте на сковороде масло, вылейте готовую смесь. Выложите омлет на тарелку». Система вычленяет каждые шаг и генерирует рецепт автоматически.
В отличие от большинства алгоритмов, RoboWatch не нуждается в человеке. В него не нужно загружать информацию вручную, нужно только поставить перед ним вопрос. Технологию можно установить на любого человекоподобного робота.
Алгоритм RoboWatch является частью системы Robo Brain — обширной базы данных на основе машинного обучения. Она была создана в 2014 году. Robo Brain собирает информацию в интернете, а затем снабжает ей роботизированные системы.