;
Новости 26 июня 2022

OpenAI научился играть в Minecraft, просмотрев 70 тысяч часов видео на YouTube

Далее

Программисты научили искусственный интеллект OpenAI играть в Minecraft с помощью YouTube. Разработчики разметили только часть видеозаписей, все остальное обучение система провела сама. Процесс обучения подробно описан в блоге компании и в препринте научной публикации, размещенном на сайте arXiv.

Разработчики сообщают, что ИИ научился базовым навыкам, таким как рубка деревьев, изготовление досок и изготовление столов для крафта. Они также наблюдали, как он плавает, охотится, готовит и «прыгает со столба». Более того, освоив базовые навыки система научилась создавать алмазную кирку. Для отработки этого навыка игрокам-людям требуется около 20 мин. и 24 тыс. действий.

Для обучения ИИ команда OpenAI использовала открытые видео: около 70 тыс. часов записей прохождения игры. Чтобы справиться с таким объемом, компания разработала новую стратегию: предварительное обучение с «полуучителем».

Схема обучения. Первый этап — поиск видео для обучения, второй этап обучение нейросети IDM на основе видео, содержащего сведения о движениях мыши и нажатии клавиш, третий этап — разметка видео с помощью IDM и обучение игровой нейросети. Источник: Open AI

На первом этапе исследователи собрали данные от добровольцев: они записывали видео игры, а также нажатия клавиши и движения мыши. На основе этих данных разработчики обучили модель обратной динамики (IDM) определять, какие действия выполняет игрок, основываясь только на видеоданных. После этого IDM самостоятельно «просмотрел» и разметил записи игры, опубликованные на YouTube. Обучение ИИ игре проводится с помощью уже размеченных IDM данных.

Разработчики отмечают, что модель поведенческого клонирования («игрок»), обученная на онлайн-видео, промаркированном IDM, выполняет задачи в Minecraft, которые почти невозможно выполнить с помощью традиционного обучения с подкреплением с нуля. Он учится рубить деревья, чтобы собирать бревна, превращать эти бревна в доски, а затем делать из досок стол для крафта. Эта последовательность занимает у человека, владеющего Minecraft, примерно 50 с или тысячу последовательных игровых действий.

Разработчики также показали, что дополнительная тонкая настройка с помощью наблюдения ИИ за реальным игровым процесом помогает быстро обучить модель более сложным навыкам.

Исследователи отмечают, что Minecraft — это только один из примеров возможного применения новой технологии. В целом предварительное обучение позволяет использовать минимальные ресурсы для приобретения ИИ различных навыков на основе большого объема видеоданных.


Читать далее:

Космический зонд пролетел в 200 км от Меркурия. Посмотрите, что он увидел

Китайский шлем для «чтения мыслей» бьет тревогу, когда человек видит порноконтент

На спутник Юпитера посмотрели в новом свете: что там увидели ученые