Программисты научили искусственный интеллект OpenAI играть в Minecraft с помощью YouTube. Разработчики разметили только часть видеозаписей, все остальное обучение система провела сама. Процесс обучения подробно описан в блоге компании и в препринте научной публикации, размещенном на сайте arXiv.
Разработчики сообщают, что ИИ научился базовым навыкам, таким как рубка деревьев, изготовление досок и изготовление столов для крафта. Они также наблюдали, как он плавает, охотится, готовит и «прыгает со столба». Более того, освоив базовые навыки система научилась создавать алмазную кирку. Для отработки этого навыка игрокам-людям требуется около 20 мин. и 24 тыс. действий.
Для обучения ИИ команда OpenAI использовала открытые видео: около 70 тыс. часов записей прохождения игры. Чтобы справиться с таким объемом, компания разработала новую стратегию: предварительное обучение с «полуучителем».
На первом этапе исследователи собрали данные от добровольцев: они записывали видео игры, а также нажатия клавиши и движения мыши. На основе этих данных разработчики обучили модель обратной динамики (IDM) определять, какие действия выполняет игрок, основываясь только на видеоданных. После этого IDM самостоятельно «просмотрел» и разметил записи игры, опубликованные на YouTube. Обучение ИИ игре проводится с помощью уже размеченных IDM данных.
Разработчики отмечают, что модель поведенческого клонирования («игрок»), обученная на онлайн-видео, промаркированном IDM, выполняет задачи в Minecraft, которые почти невозможно выполнить с помощью традиционного обучения с подкреплением с нуля. Он учится рубить деревья, чтобы собирать бревна, превращать эти бревна в доски, а затем делать из досок стол для крафта. Эта последовательность занимает у человека, владеющего Minecraft, примерно 50 с или тысячу последовательных игровых действий.
Разработчики также показали, что дополнительная тонкая настройка с помощью наблюдения ИИ за реальным игровым процесом помогает быстро обучить модель более сложным навыкам.
Исследователи отмечают, что Minecraft — это только один из примеров возможного применения новой технологии. В целом предварительное обучение позволяет использовать минимальные ресурсы для приобретения ИИ различных навыков на основе большого объема видеоданных.
Читать далее:
Космический зонд пролетел в 200 км от Меркурия. Посмотрите, что он увидел
Китайский шлем для «чтения мыслей» бьет тревогу, когда человек видит порноконтент
На спутник Юпитера посмотрели в новом свете: что там увидели ученые