ИИ от DeepMind стал гроссмейстером по игре го за 3 дня

Принадлежащая Google британская компания DeepMind сообщила о создании усовершенствованной версии алгоритма AlpaGo. Того самого, который в прошлом году победил чемпиона мира по игре го Ли Седоля. Обновленный AlphaGo получил приставку Zero и избавился от необходимости в людях. Создатели объясняют, что для победы над Седолем оригинальный алгоритм пришлось «вручную» тренировать несколько месяцев. Ученые скармливали ему гигабайты данных и сами устанавливали важные точки, на которые алгоритм должен ориентироваться во время партий. После этого AlphaGo закреплял результат, играя тысячи тренировочных партий с самим собой.

AlphaGo Zero кардинально отличается от своего прародителя. Разработчики говорят, что ему вообще не нужны никакие подсказки, точки ориентации или месяцы обучения с самим собой. В вопросах обучения мастерству го алгоритм стал автономным. В Google говорят, что он был запущен с нулевым уровнем умений и дошел до мастерства гроссмейстера. За три дня. Без помощи, подсказок и корректировок со стороны людей.

Спустя 72 часа самосовершенствования новый алгоритм выставили против старого. Тут стоит напомнить, что у старого алгоритма возможности для обучения были гораздо шире. Он мог обращаться к базе игр мастеров го, в его наборе была нейронная сеть, которая имитировала их стиль, а вторая нейронная сеть оценивала качество позиций. То есть первый алгоритм обучался, играя тысячи партий с имитациями реальных игроков. При этом его мощности были распределены по разным компьютерам, на которых в общей сложности стояло 48 тензорных процессоров (TPU). У нового алгоритма для обучения была только доска для го, черные и белые камни и одна нейронная сеть. Запущен он был на единственной машине с 4 TPU. Чемпионат проходил по стандартным правилам. AlphaGo Zero выиграл 100 игр из 100.

За год алгоритм превратился из направляемого человеком в полностью самостоятельный. При этом уменьшились необходимые мощности. Конечно игра в го это достаточно специфическое приложение, но мало ли чему еще может научиться ИИ. Если при традиционных вычислениях ИИ становится гроссмейстером за три дня, то что произойдет, когда Google добьется успеха в квантовых вычислениях. Уже сейчас компания считается одним из лидеров квантовой гонки, она проводит испытания 20-кубитного процессора, и готовится представить рабочий 49-кубитный чип. Если ей это удастся, то в гонке ИИ также наступит новая эра.