Исследователи выяснили, как ИИ обыгрывает людей в покер

В отличие от логических игр, таких как го, где каждый игрок в любой момент знает текущее положение дел на доске, покер основан на работе со скрытой информацией. Как выяснилось при исследовании, для победы в нем ИИ использовал метод, применимый к множеству игр с недостатком информации — а также к таким сферам реальной жизни, как деловые переговоры, кибербезопасность, финансы и военное дело.

Никаких специфичных именно для покера стратегий Libratus не использовал. Работа ИИ была разделена на три основных модуля. В первом Libratus создавал упрощенную модель игры, работать с которой было намного легче, чем анализировать 10 в 161-й степени возможных вариантов решения. Затем он прорабатывал подробную стратегию игры для ранних раундов и приблизительную — для последующих.

В процесс игры ИИ учитывал свои ошибки и вносил коррективы в план действий, создавая более точную модель. Также он с помощью машинного обучения анализировал ошибки соперников-людей и учитывал в своей игре против них. Таким образом, секрет успеха Libratus заключался в том, чтобы разбить игру на поддающиеся моделированию части и в процессе вносить в модель изменения.

Подход Libratus оказался эффективным не только против людей, но и против других ИИ. Например, ему удалось победить бота Baby Tartanian8, до этого считавшегося лучшим игроком в покер. Новый алгоритм DeepStack, который, как выяснили исследователи, использует похожую стратегию, пока не тестировался ни на профессиональных игроках, ни на их ИИ-конкурентах.

Ситуация, в которой исследователи создают искусственный интеллект, а потом долго изучают, как именно он работает, похоже, становится нормой. Так, ученые открыли для себя много неожиданного, когда решили разобраться с принципами работы нейросетей, предназначенных для машинного перевода и распознавания речи.