Искусственный интеллект играет в различные игры – от шашек до го – существенно лучше человека. В январе этого года алгоритм Libratus впервые обыграл в безлимитный техасский холдем четырех профессиональных игроков в покер, заработав при этом $1,8 млн (затем этот успех удалось повторить ИИ Lengpudashi). Теперь, сообщает Science Daily, ученые смогли выяснить, как алгоритму это удалось.
В отличие от логических игр, таких как го, где каждый игрок в любой момент знает текущее положение дел на доске, покер основан на работе со скрытой информацией. Как выяснилось при исследовании, для победы в нем ИИ использовал метод, применимый к множеству игр с недостатком информации — а также к таким сферам реальной жизни, как деловые переговоры, кибербезопасность, финансы и военное дело.
В Нидерландах осветили 30 км дамбы без электричества
Технологии
Никаких специфичных именно для покера стратегий Libratus не использовал. Работа ИИ была разделена на три основных модуля. В первом Libratus создавал упрощенную модель игры, работать с которой было намного легче, чем анализировать 10 в 161-й степени возможных вариантов решения. Затем он прорабатывал подробную стратегию игры для ранних раундов и приблизительную — для последующих.
В процесс игры ИИ учитывал свои ошибки и вносил коррективы в план действий, создавая более точную модель. Также он с помощью машинного обучения анализировал ошибки соперников-людей и учитывал в своей игре против них. Таким образом, секрет успеха Libratus заключался в том, чтобы разбить игру на поддающиеся моделированию части и в процессе вносить в модель изменения.
Подход Libratus оказался эффективным не только против людей, но и против других ИИ. Например, ему удалось победить бота Baby Tartanian8, до этого считавшегося лучшим игроком в покер. Новый алгоритм DeepStack, который, как выяснили исследователи, использует похожую стратегию, пока не тестировался ни на профессиональных игроках, ни на их ИИ-конкурентах.
ИИ-версия поттерианы: «Гарри отвел глаза от головы и бросил их в лес»
Идеи
Ситуация, в которой исследователи создают искусственный интеллект, а потом долго изучают, как именно он работает, похоже, становится нормой. Так, ученые открыли для себя много неожиданного, когда решили разобраться с принципами работы нейросетей, предназначенных для машинного перевода и распознавания речи.