ИИ снова бросает вызов лучшим игрокам в покер

За приз в $200 000 против ИИ по имени Libratus будут сражаться четверо профессиональных игроков в покер. Игра начнется 11 января в Rivers Casino в Питтсбурге.

Туомас Сандхолм, инженер Университета Каргени — Меллон, который помогал создавать Libratus и Claudico, убежден, что ИИ в конце концов победит человека, если не сейчас, то через несколько лет. «Я думаю, это произойдет в течение ближайших пяти лет, но, быть может, и через несколько месяцев. Вполне возможно, что люди в этот раз победят, но также не исключено, что нас ждет поражение».

Безлимитный техасский холдем представляет для компьютера особенно сложную задачу, поскольку ему приходится просчитывать 10 в 160 степени вариантов каждого хода, что больше количества всех атомов во Вселенной. Это происходит оттого, что в игре на двоих размеры ставок не ограничены.

Многие ИИ решают эту задачу, обращаясь к методу минимизации неудачных вычислений (CFR). Обычные алгоритмы CFR пытаются просчитать развитие партии в определенные фазы игры. В игре с ограниченными ставками это еще возможно, но в безлимитном холдеме ни один суперкомпьютер не справится с такой задачей.

Однако Сандхолм и его команда построили Libertus на основании более эффективных алгоритмов. Новый вариант CFR сокращает варианты комбинаций и сценариев развития игры, что уменьшает нагрузку на вычислительные мощности компьютера. Также инженеры решили проблему ограничения памяти, которая возникает, когда алгоритм должен «забыть» часть прошлой истории игры, чтобы сконцентрироваться на более насущных задачах.

В отличие от Claudico, Libratus умеет оценивать, насколько рискованно продолжать свою стратегию, учитывая карты на руках противника и этап игры. В определенный момент ИИ останавливается и рассчитывает дальнейшие шаги для завершения партии.

Для подготовки к турниру Libratus оттачивал свою стратегию в течение 15 миллионов часов работы процессора. А во время самих соревнований он будет каждую ночь выполнять оффлайновые вычисления и готовить себя к следующему дню игры.

Впрочем, четверка профессиональных игроков (Джейсон Лес, Дон Ким, Дэниэл Маколей и Джимми Чоу) тоже не сидела на месте и тренировалась, играя не только друг с другом, но и против компьютеров, сообщает Spectrum IEEE.

Алгоритм DeepMind, разгромивший чемпиона мира по игре в го, тоже планировал попробовать себя в техасском холдеме и максимально упрощенной версии этой игры Leduc. В основе алгоритма DeepMind лежит методика глубокого обучения с подкреплением.