5名顶级人类职业选手不敌2个CPU的AI，多人德州扑克也被拿下了

原文作者：Douglas Heaven

多人德州扑克也被AI征服了。

来源：Alexandre Rotenberg/Alamy

多一个玩家，多一层复杂性

为了玩好六人德州扑克，Brown和Sandholm大幅改变了Libratus的搜索算法。大部分游戏AI都是沿着决策树向前搜索，寻找给定局面下的最优行动。Libratus会搜索到游戏终局，才会选择某个行动。

但是玩家数量增加所带来的复杂性让这种策略变得不再可行。德州扑克要求使用隐藏信息进行推理——玩家必须根据此前的下注来思考对方可能会有什么牌，对方又认为自己有什么牌，然后才能制定策略。但是增加玩家会让选择行动变得更为困难，因为这样就必须思考更多的可能性。

关键突破在于开发一种算法，让Pluribus可以只向前看为数不多的几步就做出决策，而不需要看到游戏终局。

和DeepMind的围棋AI AlphaZero一样，Pluribus使用了一种强化学习算法从零开始自学。它先随机打，等发现哪些行动可以赢更多钱之后就会不断优化。每手之后，它会回顾自己打得如何，并检查哪些地方采用不同的行动就可以赚更多的钱，例如某处跟注应该改成加注。如果更改策略会带来更好的结果，之后它就更可能采取更优的行动。

和自己打了上万亿手牌之后，Pluribus就训练出了一种可以在比赛中使用的基本策略。在每个决策点，它会将牌局和手中的基本策略进行比较，并向前搜索几步看各个行动会导致什么结果。之后它会检测是否能有更优的策略。由于Pluribus是自我训练，没有人类输入，因此它会用一些人类玩家不太可能使用的策略。

AI的玩具箱

Pluribus的成功很大程度上是因为它的高效。它打牌的时候只使用2个CPU。与之相比，DeepMind最早的围棋AI在首次击败顶级人类玩家的时候使用了将近2000个CPU，而Libratus使用了100个CPU。自己对战的时候，Pluribus一手只需大约20秒——这比人类职业玩家大约要快一倍。

游戏是一种公认的可以有效检测AI进展的方式，因为AI可以和人类顶级玩家直接对决。如果获胜的话，就可以名正言顺地被誉为“超人”。但是Brown认为，AI已经要离开自己的玩具箱了。“这是德州扑克里面最后的一项挑战。”他说。

但Togelius认为AI研究者和游戏还有一段路要走。“还有很多未被探索的领域。”他说。掌握了超过一种游戏的AI并不多——这要求AI有某种综合能力，而非专精一技。此外， AI也不应局限于当玩家，“还可以设计游戏，这对AI会是一项很不错的挑战。”Togelius说。

原文以No limit: AI poker bot is first to beat professionals at multiplayer game为标题

发布在2019年7月11日《自然》新闻上

ⓝ