你好,欢迎来到川北在线
微信
腾讯微博
新浪微博
德扑AI之父:赢不赢柯洁,阿尔法狗都缺乏实际用处
时间:2017-04-12 10:23   来源:澎湃新闻网   责任编辑:毛青青

  因此,虽然一盘德扑的决策点数量是10的160次方,要少于围棋,但光靠搜索是打不了德扑的。德扑由此跳出了在搜索量上的较量,对AI提出了另一个方向上的考验:应对隐藏的信息。

  阿尔法狗和冷扑大师的原理有何不同?

  谷歌曾在《自然》杂志上发表文章,公布阿尔法狗的几个基本原理,分别为:走棋网络(Policy Network),给定当前局面,预测和采样下一步的走棋;快速走子(Fast rollout),在适当牺牲走棋质量的条件下提高速度;价值网络(Value Network),给定当前局面,估计双方胜率;蒙特卡罗树搜索(Monte Carlo Tree Search,MCTS),把以上三个部分串联成一个完整的系统。

  冷扑大师的算法则主要基于以下三个模块产生:

  首先,纳什均衡是德扑算法的核心,即AI的目标是找到一个无论对方怎么做,自己都不会产生损失的策略。根据博弈论,像一对一扑克这种零和游戏永远存在这样的最优解,就像在经典的博弈论模型“囚徒困境”中,招认罪行就是一个无论对方招认不招认都最优的策略。因此,冷扑大师的开发团队提前在庞大的决策树上利用虚拟遗憾最小化算法(Counterfactual Regret Minimization,CFR)推算出了均衡,即通过多次迭代计算博弈树中每个信息集的动作遗憾值和平均策略值,预测下一时刻的决策动作,使其是当前最小遗憾动作。

  此外,冷扑大师还有残局解算器(end-game solver)和自我强化学习这两个模块来辅助第一个模块。残局解算器会在残局时实时评估场上的情况,以判断第一模块中算出的纳什均衡是否符合实时情况。而自我强化学习会反思AI在比赛中的表现,找出曾被人类利用过的“套路”,清除这些可循的痕迹。

  总体来说,阿尔法狗和冷扑大师的算法有三大明显不同。

  第一,阿尔法狗的训练过程中用到了大量数据的深度学习,即通过大量给定的输入和输出形成稳定的处理。但计算机的处理过程本身是一个黑匣子。而冷扑大师没有用到时髦的深度学习,而是通过传统的线性规划提前算出纳什均衡,是一个“老式但好用的人工智能”(Good Old-Fashioned Artificial Intelligence)。

  第二,阿尔法狗在深度学习过程中参考了数千万张人类棋谱,可以说是靠模仿人类高手起步的。虽然阿尔法狗也运用到了一些自我强化学习,但比重并不大。而冷扑大师完全是通过自我强化学习进行训练的。开发者从未教给它人类打牌的方法,只是向它描述了德扑的规则,由它“左右互搏”,摸索出德扑应该怎么玩。因而,冷扑大师的打法完全脱离了人类经验。值得注意的是,即将与柯洁在乌镇对战的阿尔法狗2.0将摈弃人类棋谱,完全采用一套自我摸索出来的下法。

  第三,虽然阿尔法狗和冷扑大师都特别喜欢残局阶段下杀招,但它们的难度不一样。围棋下到残局,可走的招数越来越少,计算量也越来越简单;而德扑开到转牌和河牌时,可能性更多,局面变得更为复杂。因此,冷扑大师经常在转牌阶段做出长时间的停顿。

  阿尔法狗和冷扑大师哪个更有用?

  在冷扑大师的开发者、美国卡内基梅隆大学(CMU)计算机系教授托马斯桑德霍姆(Tuomas Sandholm)和其博士生诺姆布朗(Noam Brown)看来,这个问题的答案十分明显。在现实生活中,几乎不存在像围棋这样给出所有信息的完美情境,因而像阿尔法狗这样的算法也很难直接派上用场。

  在现实生活中,我们遇到的事情会更像玩德扑:商业谈判时对方未知的底牌、房屋拍卖时竞争对手难测的举动、股票交易中一些隐藏的内部消息。桑德霍姆认为,德扑AI打开了靠人工智能解决随机事件和隐藏信息的大门。这样的AI,才有望离开虚拟的棋牌世界,成为人类在现实生活中谈判、博弈和投资的好帮手。

  桑德霍姆自己就成立了一家战略计算公司,希望利用人工智能解决金融上的一些战略计算问题。首先,金融交易拼的是速度,AI在量化交易上具有巨大优势。其次,像股票交易中经常会存在一些隐藏的信息,AI能在交易者较少的情况下,帮助人类在隐藏的信息面前做出决策。

  阿尔法狗和冷扑大师哪个更厉害?

  诺姆布朗说道,每一种游戏从计算机科学的角度来说,都存在一些核心问题,而掌握这个游戏的AI相当于解决了这个核心的问题。围棋和德扑代表了两类完全不同的游戏,阿尔法狗和冷扑大师也在朝完全不同的两个方向探索。

  只不过,围棋在“完美信息游戏”中属于高难度水平,因而阿尔法狗也在搜索这个核心问题上取得了巅峰成就。而冷扑大师刚刚打开了“非完美信息游戏”的大门,对于解决隐藏信息这个问题来说,德扑AI只是个开始。光就游戏而言,与德扑类似的奥马哈,就比德扑更为复杂一些。布朗说,他们对中国的麻将略知一二,麻将也是一种充满了隐藏信息的游戏。

   投稿邮箱:chuanbeiol@163.com   详情请访问川北在线:http://www.guangyuanol.cn/

川北在线-川北全搜索版权与免责声明
①凡注明"来源:XXX(非在线)"的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,本网不承担此类稿件侵权行为的连带责任。
②本站所载之信息仅为网民提供参考之用,不构成任何投资建议,文章观点不代表本站立场,其真实性由作者或稿源方负责,本站信息接受广大网民的监督、投诉、批评。
③本站转载纯粹出于为网民传递更多信息之目的,本站不原创、不存储视频,所有视频均分享自其他视频分享网站,如涉及到您的版权问题,请与本网联系,我站将及时进行删除处理。



图库
合作媒体
金宠物 绿植迷
法律顾问:ITLAW-庄毅雄律师