阿尔法狗再进化 自学 3 天就 100:0 碾压李世石版旧狗

中青网 10-19

伦敦当地时间 10 月 18 日 18:00(北京时间 19 日 01:00),AlphaGo 再次登上世界顶级科学杂志——《自然》。

一年多前,AlphaGo 便是 2016 年 1 月 28 日当期的封面文章,Deepmind 公司发表重磅论文,介绍了这个击败欧洲围棋冠军樊麾的人工智能程序。

今年 5 月,以 3:0 的比分赢下中国棋手柯洁后,AlphaGo 宣布退役,但 DeepMind 公司并没有停下研究的脚步。伦敦当地时间 10 月 18 日,DeepMind 团队公布了最强版 AlphaGo ,代号 AlphaGo Zero。它的独门秘籍,是 " 自学成才 "。而且,是从一张白纸开始,零基础学习,在短短 3 天内,成为顶级高手。

团队称,AlphaGo Zero 的水平已经超过之前所有版本的 AlphaGo。在对阵曾赢下韩国棋手李世石那版 AlphaGo 时,AlphaGo Zero 取得了 100:0 的压倒性战绩。DeepMind 团队将关于 AlphaGo Zero 的相关研究以论文的形式,刊发在了 10 月 18 日的《自然》杂志上。

"AlphaGo 在两年内达到的成绩令人震惊。现在,AlphaGo Zero 是我们最强版本,它提升了很多。Zero 提高了计算效率,并且没有使用到任何人类围棋数据,"AlphaGo 之父、DeepMind 联合创始人兼 CEO 戴密斯?哈萨比斯(Demis Hassabis)说," 最终,我们想要利用它的算法突破,去帮助解决各种紧迫的现实世界问题,如蛋白质折叠或设计新材料。如果我们通过 AlphaGo,可以在这些问题上取得进展,那么它就有潜力推动人们理解生命,并以积极的方式影响我们的生活。"

不再受人类知识限制,只用 4 个 TPU

AlphaGo 此前的版本,结合了数百万人类围棋专家的棋谱,以及强化学习的监督学习进行了自我训练。

在战胜人类围棋职业高手之前,它经过了好几个月的训练,依靠的是多台机器和 48 个 TPU(谷歌专为加速深层神经网络运算能力而研发的芯片)。

AlphaGo Zero 的能力则在这个基础上有了质的提升。最大的区别是,它不再需要人类数据。也就是说,它一开始就没有接触过人类棋谱。研发团队只是让它自由随意地在棋盘上下棋,然后进行自我博弈。值得一提的是,AlphaGo Zero 还非常 " 低碳 ",只用到了一台机器和 4 个 TPU,极大地节省了资源。

AlphaGo Zero 强化学习下的自我对弈。

经过几天的训练,AlphaGo Zero 完成了近 5 百万盘的自我博弈后,已经可以超越人类,并击败了此前所有版本的 AlphaGo。DeepMind 团队在官方博客上称,Zero 用更新后的神经网络和搜索算法重组,随着训练地加深,系统的表现一点一点地在进步。自我博弈的成绩也越来越好,同时,神经网络也变得更准确。

AlphaGo Zero 习得知识的过程

" 这些技术细节强于此前版本的原因是,我们不再受到人类知识的限制,它可以向围棋领域里最高的选手—— AlphaGo 自身学习。" AlphaGo 团队负责人大卫?席尔瓦(Dave Sliver)说。

据大卫?席尔瓦介绍,AlphaGo Zero 使用新的强化学习方法,让自己变成了老师。系统一开始甚至并不知道什么是围棋,只是从单一神经网络开始,通过神经网络强大的搜索算法,进行了自我对弈。

随着自我博弈的增加,神经网络逐渐调整,提升预测下一步的能力,最终赢得比赛。更为厉害的是,随着训练的深入,DeepMind 团队发现,AlphaGo Zero 还独立发现了游戏规则,并走出了新策略,为围棋这项古老游戏带来了新的见解。

自学 3 天,就打败了旧版 AlphaGo

除了上述的区别之外,AlphaGo Zero 还在 3 个方面与此前版本有明显差别。

AlphaGo-Zero 的训练时间轴

首先,AlphaGo Zero 仅用棋盘上的黑白子作为输入,而前代则包括了小部分人工设计的特征输入。

其次,AlphaGo Zero 仅用了单一的神经网络。在此前的版本中,AlphaGo 用到了 " 策略网络 " 来选择下一步棋的走法,以及使用 " 价值网络 " 来预测每一步棋后的赢家。而在新的版本中,这两个神经网络合二为一,从而让它能得到更高效的训练和评估。

第三,AlphaGo Zero 并不使用快速、随机的走子方法。在此前的版本中,AlphaGo 用的是快速走子方法,来预测哪个玩家会从当前的局面中赢得比赛。相反,新版本依靠地是其高质量的神经网络来评估下棋的局势。

AlphaGo 几个版本的排名情况。

据哈萨比斯和席尔瓦介绍,以上这些不同帮助新版 AlphaGo 在系统上有了提升,而算法的改变让系统变得更强更有效。

经过短短 3 天的自我训练,AlphaGo Zero 就强势打败了此前战胜李世石的旧版 AlphaGo,战绩是 100:0 的。经过 40 天的自我训练,AlphaGo Zero 又打败了 AlphaGo Master 版本。"Master" 曾击败过世界顶尖的围棋选手,甚至包括世界排名第一的柯洁。

对于希望利用人工智能推动人类社会进步为使命的 DeepMind 来说,围棋并不是 AlphaGo 的终极奥义,他们的目标始终是要利用 AlphaGo 打造通用的、探索宇宙的终极工具。AlphaGo Zero 的提升,让 DeepMind 看到了利用人工智能技术改变人类命运的突破。他们目前正积极与英国医疗机构和电力能源部门合作,提高看病效率和能源效率。

相关标签: 李世石 人工智能 自然 席尔瓦 伦敦

中青网
原网页已经由 ZAKER 转码排版 查看原文
最热评论
吹啊吹
10-19
人类在作死的路上真是一路绝尘啊
Henry
10-19
说实话,看到这消息不是觉得科技进步而开心,而是感到了恐惧
小强杀手859
10-19
咋感觉天网就要诞生了
丨丨丨丨丨丨
10-19
造神计划
最新评论
小胖888
10-19
千日之后,zero终于从自学中领悟存在的本质和终极意义,进入到第四维空间中,然后返回开始主宰这个世界
quattro.歇了虎子
10-19
从前google创始人听了百度创始人的演讲,创立了google。现在,google研究尖端科技,而百度在玩外卖(虽然已经卖出),弄个“AI”机器人出来却拿去参加蒙面歌王这个综艺节目。。。
三哥
10-19
让俩狗打架试试😏
千里飘
10-19
这样的智商加入机器人自我复制,很快就成为现实,你以为还要很久吗?
哲夫电影看多了吧
千里飘
10-19
恐怖!
乖°
10-19
长江后浪推前浪,一代新🐺胜旧🐶
摩托罗拉总裁
10-19
消灭人类
KJQdog£
10-19
微软 苹果 谷歌三家巨头,只有谷歌极端支持ai,可见其他公司的保守态度
哲夫电影看多了吧
简简单单
10-19
可能五十年,一百年之后的评价会更准确和公正。到底是好的多,还是坏的多。
小文市长
10-19
感受到恐惧的两脚兽
分享 返回顶部