DeepMind带来新惊喜:成功解决AI打怪最大痛点
DeepMind 又冷不丁给了我们一个小惊喜。
我们都知道,强化学习苦于泛化能力差,经常只能针对单个任务来从头开始学习。
像 DeepMind 之前开发的 AlphaZero,尽管可以玩转围棋、国际象棋和日本将棋,但对每种棋牌游戏都只能从头开始训练。
泛化能力差也是 AI 一直被诟病为人工智障的一大原因。人类智能厉害的一点就是,可以借鉴之前的经验,迅速适应新环境,比如你不会因为是第一次吃川菜,就看着一口鸳鸯锅不知所措,你吃过潮汕火锅嘛,不都是涮一下的事情嘛。
但是,泛化能力也不是一蹴而就的,就像我们玩游戏的时候,也是先做简单任务,然后逐步升级到复杂任务。在游戏《空洞骑士》中,一开始你只需要随意走动挥刀砍怪就行,但在噩梦级难度的“苦痛之路”关卡中,没有前面一点点积累的烂熟于心的技巧,只能玩个寂寞。
1 多任务元宇宙
DeepMind 此次就采用了这种“课程学习”思路,让智能体在不断扩展、升级的开放世界中学习。也就是说,AI 的新任务(训练数据)是基于旧任务不断生成的。
在这个世界中,智能体可以尽情锻炼自己,简单的比如“靠近紫色立方体”,复杂一点的比如“靠近紫色立方体或将黄色球体放在红色地板上”,甚至还可以和其他智能体玩耍,比如捉迷藏 ——“找到对方,并且不要被对方找到”。
每个小游戏存在于世界的一个小角落,千千万万个小角落拼接成了一个庞大的物理模拟世界,比如下图中的几何“地球”。
总体来说这个世界的任务由三个要素构成,即任务 = 游戏 + 世界 + 玩家,并根据三个要素的不同关系,决定任务的复杂度。
复杂度的判断有四个维度:竞争性,平衡性,可选项,探索难度。
比如在“抢方块”游戏中,蓝色智能体需要把黄色方块放到白色区域,红色智能体需要把黄色方块放到蓝色区域。这两个目标是矛盾的,因此竞争性比较强;同时双方条件对等,平衡性比较高;因为目标简单,所以可选项少;这里 DeepMind 把探索难度评为中上,可能是因为定位区域算是比较复杂的场景。
再例如,在“球球喜欢和方块一起玩”游戏中,蓝色和红色智能体都有一个共同的目标,让相同颜色的球体和方块放在相近的位置。
这时候,竞争性自然很低;平衡性毋庸置疑是很高的;可选项相比上面的游戏会高很多;至于探索难度,这里没有定位区域,智能体随便把球体和方块放哪里都行,难度就变小了。
基于这四个维度,DeepMind 打造了一个任务空间的、超大规模的“元宇宙”,几何“地球”也只是这个元宇宙的一个小角落,限定于这个四维任务空间的一个点。DeepMind 将这个“元宇宙”命名为 Xland,它包含了数十亿个任务。
来看看 XLand 的全貌,它由一系列游戏组成,每个游戏都可以在许多不同的模拟世界中进行,这些世界的拓扑和特征平滑地变化。
2 终生学习
数据有了,那么接下来就得找到合适的算法。DeepMind 发现,目标注意网络 (GOAT) 可以学习更通用的策略。
具体来说,智能体的输入包括第一视角的 RGB 图像、本体感觉以及目标。经过初步处理后,生成中间输出,传递给 GOAT 模块,该模块会根据智能体的当前目标处理中间输出的特定部分,并对目标进行逻辑分析。
所谓逻辑分析是指,对每个游戏,可以通过一些方法,来构建另一个游戏,并限制策略的价值函数的最优值上限或者下限。
到这里,DeepMind 向我们提出了一个问题:对于每个智能体,什么样的任务集合才是最好的呢?换句话说,在打怪升级中,什么样的关卡设置才会让玩家能顺利地升级为“真”高手,而不是一刀 9999?
DeepMind 给出的答案是,每个新任务都基于旧任务生成,“不会太难,也不会太容易”。其实,这恰好是让人类学习时感到“爽”的兴奋点。
在训练开始时,太难或太容易的任务可能会鼓励早期学习,但会导致训练后期的学习饱和或停滞。
实际上,我们不要求智能体在一个任务上非常优秀,而是鼓励其终身学习,即不断去适应新任务。
而所谓太难、太容易其实是比较模糊的描述。我们需要的是一个量化方法,在新任务和旧任务之间做弹性连接。
怎么不让智能体在新任务中因为不适应而“暴死”呢?进化学习就提供了很好的灵活性。总体来说,新任务和旧任务是同时进行的,并且每个任务有多个智能体参与“竞争”。在旧任务上适应得好的智能体,会被选拔到新任务上继续学习。
在新任务中,旧任务的优秀智能体的权重、瞬时任务分布、超参数都会被复制,参与新一轮“竞争”。
并且,除了旧任务中的优秀智能体,还有很多新人参与,这就引进了随机性、创新性、灵活性,不用担心“暴死”问题。
当然,在每个任务中不会只有一种优秀智能体。因为任务也是不断在生成的、动态变化的,一个任务可以训练出有不同长处的智能体,并往不同的方向演化(随着智能体的相对性能和鲁棒性进行)。
最终,每个智能体都会形成不同的擅长任务的集合,像极了春秋战国时期的“百家争鸣”。说打怪升级显得格局小了,这简直是在模拟地球嘛。
DeepMind 表示,“这种组合学习系统的迭代特性是,不优化有界性能指标,而是优化迭代定义的通用能力范围,这使得智能体可以开放式地学习,仅受环境空间和智能体的神经网络表达能力的限制。”
3 智能初现
最终,在这个复杂“元宇宙”中升级、进化、分流的智能体形成了什么优秀物种呢?
DeepMind 说道,智能体有很明显的零样本学习能力,比如使用工具、打围、数数、合作 & 竞争等等。
来看几个具体的例子。
首先是,智能体学会了临场应变。它的目标有三个:
1、将黑色金字塔放到黄色球体旁边;
2、将紫色球体放到黄色金字塔旁边;
3、将黑色金字塔放到橙色地板上。
AI 一开始找到了一个黑色金字塔,想着把它拿到橙色地板上(目标 3),但在搬运过程中瞄见了一个黄色球体,瞬间改变主意,“我可以实现目标 1 啦”,将黑色金字塔放到了黄色球体旁边。
第二个例子是,不会跳高,怎么拿到高台上的紫色金字塔?
在这个任务中,智能体需要想办法突破障碍,取到高台上的紫色金字塔,高台周边并没有类似阶梯、斜坡一样的路径。
因为不会调高,所以智能体急的“掀桌子”,把周边的几块竖起来的板子都弄倒了。然后,巧的是,一块黑色石板倒在高台边上,“咦,等等,这不就是我要的阶梯吗?”
这个过程是否体现了智能体的智能,还无法肯定,可能只是一时的幸运罢了。关键还是,要看统计数据。
经过 5 代训练,智能体在 XLand 的 4,000 个独立世界中玩大约 700,000 个独立游戏,涉及 340 万个独立任务的结果,最后一代的每个智能体都经历了 2000 亿次训练步骤。
目前,智能体已经能够顺利参与几乎每个评估任务,除了少数即使是人类也无法完成的任务。
DeepMind 的这项研究,或许一定程度上体现了“密集学习”的重要性。也就是说,不仅是数据量要大,任务量也要大。这也使得智能体在泛化能力上有很好的表现,比如数据显示,只需对一些新的复杂任务进行 30 分钟的集中训练,智能体就可以快速适应,而从头开始用强化学习训练的智能体根本无法学习这些任务。
在往后,我们也期待这个“元宇宙”变得更加复杂和生机勃勃,AI 经过不断演化,不断给我们带来惊喜(细思极恐)的体验。
相关阅读
-
地产、基建板块走强,中证1000指数ETF(159633)成交金额已超5.7亿,北辰实业、中华企业、鸿路钢构集体大涨
截至发稿,中证1000指数ETF(159633)跌0 77%,场内交投活跃,成交金额
2023-06-08 -
今日看点:港股通医药ETF(513200)成交金额已超7500万,国药控股、威高股份、石药集团飘红
截至发稿,港股通医药ETF(513200)微跌0 11%,成交金额7522万元;重仓
2023-06-08
精彩推荐
阅读排行
相关词
- 段林希简介_段林希是谁 焦点观察
- csgo第一次开箱子怎么开?csgo新号开箱子好出金吗?
- 今日看点:港股通医药ETF(513200)成交金额已超7500万,国药控股、威高股份、石药集团飘红
- csgo开箱子还是直接买?csgo箱子需要买吗?
- 《自由篮球》选秀赛季全新上线 泰山乔商店好礼派发 全球热资讯
- 天天热议:《跑跑卡丁车》竹片持续放送中 个人RP赛回归
- csgo游戏内如何开箱子?csgo每个箱子都能开出什么?
- 人民银行:长期坚持稳健货币政策 中国金融周期相对稳健
- 【全球快播报】喝咖啡真的能提神吗
- 每日精选:淘宝卖家的基本义务是什么啊_淘宝卖家的基本义务是什么
- 周小川:上海国际金融中心建设着力点应放在资本市场主力产品上|焦点滚动
- csgo有什么开箱网站?csgo开箱网站是什么原理?
- 再次震荡?游戏ETF(159869)盘中一度跌超4%
- 地产、基建板块走强,中证1000指数ETF(159633)成交金额已超5.7亿,北辰实业、中华企业、鸿路钢构集体大涨
- csgo开箱子出什么?csgo一天掉几个箱子?
- 《星辰变》第五季第十五集:白凤和白馨下线,引发观众共鸣和热议
- csgo开箱网站打不开是怎么回事?csgo开箱网站有什么用?
- 世界快讯:边缘计算市场规模将达4450亿美元,边缘AI打开行业想象空间!奥拓电子两连板
- 通讯:“中国为我打开机遇之门”——一个洪都拉斯青年的中国情缘
- thinkpadt480蓝屏怎么解决 环球观天下
- 全球时讯:中国星辰|中国人登月如何实现?
- csgo网站开箱流程是怎样的?csgo哪个网页可以开箱?
- 环球热资讯!hticons.dll丢失如何自动修复
- csgo开箱子哪个好?csgo最保值的箱子是什么?
- 飞猪:端午出游预订节奏大幅提前 跨省游订单占比近9成
- csgo怎么打开箱子?csgo哪里买箱子钥匙最便宜?
- 外星袭击什么时候出 公测上线时间预告
- 哪些方法可以还原sd卡内的数据_热点
- csgo每天免费开箱方法是什么?csgo开箱出金概率高吗?
- 如何修复缺少fwbase.dll文件的问题
- csgo开箱子机制是怎样的?csgo箱子对应刀清单
- F4蓝屏代码出现应该采取什么应对方法
- 炖鸡的做法大全视频教程(炖鸡的做法大全) 播资讯
- csgo开箱子推荐哪一个?csgo怎么卖箱子?
- csgo幸运开箱网有哪些?csgo开箱网站可以提刀吗?
- 重庆市长寿区五部门联合开展互联网危险化学品专项治理行动|世界实时
- 江西省新余市持续开展“三项行动”夯实消费品质量基础|天天热门
- csgo如何免费开箱?csgo开箱一定要钱吗?
- 诺基亚c500有wifi功能吗(诺基亚c500) 观速讯
- 英雄机长刘传健护航 成都大运会火种飞赴北京_天天观察
- 全球视讯!随着天空变成红色 《暗黑4》的宣发变得像是真的
- 艺术 | 外交顶流京剧《白蛇传》你看过吗?
- 全球即时看!南航伦敦至北京大兴直飞航线正式开通
- csgo开箱子秘诀是什么?csgo开哪个箱子划算?
- 电脑启动时蓝屏出现字母是否与驱动有关_世界观热点
- 意义非凡的爱地希:展现新一代ADC药物的卓越疗效
- 全球今热点:【2023高考】考点内外“双保障” 他们每天为高考“服务”近10小时
- csgo开箱价格是多少?csgo开什么箱子容易出刀?
- 价格跌至前低,创业板成长ETF(159967)连续7天获资金 环球关注
- 世界简讯:明星三缺一2005百度云(明星三缺一2006)
- 充满算计!日美澳在南太铺光缆,日媒炒“抗衡中国影响力”|当前通讯
- AI医疗大模型MedGPT发布,医药ETF(512010)成_天天快资讯
- 海南核电自备码头改造圆满完成工程竣工验收
- 无人机巡视、红外测温…… 上海电力“设备主人”护航高考
- 河南已收获小麦7506.8万亩,约占全省种植面积的88%
- 每日看点!上月房企融资数据继续“缩水” 6月份约349亿债券到期
- 我想完美的皮肤官网在哪下载 最新官方下载安装地址
- csgo开箱歌曲有哪些?csgo开箱沙雕音乐分享
- csgo开箱教学来了 csgo可以免费开箱吗?
- 弹幕射击游戏《弹幕无限3》将于6月13日登陆PS4|世界观点
- 厦门外贸自主品牌培育入选外贸新业态优秀实践案例
- csgo开箱攻略有哪些?csgo开箱子能赚钱吗?
- 环球即时看!广东自贸试验区八年固定资产投资超1万亿
- 中国专家最新研究证实:肠癌相关标准治疗方案非普遍适用|全球热消息
- 世界通讯!生存游戏《浩劫前夕》发布全新预告视频 将重新上架Steam
- 北交所上市公司迈入“200+”时代
- 全球热推荐:护航“平安高考” 大兴安岭市场监管部门在行动
- 《原子之心》发布首个DLC敌人前瞻预告 今年夏季发售
- 广西来宾市市场监管局开展药品不良反应监测有成效
- 四川省遂宁市蓬溪县市场监管局开展“儿童用品安全行”主题宣传活动-要闻速递
- csgo开箱秘籍是什么?csgo开箱小技巧了解一下
- 报道:双星新材董秘回复:短期波动受到多种因素影响,因坚定自身而努力发展,公司持续深耕新材料发展,积极调整产品结构
- 双星新材董秘回复:公司一直在不断优化产品结构,对普膜产品持续结构调整
- 贝云科技“点亮”伦敦设计双年展 LUZENSE探索“情绪照明”
- csgo能不花钱开箱子吗?csgo一周可以掉落几个箱子?
- 《影子武士3:最终版》发布新版本更新 改善整体视觉效果
- 云南:总投资1916.75亿元,141个新项目完成签约|全球热资讯
- csgo开箱子网址有哪些?csgo能在手机上开箱子?
- 焦点报道:2023中国·天门服装电商产业峰会将召开
- 海泰新光董秘回复: 公司第一代产品没有在市场上进行大量推广,这是与公司的产品和市场定位有关|热点在线
- csgo可以去哪开箱?csgo公认最好的开箱平台介绍
- 事关耕地红线!浙江推进“进出平衡” ,严控一般耕地转为其他农用地
- 焦点简讯:金桥信息(603918)6月8日14点41分触及涨停板
- 祥生医疗董秘回复: 祥生医疗主营业务为超声医学影像设备研发、制造和销售
- 环球速看:海南昌江一湿地公园首次记录到六只紫水鸡幼崽同框
- csgo开箱子钥匙如何获得?csgo怎么得到箱子?
- 无人机巡视、红外测温…… 上海电力“设备主人”护航高考 快消息
- 全球关注:港元拆息普遍上升 一周及两周利率结束六连跌
- 中国科传(601858)6月8日14点44分触及跌停板|环球滚动
- csgo手机开箱子可行吗?csgo开哪个箱子划算?
- 《麦登橄榄球24》Steam页面上线 游戏暂不支持中文
- *ST京蓝(000711)6月8日14点44分触及涨停板 每日消息
- 法国反对北约在日本设立办事处
- csgo开箱见金必中吗?csgo良心开箱网站分享
- 焦点快看:广东:向海图强 激发蓝色经济新动能
- 上海市历史博物馆与俄罗斯国家历史博物馆签订友好合作备忘录
- 河北井陉:保护古村风貌 留住乡愁古韵
- 日播时尚(603196)6月8日14点35分触及涨停板
- 泉峰汽车: 公司控股股东及一致行动人自公司上市以来从未减持公司股票|全球讯息
- csgo全球开箱网站有哪些?csgo开箱靠谱吗?
- 每日热议!75年后,新疆考古第一人黄文弼《罗布淖尔考古记》崭新再版
- 天天新消息丨星火成炬 | 此去,桃李满天下!
- 第七届平遥国际电影展面向全球征集华语剧本项目 天天快报
- 全球热文:洪都拉斯总统特别助理:期待访华增进双边关系
- “新歌唱新疆”巡演首场在乌鲁木齐举办
- 四书五经指什么 四书五经指什么生肖?
- 深圳阳光整形美容医院怎么样_是三甲医院吗
- 手机评测排名2022:不同价位段中的最佳选择
- 海泰新光董秘回复: 谢谢您对公司的持续关注,也感谢您对公司的理解和支持-播报
- csgo开箱回本率是多少?csgo开箱微信支付在哪里?
- 向海图强!海洋经济“扬帆远航”-今日热搜
- csgo开箱梗是什么?csgo怎么批量开箱?
- 每日看点!更宽敞!我国新一代载人飞船可坐7人,将实现回收技术
- 微信群待办怎么发 微信群待办怎么发起-天天微速讯
- csgo开箱玄学有哪些?csgo开箱看见金了必出吗?
- Win11永劫无间蓝屏出现应该如何应
- 雾霾蓝连衣裙配什么鞋子 雾霾蓝连衣裙搭配什么鞋子-世界讯息
- 深圳友华普惠眼科怎么样 手术案例效果证明一切_全球实时
- 每日热文:通讯:“中国为我打开机遇之门”——一个洪都拉斯青年的中国情缘
- csgo开箱多少钱一个?csgo开箱模拟器推荐
- 日本民众举行抗议活动 反对政府排放核污染水入海_环球时快讯
- 离婚协议书的格式 离婚协议书的格式怎样写图片
- 潘功胜:中国坚持稳健的货币政策是金融周期相对稳健的原因-短讯
- 全球要闻:普通话手抄报内容大全_普通话手抄报内容精选
- CPU蓝屏一进系统就重启该如何解决
- 热点评!公安部交管局公布近期三轮车肇事肇祸典型交通事故案例
- 海南司机 今日高考英语听力考试期间途经考点禁止鸣笛-世界视点
- 长三角铁路端午小长假预计发送旅客1500万人次
- 妄想山海营地怎么升级(妄想山海营地如何升级) 环球即时看
- 什么是新零售的前端表象(新零售的表现形式)
- 怎样快速去黑眼圈_怎么去除黑眼圈|世界聚看点
- api-ms-win-core-bicltapi-l1-1-0.dll文件丢失如何修复?|热点在线
- xmllite.dll文件被破坏怎么办|天天微动态
- 一公顷等于多少平方千米_等于0.01平方分米
- 星球神偷官网在哪下载 最新官方下载安装地址
- 今日热搜:和平精英第十周任务怎么完成 任务完成技巧方法详解
- “国企领导牵手门”最新进展:牵手门涉事女子已被停职并接受调查
- 如何解决msprivs.dll报错丢失问题 环球热头条
- 前沿资讯!英语四级多少分及格_英语四级简介
- 灵显第一季_关于灵显第一季介绍 焦点日报
- 国服csgo如何开箱?csgo国服开箱方法介绍
- 河南省开封市龙亭区市场监管部门就定量包装茶叶过度包装问题开展专项检查和行政指导
- 天天速读:安徽省市场监管局推进法治政府建设结硕果
- 7b蓝屏怎么解决
- 新知青_关于新知青简介
- 深圳思莉医疗美容门诊部怎么样 真实情况在线获取-全球播报
- 新石器_关于新石器简介 环球热点
- csgo去哪开箱?csgo新人玩家开箱攻略
- 端午假期火车票6月8日开售,年轻人寻找下一个“淄博”
- 视焦点讯!童年好词好句好段_童年好词好句好段总结