推荐星级：
- 1
- 2
- 3
- 4
- 5
基于知识的深度强化学习研究综述
资料介绍
作为解决序贯决策的机器学习方法,强化学习采取持续的“交互-试错”机制,实现智能体(Agent)与环境的不断交互,从而学得完成任务的最优策略,契合了人类提升智能的行为决策方式。知识作为一种包含了经验、价值观、认知规律以及专家见解等要素的结构化信息,应用于强化学习可以有效提高Agent的学习效率,降低学习难度。鉴于此,本文以强化学习的基本理论为起点,对深度强化学习以及基于知识的深度强化学习研究成果进行了系统性的总结与梳理。
部分文件列表
| 文件名 | 大小 |
| 基于知识的深度强化学习研究综述.pdf | 2M |
部分页面预览
（完整内容请下载后查看）第
卷
第
期
系统工程与电子技术
３９
１１
Ｖｏｌ．３９ Ｎｏ．１１
ꢀ
ꢀ
年
２０１７ １１
月
ＳｓｔｅｍｓＥｎｉｎｅｅｒｉｎ ａｎｄＥｌｅｃｔｒｏｎｉｃｓ
ꢀ ｇ
ｙ ｇ
Ｎｏｖｅｍｂｅｒ２０１７
：
（ ）
１００１５０６Ｘ２０１７１１２６０３１１
－
：
网址
ｗｗｗ．ｓｓｅｌｅ．ｃｏｍ
文章编号
－
－
ꢀ
ｙ
－
基于知识的深度强化学习研究综述
１ １ １ １ １
，
李晨溪 曹 雷 张永亮 陈希亮 周宇欢 段理文
２
，
，
，
，
ꢀ
（ ，
解放军理工大学指挥信息系统学院 江苏 南京
１．
；
２１０００７
，
浙江大学机械工程学院 浙江 杭州
２．
）
３１００２７
： ， “ ” ， （
要 作为解决序贯决策的机器学习方法 强化学习采取持续的 交互 试错 机制 实现智能体
－
）
摘
Ａ ｅｎｔ
ꢀꢀ
ꢀ
ｇ
， ， 。
与环境的不断交互 从而学得完成任务的最优策略 契合了人类提升智能的行为决策方式 知识作为一种包含了
、 、 ，
经验 价值观 认知规律以及专家见解等要素的结构化信息 应用于强化学习可以有效提高
，
的学习效率 降
Ａ ｅｎｔ
ｇ
。 ， ，
低学习难度 鉴于此 本文以强化学习的基本理论为起点 对深度强化学习以及基于知识的深度强化学习研究成
。
果进行了系统性的总结与梳理
： ； ； ；
关键词 深度强化学习 知识 探索策略 逆强化学习
：
：
文献标志码
Ａ
：
ＤＯＩ１０．３９６９ ．ｉｓｓｎ．１００１５０６Ｘ．２０１７．１１．３０
ꢀꢀꢀꢀ
－
／
中图分类号
ＴＰ１８
ꢀ ꢀꢀꢀꢀ
ｊ
：
Ｋｎｏｗｌｅｄｅｂａｓｅｄｄｅｅ ｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎ ａｒｅｖｉｅｗ
ꢀ
ｇ－
ｐ
ꢀ
ꢀ
ꢀ
ｇ
１
１
１
１
１
２
，
，
， ， ，
ＣＨＥＮ Ｘｉｌｉａｎ ＺＨＯＵ Ｙｕｈｕａｎ ＤＵＡＮＬｉｗｅｎ
ｇ
ꢀ ꢀ ꢀ
ＬＩＣｈｅｎｘｉ ＣＡＯＬｅｉ ＺＨＡＮＧ Ｙｏｎｌｉａｎ
ꢀ ꢀ
ｇ
ꢀ
ꢀ ꢀ
ｇ
（
，
，
１．Ｉｎｓｔｉｔｕｔｅｏ ＣｏｍｍａｎｄＩｎ ｏｒｍａｔｉｏｎＳｓｔｅｍ ＰＬＡＵｎｉｖｅｒｓｉｔ ｏ ＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏ
ｇｙ
，
；
Ｎａｎｉｎ ２１０００７ Ｃｈｉｎａ
ｊ ｇ
ꢀ
ꢀ
ꢀ
ｙ
ꢀ
ꢀ
ꢀ
ｆ
ｆ
ｙ ｆ
ꢀ ꢀ
ꢀ
ꢀ
， ， ，
２．Ｃｏｌｌｅｅｏ ＭｅｃｈａｎｉｃａｌＥｎｉｎｅｅｒｉｎ Ｚｈｅｉａｎ Ｕｎｉｖｅｒｓｉｔ Ｈａｎ ｚｈｏｕ３１００２７ Ｃｈｉｎａ
ꢀ
）
ꢀ
ｆ
ꢀ
ｇ
ｇ
ｇ
ｊ
ｇ
ꢀ
ｙ
ｇ
ꢀ
：
Ａｂｓｔｒａｃｔ Ａｓａｎｉｍ ｏｒｔａｎｔｍｅｔｈｏｄｔｏｓｏｌｖｅｓｅｕｅｎｔｉａｌｄｅｃｉｓｉｏｎ ｒｏｂｌｅｍｓ ｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎ ａｄｏｔｓａ
ꢀꢀ ꢀ ꢀ ｐ ꢀ ꢀ ꢀ ｑ ꢀｐ
ｐ ꢀ
，
ꢀ
ꢀ
ꢀ
ｇ
ꢀ
“
”
，
ｍｅｃｈａｎｉｓｍｏｆ ｔｒｉａｌａｎｄｅｒｒｏｒ ｔｏｉｎｔｅｒａｃｔｗｉｔｈｔｈｅｅｎｖｉｒｏｎｍｅｎｔ ｉｎｏｒｄｅｒｔｏｌｅａｒｎｔｈｅ ｏｌｉｃ ｏｆｔｈｅｔａｓｋ．Ｋｎｏｗ
ꢀ
ꢀ ꢀ ꢀｐ ｙ ꢀ ꢀ －
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
，
，
，
ｌｅｄｅ ａｓａｋｉｎｄｏｆｓｔｒｕｃｔｕｒｅｄｉｎｆｏｒｍａｔｉｏｎ ｗｈｉｃｈｃｏｎｔａｉｎｓｔｈｅｅｌｅｍｅｎｔｓｏｆｅｘｅｒｉｅｎｃｅ ｖａｌｕｅｓ ｃｏｎｉｔｉｖｅｒｕｌｅｓ
ꢀꢀ ꢀ ꢀ ꢀ ꢀ ｐ
，
ｇ
ｇ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
，
ａｎｄｅｘｅｒｔｏｉｎｉｏｎｓ ｃａｎｂｅｅｆｆｅｃｔｉｖｅｌ ｕｓｅｄｔｏｉｍ ｒｏｖｅｔｈｅｌｅａｒｎｉｎ ｅｆｆｉｃｉｅｎｃ ｏｆｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎ ．Ｔｈｉｓ
ꢀ ｐ ꢀｐ ꢀ ꢀ ꢀ ꢀ ｐ
ｙ
ꢀ
ꢀ
ꢀ
ｇ
ꢀ
ｙ
ꢀ
ꢀ
ꢀ
ｇ
，
ａｅｒｔａｋｅｓｔｈｅｂａｓｉｃｔｈｅｏｒ ｏｆｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎ ａｓａｓｔａｒｔｉｎ ｏｉｎｔ ａｎｄｓｓｔｅｍａｔｉｃａｌｌ ｓｕｍｍａｒｉｚｅｓｔｈｅ
ｐｐ ꢀ ｇｐ
ꢀꢀ ꢀｙ
ꢀ
ꢀ
ꢀ
ｙ
ꢀ
ꢀ
ꢀ
ｇ
ꢀ
ｙ
ꢀ
ꢀ
ꢀ
ｄｅｅ ｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎ ａｎｄｋｎｏｗｌｅｄｅｂａｓｅｄｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎ ．
ꢀ ꢀ － ꢀ ꢀ
ｐ
ꢀ
ｇ
ꢀ
ｇ
ｇ
：
Ｋｅｗｏｒｄｓ ｄｅｅ ｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎ ｋｎｏｗｌｅｄｅ ｅｘｌｏｒａｔｉｏｎｓｔｒａｔｅ ｉｎｖｅｒｓｅｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎ
ｇ
；
ｇ
；
；
ｇｙ
ｐ
ꢀ
ꢀ
ｇ
ｐ
ꢀ
ꢀ
ꢀ
ｙ
， “ ” ，
然而 强化学习 交互 试错 的学习机制 使其常常面
－
引
言
ꢀ
０
ꢀ
： 、 、
临 状态 动作空间的维度灾难 探索与利用的矛盾 时间
－
［
１－２
］
。 ， ，
信度分配等问题 其中 状态和动作维度过高 使得
Ａ ｅｎｔ
ｇ
，
来源于心理学中的行为主义 作为解决序
强化学习
ꢀꢀ
，
在巨大的状态 动作空间下 很难或无法遍历所有的情况
－
，
， “ ” ，
贯决策的重要方法 它采取持续的 交互 试错 机制 通过
－
。
导致算法无法学到合理的策略 在学 习过程中
，
Ａ ｅｎｔ
ｇ
一
。
与环境的不断交互学得有效策略 强化学习过程反映了人
，
方面需要利用已有的经验选择能够获益最大的动作 另一
，
脑如何做出决策的反馈系统运行机理 符合人类面向实际问
， ，
方面需要扩大搜索范围 选择以前没有选择过的动作 探索
。 ，
题时的经验性思维与直觉推理的一般决策过程 因而 近年
， 。
未知的空间 以期寻找到更优的动作 环境的反馈信号具
， ，
来 强化学习在人工智能领域得到广泛而深入地应用 并成为
，
有延迟性和稀疏性 即
在执行多步动作之后才会获
Ａ ｅｎｔ
ｇ
。
当前突破类人智能的关键性机器学习方法 强化学习在视频
［
］
３－８
、
［
］
０
、
［
］
１－１２
、
用
９－１
１
， 。
得奖赏 中间动作都没有收到反馈信号 解决上述问题的
游戏
棋牌类游戏
物理系统的导航与控制
［ ］
１３
户交互算法 等领域的表现已经接近或超过了人类水平
， ，
一个比较好的办法是 对人类知识的充分利用 这也正符合
。
。
人类在改造世界过程中面对一般性决策问题的思维方式
、
团队将深度学习 深度强化学习 与
特别是
Ｄｅｅ Ｍｉｎｄ
ｐ
、 、
知识作为一种包含了经验 价值观 认知规律以及专家
，
蒙特卡 罗 树 搜 索 技 术 深 度 融 合 研 发 出 的 智 能 围 棋 程 序
，
（
） ，
战胜李世乭 年
２０１７
， 、
见解等要素的结构化组合 是一种依赖于语境 面向人员的
在
ＡｌｈａＧｏ ２０１６
ｐ
年
月
３
ＡｌｈａＧｏＬｅｅ
ｐ
ꢀ
（
）
战 胜 世 界 围 棋 冠 军 柯 洁 展 现 出 了
ＡｌｈａＧｏＭａｓｔｅｒ
ｐ
ꢀ
，
，
更加注重效用的关联信息 具有目的性和应用性两大基本
月
５
。
。 ［ ］
特征 正如文献 指出 知识比数据和信息更有价值是
１４
，“
强化学习的巨大潜力
：
；
：
；
：
。
收稿日期
修回日期
网络优先出版日期
２０１７－０２－１４
２０１７－０６－０８
２０１７－０６－２９
： ：／／
ｈｔｔ
ｐ
／
／ ／
ｋｎｓ．ｃｎｋｉ．ｎｅｔｋｃｍｓｄｅｔａｉｌ１１ ．２４２２ ．Ｔ Ｎ ．２０１７０６２９ ．１７３２ ．００８ ．ｈｔｍｌ
网络优先出版地址
：
基金项目 总装备部预研基金
（
）；
中国博士后科学基金第八批特别项目
（
）；
中国博士后科学基金第
６０
９１４０ Ａ０６０２０３１５ＪＢ２５０８１
２０１５Ｔ８１０８１
（
）；
江苏省自然科学基金青年基金面上项目
（ ）
资助课题
Ｂ Ｋ２０１４００７５
批面上项目
２０１６ Ｍ ６０２９１７４
·
２６０４
ꢀ
·
系统工程与电子技术
第
卷
３９
ꢀ
ꢀ
，
因为它更贴近行动 知识是行动和决策的依据和指南
。”
（）
１ Ｓ
；
表示状态集
ꢀꢀ
、
将人类的领域知识 隐性经验和高质量数据应用于强
（）
２ Ａ
；
表示动作集
， ， ，
化学习 可以有效提高学习效率 降低学习难度 成为当前
（） （ ，）
，
表示状态 下采取动作 之后 转移到
ａ
３ Ｐｓ′ｓａ
｜
ｓ
。
研究的一个重要方向 本综述以强化学习的基本理论为起
；
状态的概率
ｓ′
， ，
点 首先介绍了强化学习的基本概念和基础算法 然后结合
（） （，） 。
表示状态 下采取动作 获得的奖励
ａ
４ Ｒｓａ
ｓ
；
近年来公开文献给出深度强化学习的概念及模型 梳理国
，
策略的目标是使未来的累积奖赏最大 因而当前状态
，
内外典型的基于知识的深度强化学习方法 即专家在线指
（
） （
或状态 动作对 的好坏可以通过该状态 状态 动作对
－
）
－
、 、 、
导 回报函数设计 启发式探索策略 模仿学习这 种方法
４
；
。
能够带来的未来累积回报的大小来衡量 强化学习引入回
，
最后 对基于知识的深度强化学习方法进行了总结与展望
。
：
报函数来表示某个时刻 的状态下具备的回报值
ｔ
∞
２
ｋ
…
（）
１
Ｒ
ｔ
ｒ
ｔ １
＋
ｒ
＋γ
ｔ ２
＋
ｒ
＋γ
ｔ ３
＋
ｒ
γ
ｔ １ ｋ
深度强化学习的概念及模型
＝
＋
＝
＋ ＋
１
ꢀ
∑
ｋ ０
＝
， ，
由于距离当前状态越远 回报值的不确定性越大 因而
ꢀꢀ
强化学习基础
１．１
ꢀ
，
一般采用 作为折扣系数 对未来的回报值乘以一个折扣
γ
强化学习与
模型
１．１．１
ＭＤＰ
ꢀ
。
γ
， ，
进而 引入值函数的概念 用值函数来表示一个状态的
强化学习的学习过程是
与环境进行交互并从环
Ａ ｅｎｔ
ｇ
， 。
价值 也就是未来累积回报的期望 定义如下
：
。
境中取得反馈信息的学习过程 作为一种交互式的学习方
［
］
５
。
１
∞
，
法 强化学习的主要特点是试错和延迟回报
熿
燄
ｋ
（）
２
π
（）
Ｖ ｓ
ｒ
ｓ
｜
ｔ
＋
ｓ
＝
γ
ｔ １ ｋ
＋
Ｅ
＝
∑
ｋ ０
＝
，
与环境的交互过程 在每个时间步
Ａ ｅｎｔ
ｇ
图
展示了
１
燀
燅
，
，
，
环境根据
ａ
ｔ
长
观察环境得到状态
Ａ ｅｎｔ
ｇ
然后执行动作
ｓ
ｔ
动作 状态价值函数就可表示为
－
ꢀꢀ
。
这样的过程可用马尔可夫决
生成下一时刻的
和
ｒ
ｔ
ａ
ｔ
ｓ
ｔ＋１
∞
熿
燄
（
，
）
来 进 行 描 述
Ｍａｒｋｏｖｄｅｃｉｓｉｏｎ ｒｏｃｅｓｓｅｓ ＭＤＰ
ꢀｐ
。
策过程
ｋ
ꢀ
（）
３
π
（，）
Ｑ ｓａ
，
ｓａ
＝ ＝
ｔ
ｒ
γ
ｔ １ ｋ
＋
ｓ
ｔ
ａ
｜
＋
Ｅ
＝
∑
ｋ ０
＝
，
分为 个部分 也可称为四元组
４
〈 ， ， ， 〉：
Ｓ Ａ Ｐ Ｒ
ＭＤＰ
燀
燅
强化学习基础算法
１．１．２
ꢀ
， ：
从环境模型是否已知的角度 可以将强化学习分为 有
。
模型和无模型的强化学习方法 有模型的强化学习方法主
，
要基于动态规划的思想 使用
方程和
最优
Ｂｅｌｌｍａｎ
Ｂｅｌｌｍａｎ
。
方程进行策略迭代和值迭代 对于环境未知的强化学习方
， 。 ，
法 称之为无模型的强化学习方法 在这样的情况下 由于
， ，
无法对状态进行全概率展开 因而无法直接评估策略 只能
，
通过与环境的交互采样 观察状态的转移和环境返回的奖赏
图
强化学习示意图
１
ꢀ
。
值来进行学习 有关方法的分类和关系可以参见图
。
２
Ｆｉ ．１ Ｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎ
ｇ ꢀ ꢀ ｇ
图
强化学习基本算法框架
２
ꢀ
Ｆｉ ．２ Ｆｒａｍｅｗｏｒｋｏｆｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎ ａｌｏｒｉｔｈｍｓ
ꢀ ꢀ ꢀ ｇ ｇ
ꢀ
ｇ
ꢀ
相关下载
- 电源芯片lm3370手册，效率高散热好
- USB PHY datasheet
- TCL液晶电视TV3202-ZC02-01(D)电源板原理图
- TCL液晶电视采用LD5760方案电源板电路图
- TCL液晶电视用SHG3201A-101H 81-PBE电源板电...
- TCL液晶电源JSK4330-007（晶辰）电源板图纸
- TCL液晶电源板PLE110-4A 81-PBE050-G01 PLE11...
- TCL液晶用PE081C5 81-PE081C5-P电源板电路原...
- TCL液晶用SHL3238F-101SN 81-PW电源板电路原...
- TCL液晶用SHLD3202F-101SN 81-P电源板电路原...
更多>>
最新上传
- 打赏
- 30日榜单
-
sdqdjqk 打赏1.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
wisdomlin 打赏1.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
799902619 打赏1.00元 3天前
资料：新立新龙软件
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏10.00元 3天前
资料：智谱开源AutoGLM
-
21ic下载 打赏310.00元 3天前
用户：jh0355
-
21ic下载 打赏310.00元 3天前
用户：zhengdai
-
21ic下载 打赏310.00元 3天前
用户：gsy幸运
-
21ic下载 打赏230.00元 3天前
用户：小猫做电路
-
21ic下载 打赏210.00元 3天前
用户：w178191520
-
21ic下载 打赏60.00元 3天前
用户：jh03551
-
21ic下载 打赏90.00元 3天前
用户：铁蛋锅
-
21ic下载 打赏80.00元 3天前
用户：xzxbybd
-
21ic下载 打赏60.00元 3天前
用户：kk1957135547
-
21ic下载 打赏60.00元 3天前
用户：w1966891335
-
21ic下载 打赏60.00元 3天前
用户：w993263495
-
21ic下载 打赏60.00元 3天前
用户：sun2152
-
21ic下载 打赏60.00元 3天前
用户：xuzhen1
-
21ic下载 打赏60.00元 3天前
用户：liao6
-
21ic下载 打赏70.00元 3天前
用户：liqiang9090
-
21ic下载 打赏70.00元 3天前
用户：mulanhk
-
21ic下载 打赏20.00元 3天前
用户：x15580286248
-
21ic下载 打赏30.00元 3天前
用户：玉落彼岸
-
21ic下载 打赏5.00元 3天前
用户：hnygpx
-
21ic下载 打赏10.00元 3天前
用户：vikey_zhu
-
21ic下载 打赏5.00元 3天前
用户：fine0406
-
21ic小能手 打赏15.00元 3天前
-
21ic小能手 打赏15.00元 3天前
全部评论(0)