文章目录

1 引言
2 预备知识
2.1 符号
2.2 统计机器学习
2.2.1 马尔科夫决策过程
2.2.2 熵
2.2.3 KL散度
2.2.4 信息与矩投影
2.2.5 最大熵原理
2.3 强化学习
2.4 模仿学习问题的形式化
3 模仿学习的算法设计
3.1 奖励函数的使用
3.2 期望行为的描述:行为克隆和逆强化学习
3.3 系统动力学的使用:基于模型 (model-based) 和无模型 (model-free)
3.4 特征表示
3.5 策略表示
3.6 策略间相似性测量
3.7 行为描述
3.8 从信息论角度理解特征匹配
4 行为克隆
4.1 克隆方法的选择
4.2 基于无模型的行为克隆方法
4.2.1 状态-动作对水平的无模型行为克隆方法
4.2.2 轨迹水平的无模型行为克隆方法
4.2.3 任务水平的无模型行为克隆方法
4.3 基于模型的行为克隆方法
4.3.1 基于前向动力学的行为克隆方法
4.3.2 基于迭代学习控制的行为克隆方法
5 逆强化学习
5.1 基于模型的逆强化学习方法
5.2 无模型的逆强化学习方法
6 模仿学习的应用
6.1 无模型行为克隆方法的相关应用
6.2 基于模型行为克隆方法的相关应用
6.3 基于模型逆强化学习方法的相关应用
6.4 无模型逆强化学习方法的相关应用
7 未来的挑战与发展趋势
7.1 面对的挑战与问题
7.2 模仿学习的发展趋势

计算机工程与应用 . 2019 ,55 (04) 查看该刊数据库收录来源

记笔记

模仿学习方法综述及其在机器人领域的应用附视频

李帅龙^1,2,3 张会文^1,2,3 周维佳^1,2

1.中国科学院沈阳自动化研究所机器人学国家重点实验室 2.中国科学院机器人与智能制造创新研究院 3.中国科学院大学

摘要：模仿学习一直是人工智能领域的研究热点。模仿学习是一种基于专家示教重建期望策略的方法。近年来,在理论研究中,此方法和强化学习等方法结合,已经取得了重要成果;在实际应用中,尤其是在机器人和其他智能体的复杂环境中,模仿学习取得了很好的效果。主要阐述了模仿学习在机器人学领域的研究与运用。介绍了和模仿学习相关的理论知识;研究了模仿学习的两类主要方法:行为克隆学习方法和逆强化学习方法;对模仿学习的成功应用进行总结;最后,给出当前面对的问题和挑战并且展望未来发展趋势。

关键词：

人工智能;行为克隆;逆强化学习;模仿学习;