【论文速读】Observe and Look Further: Achieving Consistent Performance on Atari
2021/7/10 6:06:06
本文主要是介绍【论文速读】Observe and Look Further: Achieving Consistent Performance on Atari,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
发表时间:2018
文章要点:文章提出DQN之所有不能解决所有Atari游戏有三个问题,
1:不同游戏的reward量级差别较大,不好直接学习,但是暴力clip到[-1,1]又使得reward没有区分度了,不能解决像bowling这种游戏。
2:γ通常只能设置到0.99,导致horizon不够长,看得不够远。但是如果直接增大γ又会导致方差加大,拟合精度降低。
3:探索能力不够,对于sparse reward的环境没法解决。
对于1, 作者对reward新设计了一个可逆的转换函数
我感觉这个函数的主要作用就是开个根号,减小reward的量级(然后函数是可导和Lipschiz连续的,这个是为了理论上保证新的贝尔曼算子还是contraction的,虽然最后取γ的时候还是超过了需要的条件约束。。。也就是说,证明就不用看了,没啥保证,还是看实验结果吧。。。)。这样一来,贝尔曼算子变成了
对于第二个问题,作者新加了一个temporal consistency(TC)loss,
感觉这个目的主要是在更新状态x的时候,不要更新他的下一个状态x',他文中的解释就有点玄幻了,看不懂。
对于第三个问题,就是加入专家数据做模仿学习,这个模仿学习不是在强化之前直接监督做初始化,而是设置一个buffer和RL的buffer一起喂给网络学习。然后设置了一个新的loss
最后,以上三点再结合Ape-X的分布式和DQfD的模仿学习,放到一起训练。
总结:如果Ape-X和DQfD都是现成的话,工程量就还行。效果来说,有模仿学习一切皆有可能啊。然后这个新的reward transformation的函数好像后面paper还经常看见,有点复杂但是可能效果不错。我觉得直接简化成开根号会不会就好了。
疑问:对于第二个问题,为啥loss要设成那样,完全看不懂他解释的是啥意思?
对于第三个问题,为啥加了个λ,为啥要设计成这个样子?
这篇关于【论文速读】Observe and Look Further: Achieving Consistent Performance on Atari的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-05-15PingCAP 黄东旭参与 CCF 秀湖会议,共探开源教育未来
- 2024-05-13PingCAP 戴涛:构建面向未来的金融核心系统
- 2024-05-09flutter3.x_macos桌面os实战
- 2024-05-09Rust中的并发性:Sync 和 Send Traits
- 2024-05-08使用Ollama和OpenWebUI在CPU上玩转Meta Llama3-8B
- 2024-05-08完工标准(DoD)与验收条件(AC)究竟有什么不同?
- 2024-05-084万 star 的 NocoDB 在 sealos 上一键起,轻松把数据库编程智能表格
- 2024-05-08Mac 版Stable Diffusion WebUI的安装
- 2024-05-08解锁CodeGeeX智能问答中3项独有的隐藏技能
- 2024-05-08RAG算法优化+新增代码仓库支持,CodeGeeX的@repo功能效果提升