Benchmarking Batch Deep Reinforcement Learning Algorithms
2021/9/4 6:05:58
本文主要是介绍Benchmarking Batch Deep Reinforcement Learning Algorithms,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
发表时间:2019
文章要点:这篇文章主要是针对batch RL做了一个离散动作空间的benchmark,对比了DQN和一些batch RL算法的性能(DQN,REM,QR-DQN,KL-Control,BCQ)。并且把BCQ从连续动作空间改成适用离散动作空间,取得了SOTA的效果。作者得出的结论是,要想batch RL效果好,就要考虑外推误差(extrapolation error)的问题,否则会造成unstable value estimates,导致效果不好。extrapolation error的意思就是说我在评估action value的时候,可能在fix data上并没有这个值,但是由于TD更新,不小心把这个data里没有的action value更新大了,但是其实这个值实际可能很差,这就造成了误差导致效果更差了(induced from evaluating state-action pairs which are not contained in the provided batch of data. This erroneous extrapolation is propagated through temporal difference update of most off-policy algorithms, causing extreme overestimation and poor performance)。这个其实不做实验也能想到,不过这个结论没毛病。
总结:这篇paper主要就是做了个benchmark,得出的结论也是make sense的。
疑问:文章提了好多个batch RL的算法都没看过,要是以后真要做batch RL的东西,可以从这篇里面找这些算法出来看看:QR-DQN,REM,BCQ,BEAR-QL,KL-Control,SPIBB-DQN。
这篇关于Benchmarking Batch Deep Reinforcement Learning Algorithms的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-04-01got an unexpected keyword argument
- 2024-03-30维多利亚的秘密 golang入坑系统
- 2024-03-29mongodb sort by date
- 2024-03-29go swagger
- 2024-03-25mongodb cdc
- 2024-03-25how to use go in vscode
- 2024-03-22mongooseserverselectionerror: connect econnrefused ::1:27017
- 2024-03-21pymongo insert_many
- 2024-03-18projection mongodb
- 2024-03-14clickhouse-go