admin管理员组文章数量:1658762
在一些随机环境中,著名的强化学习算法Q-learning表现非常糟糕。这种糟糕的性能是由对动作值的过高估计造成的。这些过高估计是由于引入了正偏差,因为Q-learning使用最大动作值作为最大期望动作值的近义词。我们引入了一种替代方法来近似任何一组随机变量的最大期望值。所得到的双重估计器方法有时会低估而不是高估最大期望值。将双估计器应用到Q-learning中,构建了一种新的非策略强化学习算法double Q-learning。本文表明,新算法收敛于最优策略,并且在一些由于q学习的高估而表现不佳的情况下,它表现良好。
背景:
本文表明,由于对动作值的过大估计,Q-learning在随机mdp中的性能可能很差。
Contributions
Q-learning算法的一个重要方面在之前的工作中被忽视了:使用max算子来确定下一个状态的值可能会导致动作值的大幅高估。由于使用最大值作为最大期望值的近义词会产生积极的偏差,q学习可能会遭受很大的性能损失。本文提出一种备选的双估计器方法,以找到一组随机值的最大值的估计,并表明这有时会低估而不是高估最大期望值。我们用它来构建新的双q学习算法。
1.高估的原因:
2. Estimating the Maximum Expected Value
在本节中,我们分析两种寻找一组随机变量最大期望值近似值的方法。单估计器方法使用一组估计器的最大值作为近似。这种近似最大期望值的方法是有正偏差的,
(1)单估计器方法(Single Estimator)
所谓的单估计就是使用一组估计量的最大值作为近似值,
3. Double Q-learning算法
版权声明:本文标题:Double Q-learning 内容由热心网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:https://m.elefans.com/dianzi/1729813768a1213651.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论