无模型深度强化学习算法

• 无模型深度强化学习算法：直接训练类神经网络模型来表示策略π(a|s)" role="presentation">π(a|s)${\displaystyle \pi (a|s)}$。这里的“无模型”指的是不建立环境模型，而非不建立任何机器学习模型。这样的策略模型可以直接用策略梯度（policy gradient）[3]训练，但是策略梯度的变异性太大，很难有效率地进行训练。更进阶的训练方法尝试解决这个稳定性的问题：可信区域策略最佳化（Trust Region Policy Optimization，TRPO）[4]、近端策略最佳化（Proximal Policy Optimization，PPO）[5]。另一系列的无模型深度强化学习算法则是训练类神经网络模型来预测未来的奖励总和Vπ(s)" role="presentation">Vπ(s)${\displaystyle V^{\pi }(s)}$或Qπ(s,a)" role="presentation">Qπ(s,a)${\displaystyle Q^{\pi }(s,a)}$[6]，这类算法包括时序差分学习 TD、深度Q学习 DQN、SARSA。如果动作空间是离散的，那么策略π(a|s)" role="presentation">π(a|s)${\displaystyle \pi (a|s)}$可以用枚举所有的动作来找出Q" role="presentation">Q${\displaystyle Q}$函数的最大值。如果动作空间是连续的，这样的Q" role="presentation">Q${\displaystyle Q}$函数无法直接建立策略π(a|s)" role="presentation">π(a|s)${\displaystyle \pi (a|s)}$，因此需要同时训练一个策略模型[7][8][9]，也就变成一种“演员－评论家actor-critic”算法。

以上来自wikipedia。

无模型深度强化学习算法可分为两类：

一类是直接根据策略梯度更新策略，获得最优策略；

一类是通过奖励函数V或Q来评价策略的好坏，在当前状态下选择动作的策略能使agent/actor获得最大的累计奖励就是最好的策略，actor-critic中actor是根据状态选择动作的策略网络，critic是根据状态/状态+动作评价当前策略优劣的评价网络。