【强化学习】09——价值和策略近似逼近方法

前言

之前所有模型的做法都是基于创建一个查询表，在表中维护状态值函数$V(s)$或状态-动作值函数$Q(s,a)$。但对于大规模的MDP时，为每一个状态维护$V(s)$或为每个状态-动作对维护$Q(s,a)$ 则需要面临以下问题：

• 存储状态或动作需要大量的存储空间
• 对于每一个状态去学习相应的价值需要耗费大量时间

大规模问题：

• 状态或者状态-动作空间非常大
• 连续的状态或动作空间
• 围棋博弈（$10^{170}$的状态空间）
• 直升机，自动驾驶汽车（连续的状态空间）

因此，传统的方法不再适用。针对arge MDPs问题的主要解决方案有：

• 对状态/动作进行离散化或分桶
• 构建参数化的值函数估计

对状态/动作进行离散化

对于连续状态马尔可夫决策过程，我们可以对状态空间进行离散化。例如，如果用2维连续值 𝑠1, 𝑠2 表示状态，可以使用网格对状态空间进行切分从而转化为离散的状态值。
记离散的状态值为$\bar{s}$，离散化的马尔可夫决策过程可以表示为： ( S ˉ , A , { P S ˉ a } , γ , R ) (\bar{S},A,\{P_{\bar{S}a}\},\gamma,R) (Sˉ,A,{PSˉa​},γ,R)，这样一来，就能够使用前述方法求解马尔可夫决策过程。

对于一个大型的离散状态马尔可夫决策过程，我们可以对状态值进一步分桶以进行采样聚合，使用先验知识将相似的离散状态归类到一起。

离散化的方式优点：
• 操作简洁直观
• 高效
• 在处理许多问题时能够达到较好效果
缺点：
• 过于简单地表示价值函数𝑉，可能部分灵敏区域会被忽略
• 可能为每个离散区间假设一个常数值
• 维度灾难

参数化值函数近似

构建参数化（可学习的）函数来近似值函数
$$\begin{array}{rl}\hat{V}(s,\mathbf{w})& \approx V_{\pi }(s)\\ \hat{Q}(s,a,\mathbf{w})& \approx Q_{\pi }(s,a)\end{array}$$• $\mathbf{w}$是近似函数的参数，可以通过强化学习进行更新
• 参数化的方法将现有可见的状态泛化到没有见过的状态上

值函数近似的主要形式

• 一些函数近似
  • （一般的）线性模型
  • 神经网络
  • 决策树
  • 最近邻
  • 傅立叶/小波基底
• 可微函数
  • （一般的）线性模型
  • 神经网络

我们希望模型适合在非稳态的（non-stationary），非独立同分布（non-iid）的数据上训练，因此参数化模型比树模型更适合。

Incremental Methods

Gradient Descent

梯度下降被广泛用于优化模型的参数。设$J(\mathbf{w})$是对参数$\mathbf{w}$可微的函数。则$J(\mathbf{w})$的梯度可被定义为：$${\nabla }_{\mathbf{w}}J(\mathbf{w})=\left(\begin{array}{c}\frac{\partial J(\mathbf{w})}{\partial {\mathbf{w}}_1}\\ ⋮\\ \frac{\partial J(\mathbf{w})}{\partial {\mathbf{w}}_n}\end{array}\right)$$为了达到损失函数$J(\mathbf{w})$的局部最小值，调整权重向量$\mathbf{w}$的方向以使其朝着负梯度方向进行更新。
$$\Delta \mathbf{w}=-\frac{1}{2}\alpha {\nabla }_{\mathbf{w}}J(\mathbf{w})$$
其中，$\alpha$是学习率（一个正的标量值），控制每次更新的步长.

基于随机梯度下降（SGD）的值函数近似
目标：找到参数向量$\mathbf{w}$最小化值函数近似值与真实值之间的均方误差$$J(\mathbf{w})={\mathbb{E}}_{\pi }\left[(V_{\pi }(s)-\hat{V}(s,\mathbf{w}){)}^2\right]$$误差减小的梯度方向$$\begin{array}{rl}\Delta \mathbf{w}& =-\frac{1}{2}\alpha {\nabla }_{\mathbf{w}}J(\mathbf{w})\\ & =\alpha {\mathbb{E}}_{\pi }\left[(V_{\pi }(s)-\hat{V}(s,\mathbf{w})){\nabla }_{\mathbf{w}}\hat{V}(s,\mathbf{w})\right]\end{array}$$单次采样进行随机梯度下降$$\Delta \mathbf{w}=\alpha (V_{\pi }(s)-\hat{V}(s,\mathbf{w})){\nabla }_{\mathbf{w}}\hat{V}(s,\mathbf{w})$$

Linear Value Function Approximation

Feature Vectors特征化状态

用一个特征向量表示状态
$$x(s)=\left[\begin{array}{c}{x}_1(s)\\ ⋮\\ x_k(s)\end{array}\right]$$
以直升机控制问题为例
• 3D位置
• 3D速度（位置的变化量）
• 3D加速度（速度的变化量）
用特征的线性组合表示价值函数$$\hat{V}(s,\mathbf{w})=\mathbf{x}(s{)}^{\top }\mathbf{w}=\sum _{j=1}^n{\mathbf{x}}_j(s){\mathbf{w}}_j$$
目标函数是参数$\mathbf{w}$的二次函数$$J(\mathbf{w})={\mathbb{E}}_{\pi }\left[(V_{\pi }(s)-\mathbf{x}(s{)}^{\top }\mathbf{w}{)}^2\right]$$

因而随机梯度下降能够收敛到全局最优解上$$\begin{array}{rl}{\nabla }_{\mathbf{w}}\hat{V}(s,\mathbf{w})& =\mathbf{x}(s)\\ \Delta \mathbf{w}& =\alpha (V_{\pi }(s)-\hat{V}(s,\mathbf{w}))\mathbf{x}(s)\end{array}$$Update = step-size × prediction error × feature value

Table Lookup Features

之前基于表去查找的方法其实是线性状态值函数近似的一种特殊形式。
Table Lookup的Features(只有$s=s_i$时才会是1，其他都是0)：
$${\mathbf{x}}^{table}(s)=\left(\begin{array}{c}1(s=s_1)\\ ⋮\\ 1(s=s_n)\end{array}\right)$$
值函数则是向量于权重的乘积$$\hat{V}(s,\mathbf{w})=\left(\begin{array}{c}1(s=s_1)\\ ⋮\\ 1(s=s_n)\end{array}\right)\cdot \left(\begin{array}{c}{\mathbf{w}}_1\\ ⋮\\ {\mathbf{w}}_n\end{array}\right)$$

Incremental Prediction Algorithms

在之前的描述中，我们假定$V_{\pi }(s)$类似于监督学习中的label，是被给定的。但在RL是无监督学习，只有奖励。因此可以做如下替换：

• 对于 MC，用$G_t$替换$V_{\pi }(s)$：$$\Delta \mathbf{w}=\alpha (G_t-\hat{V}(s_t,\mathbf{w})){\nabla }_{\mathbf{w}}\hat{V}(s_t,\mathbf{w})$$
• 对于TD(0)，用$R_{t+1}+\gamma \hat{V}(s_{t+1},\mathbf{w})$替换$V_{\pi }(s)$:$$\Delta \mathbf{w}=\alpha (R_{t+1}+\gamma \hat{V}(s_{t+1},\mathbf{w})-\hat{V}(s_t,\mathbf{w})){\nabla }_{\mathbf{w}}\hat{V}(s_t,\mathbf{w})$$
• 对于TD(λ)，用$G_t^{\lambda }$替换$V_{\pi }(s)$:$$\Delta \mathbf{w}=\alpha (G_t^{\lambda }-\hat{V}(s_t,\mathbf{w})){\nabla }_{\mathbf{w}}\hat{V}(s_t,\mathbf{w})$$

Monte-Carlo with Value Function Approximation

• $G_t$是对$V_{\pi }(s_t)$无偏但有噪声的采样
• 可以在“训练数据”上运用监督学习对价值函数进行预测$$⟨s_1,G_1⟩,⟨s_2,G_2⟩,...,⟨s_T,G_T⟩$$
• 对于每个数据样本$⟨s_t,G_t⟩$(linear Monte-Carlo policy evaluation) Δ w = α ( G t − V ^ ( S t , w ) ) ∇ w V ^ ( s t , w ) = α ( G t − V ^ ( s t , w ) ) x ( s t )
  Δw=α(\textcolorredGt−V^(St,w))∇wV^(st,w)=α(Gt−V^(st,w))x(st)" role="presentation">Δw=α(\textcolorredGt−V^(St,w))∇wV^(st,w)=α(Gt−V^(st,w))x(st)$$\begin{array}{c}\mathrm{\Delta }\mathbf{w}=\alpha (\text{textcolor}red{G}_t-\hat{V}(S_t,\mathbf{w})){\mathrm{\nabla }}_{\mathbf{w}}\hat{V}(s_t,\mathbf{w})\\ =\alpha (G_t-\hat{V}(s_t,\mathbf{w}))\mathbf{x}(s_t)\end{array}$$
  Δw=α(Gt​−V^(St​,w))∇w​V^(st​,w)=α(Gt​−V^(st​,w))x(st​)​

蒙特卡洛预测至少能收敛到一个局部最优解
• 在价值函数为线性的情况下可以收敛到全局最优

TD Learning with Value Function Approximation

• $R_{t+1}+\gamma \hat{V}(s_{t+1},\mathbf{w})$是对$V_{\pi }(s_t)$的有偏采样
• 同样可以在“训练数据”上运用监督学习对价值函数进行预测$$⟨S_1,R_2+\gamma \hat{v}(S_2,\mathbf{w})⟩,⟨S_2,R_3+\gamma \hat{v}(S_3,\mathbf{w})⟩,...,⟨S_{T-1},R_T⟩$$
• linear TD(0) Δ w = α ( R + γ V ^ ( s ′ , w ) − V ^ ( s , w ) ) ∇ w V ^ ( s , w ) = α δ x ( s )
  Δw=α(\textcolorredR+γV^(s′,w)−V^(s,w))∇wV^(s,w)=αδx(s)" role="presentation">Δw=α(\textcolorredR+γV^(s′,w)−V^(s,w))∇wV^(s,w)=αδx(s)$$\begin{array}{rl}\mathrm{\Delta }\mathbf{w}& =\alpha (\text{textcolor}redR+\gamma \hat{V}(s^{\mathrm{\prime }},\mathbf{w})-\hat{V}(s,\mathbf{w})){\mathrm{\nabla }}_{\mathbf{w}}\hat{V}(s,\mathbf{w})\\ & =\alpha \delta \mathbf{x}(s)\end{array}$$
  Δw​=α(R+γV^(s′,w)−V^(s,w))∇w​V^(s,w)=αδx(s)​
• 线性情况下时序差分学习（接近）收敛到全局最优解

TD(λ) with Value Function Approximation

• $G_t^{\lambda }$是对$V_{\pi }(s_t)$的有偏采样
• 可以在“训练数据”上运用监督学习对价值函数进行预测$$⟨S_1,G_1^{\lambda }⟩,⟨S_2,G_2^{\lambda }⟩,...,⟨S_{T-1},G_{T-1}^{\lambda }⟩$$
• Forward view linear TD(λ) Δ w = α ( G t λ − V ^ ( S t , w ) ) ∇ w V ^ ( s t , w ) = α ( G t λ − V ^ ( s t , w ) ) x ( s t )
  Δw=α(\textcolorredGtλ−V^(St,w))∇wV^(st,w)=α(\textcolorredGtλ−V^(st,w))x(st)" role="presentation">Δw=α(\textcolorredGλt−V^(St,w))∇wV^(st,w)=α(\textcolorredGλt−V^(st,w))x(st)$$\begin{array}{c}\mathrm{\Delta }\mathbf{w}=\alpha (\text{textcolor}red{G}_t^{\lambda }-\hat{V}(S_t,\mathbf{w})){\mathrm{\nabla }}_{\mathbf{w}}\hat{V}(s_t,\mathbf{w})\\ =\alpha (\text{textcolor}red{G}_t^{\lambda }-\hat{V}(s_t,\mathbf{w}))\mathbf{x}(s_t)\end{array}$$
  Δw=α(Gtλ​−V^(St​,w))∇w​V^(st​,w)=α(Gtλ​−V^(st​,w))x(st​)​
• Backward view linear TD(λ) δ t = R t + 1 + γ V ^ ( s t + 1 , w ) − V ^ ( s t , w ) E t = γ λ E t − 1 + x ( s t ) Δ w = α δ t E t
  δt=Rt+1+γV^(st+1,w)−V^(st,w)Et=γλEt−1+x(st)Δw=αδtEt" role="presentation">δtEtΔw=Rt+1+γV^(st+1,w)−V^(st,w)=γλEt−1+x(st)=αδtEt$$\begin{array}{rl}{\delta }_t& =R_{t+1}+\gamma \hat{V}(s_{t+1},\mathbf{w})-\hat{V}(s_t,\mathbf{w})\\ E_t& =\gamma \lambda E_{t-1}+\mathbf{x}(s_t)\\ \mathrm{\Delta }\mathbf{w}& =\alpha {\delta }_t{E}_t\end{array}$$
  δt​Et​Δw​=Rt+1​+γV^(st+1​,w)−V^(st​,w)=γλEt−1​+x(st​)=αδt​Et​​
• Backward view linear TD(λ)和Forward view linear TD(λ)是等效的

Incremental Control Algorithms

Control with Value Function Approximation

• 策略评估：近似策略评估$Q_{\mathbf{w}}\approx Q_{\pi }$
• 策略改进：𝜖-贪心策略提升

Action-Value Function Approximation

对动作-状态值函数进行近似$$\hat{Q}(s,a,\mathbf{w})\approx Q_{\pi }(s,a)$$
最小均方误差$$J(\mathbf{w})={\mathbb{E}}_{\pi }\left[(Q_{\pi }(s,a)-\hat{Q}(s,a,\mathbf{w}){)}^2\right]$$
在单个样本上进行随机梯度下降$$\begin{array}{rl}-\frac{1}{2}{\nabla }_{\mathbf{w}}J(\mathbf{w})& =(Q_{\pi }(s,a)-\hat{Q}(s,a,\mathbf{w})){\nabla }_{\mathbf{w}}\hat{Q}(s,a,\mathbf{w})\\ \Delta w& =\alpha (Q_{\pi }(s,a)-\hat{Q}(s,a,\mathbf{w})){\nabla }_{\mathbf{w}}\hat{Q}(s,a,\mathbf{w})\end{array}$$

Linear Action-Value Function Approximation

用特征向量表示状态-动作对$$x(s,a)=\left[\begin{array}{c}{x}_1(s,a)\\ ⋮\\ x_k(s,a)\end{array}\right]$$
线性情况下，参数化后𝑄函数$$\hat{Q}(s,a,\mathbf{w})=\mathbf{x}(s,a{)}^{\top }\mathbf{w}=\sum _{j=1}^n{\mathbf{x}}_j(s,a){\mathbf{w}}_j$$
利用随机梯度下降更新$$\begin{array}{rl}{\nabla }_{\mathbf{w}}\hat{Q}(s,a,\mathbf{w})& =\mathbf{x}(s,a)\\ \Delta \mathbf{w}& =\alpha (Q_{\pi }(s,a)-\hat{Q}(s,a,\mathbf{w}))\mathbf{x}(s,a)\end{array}$$

Incremental Control Algorithms

类似于Prediction的方法做如下替换：

• 对于 MC，用$G_t$替换$Q_{\pi }(s,a)$：$$\Delta \mathbf{w}=\alpha (G_t-\hat{Q}(s_t,a_t,\mathbf{w})){\nabla }_{\mathbf{w}}\hat{Q}(s_t,a_t,\mathbf{w})$$
• 对于TD(0)，用$R_{t+1}+\gamma \hat{Q}(s_{t+1},a_{t+1},\mathbf{w})$替换$Q_{\pi }(s,a)$:$$\Delta \mathbf{w}=\alpha (R_{t+1}+\gamma \hat{Q}(s_{t+1},a_{t+1},\mathbf{w})-\hat{Q}(s_t,a_t,\mathbf{w})){\nabla }_{\mathbf{w}}\hat{Q}(s_t,a_t,\mathbf{w})$$
• 对于TD(λ)，用$G_t^{\lambda }$替换$Q_{\pi }(s,a)$:$$\Delta \mathbf{w}=\alpha (G_t^{\lambda }-\hat{Q}(s_t,a_t,\mathbf{w})){\nabla }_{\mathbf{w}}\hat{Q}(s_t,a_t,\mathbf{w})$$

虽然$\mathbf{w}$在时序差分学习的目标中出现，但是我们并不需要计算目标函数的梯度。因为目标值不是可学习的，就是单纯固定的一个值。如果同时学习，会造成训练不稳定。

Example1 Mountain Car

Example2 DQN

使用深度神经网络表示Q函数。输入s，输出n+1个a（多一个no input），选出最大的a作为实际输出。

DQN 使用经验回放（experience replay）和 固定的目标Q值

$$\begin{array}{rl}{L}_i({\theta }_i)={\mathbb{E}}_{(s,a,r,s^{\prime })\sim U(D)}& \left[{\left(\underset{\text{目标Q值}}{\underbrace{r+\gamma \underset{a\prime }{\max }Q(s^{\prime },a^{\prime };{\theta }_i^{-})}}-\underset{\text{预测Q值}}{\underbrace{Q(s,a;{\theta }_i)}}\right)}^2\right]\end{array}$$

• 𝜃𝑖是第𝑖轮迭代中将要更新的网络参数
• 通过标准的反向传播算法进行更新
• 𝜃𝑖−是目标网络参数
• 仅在𝜃𝑖每更新𝐶步后进行更新
• (𝑠, 𝑎, 𝑟, 𝑠′) ~𝑈 (𝐷) ：样本从经验池𝐷中均匀抽样
• 这样做可以避免在近期经验上过拟合

参考

[1] 伯禹AI
[2] https://www.deepmind.com/learning-resources/introduction-to-reinforcement-learning-with-david-silver
[3] 动手学强化学习
[4] Reinforcement Learning