引言

上一节我们介绍了 行动者-评论家(AC)方法，其核心思想是将policy_based与value_based方法相结合，仅需要执行一次状态转移过程，就可立即进行策略改进。本节将继续沿用AC方法框架，介绍 确定性策略梯度定理。

回顾：策略梯度定理

在策略梯度方法介绍——蒙特卡洛策略梯度方法(REINFORCE)介绍了策略梯度定理的期望表达形式：
$$\nabla \mathcal{J}(\theta )={\mathbb{E}}_{S_t\sim {\rho }^{{\pi }_{\theta }};A_t\sim {\pi }_{\theta }}[\nabla \log \pi (A_t\mid S_t;\theta )q_{{\pi }_{\theta }}(S_t,A_t)]$$
其中，$t$时刻状态$S_t$服从状态分布${\rho }^{{\pi }_{\theta }}$，$t$时刻动作$A_t$服从$S_t$时刻的策略函数$\pi (A_t\mid S_t;\theta )$。

确定性策略梯度

确定性策略梯度的表示形式

既然有确定型策略梯度，自然也会有随机性策略梯度。在策略梯度定理推导过程中介绍的就是随机性策略梯度的推导过程。两者之间主要的差别是$t$时刻动作$A_t$服从的策略是确定性策略还是随机性策略。

在最早的马尔可夫奖励过程(MRP)中介绍到确定性策略—智能体在某一状态下只能执行唯一一个确定的动作。因此，在策略梯度方法中，策略$\pi (A_t\mid S_t;\theta )$是一个 常数，而常数自身是不存在梯度的，因此$\nabla \pi (A_t\mid S_t;\theta )=0$;

为了在算法过程中，继续对参数$\theta$求解梯度，对确定性策略设定一个符号：$\mu (S_t;\theta )$，记为${\mu }_{\theta }$。

• $\mu (S_t;\theta )$可看成是关于$S_t$和参数$\theta$的函数，而不是条件概率；
• $\mu (S_t;\theta )$本身就可以表示动作$A_t$；

$\mathcal{J}(\theta )$仍然表示 ${\mu }_{\theta }$条件下，初始状态的回报$G_0$的期望${\mathbb{E}}_{{\mu }_{\theta }}[G_0]$。因此，对确定性策略梯度$\nabla \mathcal{J}(\theta )$表示如下：
$$\nabla \mathcal{J}(\theta )=\nabla {\mathbb{E}}_{{\mu }_{\theta }}[G_0]=\mathbb{E}\left[\sum _{k=0}^{+\infty }{\gamma }^k\nabla \mu (S_t;\theta )[{\nabla }_a{q}_{{\mu }_{\theta }}(S_t,a)]{|}_{a=\mu (S_t;\theta )}\right]$$
更一般的形式表示如下：
$$\nabla \mathcal{J}(\theta )={\mathbb{E}}_{S_t\sim {\rho }^{{\mu }_{\theta }}}\left[\nabla \mu (S_t;\theta ){\nabla }_a{q}_{{\mu }_{\theta }}(S_t,a){|}_{a=\mu (S_t;\theta )}\right]$$

和回顾中策略梯度定理中期望的表达形式对比，主要有如下几个区别：

• 期望结果中，分布只包含状态分布$S_t\sim {\rho }^{{\mu }_{\theta }}$；
• 期望内部，不仅要对$\mu (S_t;\theta )$中的$\theta$求解梯度，还要对状态-动作价值函数$q_{{\mu }_{\theta }}(S_t,a)$中的$a$求解梯度；
• 不存在$\log$项；

带着上述的几个区别，执行确定性策略梯度的算法推导过程。

确定性策略梯度算法推导过程

整个推导过程和‘策略梯度定理’推导过程非常相似，大家可以对比查看。
当策略函数$\pi (a\mid s;\theta )$成为确定性策略$\mu (s;\theta )$后，最主要的变化 是状态价值函数$V_{{\mu }_{\theta }}(s)$与状态-动作价值函数$q_{{\mu }_{\theta }}(s,\mu (s;\theta ))$相等：
动作被唯一确定了；
$$V_{{\mu }_{\theta }}(s)=q_{{\mu }_{\theta }}(s,\mu (s;\theta )),s\in \mathcal{S}$$

根据贝尔曼期望方程，将$q_{{\mu }_{\theta }}(s,a)$展开为如下形式：
$r(s,\mu (s,\theta ))$被称为奖赏函数。
$$q_{{\mu }_{\theta }}(s,\mu (s;\theta ))=r(s,\mu (s;\theta ))+\gamma \sum _{s^{\prime },r}P(s^{\prime },r\mid s,\mu (s;\theta ))V_{{\mu }_{\theta }}(s^{\prime }),s\in \mathcal{S}$$
继续化简，后一项的$r$可以使用概率密度积分的方式消掉。整理得：
$$q_{{\mu }_{\theta }}(s,\mu (s;\theta ))=r(s,\mu (s,\theta ))+\gamma \sum _{s^{\prime }}P(s^{\prime }\mid s,\mu (s;\theta ))V_{{\mu }_{\theta }}(s^{\prime }),s\in \mathcal{S}$$

分别对$V_{{\mu }_{\theta }}(s),q_{{\mu }_{\theta }}(s,\mu (s;\theta ))$求解梯度：
$$\nabla V_{{\mu }_{\theta }}(s)=\nabla q_{{\mu }_{\theta }}(s,\mu (s;\theta ))$$
对$q_{{\mu }_{\theta }}(s,\mu (s;\theta ))$求解梯度过程中，由于对$\theta$求解梯度，因此注意 链式求导法则 和 乘法求导：
$$\nabla q_{{\mu }_{\theta }}(s,\mu (s;\theta ))={\nabla }_{a}r(s,a){|}_{a=\mu (s;\theta )}\cdot \nabla \mu (s;\theta )+\gamma \sum _{s^{\prime }}\left\{{\nabla }_{a}P(s^{\prime }\mid s,a){|}_{a=\mu (s;\theta )}\cdot \nabla \mu (s;\theta )\cdot V_{{\mu }_{\theta }}(s^{\prime })+P(s^{\prime }\mid s,\mu (s;\theta ))\nabla V_{{\mu }_{\theta }}(s^{\prime })\right\}$$
将含有$\nabla \mu (s;\theta )$的项提出来：
$$\nabla \mu (s;\theta )\cdot {\left[{\nabla }_{a}r(s,a)+\gamma \sum _{s^{\prime }}{\nabla }_{a}P(s^{\prime }\mid s,a)\cdot V_{{\mu }_{\theta }}(s^{\prime })\right]}_{a=\mu (s;\theta )}+\gamma \sum _{s^{\prime }}P(s^{\prime }\mid s,\mu (s;\theta ))V_{{\mu }_{\theta }}(s^{\prime })$$
又因为：
∇ a r ( s , a ) + γ ∑ s ′ ∇ a P ( s ′ ∣ s , a ) ⋅ V μ θ ( s ′ ) = ∇ a r ( s , a ) + ∇ a γ ∑ s ′ P ( s ′ ∣ s , a ) ⋅ V μ θ ( s ′ ) = ∇ a [ r ( s , a ) + γ ∑ s ′ P ( s ′ ∣ s , a ) ⋅ V μ θ ( s ′ ) ] = ∇ a q μ θ ( s , a )

​∇a​r(s,a)+γs′∑​∇a​P(s′∣s,a)⋅Vμθ​​(s′)=∇a​r(s,a)+∇a​γs′∑​P(s′∣s,a)⋅Vμθ​​(s′)=∇a​[r(s,a)+γs′∑​P(s′∣s,a)⋅Vμθ​​(s′)]=∇a​qμθ​​(s,a)​

则有：
$$\nabla q_{{\mu }_{\theta }}(s,\mu (s;\theta ))=\nabla \mu (s;\theta )\cdot {\nabla }_a{q}_{{\mu }_{\theta }}(s,a){|}_{a=\mu (s;\theta )}+\gamma \sum _{s^{\prime }}P(s^{\prime }\mid s,\mu (s;\theta ))\cdot V_{{\mu }_{\theta }}(s^{\prime })$$

最终有：
$$\nabla V_{{\mu }_{\theta }}(s)=\nabla \mu (s;\theta )\cdot {\nabla }_a{q}_{{\mu }_{\theta }}(s,a){|}_{a=\mu (s;\theta )}+\gamma \sum _{s^{\prime }}P(s^{\prime }\mid s,\mu (s;\theta ))\cdot V_{{\mu }_{\theta }}(s^{\prime })$$
至此，我们得到了$\nabla V_{{\mu }_{\theta }}(s)\to \nabla V_{{\mu }_{\theta }}(s^{\prime })$的 递推关系。我们同样可以得到$\nabla V_{{\mu }_{\theta }}(s^{\prime })\to \nabla V_{{\mu }_{\theta }}(s^{\prime \prime })$的递推关系：
$$\nabla V_{{\mu }_{\theta }}(s^{\prime })=\nabla \mu (s^{\prime };\theta )\cdot {\nabla }_{a^{\prime }}{q}_{{\mu }_{\theta }}(s^{\prime },a^{\prime }){|}_{a^{\prime }=\mu (s^{\prime };\theta )}+\gamma \sum _{s^{\prime \prime }}P(s^{\prime \prime }\mid s^{\prime },\mu (s^{\prime };\theta ))\cdot V_{{\mu }_{\theta }}(s^{\prime \prime })$$

将$\nabla V_{{\mu }_{\theta }}(s^{\prime })$带回$\nabla V_{{\mu }_{\theta }}(s)$：
$$\nabla V_{{\mu }_{\theta }}(s)=\nabla \mu (s;\theta )\cdot {\nabla }_a{q}_{{\mu }_{\theta }}(s,a){|}_{a=\mu (s;\theta )}+\gamma \sum _{s^{\prime }}P(s^{\prime }\mid s,\mu (s;\theta ))\cdot \left\{\nabla \mu (s^{\prime };\theta )\cdot {\nabla }_{a^{\prime }}{q}_{{\mu }_{\theta }}(s^{\prime },a^{\prime }){|}_{a^{\prime }=\mu (s^{\prime };\theta )}+\gamma \sum _{s^{\prime \prime }}P(s^{\prime \prime }\mid s^{\prime },\mu (s^{\prime };\theta ))\cdot V_{{\mu }_{\theta }}(s^{\prime \prime })\right\}$$

展开后依然是三项加和的形式：
$$\begin{gathered} \nabla \mu (s;\theta )\cdot {\nabla }_a{q}_{{\mu }_{\theta }}(s,a){|}_{a=\mu (s;\theta )} \\ \gamma \sum _{s^{\prime }}P(s^{\prime }\mid s,\mu (s;\theta ))\cdot \nabla \mu (s^{\prime };\theta )\cdot {\nabla }_{a^{\prime }}{q}_{{\mu }_{\theta }}(s^{\prime },a^{\prime }){|}_{a^{\prime }=\mu (s^{\prime };\theta )} \\ \gamma \sum _{s^{\prime }}P(s^{\prime }\mid s,\mu (s;\theta ))\cdot \gamma \sum _{s^{\prime \prime }}P(s^{\prime \prime }\mid s^{\prime },\mu (s^{\prime };\theta ))\cdot V_{{\mu }_{\theta }}(s^{\prime \prime }) \end{gathered}$$
由于最后一项依然可以继续展开，因此我们先关注前面两项是否存在某种表达规律；
第一个式子，我们可以理解成 使用确定性策略$\mu (s;\theta )$ 从状态$s$经过动作$a=\mu (s;\theta )$执行0次状态转移至 状态$s$的价值函数的 梯度。
状态$s$转移至状态$s\to$相当于没有进行状态转移——静止不动 ，因此动态特性函数$P(s^{\prime }\mid s,\mu (s;\theta ))=1$恒成立。并且 转移后的状态结果只有$s$自身。因此，可以将第一项式子扩展如下：
∇ μ ( s ; θ ) ⋅ ∇ a q μ θ ( s , a ) ∣ a = μ ( s ; θ ) = 1 × ∑ s 1 × ∇ μ ( s ; θ ) ⋅ ∇ a q μ θ ( s , a ) ∣ a = μ ( s ; θ ) = γ 0 ∑ s P ( s ∣ s , μ ( s ; θ ) ) ⋅ ∇ μ ( s ; θ ) ⋅ ∇ a q μ θ ( s , a ) ∣ a = μ ( s ; θ )

​∇μ(s;θ)⋅∇a​qμθ​​(s,a)∣a=μ(s;θ)​=1×s∑​1×∇μ(s;θ)⋅∇a​qμθ​​(s,a)∣a=μ(s;θ)​=γ0s∑​P(s∣s,μ(s;θ))⋅∇μ(s;θ)⋅∇a​qμθ​​(s,a)∣a=μ(s;θ)​​
再次将第一项与第二项进行对比：
$$\begin{gathered} {\gamma }^0\sum _{s}P(s\mid s,\mu (s;\theta ))\cdot \nabla \mu (s;\theta )\cdot {\nabla }_a{q}_{{\mu }_{\theta }}(s,a){|}_{a=\mu (s;\theta )} \\ \gamma \sum _{s^{\prime }}P(s^{\prime }\mid s,\mu (s;\theta ))\cdot \nabla \mu (s^{\prime };\theta )\cdot {\nabla }_{a^{\prime }}{q}_{{\mu }_{\theta }}(s^{\prime },a^{\prime }){|}_{a^{\prime }=\mu (s^{\prime };\theta )} \end{gathered}$$
至此，找到规律：
如果状态$s$执行了$N$次状态转移后达到状态$s^{(N)}$：
$${\gamma }^N\sum _{s^{(N)}}P(s^{(N)}\mid s,\mu (s;\theta ))\cdot \nabla \mu (s^{(N)};\theta )\cdot {\nabla }_{a^{(N)}}{q}_{{\mu }_{\theta }}(s^{(N)},a^{(N)}){|}_{a^{(N)}=\mu (s^{(N)};\theta )}$$
因此，$\nabla \mathcal{J}(\theta )=\nabla V_{{\mu }_{\theta }}(s_0)$表示如下：
∇ J ( θ ) = ∇ V μ θ ( s 0 ) = ∇ μ ( s ; θ ) ⋅ ∇ a q μ θ ( s , a ) ∣ a = μ ( s ; θ ) + γ ∑ s ′ P ( s ′ ∣ s , μ ( s ; θ ) ) ⋅ V μ θ ( s ′ ) = ∇ μ ( s ; θ ) ⋅ ∇ a q μ θ ( s , a ) ∣ a = μ ( s ; θ ) + γ ∑ s ′ P ( s ′ ∣ s , μ ( s ; θ ) ) ⋅ ∇ μ ( s ′ ; θ ) ⋅ ∇ a ′ q μ θ ( s ′ , a ′ ) ∣ a ′ = μ ( s ′ ; θ ) + γ ∑ s ′ P ( s ′ ∣ s , μ ( s ; θ ) ) ⋅ γ ∑ s ′ ′ P ( s ′ ′ ∣ s ′ , μ ( s ′ ; θ ) ) ⋅ V μ θ ( s ′ ′ ) = ⋯ = ∑ N = 0 + ∞ γ N ∑ s ( N ) P ( s ( N ) ∣ s , μ ( s ; θ ) ) ⋅ ∇ μ ( s ( N ) ; θ ) ⋅ ∇ a ( N ) q μ θ ( s ( N ) , a ( N ) ) ∣ a ( N ) = μ ( s ( N ) ; θ )

∇J(θ)=∇Vμθ(s0)=∇μ(s;θ)⋅∇aqμθ(s,a)|a=μ(s;θ)+γ∑s′P(s′∣s,μ(s;θ))⋅Vμθ(s′)=∇μ(s;θ)⋅∇aqμθ(s,a)|a=μ(s;θ)+γ∑s′P(s′∣s,μ(s;θ))⋅∇μ(s′;θ)⋅∇a′qμθ(s′,a′)|a′=μ(s′;θ)+γ∑s′P(s′∣s,μ(s;θ))⋅γ∑s″P(s″∣s′,μ(s′;θ))⋅Vμθ(s″)=⋯=∑N=0+∞γN∑s(N)P(s(N)∣s,μ(s;θ))⋅∇μ(s(N);θ)⋅∇a(N)qμθ(s(N),a(N))|a(N)=μ(s(N);θ)" role="presentation" style="position: relative;">∇J(θ)=∇Vμθ(s0)=∇μ(s;θ)⋅∇aqμθ(s,a)|a=μ(s;θ)+γ∑s′P(s′∣s,μ(s;θ))⋅Vμθ(s′)=∇μ(s;θ)⋅∇aqμθ(s,a)|a=μ(s;θ)+γ∑s′P(s′∣s,μ(s;θ))⋅∇μ(s′;θ)⋅∇a′qμθ(s′,a′)|a′=μ(s′;θ)+γ∑s′P(s′∣s,μ(s;θ))⋅γ∑s′′P(s′′∣s′,μ(s′;θ))⋅Vμθ(s′′)=⋯=∑N=0+∞γN∑s(N)P(s(N)∣s,μ(s;θ))⋅∇μ(s(N);θ)⋅∇a(N)qμθ(s(N),a(N))|a(N)=μ(s(N);θ)$$\begin{array}{rl}\mathrm{\nabla }\mathcal{J}(\theta )& =\mathrm{\nabla }{V}_{{\mu }_{\theta }}(s_0)\\ & =\mathrm{\nabla }\mu (s;\theta )\cdot {\mathrm{\nabla }}_a{q}_{{\mu }_{\theta }}(s,a){|}_{a=\mu (s;\theta )}+\gamma \sum _{s^{\prime }}P(s^{\prime }\mid s,\mu (s;\theta ))\cdot V_{{\mu }_{\theta }}(s^{\prime })\\ & =\mathrm{\nabla }\mu (s;\theta )\cdot {\mathrm{\nabla }}_a{q}_{{\mu }_{\theta }}(s,a){|}_{a=\mu (s;\theta )}+\gamma \sum _{s^{\prime }}P(s^{\prime }\mid s,\mu (s;\theta ))\cdot \mathrm{\nabla }\mu (s^{\prime };\theta )\cdot {\mathrm{\nabla }}_{a^{\prime }}{q}_{{\mu }_{\theta }}(s^{\prime },a^{\prime }){|}_{a^{\prime }=\mu (s^{\prime };\theta )}+\gamma \sum _{s^{\prime }}P(s^{\prime }\mid s,\mu (s;\theta ))\cdot \gamma \sum _{s^{″}}P(s^{″}\mid s^{\prime },\mu (s^{\prime };\theta ))\cdot V_{{\mu }_{\theta }}(s^{″})\\ & =\cdots \\ & =\sum _{N=0}^{+\mathrm{\infty }}{\gamma }^N\sum _{s^{(N)}}P(s^{(N)}\mid s,\mu (s;\theta ))\cdot \mathrm{\nabla }\mu (s^{(N)};\theta )\cdot {\mathrm{\nabla }}_{a^{(N)}}{q}_{{\mu }_{\theta }}(s^{(N)},a^{(N)}){|}_{a^{(N)}=\mu (s^{(N)};\theta )}\end{array}$$

∇J(θ)​=∇Vμθ​​(s0​)=∇μ(s;θ)⋅∇a​qμθ​​(s,a)∣a=μ(s;θ)​+γs′∑​P(s′∣s,μ(s;θ))⋅Vμθ​​(s′)=∇μ(s;θ)⋅∇a​qμθ​​(s,a)∣a=μ(s;θ)​+γs′∑​P(s′∣s,μ(s;θ))⋅∇μ(s′;θ)⋅∇a′​qμθ​​(s′,a′)∣a′=μ(s′;θ)​+γs′∑​P(s′∣s,μ(s;θ))⋅γs′′∑​P(s′′∣s′,μ(s′;θ))⋅Vμθ​​(s′′)=⋯=N=0∑+∞​γNs(N)∑​P(s(N)∣s,μ(s;θ))⋅∇μ(s(N);θ)⋅∇a(N)​qμθ​​(s(N),a(N))∣a(N)=μ(s(N);θ)​​
同样可以引入状态分布，构建一个符号： P r { s 0 → s , k , μ } P_r\{s_0 \to s,k,\mu\} Pr​{s0​→s,k,μ}表示 从初始状态$s_0$开始，在确定性策略${\mu }_{\theta }$条件下，执行$k$次状态转移后达到状态$s$的概率：
P r { s 0 → s , k , μ } P_r\{s_0 \to s,k,\mu\} Pr​{s0​→s,k,μ}符号产生过程 -> 传送门
V μ θ ( s ) = ∑ s ∈ S ∑ N = 0 + ∞ γ N × P r { s 0 → s , N , μ } ∇ μ ( s ; θ ) ⋅ ∇ a q μ θ ( s , a ) ∣ a = μ ( s ; θ ) = ∑ s ∈ S γ N × η ( s ) × ∇ μ ( s ; θ ) ⋅ ∇ a q μ θ ( s , a ) ∣ a = μ ( s ; θ )

Vμθ(s)=∑s∈S∑N=0+∞γN×Pr{s0→s,N,μ}∇μ(s;θ)⋅∇aqμθ(s,a)|a=μ(s;θ)=∑s∈SγN×η(s)×∇μ(s;θ)⋅∇aqμθ(s,a)|a=μ(s;θ)" role="presentation" style="position: relative;">Vμθ(s)=∑s∈S∑N=0+∞γN×Pr{s0→s,N,μ}∇μ(s;θ)⋅∇aqμθ(s,a)|a=μ(s;θ)=∑s∈SγN×η(s)×∇μ(s;θ)⋅∇aqμθ(s,a)|a=μ(s;θ)$$\begin{array}{rl}{V}_{{\mu }_{\theta }}(s)& =\sum _{s\in \mathcal{S}}\sum _{N=0}^{+\mathrm{\infty }}{\gamma }^N\times P_r\{s_0\to s,N,\mu \}\mathrm{\nabla }\mu (s;\theta )\cdot {\mathrm{\nabla }}_a{q}_{{\mu }_{\theta }}(s,a){|}_{a=\mu (s;\theta )}\\ & =\sum _{s\in \mathcal{S}}{\gamma }^N\times \eta (s)\times \mathrm{\nabla }\mu (s;\theta )\cdot {\mathrm{\nabla }}_a{q}_{{\mu }_{\theta }}(s,a){|}_{a=\mu (s;\theta )}\end{array}$$

Vμθ​​(s)​=s∈S∑​N=0∑+∞​γN×Pr​{s0​→s,N,μ}∇μ(s;θ)⋅∇a​qμθ​​(s,a)∣a=μ(s;θ)​=s∈S∑​γN×η(s)×∇μ(s;θ)⋅∇a​qμθ​​(s,a)∣a=μ(s;θ)​​

最终同样可以得到和策略梯度定理相似的如下表达：
$$\nabla \mathcal{J}(\theta )\propto \sum _{s\in \mathcal{S}}\mu (s)\times \nabla \mu (s;\theta )\cdot {\nabla }_a{q}_{{\mu }_{\theta }}(s,a){|}_{a=\mu (s;\theta )}$$

最终引入状态分布符号$S_t\sim {\rho }^{{\pi }_{\theta }}$，将上述公式化简为期望形式：
$$\nabla \mathcal{J}(\theta )={\mathbb{E}}_{S_t\sim {\rho }^{{\mu }_{\theta }}}\left[\nabla \mu (S_t;\theta ){\nabla }_a{q}_{{\mu }_{\theta }}(S_t,a){|}_{a=\mu (S_t;\theta )}\right]$$

本质上，确定性策略梯度定理与策略梯度定理推导非常相似，只是推导初始存在差异。
由于$\mu (S_t;\theta )$是确定性策略，因此不会对动作求解期望，从而不会像策略梯度定理一样通过除以$\mu (S_t;\theta )$以获取$\log$项。

相关参考：
深度强化学习原理、算法pytorch实战 —— 刘全，黄志刚编著
深度强化学习-确定性策略梯度算法推导