强化学习——策略梯度理解点

策略梯度计算公式

目的是最大化reward函数，即调整 θ ，使得期望回报最大，可以用公式表示如下
$$\mathrm{J}(\theta )={\mathrm{E}}_{\tau \sim p}(\mathcal{T})\left[\sum _{\mathrm{t}}\mathrm{r}\left({\mathrm{s}}_t,{\mathrm{a}}_{\mathrm{t}}\right)\right]$$
对于上面的式子， $\tau$ 表示从从开始到结束的一条完整路径。通常，对于最大化问题，我们可以使用梯度上升算法来找到最大值，即
$${\theta }^{\ast }=\theta +\alpha \nabla \mathrm{J}(\theta )$$
所以我们仅仅需要计算 (更新) $\nabla J(\theta )$ ，也就是计算回报函数 $J(\theta )$ 关于 $\theta$ 的梯度，也就是策略梯度，计算方法如下:
∇ θ J ( θ ) = ∫ ∇ θ p θ ( τ ) r ( τ ) d τ = ∫ p θ ∇ θ log ⁡ p θ ( τ ) r ( τ ) d τ = E τ ∼ p θ ( τ ) [ ∇ θ log ⁡ p θ ( τ ) r ( τ ) ]

∇θ​J(θ)​=∫∇θpθ​​(τ)r(τ)dτ​=∫pθ​∇θ​logpθ​(τ)r(τ)dτ​=Eτ∼pθ(τ)​[∇θ​logpθ​(τ)r(τ)]​
接着我们继续讲上式展开，对于 ${\mathrm{p}}_{\theta }(\tau )$ ，即 ${\mathrm{p}}_{\theta }(\tau \mid \theta )$ :
$${\mathrm{p}}_{\theta }(\tau \mid \theta )=\mathrm{p}\left({\mathrm{s}}_1\right)\prod _{t=1}^{\mathrm{T}}{\pi }_{\theta }\left({\mathrm{a}}_t\mid {\mathrm{s}}_{\mathrm{t}}\right)\mathrm{p}\left({\mathrm{s}}_{t+1}\mid {\mathrm{s}}_t,{\mathrm{a}}_{\mathrm{t}}\right)$$
取对数后为：
$$\log p_{\theta }(\tau \mid \theta )=\log p\left(s_1\right)+\sum _{t=1}^T\log {\pi }_{\theta }\left(a_t\mid s_t\right)p\left(s_{t+1}\mid s_t,a_t\right)$$
继续求导:
$$\nabla \log p_{\theta }(\tau \mid \theta )=\sum _{t=1}^T{\nabla }_{\theta }\log {\pi }_{\theta }\left(a_t\mid s_t\right)$$
带入第三个式子，可以将其化简为:
∇ θ J ( θ ) = E τ ∼ p θ ( τ ) [ ∇ θ log ⁡ p θ ( τ ) r ( τ ) ] = E τ ∼ p θ [ ( ∇ θ log ⁡ π θ ( a t ∣ s t ) ) ( ∑ t = 1 T r ( s t , a t ) ) ] = 1 N ∑ i = 1 N [ ( ∑ t = 1 T ∇ θ log ⁡ π θ ( a i , t ∣ s i , t ) ) ( ∑ t = 1 N r ( s i , t , a i , t ) ) ]

∇θJ(θ)=Eτ∼pθ(τ)[∇θlog⁡pθ(τ)r(τ)]=Eτ∼pθ[(∇θlog⁡πθ(at∣st))(∑t=1Tr(st,at))]=1N∑i=1N[(∑t=1T∇θlog⁡πθ(ai,t∣si,t))(∑t=1Nr(si,t,ai,t))]" role="presentation" style="position: relative;">∇θJ(θ)=Eτ∼pθ(τ)[∇θlogpθ(τ)r(τ)]=Eτ∼pθ[(∇θlogπθ(at∣st))(∑t=1Tr(st,at))]=1N∑i=1N[(∑t=1T∇θlogπθ(ai,t∣si,t))(∑t=1Nr(si,t,ai,t))]$$\begin{array}{rl}{\mathrm{\nabla }}_{\theta }\mathrm{J}(\theta )& ={\mathrm{E}}_{\tau \sim p\theta (\tau )}\left[{\mathrm{\nabla }}_{\theta }\log {\mathrm{p}}_{\theta }(\tau )\mathrm{r}(\tau )\right]\\ & ={\mathrm{E}}_{\tau \sim p\theta }\left[\left({\mathrm{\nabla }}_{\theta }\log {\pi }_{\theta }\left({\mathrm{a}}_{\mathrm{t}}\mid {\mathrm{s}}_{\mathrm{t}}\right)\right)\left(\sum _{\mathrm{t}=1}^{\mathrm{T}}\mathrm{r}\left({\mathrm{s}}_{\mathrm{t}},{\mathrm{a}}_{\mathrm{t}}\right)\right)\right]\\ & =\frac{1}{N}\sum _{\mathrm{i}=1}^{\mathrm{N}}\left[\left(\sum _{\mathrm{t}=1}^{\mathrm{T}}{\mathrm{\nabla }}_{\theta }\log {\pi }_{\theta }\left({\mathrm{a}}_{\mathrm{i},\mathrm{t}}\mid {\mathrm{s}}_{\mathrm{i},\mathrm{t}}\right)\right)\left(\sum _{\mathrm{t}=1}^{\mathrm{N}}\mathrm{r}\left({\mathrm{s}}_{\mathrm{i},\mathrm{t}},{\mathrm{a}}_{\mathrm{i},\mathrm{t}}\right)\right)\right]\end{array}$$

∇θ​J(θ)​=Eτ∼pθ(τ)​[∇θ​logpθ​(τ)r(τ)]=Eτ∼pθ​[(∇θ​logπθ​(at​∣st​))(t=1∑T​r(st​,at​))]=N1​i=1∑N​[(t=1∑T​∇θ​logπθ​(ai,t​∣si,t​))(t=1∑N​r(si,t​,ai,t​))]​

重要性重采样

使用另外一种数据分布，来逼近所求分布的一种方法，算是一种期望修正的方法，公式是:
∫ f ( x ) p ( x ) d x = ∫ f ( x ) p ( x ) q ( x ) q ( x ) d x = E x ∼ q [ f ( x ) p ( x ) q ( x ) ] = E x ∼ p [ f ( x ) ]

∫f(x)p(x)dx​=∫f(x)q(x)p(x)​q(x)dx=Ex∼q​[f(x)q(x)p(x)​]=Ex∼p​[f(x)]​
在已知 $q$ 的分布后，可以使用上述公式计算出从 p 分布的期望值。也就可以使用 $q$ 来对于 p 进行采样了，即为重要性采样。