【五分钟Paper】基于参数化动作空间的强化学习

• 论文题目：Reinforcement Learning with Parameterized Actions

所解决的问题？

背景

参数化动作空间说的就是一个离散动作带有一个向量化的参数。在每个决策步，一个智能体需要决策哪个动作去执行，并且这个动作带哪个参数去执行。

所采用的方法？

提出Q-PAMDP算法，交替学习离散动作和连续动作。那么对于在状态$s$下选择某个参数化动作的概率就可以表示为$\pi (a,x|s)$。对于离散动作的选择可以表示为${\pi }^d(a|s)$，对于动作参数的选择可以表示为${\pi }^a(x|s)$，整个策略的概率可以表示为：

$$\pi (a,x|s)={\pi }^d(a|s){\pi }^a(x|s)$$

选择离散动作的策略参数用$w$表示，则为${\pi }_w^d(a|s)$，参数化动作策略用一个参数集合表示$\theta$，定义为${\pi }_{\theta }^a(x|s)$，这个参数化集合可以表示为$\theta =[{\theta }_{a_1},\cdots ,{\theta }_{a_k}]$。

想要优化参数，第一种方式就是直接优化$\theta$和$w$两个参数：

$$J(\theta ,\omega )={\mathbb{E}}_{s_0\sim D}\left[V^{{\pi }_{\Theta }}\left(s_0\right)\right]$$

第二种方式是交替更新二者，固定$\theta$的时候可以优化出$w$参数：

$$W(\theta )=\arg \underset{\omega }{\max }J(\theta ,\omega )={\omega }_{\theta }^{\ast }$$

之后固定$w$优化$\theta$参数：

J ω ( θ ) = J ( θ , ω ) H ( θ ) = J ( θ , W ( θ ) ) Jω(θ)=J(θ,ω)H(θ)=J(θ,W(θ))

Jω​(θ)H(θ)​=J(θ,ω)=J(θ,W(θ))​

其算法伪代码为：

作者还提供了一个理论分析证明，之后要是会用到再补吧。

取得的效果？

所出版信息？作者信息？

参考链接

相关论文