对于强化学习,其输入数据一般是指状态以及动作。关于它们的归一化(标准化)操作,可以总结如下:
1.若输入状态是图像或者包含图像,那么针对图像信息,常见的归一化方式是除以255,效果与减去均值,除以方差的效果接近
2.若输入是普通的数值(非图像),归一化的方式为:每一次训练前对经验池所有的数据算固定的均值和方差来做为本次训练的唯一归一化参数。相关链接:强化学习需要批归一化(Batch Norm) 或归一化吗? - 知乎
除此之外,还看到另一种方式:在训练开始前,用随机动作与环境交互数个回合,然后用这个过程中获得的状态信息去计算均值和方差来做为本次训练的唯一归一化参数。
3.对于动作来说:在动作空间是连续的情况下,一个设计得好的环境,其 action 的均值方差最好接近0和1。要做到这点非常容易,例如我将动作空间定为 -1到 1。 相关链接:强化学习需要批归一化(Batch Norm) 或归一化吗? - 知乎