DRL基础（十一）——近端策略优化算法PPO【附代码】

主要内容：

• 讲解PPO提出的背景
• 讲解PPO算法的理论和技巧
• 基于Pytorch实现PPO算法，并用于解决gym环境中乒乓球游戏(Pong)
• PPO完整代码下载链接见文末

---

2016年10月OpenAI公司发布了《Dota2》强化学习游戏智能体OpenAI Five，并且经过多年的开发训练后战胜了当时的世界冠军团队OG，技术细节可以看发表的论文。OpenAI Five的核心算法是PPO，一种称为近端策略优化的算法，属于策略梯度算法的一种。OpenAI Five和PPO的成功大大增加了AI研究者对强化学习解决复杂问题的信心，PPO也成为使用强化学习解决各类问题的一个基准算法。

1 REINFORCE存在的问题

PPO属于策略梯度算法，