[论文笔记]DouZero: Mastering DouDizhu with Self-Play Deep Reinforcement Learning

引言

今天带来21年一篇关于用强化学习玩斗地主的论文：DouZero: Mastering DouDizhu with Self-Play Deep Reinforcement Learning。

斗地主是一个具有竞争、合作、信息不完全、状态空间庞大以及大量可能动作的极具挑战性的领域，尤其是合法动作在每一轮中变化显著。在这项工作中，作者提出了一个在概念上简单但有效的DouDizhu人工智能系统，即DouZero，它通过深度神经网络、动作编码和并行执行器增强了传统的蒙特卡洛方法。作者已经发布了代码和在线演示。

总体介绍

游戏通常作为人工智能的基准，因为它们是许多现实世界问题的抽象。在完全信息游戏方面已经取得了重要成就。例如，AlphaGo和AlphaZero等在围棋游戏上建立了最先进的性能。

最近的研究逐渐演变为更具挑战性的信息不完全游戏，在这些游戏中，智能体与其他玩家(人类或智能体)在部分可观察的环境中竞争或合作。

本篇工作的目标是为斗地主构建AI程序。斗地主具有两个有趣的特点，对AI系统提出了巨大的挑战。首先，斗地主的玩家需要在一个部分可观察、通信有限(不能说话透牌)的环境中既竞争又合作。其次，斗地主有大量的信息集，并且由于牌的组合，有一个非常复杂和庞大的动作空间，高达 1 0