强化学习实践（二）Gym（安装、环境搭建、运行倒立摆（代码可运行））

1.准备工作

      优先选用conda，conda不仅可以安装python，也是环境管理的工具，我们可以通过conda创建python环境，每个环境之间是相互独立，这样不同的环境可以使用不同版本的python，不同版本的开发包，避免了Python版本不同需要来回切换的问题。

      gym目前并不支持python3.11版本，但我最初安装的conda的python是3.11版本，所以更换成3.8 版本：解决

2.安装及测试

2.1虚拟环境

conda create --name Gym python=3.7 # 创建虚拟环境，其中可Gym替换成任何名字，3.7可替换成任何版本
 
conda activate Gym # 激活虚拟环境

2.2安装

1.最小化安装（只包括少量的内置环境，如算法环境、简单文字游戏环境和经典控制环境）

pip install gym
pip install pygame
pip install numpy

强化学习笔记：Gym入门--从安装到第一个完整的代码示例_gym安装-CSDN博客

此外：也可以直接下载gym地址，笔者下载版本为gym-0.26.2.zip，下载目录为D:\anaconda3\Lib\site-packages，最后用以下代码安装

pip install D:\anaconda3\Lib\site-packages\gym-0.26.2.zip

2.完整安装

pip install --upgrade gym[atari] # 以atari为例，按照类别安装
pip install --upgrade gym[all]   # 全部安装

2.2测试（本代码可运行）

import gym
import time
# 生成环境
env = gym.make('CartPole-v1', render_mode='human') # human指在人类显示器或终端上渲染
# 环境初始化
state = env.reset()
# 循环交互
while True:
    # 渲染画面
    env.render()
    # 从动作空间随机获取一个动作
    action = env.action_space.sample()
    # agent与环境进行一步交互
    state, reward, done, truncated, info = env.step(action)
    print('动作 = {0}: 当前状态 = {1}, 奖励 = {2}, 结束标志 = {3}, 日志信息 = {4}'.format(action, state, reward, done,info))
    # 判断当前episode 是否完成
    if done:
        print('done')
        break
    time.sleep(0.1)
# 环境结束
env.close()

代码2：2

3.一些问题

①在电脑终端中无法打开虚拟环境：

解决：
 
activate base  #先打开基础环境
activate pytorch #再打开其他环境，pytorch可替换成你的环境

②最开始可以在pycharm中激活虚拟环境，后进行一番操作后反而不能激活。

解决：最开始看其他博主所言怀疑是未在系统变量中添加conda地址，但添加后依然无用。最后新建项目基于Conda解决，但之间在Virtualenv环境下是可以激活虚拟环境的，问题待解。

注意：Virtualenv环境下设置的是python.exe，Conda环境下是conba.bat，其位置一般在library/bin目录下。

参考文献

1.强化学习笔记：Gym入门--从安装到第一个完整的代码示例_gym安装-CSDN博客

2.强化学习Openai Gym基础环境搭建_强化学习环境-CSDN博客

3.构建自己的gym训练环境 巨详细_gym自定义环境-CSDN博客 

4.python 笔记 ：Gym库 （官方文档笔记）_python gym_UQI-LIUWJ的博客-CSDN博客

5.强化学习笔记：多臂老虎机问题(2)--Python仿真_k-armed bandit python code-CSDN博客