本地部署 Qwen-Agent

1. Qwen-Agent 概述

Qwen-Agent 是一个代码框架，用于发掘开源通义千问模型（Qwen）的工具使用、规划、记忆能力。 在 Qwen-Agent 的基础上，我们开发了一个名为 BrowserQwen 的 Chrome 浏览器扩展，它具有以下主要功能：

• 与Qwen讨论当前网页或PDF文档的内容。
• 在获得您的授权后，BrowserQwen会记录您浏览过的网页和PDF材料，以帮助您快速了解多个页面的内容，总结您浏览过的内容，并减少繁琐的文字工作。
• 集成各种插件，包括可用于数学问题求解、数据分析与可视化、处理文件等的代码解释器（Code Interpreter）。

2. Github 地址

https://github.com/QwenLM/Qwen-Agent

3. 创建虚拟环境

(可选)设置 Python 安装默认源，

pip config set global.index-url http://mirrors.aliyun.com/pypi/simple/
1

创建虚拟环境，

conda create -n qwen-agent python=3.10 -y
conda activate qwen-agent 
1
2

安装 pytorch，

pip install torch==2.0.0+cu118 torchvision==0.15.1+cu118 torchaudio==2.0.1 --index-url https://download.pytorch.org/whl/cu118
1

4. 安装 flash-attention

安装 flash-attn，

git clone -b v1.0.8 https://github.com/Dao-AILab/flash-attention; cd flash-attention
pip uninstall -y ninja && pip install ninja
cd flash-attention && pip install .
1
2
3

(可选)下方安装可选，安装可能比较缓慢。

pip install csrc/layer_norm
pip install csrc/rotary
1
2

refer:

• https://github.com/Dao-AILab/flash-attention
• https://github.com/Dao-AILab/flash-attention/tree/main/csrc/layer_norm

5. 部署 Qwen 模型服务

安装依赖，

git clone https://github.com/QwenLM/Qwen.git; cd Qwen
pip install -r requirements.txt
pip install fastapi uvicorn openai "pydantic>=2.3.0" sse_starlette
1
2
3

启动模型服务，通过 -c 参数指定模型版本，

• 指定 --server-name 0.0.0.0 将允许其他机器访问您的模型服务
• 指定 --server-name 127.0.0.1 则只允许部署模型的机器自身访问该模型服务

python openai_api.py --server-name 0.0.0.0 --server-port 7905 -c Qwen/Qwen-7B-Chat
1

目前，我们支持指定-c参数为以下模型，按照GPU显存开销从小到大排序：

• Qwen/Qwen-7B-Chat-Int4
• Qwen/Qwen-7B-Chat
• Qwen/Qwen-14B-Chat-Int4
• Qwen/Qwen-14B-Chat

对于7B模型，请使用2023年9月25日之后从官方HuggingFace重新拉取的版本，因为代码和模型权重都发生了变化。

6. 部署 Qwen-Agent

安装依赖，

git clone https://github.com/QwenLM/Qwen-Agent.git; cd Qwen-Agent
pip install -r requirements.txt
1
2

启动 Qwen-Agent，

python run_server.py --model_server http://127.0.0.1:7905/v1 --workstation_port 7864
1

7. 浏览器访问 Qwen Agent

现在您可以访问 http://127.0.0.1:7864/ 来使用工作台（Workstation）的创作模式（Editor模式）和对话模式（Chat模式）了。

8. 安装浏览器助手

安装BrowserQwen的Chrome插件（又称Chrome扩展程序）：

打开Chrome浏览器，在浏览器的地址栏中输入 chrome://extensions/ 并按下回车键；

确保右上角的 开发者模式 处于打开状态，之后点击 加载已解压的扩展程序 上传本项目下的 browser_qwen 目录并启用；

单击谷歌浏览器右上角扩展程序图标，将BrowserQwen固定在工具栏。

注意，安装Chrome插件后，需要刷新页面，插件才能生效。

当您想让Qwen阅读当前网页的内容时：

请先点击屏幕上的 Add to Qwen’s Reading List 按钮，以授权Qwen在后台分析本页面。

再单击浏览器右上角扩展程序栏的Qwen图标，便可以和Qwen交流当前页面的内容了。

以 https://aws.amazon.com/jp/government-education/worldwide/japan/public-sector-generative-ai/ 为例，让它整理一下页面内容，“内容を整理してください”，得到以下结果。

通义千问还懂日文，ビックリしました。

注：阅读PDF文档为实验功能，尚不稳定。将在线PDF加入Qwen的阅读列表时，可能会因为网络问题、下载NLTK依赖等因素导致Qwen预处理时间较长，请耐心等待。建议先下载为本地PDF后，再在浏览器中打开本地PDF。

完结！