大模型实战—大模型web服务部署

大模型实战—大模型web服务部署

这里我们使用的是一个叫做open-webui的开源项目

目前这个项目在Github 上已经得到了比较高的star 数

这个项目提供了多种部署方式，这里我们使用docker 进行部署，如果你的web 服务和你的模型服务在同一个节点上，可以使用下面的命令

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
1

如果不是，也就是你的web服务和模型服务在不同节点的话,这里只需要指定OLLAMA_BASE_URL 即可

docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
1

如果你的docker 版本比较老的话，可能会遇到下面这个问题

invalid argument "host.docker.internal:host-gateway" for "--add-host" flag: invalid IP address in add-host: "host-gateway"
See 'docker run --help'.
1
2

这里建议升级docker ，当然也有其他方式，这里的–add-host 主要是为了可以让容器访问宿主机，所以可以参考老版本的解决方式

接下来就会自动下载并且运行了

当上面的命令执行完成后，我们可以查看一下容器有没有起来，可以看到我们的容器已经成功起启动了

接下来我们就打开浏览器

首次我们可以去注册一个账号

然后直接就跳转登录了，登录后整体页面如下，我们可以看到和ChatGPT 的页面基本一样

选择模型和下载模型

在使用之前我们先要去选择一个本地已经下载的模型

由于我们之前已经下载过两个模型了，当然你如果没有下载的话也没有关系，可以使用下面的命令下载即可

ollama run llama2
1

这里我们直接选择即可

选完之后就如下所示

当然我们可以进入设置页面的模型菜单，可以选择下载模型或者删除模型

基本使用

接下来我们就可以在web 页面上和我们的大模型对话了

解析文件

我们可以点击对话框的内容，选择文件上传，然后就可以让大模型基于上传文件的内容，做一些对话，这里我们主要让大模型总结一下这本书的主要内容，这其实也就是为什么我们要本地部署，不然我们也不能上传公司的文件，因为涉及泄密

当然我们也可以针对我们上传的资料进行提问