当大语言模型遇到AI绘画-google gemma与stable diffusion webui融合方法-矿卡40hx的AI一体机

你有想过建一台主机，又能AI聊天又能AI绘画，还可以直接把聊天内容直接画出来的机器吗？

当Google最新的大语言模型Gemma碰到stable diffusion webui会怎么样？

首先我们安装stable diffusion webui(automatic1111开源项目）我安装的是forge分支，可以参考我的另一篇文章。安装完成后，简单测试并调优，在启动参数后加一个 --api 这样可以支持外部api调用，同时加 --listen 用于远程访问（因为open-webui是docker方式的，不能直接访问宿主）

然后安装ollama及open-webui, 安装方法参考我的另外一篇文章，安装完成后，在open-webui界面中，settings设置中，找到images，把stable diffusion webui的主机地址及端口号填上去

stable diffusion的模型考虑用SD1.5或者SD2.1的，不要用SDXL的，size填512x512, steps填20 保存退出。

使用方法：

先聊天，英文不会的同学，第一句就写 “中文”，然后AI语言就都是中文了。然后你就说一个大致想画的东西，让AI写一段小作文。小作文有时是英文的，有时是中文的，你可以跟AI说 ”上文翻译成中文“ ，然后点修改文字，修修补补，写完后，保存，再跟AI说”上文翻译成英文“ 再点击 绘画，等一下，图就出来了。如果不满意，可以多次点击绘画。就这么简单了。

针对 40HX的提示：40hx显存只有8G, 所以如果要AI语言与AI同时运行，需要对显存与运行负载有规划，SDXL模型与Gemma7b都是直接能把8G显存点满的，所以一个都不能用，SD2.1+Gemma2b 这样的分配，大致是5G+2G的显存组合，刚好能用。其它优化内容见我的另外二个贴子。