AI绘图软件Stable Diffusion 安装和使用之二controlnet插件

本期说一下Stable Diffusion非常有名的插件controlnet。同上一篇一样，我们安装b站大佬秋葉aaaki（有的网友戏称他/她是赛博佛祖）的stable diffusion4.2整合包。解压缩以后，打开启动器，见下图，界面比早期版本更好看了。

​编辑​

启动器打开以后，安装controlnet插件

填写网址：https://jihulab.com/hanamizuki/sd-webui-controlnet

ControlNet还需要一些预处理器和模型，它们和整合包一起下载就可以了，然后拷贝到Stable Diffusion对应文件夹。

预处理器\downloads拷贝至D:\StableDiffusion\sd-webui-aki-v4.2\extensions\sd-webui-controlnet\annotator

\模型下面的文件拷贝至D:\StableDiffusion\sd-webui-aki-v4.2\models\ControlNet

在上一篇中，生成图片需要提示词，现在一些网站提供图片和提示词。我们也可以利用图生图中的反推提示功能。

在网络上随便找一张好看的图片，比如下图，点击“DeepBooru反推”按钮，本图的提示词就会生成在左边文本框中。

因为孩子平时喜欢买线稿人物图上色，我们以给线稿上色为例说明ControlNet插件的功能。启用Controlnet，预处理使用invert，模型使用lineart—_anime。

将刚才生成的提示词放在文生图的提示词框中，点击“生成”按钮，生成的成果图见下图。

再找一张别的风格照片，比如下张雨中打伞的姑娘，反向生成提示词。

将生成的提示词放在文生图的提示词框中，点击“生成”按钮，重新生成的成果图见下图。

下图是诛仙中的陆雪琪。

将其提示词放在文生图中的提示框内，重新生成的效果图如下。

我们也可以将原图生成线稿图，比如下图，预处理器选择lineart_realistic，模型不变。

点击“生成”按钮，生成线稿图如下。

Controlnet还可以将低分辨率图像进行高清修复。比如说，自己的头像是很多年前拍摄的，当时像素低，现在利用Controlnet的tile模型进行修复。

首先，找一张明星照片，比如金城武，生成反向提示词。

然后，拷贝生成的提示词至文本框，预处理选择tile_resample，模型tile。

点击“生成”按钮，生成的效果如下图，仿佛一颗冉冉升起的新星，帅呆了。

小结

最近人工智能发展非常快，特别是机器学习方面，比如AI绘图就是通过机器学习训练生成模型，然后在模型的基础生成同模型的风格化照片。随后，AI绘图进一步演化为换衣服、换脸，半身生成全身，扩充场景等。AI绘图会让一些画师失业，但是拥抱新技术的画师则会极大地提高工作效率，收益更胜从前。

参考文献

https://zhuanlan.zhihu.com/p/643744230

https://www.bilibili.com/video/BV1fa4y1G71W/?spm_id_from=333.999.0.0

https://www.bilibili.com/video/BV1AL411q7Ub/?spm_id_from=333.999.0.0&vd_source=6f9f0ad1eef623c5a58999f0093952a1

https://www.bilibili.com/video/BV1f14y197rx/?spm_id_from=333.337.search-card.all.click&vd_source=6f9f0ad1eef623c5a58999f0093952a1

https://www.bilibili.com/video/BV1Xv4y1E7kZ/?spm_id_from=333.337.search-card.all.click&vd_source=6f9f0ad1eef623c5a58999f0093952a1