Stable Diffusion stable-diffusion-webui ControlNet Lora

Stable Diffusion

Stable Diffusion用来文字生成图片，ControlNet就是用来控制构图的，LoRA就是用来控制风格的 。

stable-diffusion-webui

国内加速官网：

mirrors / AUTOMATIC1111 / stable-diffusion-webui · GitCode

安装参考：

Stable Diffusion安装与常见错误（+Lora使用）2023年最新安装教程_cycyc123的博客-CSDN博客

ComfyUI

保姆级教程：从0到1搭建Stable Diffusion XL完整工作流进行AI绘画_WeThinkIn的博客-CSDN博客

StableDiffusion模型资源探索食用指南 - 知乎

大模型

大模型特指标准的latent-diffusion模型。拥有完整的TextEncoder、U-Net、VAE。

由于想要训练一个大模型非常困难，需要极高的显卡算力，所以绝大多数人不会训练大模型。

CKPT

经过训练的图片合集，被称作模型，也就是chekpoint

CKPT的全称为CheckPoint（检查点），完整模型的常见格式，模型体积较大，一般真人版的单个模型的大小在7GB左右，动漫版的在2-5个G之间。

早期的CKPT后缀名是ckpt，如今新的CKPT后缀名都是safetensors

VAE

全称：VAE全称Variational autoencoder。变分自编码器，负责将潜空间的数据转换为正常图像。

后缀格式：后缀一般为.pt格式。

Lora

是一种体积较小的绘画模型，是对大模型的微调。与每次作画只能选择一个大模型不同，lora模型可以在已选择大模型的基础上添加一个甚至多个。一般体积在几十到几百兆左右。

Lora的后缀名也是safetensors，对于小白来说，容易和ckpt造成误解，所以讲一下如何安装。

CKPT和lora的安装

对于绝大部分用户来说，主要用得到的模型文件就两种，一种是CKPT，一种是lora。

最好的模型下载网站，是传说中的C站，http://civitai.com（需科学上网）。

CKPT的安装路径是models\stable-diffusion 拷贝过来即可使用（只需刷新，无需重启服务）。

./stable-diffusion-webui/models/Stable-diffusion

Loar的安装路径容易搞错，Stable Diffusion的安装目录下默认有个models\lora ，但很多教程都提醒并非这个lora目录，

.stable-diffusion-webui/models/Lora

而是另一个：extensions\sd-webui-additional-networks\models\lora

然而事实上，默认解压缩好的Stable Diffusion是没有后面这个路径的，也不要手工创建，需要在Stable Diffusion的网页界面进行如下操作。

AI学习笔记|让数字生命更真实：模型（chekpoint）和微调模型（lora） - 知乎

Stable Diffusion XL

参考

深入浅出完整解析Stable Diffusion XL（SDXL）核心基础知识 - 知乎

上表是Stable Diffusion XL与之前的Stable Diffusion系列的对比，从中可以看出，Stable DiffusionV1.4/1.5的U-Net参数量只有860M，就算是Stable DiffusionV2.0/2.1，其参数量也不过865M。但等到Stable Diffusion XL，U-Net模型（Base部分）参数量就增加到2.6B，参数量增加幅度达到了3倍左右。

目前能够加载Stable Diffusion XL模型并进行图像生成的框架有四种：

1. ComfyUI框架

2. SD.Next框架

3. Stable Diffusion WebUI框架

4. diffusers框架

ControlNet

ControlNet是一种通过添加额外条件来控制扩散模型的神经网络结构。它提供了一种增强稳定扩散的方法，在文本到图像生成过程中使用条件输入，如涂鸦、边缘映射、分割映射、pose关键点等。可以让生成的图像将更接近输入图像，这比传统的图像到图像生成方法有了很大的改进。

ControlNet 模型可以在使用小数据集进行训练。然后整合任何预训练的稳定扩散模型来增强模型，来达到微调的目的。

• ControNet 的初始版本带有以下预训练权重。‍‍
• Canny edge — 黑色背景上带有白色边缘的单色图像。
• Depth/Shallow areas — 灰度图像，黑色代表深区域，白色代表浅区域。
• Normal map — 法线贴图图像。
• Semantic segmentation map——ADE20K 的分割图像。
• HED edge  — 黑色背景上带有白色软边缘的单色图像。
• Scribbles — 黑色背景上带有白色轮廓的手绘单色涂鸦图像。
• OpenPose （姿势关键点）— OpenPose 骨骼图像。
• M-LSD  — 仅由黑色背景上的白色直线组成的单色图像。

参考

使用ControlNet 控制 Stable Diffusion-腾讯云开发者社区-腾讯云

ControlNet精准控制AI绘画教程 - 掘金

ControlNet详细入门介绍 - 知乎

资源

https://lexica.art/

lexica.art 该网站拥有数百万Stable Diffusion案例的文字描述和图片，可以为大家提供足够的创作灵感。可以提供promt灵感

https://civitai.com/

Civitai是一个聚集AI绘图爱好者的社区，在此网站上有许多定制化的模型，特别是对于3D、现实、人物和不同画风进行了有针对性的训练。因此，当您使用特定的模型生成特定主题的图像时，表现力会极大加强。

Hugging Face – The AI community building the future.

HuggingFace是一个专注于构建、训练和部署最新模型的网站，这些模型由开发者个人完成训练并部署到专门的网站。

HuggingFace 是为 Stable Diffusion 构建 AI 模型的创作者的首选平台。截止目前平台上有上百个与 Stable Diffusion 相关的模型。