【趣味实践】Stable Diffusion绘制中秋美景

效果演示

今天是中秋佳节，正想测试一下最近比较热门的AI绘画算法Stable Diffusion，于是打算利用它来重现苏轼当年在中秋之夜写下的词《水调歌头·明月几时有》中的场景，先看效果。

Stable Diffusion简介

Stable Diffusion是慕尼黑大学和Runway的研究者基于其CVPR 2022的论文《High-Resolution Image Synthesis with Latent Diffusion Models》，并与Eleuther AI、LAION等团队合作，共同开发了一种可在消费级GPU上运行的文本转图像模型。

论文地址：https://arxiv.org/pdf/2112.10752.pdf
Github：https://github.com/CompVis/stable-diffusion

使用方式

下面有不同的方式可以运行，大致上有以下四种：

方式一

运行官方仓库代码，但是需要配置环境/下载预训练权重，较为麻烦。

方式二

huggingface上直接运行，不过需要排队。

方式三

dreamstudio上也提供了可以直接调用的模型，无需排队，但是仅有200张免费调用额度，后续需要付费。

方式四

使用别人打包好的exe，可以在本地部署运行，但是对硬件条件有些需求，建议使用6GB显存以上的显卡。
本次使用的是方式四，下载网址：https://grisk.itch.io/stable-diffusion-gui

下载好之后，运行Stable Diffusion GRisk GUI.exe即可：

运行之后出现如下图所示的交互界面，在文本框中输入描述画面文本，下方选择输出文件夹，最下方的X和Y代表的是生成图片大小像素。

运行之后，可以在设置的输出文件夹中看到输出之后的效果，另外输出的一个txt文件包含了所有的参数，这里有个重要的参数seed是模型的随机种子数，输入同样的种子数可以保证结果的可复现性。

描述语汇总

下面汇总一些常用的描述语，可以用作参考。

景物

形容词汇

风格

艺术家

艺术网站

具体使用样例可以参考该网站：https://lexica.art/

视频画面描述语

开头的演示视频描述语是自己根据原诗句进行扩写得到的，总体使用下来Stable Diffusion的废片率还是比较高的，这里将描述语记载如下：

明月几时有，把酒问青天：
A bright moon hung in the night sky, a people sitting alone in the bow drinking, lake, Dream unreal engine, James Gurney WLOP, Artstation
不知天上宫阙，今夕是何年：
Clouds and mists wreathed the heavenly Chinese palace，a big moon hung in the night sky, Dream unreal engine, James Gurney WLOP, Artstation
乘风归去，琼楼玉宇
Under the moonlight, a small black figure fly in the sky toward the moon with wind, small Chinese palace loomed in the sky, Dream unreal engine, James Gurney WLOP, Artstation
高处不胜寒~
Above the clouds, the moon is high, and a tiny black figure is dancing a sword, Night, light effect，Dream，Greg Rutkowski, unreal engine, James Gurney WLOP, Artstation
起舞弄清影，何似在人间
In the night, a ship is driving between mountains and rivers. The moonlight shines on the water to form a shadow. The shadow is dancing like women, Dream，Greg Rutkowski, unreal engine, James Gurney WLOP, Artstation
转朱阁，低绮户，照无眠
At night, in the ancient Chinese building, see the bright moonlight from the window. Outside the window, there are high-rise eaves and carved latticeDream，Greg Rutkowski, unreal engine, James Gurney WLOP, Artstation
不应有恨，何事长向别时圆
At night, in the ancient Chinese building, see the bright moonlight from the window. Outside the window, there are high-rise eaves and carved latticeDream，Greg Rutkowski, unreal engine, James Gurney WLOP, Artstation
人有悲欢离合，月有阴晴圆缺，此事古难全
in the ancient Chinese building, see a winding moon from the window at night. Outside the window, there are high-rise eaves and carved lattice, Night, Dream，Greg Rutkowski, unreal engine, James Gurney WLOP, Artstation
但愿人长久，千里共婵娟
One people in long robesare looking up at the full moon in the night sky from Chinese palace alone, Dream，Greg Rutkowski, unreal engine, James Gurney WLOP, Artstation, bilateral symmetry