为了推进 AIGC 行业的降本增效,同时也回应用户的热情要求,OneFlow 正在将业内备受欢迎的相关 Diffusion 模型的加速“一网打尽”。
此前,OneFlow 首度将 Stable Diffusion 模型加速至“一秒出图”时代,极大提升了文生图的速度,在 AIGC 领域引发巨大反响,并得到了 Stability.ai 官方的支持。
不过,由于目前大部分团队主要是基于翻译 API + 英文 Stable Diffusion 模型进行开发,所以在使用中文独特的叙事和表达时,英文版模型就很难给出正确匹配的图片内容,这对部分国内用户来说不太方便。
为此,国内的 IDEA 研究院出品了中文版太乙Stable Diffusion,春节前,OneFlow 对此进行了支持,使其推理速度翻倍。
另外,智源研究院出品了首个支持 9 种语言的 AltDiffusion。近期,OneFlow 团队为其适配了 OneFlow 后端,大大提升了推理性能,也可以做到一秒出图。
欢迎Star、运行 OneFlow 版 AltDiffusion:
https://github.com/Oneflow-Inc/diffusers/wiki/How-to-Run-OneFlow-Stable-Diffusion#without-docker
通过搭建多语言文图表征模型 AltCLIP,智源研究院的研究者先推出了中英双语图像生成模型 AltDiffusion,支持精细长中文 Prompts 高级创作,为中文世界带来专业级 AI 文图创作的强劲动力。
在此基础上,研究者很快又推出了多语言升级版AltDiffusion-m9,其成为首个支持 9 种语言(英文、中文、日语、法语、韩语、西班牙语、俄语、意大利语、阿拉伯语)的文图生成模型。该研究的主要贡献是搭建了一个多语言文图生成模型的基石,使得更多使用不同语言的创作者可以通过 AltDiffusion 模型进行创作。
AltDiffusion 在多语言对齐方面表现非常出色,是目前市面上开源的最强多语言版本,保留了原版 Stable Diffusion的大部分能力,并且在某些例子上的表现比原版模型更出色。
比如当用户给定不同语言的提示语(prompt),模型即可展现语言背后所反映的不同文化图像面貌,如直接生成不同人种的人物形象或不同的地域风物特征。
后文将展示 OneFlow 版 AltDiffusion 的性能表现以及生成