热评 星若AI

感觉是针对AI视频领域的一大进步,更高效方便了~
文件名 如何下载使用 文件大小 提取码 下载来源
LCM相关资源9.3G6666 点此复制 登录下载

三秒4张图!让 Stable Diffusion 出图速度暴增的新一代生成模型LCM

大家好,这里是和你们一起探索 AI 的花生~

最近一种新的图像生成形式逐渐兴起,即生成的图像会随输入的文字或笔画动作迅速变化,这让图像生成有了更多灵活探索和准确控制的空间。这种「实时反馈」的感觉源于模型能在几秒钟内,根据输入生成新的内容,而之所以能有这么快的生成速度,依靠的就是 LCM 这项新技术。

视频内容来源: https://twitter.com/krea_ai/status/1723067313392320607

视频内容来源: https://twitter.com/TitusTeatus/status/1723961348101677353

一、LCM 简介

LCM 项目主页: https://latent-consistency-models.github.io/

Github 主页: https://github.com/luosiallen/latent-consistency-model

LCM 全称 Latent Consistency Models(潜在一致性模型),是清华大学交叉信息科学研究院研发的一款生成模型。它的特点是可以通过少量步骤推理合成高分辨率图像,使图像生成速度提升 2-5 倍,需要的算力也更少。官方称 LCMs 是继 LDMs(Latent Diffusion Models 潜在扩散模型)之后的新一代生成模型。

三秒4张图!让 Stable Diffusion 出图速度暴增的新一代生成模型LCM

LCM 的上一代是今年 6 月份的推出的 Consistency Models(CM,一致性模型)。用过 Stable Diffusion 的小伙伴都知道,我们在生成图像的时候需要设置「 采样步数 Steps」,这个参数,涉及到的是 Diffusion 模型中的去噪(Denoise)过程,即以迭代的方式从一张纯噪声图中一步步去除噪点,直至它变成一张清晰的图像。采样步数一般需要 20-50 步。

三秒4张图!让 Stable Diffusion 出图速度暴增的新一代生成模型LCM

Consistentcy Models 则对去噪推理这一步进行了优化,它不再需要像 Diffusion 模型那样逐步迭代,而是追求“一步完成推理”,这样需要处理的步数减少了,图像的生成速度自然就提升了。LCM 则是在 Consistency Models 的基础上引入了 Lantent Space (潜空间),进一步压缩需要处理的数据量,从而实现超快速的图像推理合成。LCM 官方以此训练了一个新的模型 Dreamshaper-V7,仅通过 2-4 步就能生成一张 768*768 分辨率的清晰图像。

三秒4张图!让 Stable Diffusion 出图速度暴增的新一代生成模型LCM

LCM 官方提供了 2 个可以免费在线试玩的 Demo,分别是文生图和图生图。文生图 Demo 使用的就是 Dreamshaper-V7 模型,我试了一下的确可以在几秒之内就生成 4 张图,速度非常惊人,大家也可以去体验一下。

文生图试玩 Demo: https://huggingface.co/spaces/SimianLuo/Latent_Consistency_Model

图生图试玩 Demo: fofr/latent-consistency-model – Run with an API on Replicate

三秒4张图!让 Stable Diffusion 出图速度暴增的新一代生成模型LCM

目前可以用的 LCM 模型有 Dreamshaper-V7 和 LCM-SDXL,LCM 也以拓展插件的形式加入了 A1111 WebUI 和 ComfyUI,支持文生图、图生图和视频生成视频,安装插件后我们就可以在自己电脑上体验一下这种 2 款新模型的生成效率。如果你还不了解插件的安装方式,可以查看我之前写的 SD WebUI 插件安装教程 ,或者了解我最新制作的课程 《AI绘画入门完全指南》 ,系统全面地了解 SD WebUI 的使用方法和技巧。

① Dreamshaper-V7 模型下载: SimianLuo/LCM_Dreamshaper_v7 at main (huggingface.co) (文末有资源包)

② LCM-SDXL模型下载: latent-consistency/lcm-sdxl · Hugging Face --- 潜在一致性/lcm-sdxl ·拥抱的脸 (文末有资源包)

③ LCM WebUI 插件安装使用: https://github.com/0xbitches/sd-webui-lcm

④ LCM ComfyUI 插件安装使用: https://github.com/0xbitches/ComfyUI-LCM

三秒4张图!让 Stable Diffusion 出图速度暴增的新一代生成模型LCM

二、LCM-LoRA

LCM 可以有效缩短图像的生成时间,但它的模型需要单独训练,前面的提到的 Dreamshaper-V7 和 LCM-SDXL 是目前仅有的 2 款可以在 LCM 插件中使用的大模型,这显然不符合大家的使用需求。为了改变这种情况,官方又训练出了 LCM-LoRA 模型,可以搭配 SD1.5 和 SDXL 的所有大模型使用,这比上面安装 LCM 插件更方便。目前我们可以在 ComfyUI 和 Fooocus 中使用 LCM-LoRA。

① LCM-LoRA 项目主页: https://huggingface.co/blog/lcm_lora

② lcm-lora-sdv1-5 下载: https://huggingface.co/latent-consistency/lcm-lora-sdv1-5

③ lcm-lora-sdxl 下载: https://huggingface.co/latent-consistency/lcm-lora-sdxl

LoRA 模型在文末有资源包,下载后安装到 ComfyUI 根目录的 loras 文件夹内即可(如果是和 WebUI 共享的模型,就放到 WebUI 的 lora 文件夹内 )。在 ComfyUI 中使用 LCM-LoRA 需要注意以下几点:

  1. 模型下载链接内包含模型使用方法和注意事项,使用需要仔细阅读;
  2. 在 ComfyUI 中使用 lcm-lora 需要先安装 ComfyUI-LCM 插件;
  3. 采样步数 Steps 数值在 2 - 8 之间,CFG 参数在 1.0 - 2.0 之间。

下图是在 ComfyUI 中使用 lcm-lora-sdv1-5 的工作流(json 文件在文末资源包内),经测试生成 4 张图像仅需 3 秒。速度的确非常快,但图像质量比起正常的 Stable Diffusion 模型来说还是稍微差了一些。

三秒4张图!让 Stable Diffusion 出图速度暴增的新一代生成模型LCM

三秒4张图!让 Stable Diffusion 出图速度暴增的新一代生成模型LCM

如果想在 Fooocus 中使用 LCM-LoRA,需要安装最新版的 Fooocus ,然后将文末资源包内的 sdxl_lcm_lora 放入 Fooocus\models\loras 文件夹中。启动后,在 setting 中选择 Extreme Speed 模式,系统会启动 lcm-lora。然后在 Models 中选择一个 SDXL 大模型,lora 和 style 可以自定义,再点击生成即可。经测试生成一张 1024*1024 px 的图像只需要 9 秒,比之前快了 5 倍,图像质量依旧保持的不错。

三秒4张图!让 Stable Diffusion 出图速度暴增的新一代生成模型LCM

三、Animatediff 与 LCM-LoRA

Animatediff 是目前最受关注的 AI 视频工具之一,可以通过文本生成流畅的动图或视频。有了 LCM 之后,Animatediff 的图像处理速度也得到了明显提升。据我个人测试,使用 lcm-lora 后生成一个 16 帧的动图只需要 27 秒,如果不使用则需要 75 秒,速度差了 3 倍。

ComfyUI 中使用 lcm-lora-sdv1-5 + Animatediff 的工作流(json 文件在文末资源包内):

三秒4张图!让 Stable Diffusion 出图速度暴增的新一代生成模型LCM

效果图:

三秒4张图!让 Stable Diffusion 出图速度暴增的新一代生成模型LCM

LCM 让我们看到了 SD 模型在生成速度上的突破,虽然目前质量稍微差了一些,但 AI 技术的发展速度是惊人的,未来肯定会有改善。而随着 LCM 的发展成熟,图像处理速度可能会进一步缩短到毫秒级,这将极大促进实时文生图、图生图以文生视频的发展,给用户带更好的使用体验;也可能会进一步和 Controlnet 或者 IP-Adapter 兼容,来提升这些插件的处理效率。

以上就是本期为大家介绍的新一代生成模型 LCM 的相关内容,喜欢本期推荐的话记得点赞收藏支持一波,之后会继续为大家带来更多 AI 绘画干货知识~ 也欢迎大家扫描下方的二维码加入“优设 AI 绘画交流群”,和我及其他设计师一起交流学习 AI 知识。

三秒4张图!让 Stable Diffusion 出图速度暴增的新一代生成模型LCM

推荐阅读:

 

文件名 如何下载使用 文件大小 提取码 下载来源
LCM相关资源9.3G6666 点此复制 登录下载
赞赏
收藏 56
点赞 37

复制本文链接 文章为作者独立观点不代表优设网立场,未经允许不得转载。