文件名 如何下载使用 文件大小 提取码 下载来源
SDXL Lightning26.58G6666 点此复制 登录下载

SDXL-Lightning 来啦!让AI出图速度提升 10 倍!

大家好,这里是和你们一起探索 AI 绘画的花生~

AI 绘画自出现以来一直在不断发展,最明显的体现就是图像生成质量越来越高,还有很重要的一点就是出图速度的提升。比如之前为大家介绍过的 LCMSDXL Turbo,仅用 1-4 步就能完成图像推理,使模型出图速度比之前快了 8-10 倍 。最近,字节又推出了一个新的模型 SDXL-Lightning,它同样能在几秒之内就生成 1024px 的图像, 且出图质量比 LCM 和 Turbo 都要好,今天就为大家介绍一下 Lightning 的功能和用法。

相关推荐:

一、SDXL-Lightning 简介

SDXL-Lightning 项目介绍: https://huggingface.co/ByteDance/SDXL-Lightning

SDXL vs Lightning vs Turbo 的快速比较工具: https://anotherjesse.com/posts/sdxl-lightning/

SDXL-Lightning 模型是从 Stability AI 的 stable-diffusion-xl-base-1.0 模型中,使用了一种结合渐进式和对抗式蒸馏的扩散蒸馏方法提炼出来的。渐进式蒸馏使提炼后的模型能保留原模型的图像风格和种类,对抗式蒸馏则用于提升图像生成质量,二者结合使 SDXL-Lightning 在图像的快速生成和高质量、多样化之间找到了一个平衡点, 使其在快速出图的同时,依旧能保持较高的图像质量,并且能够覆盖广泛的图像模式。

下面是官方给出的对比图,可以看到 SDXL-Lightning 在 2-8 步之间的生成效果都不错,8 步时质量最稳定,甚至与 SDXL 模型 32 步的生成效果不相上下;即使在 4 步的条件下,在图像质量以及风格多样性也比 Turbo 和 LCM 模型好很多。

SDXL-Lightning 来啦!让AI出图速度提升 10 倍!

SDXL-Lightning 模型发布后很快就有了在线部署,我们可以免费在网站上测试它的出图效果 。下面是我录制的一个生成过程,可以看到文字输入后图像马上就有了变化,反应速度非常快,并且在质量、风格与细节上都保持的不错,相信 AI 实时绘画也会因为 SDXL-Lightning 有进一步的发展。

SDXL-Lightning 实时生成在线试用①: https://fastsdxl.ai/

prompt:a 90s illustration of a dog chasing a butterfly in the autumn forest.

二、在 ComfyUI 中使用 Lightning 模型

模型地址: https://huggingface.co/ByteDance/SDXL-Lightning/tree/main

官方工作流: https://huggingface.co/ByteDance/SDXL-Lightning/tree/main/comfyui

字节目前已经放出了 SDXL-Lightning 完整的模型和工作流资源,模型包括 Checkpiont 和 Lora 两种。

SDXL-Lightning 来啦!让AI出图速度提升 10 倍!

Checkpiont 模型分为 1step、2step、4step、8step 四款,1step 虽然出图速度最快,但效果不稳定,所以推荐使用 4step 或 8step,下面以 4step 模型为例,讲解一下基础用法。

  1. 首先下载 sdxl_lightning_4step.safetensors 大模型,安装到根目录的 models/checkpoints 文件夹中(如果是和 SD WebUI 共享资源,则放到 WebUI 的根目录中)。
  2. 将 ComfyUI 更新到最新版本,然后把 comfyui_sdxl_lightning_workflow_full 工作流留拖入界面中。
  3. 需要确认的设置有:① Ksampler 中得生成步数要与你选择的大模型保持一致,这里我载入的是 4step 大模型,所以生成步数设置为 4 步;② 推荐使用 Euler 采样器与 sgm_uniform 调度器。
  4. 设置完成后就能生成了,经测试生成一张 1024*1024 px 的图片只需要 6 秒,并且质量非常高。

SDXL-Lightning 来啦!让AI出图速度提升 10 倍!

除了官方的 4 个大模型,开源社区中 DreamShaperXL 大模型也已经有了 Lightning 微调版本,并且其图像质量及风格美学在一定程度上优于官方模型。如果想使用它,工作流同上,对应的参数设置为:CFG 为 2,采样步数 3-6,采样器必须为 DMP++ SED Karras,尺寸推荐 1024 px。

DreamShaperXL Lightning 下载: https://civitai.com/models/112902?modelversionid=354657 (文末有资源包)

SDXL-Lightning 来啦!让AI出图速度提升 10 倍!

SDXL Lightning Lora 模型则有 3 款:2step、4step 和 8step,它们可以与其他任意 SDXL 大模型搭配,在提升出图速度的同时保持原模型的风格。具体工作流如下(文末有资源包),使用前需要先下载一个 LightningLlora 模型并安装到根目录的 models/lora 文件夹中 。

我使用的是动漫风大模型 CounterfeitXL 和 Lightning_4step_lora 模型, 生成一张 768*1024px 图像的时间为 4s,图像在风格与细节上与原模型几乎没有差别,只在颜色上不如原来明亮了,但可以通过添加 VAE 模型来改善这个问题。 如此短的时间内实现这样高的质量,Lightning lora 的作用还是非常惊人的,它可以有效提升我们使用 XL 大模型的效率。

SDXL-Lightning 来啦!让AI出图速度提升 10 倍!

SDXL-Lightning 来啦!让AI出图速度提升 10 倍!

除了 Comfyui,lllyasviel 大神(Controlnet 和 Fooocus 的作者)开发的 Stable Diffusion WebUI Forge 也实现了对 SDXL-Lightning 的官方支持,有安装的小伙伴可以去体验一下。参数方面采样器推荐选 Euler SGMUniform,CFG 需要为 1.0。

SDXL-Lightning 来啦!让AI出图速度提升 10 倍!

这里补充一下 WebUI Forge 的相关信息。WebUI Forge 是基于 A1111 WebUI 构建的一个高性能平台,它在界面与使用方法上与 A1111 WebUI 没有任何不同,主要区别在于:

  1. 对低显存用户更友好。以最低的 6G 显存为例,WebUI Forge 的推理速度比 A1111 WebUI 提升了 60~75%,高峰时对显存的占用减少约 800MB 至 1.5GB,最大图像分辨率(不会 OOM)增加约 3 倍,最大图像生成批次(不会 OOM)增加约 4 倍 ,因此使用时不再会轻易爆显存。
  2. 支持更多新的功能。SVD/Z123/masked/Ip-adapter/masked controlnet/photomaker 的等功能在 A1111 WebUI 中目前都无法使用,而 WebUI Forge 引入了 Unet Patcher,可以在新功能出现后及时进行官方支持。

如果你不习惯 ComfyUI 的节点式界面,又想在 WebUI 中使用新出的 AI 功能,那么 WebUI Forge 就是一个很好的选择,官方 Github 主页有一键安装包和使用教程,有需要的小伙伴可以自行下载:

WebUI Forge 下载安装: https://github.com/lllyasviel/stable-diffusion-webui-forge

SDXL-Lightning 来啦!让AI出图速度提升 10 倍!

以上就是本期为大家推荐的 SDXL-Lightning 的相关内容,喜欢的话记得点赞收藏支持一波,之后会继续为大家带带来更多实用的 AI 干货知识。想了解更多 AI 内容的话,欢迎关注 优设 AI 自学网;另外也可以关注「优设 AIGC」的 微信 视频号,小瓜老师每天都会分享最新的 AIGC 资讯和神器,让你轻松掌握最新的 AI 发展动态 ~

SDXL-Lightning 来啦!让AI出图速度提升 10 倍!

推荐阅读:

文件名 如何下载使用 文件大小 提取码 下载来源
SDXL Lightning26.58G6666 点此复制 登录下载
赞赏
收藏 50
点赞 39

复制本文链接 文章为作者独立观点不代表优设网立场,未经允许不得转载。