AnimateDiff-Lightning 来了！让文生视频生成速度提升 8 倍！

大家好，这里是和你们一起探索 AI 的花生~

之前为大家介绍了字节的 SDXL-Lightning 模型，能在几秒内生成一张 1024*1024px 的图像。最近字节又推出了一款新的文生成视频模型 AnimateDiff-Lightning，也是在几秒钟内生成一段 3s 的视频，比原本的 AnimateDiff 模型快了 6-8 倍，有效提升了 AI 视频生成的效率。今天就为大家介绍一下 AnimateDiff-Lightning 的相关内容。

相关推荐：

一、AnimateDiff-Lightning 简介

项目主页： https://huggingface.co/ByteDance/AnimateDiff-Lightning

在线试玩： https://huggingface.co/spaces/ByteDance/AnimateDiff-Lightning

AnimateDiff-Lightning 是从 AnimateDiff SD1.5 v2 模型中提炼出来的，包含 1 步、2 步、4 步和 8 步共 4 个蒸馏模型。其中 2 步、4 步和 8 步模型的生成质量较好，1 步模型目前仅用于研究目的。官方有在线体验网站，支持 8 种镜头运动，测试了一下 10 秒内就能生成一个 2s 的视频， 并且步数越高的模型生成的质量也越好。

我分别用 AnimateDiff-Lightning 4step 模型 、8step 模型和原本的 mm_sd_v15_v2 做测试对比。同样是 2 秒（16 帧）的 512*512px 的视频，4step 模型生成时长为 8 秒，8step 模型是 16 秒，mm_sd_v15_v2 则用了 80 秒。二者速度上的差别达到 5-10 倍，但视频质量的差别并不明显。从测试结果来看 8step 模型的质量会比 4step 模型更稳定，且 AnimateDiff-Lightning 模型效果有时甚至超过 mm_sd_v15_v2。

官方表示 AnimateDiff-Lightning 模型非常适合用于视频转视频，对此我也进行了测试。同样一段 6 秒的真人视频将转绘为动漫风，AnimateDiff-Lightning 4step 模型需要 3 分钟，而 mm_sd_v15_v2 模型则需要 15 分钟，速度差了 5 倍；并且 AnimateDiff-Lightning 的转换效果还要好于 mm_sd_v15_v2，可见 AnimateDiff-Lightning 的确能有效提升视频转绘的速度。

二、在 ComfyUI 中使用 AnimateDiff-Lightning

AnimateDiff-Lightning 模型资源已经开源，官方还提供了 ComfyUI 适配模型和工作流，所以在本地部署起来也非常轻松。下面介绍一下文生视频（t2v）和视频生成视频（v2v2）的使用方法。

① 安装插件

首先需要安装好 ComfyUI-AnimateDiff-Evolved 和 ComfyUI-VideoHelperSuite 两款插件，可以在 Manager 中安装，或者通过 Git 命令克隆，安装完成后重启 ComfyUI

网址 1： https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved

网址 2： https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite

② 安装模型

需要两类模型。一是 AnimateDiff-Lightning 模型的，推荐 4 步或者 8 步模型。下载后放到根目录的 custom_nodes/ComfyUI-AnimateDiff-Evolved/models 文件夹中。

下载地址： https://huggingface.co/ByteDance/AnimateDiff-Lightning/tree/main (文末有资源包)

然后安装 motion lora 模型，它可以为视频添加镜头有运动，包括推进、拉远、平移、旋转等。与 AnimateDiff-Lightning 模型配合使用可以让视频动态更加明显。下载后放置在根目录的 custom_nodes/ComfyUI-AnimateDiff-Evolved/motion_lora 文件夹中。

下载地址： https://huggingface.co/guoyww/animatediff/tree/main (文末有资源包)

③ 文生视频工作流

工作流地址： https://huggingface.co/ByteDance/AnimateDiff-Lightning/tree/main/comfyui （文末有资源包）

官方提供了文生视频和视频风格转换 2 款工作流，上面的资源都安装好之后，将文生视频工作流拖入 ComfyUI 中就能使用了。

使用文生视频工作流时，需要注意的点包括：

1. 可以多尝试风格化的大模型，比如 ToonYu / DreamSharp / MajicMix Realistic / MajicMIX Reverie 等；
2. Ksampler 中得生成步数必须与选择的 AnimateDiff-Lightning 对应，4 步模型就填 4，8 步模型就填 8；默认采样器 Euler，调度器选 sgm_uniform；
3. Motion LoRA 的运动方式可以自定义，权重推荐在 0.7~0.8 之间，太高会扭曲画面内容。

④ 视频转绘工作流

如果想使用 AnimateDiff-Lightning v2v 功能，提升视频转绘速度，则需要再安装 Controlnet 插件和对应的 Openpose 模型，再导入 v2v 工作流：

1. ComfyUI-Advanced-ControlNet 插件： https://github.com/Kosinkadink/ComfyUI-Advanced-ControlNet ；
2. ComfyUI_controlnet_aux 插件： https://github.com/Fannovel16/comfyui_controlnet_aux ；
3. Openpose 模型下载： https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main （模型放到根目录的，models/controlnet/文末有资源包）

使用视频转绘工作流时，需要注意的内容有：

1. 上传视频的不宜太长，分辨率也不要太高，官方使用的是一个 8 秒 576x1024 px 的视频；
2. 使用的是 DWPose 预处理器，首次使用时会自动下载预处理器模型，可以在控制台查看下载进度；
3. 视频的帧率设置要与上传的视频素材一致，否则会影响视频生成效果；
4. Ksampler 中得生成步数必须与选择的 AnimateDiff-Lightning 对应，4 步模型就填 4，8 步模型就填 8；默认采样器 Euler，调度器选 sgm_uniform；

那么以上就是本期为大家介绍的免费 AI 视频生成神器 AnimateDiff-Lightning，文内提到的模型及工作流文件都在文末的云盘链接内，有需要的有需要的小伙伴可以记得下载~

ComfyUI 的学习门槛比较高，如果你想掌握它，建议先从 Stable Diffusion WebUI 开始，它更适合初学入门，学会后也能有助于我们快速掌握 ComfyUI 的用法。 我最新制作的 《零基础 AI 绘画入门指南》是一门面向 AI 绘画零基础人群的系统课程，包含 Stable Diffusion WebUI 全面细致的用法教学，并提供配套资源，能帮你快速掌握这款目前最热门的 AI 绘画工具。如果有关于文章的问题，欢迎在评论区留言，或者下方的二维码加入“优设 AI 绘画交流群”，和我及其他 设计师 一起交流学习 AI 知识~

推荐阅读：