文件名 如何下载使用 文件大小 提取码 下载来源
animatediff lightning 资源3.62GB6666 点此复制 登录下载

AnimateDiff-Lightning 来了!让文生视频生成速度提升 8 倍!

大家好,这里是和你们一起探索 AI 的花生~

之前为大家介绍了字节的 SDXL-Lightning 模型,能在几秒内生成一张 1024*1024px 的图像。最近字节又推出了一款新的文生成视频模型 AnimateDiff-Lightning,也是在几秒钟内生成一段 3s 的视频,比原本的 AnimateDiff 模型快了 6-8 倍,有效提升了 AI 视频生成的效率。今天就为大家介绍一下 AnimateDiff-Lightning 的相关内容。

相关推荐:

一、AnimateDiff-Lightning 简介

项目主页: https://huggingface.co/ByteDance/AnimateDiff-Lightning

在线试玩: https://huggingface.co/spaces/ByteDance/AnimateDiff-Lightning

AnimateDiff-Lightning 是从 AnimateDiff SD1.5 v2 模型中提炼出来的,包含 1 步、2 步、4 步和 8 步共 4 个蒸馏模型。其中 2 步、4 步和 8 步模型的生成质量较好,1 步模型目前仅用于研究目的。官方有在线体验网站,支持 8 种镜头运动,测试了一下 10 秒内就能生成一个 2s 的视频, 并且步数越高的模型生成的质量也越好。

我分别用 AnimateDiff-Lightning 4step 模型 、8step 模型和原本的 mm_sd_v15_v2 做测试对比。同样是 2 秒(16 帧)的 512*512px 的视频,4step 模型生成时长为 8 秒,8step 模型是 16 秒,mm_sd_v15_v2 则用了 80 秒。二者速度上的差别达到 5-10 倍,但视频质量的差别并不明显。从测试结果来看 8step 模型的质量会比 4step 模型更稳定,且 AnimateDiff-Lightning 模型效果有时甚至超过 mm_sd_v15_v2。

官方表示 AnimateDiff-Lightning 模型非常适合用于视频转视频,对此我也进行了测试。同样一段 6 秒的真人视频将转绘为动漫风,AnimateDiff-Lightning 4step 模型需要 3 分钟,而 mm_sd_v15_v2 模型则需要 15 分钟,速度差了 5 倍;并且 AnimateDiff-Lightning 的转换效果还要好于 mm_sd_v15_v2,可见 AnimateDiff-Lightning 的确能有效提升视频转绘的速度。

二、在 ComfyUI 中使用 AnimateDiff-Lightning

AnimateDiff-Lightning 模型资源已经开源,官方还提供了 ComfyUI 适配模型和工作流,所以在本地部署起来也非常轻松。下面介绍一下文生视频(t2v)和视频生成视频(v2v2)的使用方法。

① 安装插件

首先需要安装好 ComfyUI-AnimateDiff-Evolved 和 ComfyUI-VideoHelperSuite 两款插件,可以在 Manager 中安装,或者通过 Git 命令克隆,安装完成后重启 ComfyUI

网址 1: https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved

网址 2: https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite

AnimateDiff-Lightning 来了!让文生视频生成速度提升 8 倍!

② 安装模型

需要两类模型。一是 AnimateDiff-Lightning 模型的,推荐 4 步或者 8 步模型。下载后放到根目录的 custom_nodes/ComfyUI-AnimateDiff-Evolved/models 文件夹中。

下载地址: https://huggingface.co/ByteDance/AnimateDiff-Lightning/tree/main (文末有资源包)

AnimateDiff-Lightning 来了!让文生视频生成速度提升 8 倍!

然后安装 motion lora 模型,它可以为视频添加镜头有运动,包括推进、拉远、平移、旋转等。与 AnimateDiff-Lightning 模型配合使用可以让视频动态更加明显。下载后放置在根目录的 custom_nodes/ComfyUI-AnimateDiff-Evolved/motion_lora 文件夹中。

下载地址: https://huggingface.co/guoyww/animatediff/tree/main (文末有资源包)

AnimateDiff-Lightning 来了!让文生视频生成速度提升 8 倍!

③ 文生视频工作流

工作流地址: https://huggingface.co/ByteDance/AnimateDiff-Lightning/tree/main/comfyui (文末有资源包)

官方提供了文生视频和视频风格转换 2 款工作流,上面的资源都安装好之后,将文生视频工作流拖入 ComfyUI 中就能使用了。

AnimateDiff-Lightning 来了!让文生视频生成速度提升 8 倍!

使用文生视频工作流时,需要注意的点包括:

  1. 可以多尝试风格化的大模型,比如 ToonYu / DreamSharp / MajicMix Realistic / MajicMIX Reverie 等;
  2. Ksampler 中得生成步数必须与选择的 AnimateDiff-Lightning 对应,4 步模型就填 4,8 步模型就填 8;默认采样器 Euler,调度器选 sgm_uniform;
  3. Motion LoRA 的运动方式可以自定义,权重推荐在 0.7~0.8 之间,太高会扭曲画面内容。

AnimateDiff-Lightning 来了!让文生视频生成速度提升 8 倍!

④ 视频转绘工作流

如果想使用 AnimateDiff-Lightning v2v 功能,提升视频转绘速度,则需要再安装 Controlnet 插件和对应的 Openpose 模型,再导入 v2v 工作流:

  1. ComfyUI-Advanced-ControlNet 插件: https://github.com/Kosinkadink/ComfyUI-Advanced-ControlNet
  2. ComfyUI_controlnet_aux 插件: https://github.com/Fannovel16/comfyui_controlnet_aux
  3. Openpose 模型下载: https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main (模型放到根目录的,models/controlnet/文末有资源包)

AnimateDiff-Lightning 来了!让文生视频生成速度提升 8 倍!

使用视频转绘工作流时,需要注意的内容有:

  1. 上传视频的不宜太长,分辨率也不要太高,官方使用的是一个 8 秒 576x1024 px 的视频;
  2. 使用的是 DWPose 预处理器,首次使用时会自动下载预处理器模型,可以在控制台查看下载进度;
  3. 视频的帧率设置要与上传的视频素材一致,否则会影响视频生成效果;
  4. Ksampler 中得生成步数必须与选择的 AnimateDiff-Lightning 对应,4 步模型就填 4,8 步模型就填 8;默认采样器 Euler,调度器选 sgm_uniform;

那么以上就是本期为大家介绍的免费 AI 视频生成神器 AnimateDiff-Lightning,文内提到的模型及工作流文件都在文末的云盘链接内,有需要的有需要的小伙伴可以记得下载~

ComfyUI 的学习门槛比较高,如果你想掌握它,建议先从 Stable Diffusion WebUI 开始,它更适合初学入门,学会后也能有助于我们快速掌握 ComfyUI 的用法。 我最新制作的 《零基础 AI 绘画入门指南》是一门面向 AI 绘画零基础人群的系统课程,包含 Stable Diffusion WebUI 全面细致的用法教学,并提供配套资源,能帮你快速掌握这款目前最热门的 AI 绘画工具。如果有关于文章的问题,欢迎在评论区留言,或者下方的二维码加入“优设 AI 绘画交流群”,和我及其他 设计师 一起交流学习 AI 知识~

AnimateDiff-Lightning 来了!让文生视频生成速度提升 8 倍!

推荐阅读:

文件名 如何下载使用 文件大小 提取码 下载来源
animatediff lightning 资源3.62GB6666 点此复制 登录下载
赞赏
收藏 37
点赞 29

复制本文链接 文章为作者独立观点不代表优设网立场,未经允许不得转载。