Runway、Stability AI 、Pika 纷纷放大招,AI视频神仙打架!

RunwayStability AIPika 纷纷放大招,最近的 AI 视频真是神仙打架!大家好我是花生~

前段时间刚给大家介绍过 LCM 技术 和 AI 绘画 实时生成 的相关内容,没想到紧接着 AI 视频领域又迎了一波重大更新,真是令人应接不暇。今天就为大家仔细盘点一下近期几个主流 AI 视频工具的发展动态,让你轻松跟上 AI 潮流~

相关推荐:

一、Runway

先说 Runway ,之前已经带大家了解过它的相关功能,包括文本/图像转视频(Gen2-),视频风格化(Gen-1)和视频帧差值,此外它的功能还包括文生图、图生图、一键扣除视频背景、抹除视频指定元素等,可以说是目前最强的 AI 视频生成&编辑工具。

Runway 网站直达: https://app.runwayml.com/

Runway、Stability AI 、Pika 纷纷放大招,AI视频神仙打架!

Runway 网站主页

Runway、Stability AI 、Pika 纷纷放大招,AI视频神仙打架!

midjourney 生成的图像

用 Runway 将图像转为视频,内容来源: https://twitter.com/i/status/1683183085808934912

自 6 月份文本/图像转视频功能上线以来,Runway 一直都在努力提升视频生成的质量和可控性。8 月份的时候, 它的视频时长由 4 秒增加至 18 秒,并且新增了「Motion Slider 运动滑块 」功能,让用户可以控制视频的动态强度。

不同动态数值的效果对比。视频来源: https://twitter.com/i/status/1696868501397426187

9 月份的时候上线了「Camera Motion 相机运动 」功能,让用户可以控制镜头的运动方向,包括水平左移、水平右移、垂直上移、垂直下移、顺时针旋转、逆时针旋转、镜头推进和镜头拉远。这让视频生成的可控性得到提升,也让 AI 制作电影短片成为可能。

镜头前推,来源: https://twitter.com/i/status/1727856162526441853

镜头左移,来源: https://twitter.com/i/status/1728403369813757982

就在前几天,Runway 上线了重磅新功能「Motion Brush 运动笔刷 」,我们只需在图像上涂抹一个区域,就能将其变为动态内容。这种局部处理的方式一方面让内容控制能精确灵活,另一方面区域之外的部分仍保持静态,从而减轻了图生视频中常见的画面扭曲问题,在处理效率变高的同时也让整体效果也更逼真,是非常聪明且实用的新功能。

Motion Brush 演示,来源: https://twitter.com/i/status/1728129678395994384

Runway 网站支持 QQ 邮箱注册,新用户有 105 秒的免费生成额度,可以生成大约 20 个短视频,大家可以去官网体验一下这些新功能。

除了提升视频生成质量,Runway 也一直在推动 AI 视频生态的发展完善。它去年举办了首届 AI 电影节(AIFF),邀请全球艺术家使用最新的 AI 技术制作创意短视频,目前第二届正在接受投稿。前段时间还举办了一个为期 2 天的 AI 短视频竞赛 Gen-48,向全球用户征集用 Runway 生成的优质短视频,目前已经评选结果已经在官网公布,我看了一下都非常精彩。

AI 电影节官网: https://aiff.runwayml.com/

Gen-48 官网: https://gen48.runwayml.com/winners

Runway、Stability AI 、Pika 纷纷放大招,AI视频神仙打架!

Runway 最近还推出了线上电视频道 Runway TV,24 小时循环播放由 AI 制作的视频,可以看出官方对 AI 视频发展的重视和信心。也非常推荐大家去看看这些 AI 视频,真的会让人感叹 AI 技术发展的迅速和艺术家创意的精彩,从中我们也能一瞥未来视频制作流程的雏形。

Runway TV 链接直达: Runway TV

Runway、Stability AI 、Pika 纷纷放大招,AI视频神仙打架!

二、Stable Video Diffusion

AI 视频领域近期另一个重磅更新就是 Stability AI 推出的 Stable Video Diffusion 模型,同样可以通过文本或图像生成高质量的视频。

Stable Video Diffusion 介绍: https://stability.ai/news/stable-video-diffusion-open-ai-video-model

Stable Video Diffusion (下面简称 SVD)之所以这么受关注,一方面是因为它是开源模型,大家可以免费使用;另一方面则是它的生成效果非常好,下面是几个用 SVD 将图像转为动图的例子,视频清晰度很高,画面也很稳定,整体表现并不亚于目前最火的 Runway。

来源: https://twitter.com/i/status/1727046123742007455

来源: https://twitter.com/i/status/1727085648014917688

来源: https://twitter.com/i/status/1729009760677044628

SVD 的功能虽然强大,也可以部署到本地,但是对配置的有要求,如果想在本地生成清晰的视频,至少要 16G 的显存,这对我们普通用户来说门槛还是比较高的。但开源模型的好处就是一旦出现了,总会有大神为我们铺好道路,让高大上的工具变得触手可及。SVD 推出到现在不过一个星期,就已经出现了好几种免费使用方式,这里分享 2 个比较可靠的在线工具给大家:

① Replicate

链接直达: stability-ai/stable-video-diffusion – Run with an API on Replicate

这是 Stability AI 官方部署的线上试用页面,可以将用户上传的图像转为视频,支持调整视频帧数、动态强度、视频画幅、帧率等参数。

Runway、Stability AI 、Pika 纷纷放大招,AI视频神仙打架!

② Stable-Video-Diffusion.com

链接直达: https://huggingface.co/spaces/multimodalart/stable-video-diffusion

这是第一个专门围绕 SVD 构建的网站,上传图像就能生成视频。生成效果同样不错,但人多的时候需要排队,使用时记得过一两分钟就刷新一下界面,看看视频是否完成。

Runway、Stability AI 、Pika 纷纷放大招,AI视频神仙打架!

相关推荐:

三、Pika

最后再来看一下 Pika ,今年 7 月份的时候给大家介绍过 Pika 了,它是继 Runway 之后又一款比较受关注的 AI 视频生成工具,支持文生图和图生图,被称为“视频版 Midjourney”。目前它的服务依旧托管在 Discord 中,新用户可以免费体验。

Pika 官网直达: https://www.pika.art/

Pika 生成的视频

过去的几个月 Pika 也更新了不少功能,包括支持控制动态强度和镜头运动方式,支持调节视频画幅和帧率,可以用反向提示词控制视频内容,以及用带文字或 logo 的垫图来引导视频的生成,总体来说和 Runway 非常类似。

视频来源: https://twitter.com/i/status/1706028424979239249

昨天,Pika 官方发布了 Pika 1.0,支持根据文本生成 3D 动画、动漫、卡通和电影风格的视频,质量非常稳定,并且还支持调整视频细节,比如修改画幅比例,给人物换装,在画面局部生成元素等,用户注册后可以免费体验。感觉 Pika 也是在努力探索一条差异化的发展道路,避免与 Runway 的功能上完全重合。

当视频无法加载时请刷新页面,
或前往PC获得最佳体验。

好啦以上就是近期 AI 视频的发展动向,大家感兴趣的话可以去体验一下它们的生成效果。喜欢本期内容的话记得点赞收藏支持一波,之后会继续为大家带来更多 AI 绘画干货知识~ 也欢迎大家扫描下方的二维码加入“优设 AI 绘画交流群”,和我及其他 设计师 一起交流学习 AI 知识。

Runway、Stability AI 、Pika 纷纷放大招,AI视频神仙打架!

另外,我最新制作的《AI 绘画入门完全指南》已经上线,这是针对零基础人群的 AI 绘画入门课程,可以帮你快速掌握目前最热门的 2 款 AI 绘画工具 Midjourney 和 Stable Diffusion,说不定之后你也可以用它们结合这些 AI 视频工具,探索出更多有趣的 AI 玩法。

课程链接: 零基础 AI 绘画入门完全指南 (uisdc.com) (录播+课程群辅导)

Runway、Stability AI 、Pika 纷纷放大招,AI视频神仙打架!

推荐阅读:

赞赏
收藏 90
点赞 69

复制本文链接 文章为作者独立观点不代表优设网立场,未经允许不得转载。