Runway 王者归来!发布新模型 Gen-3 Alpha,直接对标 Sora

大家好,这里是和你们一起探索 AI 的花生。

自 OpenAI 发布 Sora,将文生视频拉高到一个新的高度后,各家 AI 视频工具都在努力升级模型、添加新功能,以期在这场竞赛中保住自己的一席之地,比如 Pika 已经推出了风格选择、视频配音、唇形一致等多种功能,Vidu、Kling 则是类 Sora 的新模型,在生成效果上已经十分接近 Sora。而曾经的领军产品 Runway 却始终都没有什么动静,因此很多人都在担心它未来的发展。

最近 Runway 终于放出大招,发布了第三代模型 Gen-3 Alpha,它各方面的表现都与 Sora 极为接近,甚至可以说是不分上下。如果说前两天上线的 Dream Machine 秒杀 Runway Gen-2,那么这个新模型则足以反过来秒杀 Dream Machine,让人不得不感叹 AI 模型竞争之激烈。今天就带我们详细了解一下 Gen-3 Alpha 的功能与特点。

Runway 上一代模型 Gen-2:

一、Gen-3 Alpha 简介

Runway 官网: https://app.runwayml.com/ (Gen-3 将在未来几天开放)

不同于之前的 Gen-1 和 Gen-2 模型,此次的 Gen-3 Alpha 是一个全新的视频生成基础模型。它在视频和图像数据上进行了联合训练,不仅具备文本生成视频能力,同时也可以实现文本到图像和图像到视频,这一点和 Sora 是一样的。

与 Gen-2 相比,Gen-3 Alpha 在保真度、一致性和运动方面有了重大改进。虽然目前只能生成最长 10s 的视频,但是在视频清晰度、细节丰富度、动态流畅度、对提示词的理解和镜头运动等方面已经完全到达了 Sora 的级别,光凭肉眼已经很难区分其与现实的区别。

当视频在手机上无法加载,可前往PC查看。

Runway Gen-3 Alpha 与 Gen-2、DreamMachine 效果对比

尤其是在人物生成上,不仅角色形象、动态非常自然,还可以精准呈现手部动作和面部表情的变化。角色形象的一致性也很稳定,即使有大幅度的动作,脸部和身体也不会扭曲变形,这是目前大部分模型都无法做到的。有了这个基础,我们就能通过人物实现更细腻准确的内容传达,这对提升 AI 视频质量非常重要。

Prompt: A middle-aged sad bald man becomes happy as a wig of curly hair and sunglasses fall suddenly on his head.

提示词:一个中年悲伤的秃顶男人突然戴上了一顶卷曲假发和太阳镜,变得快乐起来。

Prompt: A man standing in front of a burning building giving the 'thumbs up' sign.

提示词:一个男人站在燃烧的大楼前做出“竖起大拇指”的手势。

而且 Gen-3 Alpha 也和 Sora 一样,能在一定程度上理解物理世界的运行规律并进行模仿。比如火车行驶过程中,人物面部光影会随窗外的场景发生变化;生成绘画场景的时候,画笔会在纸面留下痕迹等。这也能证明 Runway 的新模型具备与 OpenAI Sora 同等的能力。

Prompt: Subtle reflections of a woman on the window of a train moving at hyper-speed in a Japanese city.

提示词:一个女人在日本城市高速行驶的火车窗户上的微妙倒影。

二、艺术内容生成能力

除了模仿现实内容,Gen-3 Alph 还有生成风格化视频和奇幻内容的能力。

仅目前已经展示出的风格就有水彩、动漫,赛博朋克、电子故障等,质量都非常不错;而 “棉花糖巨人在咆哮”、“混泥土地面长出植物”、“玻璃碎片旋风席卷小巷” 这些原本需要特效才能制作的画面,现在仅凭文本就能生成。对视频创作者来说,这样既能扩大创作范围,也是提升效率、降低成本的有效方式。

Prompt: A Japanese animated film of a young woman standing on a ship and looking back at camera.

提示词:一个日本动画电影中,一位年轻女子站在船上,回头看向镜头。

Prompt: An empty warehouse where flowers start blooming from the concrete.
提示:一个空荡荡的仓库,鲜花开始从混凝土中绽放。

三、英文文本动态呈现

英文文本动态呈现应该是 Gen-3 Alpha 最令人惊喜和期待的一点了。虽然官网上没有相关的展示,但 Runway 联合创始人 Cristóbal Valenzuela 在推特上一口气放出了十几条相关示例,每一个示例的场景、字体、材质、动态效果都不一样,显示出高度的灵活性和可控性,质量之高直接拿来做视频片头都没有问题。不过目前还不确定这种效果是文本直接生成的,还是通过图像生成的。

四、精准控制与高级编辑功能

据官方介绍,Gen-3 Alpha 通过训练学习了大量具有时间序列信息的描述性字幕,因此在处理用户提示词的时候,能够实现场景中元素的想象性过渡和精确的关键帧设定。

比如它可以从海面丝滑过渡到一个火焰场景,前面的 “混凝土长出植物” 可能也是通过这种能力实现的;而上面动态文本的效果,我觉得可能是上传了一张包含文本的图像做为关键帧,然后借助 Gen-3 Alpha 强大的过渡能力来向前生成动态,而非直接用文本生成。

Prompt: Aerial shot of the ocean.a maelstrom forms in the water swirling around until itreveals the fiery depths below.

提示:海洋的航拍。一个漩涡在水中形成,旋转着,直到它露出下面炽热的深处,

Runway 已有的视频控制功能,包括运动画笔 (Motion Brush)、镜头运动控制(CameraControls)等在 Gen-3 Alpha 模型中依旧可以使用,而且还会有一些新的功能推出,帮助用户对结构、风格和运动进行更精细控制。此外 官方还表示可以为影视公司创建 Gen-3 的定制版本,指定角色形象和视频的风格等内容,以满足特定的艺术和叙事需求。

Gen-3 Alpha 将在未来几天内对所有人开放,这代表与 Sora 同级别的 AI 视频生成工具马上就能被普通用户使用了,而 AI 视频创作也将进入一个新的阶段。最后再推荐大家看一下这个 Runway CEO 发布的预告视频,全部素材都是 Gen-3 Alpha 直接生成的,效果非常震撼,而我们离实现这种效果也非常近了。

当视频在手机上无法加载,可前往PC查看。

那么以上就是本期为大家推荐最新 AI 视频生成模型 Gen-3 Alpha 的相关内容。想了解更多 AI 新鲜资讯的话,欢迎关注 「优设 AI 自学网」 和「优设微信视频号」,每天都会分享最新的 AIGC 资讯和神器,让你轻松掌握 AI 发展动态。也欢迎大家扫描下方的二维码加入“优设 AI 知识交流群”,和我及其他设计师一起交流学习 AI 知识~

Runway 王者归来!发布新模型 Gen-3 Alpha,直接对标 Sora

另外我的最新课程《AI 视频零基础系统入门》已经上线了,对 AI 视频感兴趣的小伙伴不要错过。课程内容包括:

从文生视频、图生视频、视频生成视频、数字人视频 4 个方面,系统全面地带你了解目前主流的 AI 视频制作方式以及优缺点;

  1. 十余种热门 AI 视频生成神器用法详解,轻松掌握大神同款工具;
  2. 附赠课程专属工具清单,收录了近 300 款 AI 视频、音频、文案神器,全面赋能 AI 视频创作
  3. 高质量免费自学资源、最新 AI 视频资讯获取渠道全分享

Runway 王者归来!发布新模型 Gen-3 Alpha,直接对标 Sora

参考资料:

  1. https://x.com/c_valenzuelab/status/1803063105150128264
  2. https://runwayml.com/blog/introducing-gen-3-alpha/
  3. https://x.com/i/status/1802791184286282058
  4. https://x.com/ProperPrompter/status/1802718077878153519

推荐阅读:


赞赏
收藏 21
点赞 46

复制本文链接 文章为作者独立观点不代表优设网立场,未经允许不得转载。