清华出品!AI视频神器 Vidu 横空出世,效果直追 Sora!

大家好,这里是和你们一起探索 AI 的花生~

这两天一款名为 Vidu视频生成模型火爆网络,它由北京生数科技与清华大学联合发布,能直接通过文本生成 16 秒 1080P 的高清视频,且视频质量与 OpenAI Sora 不相上下, 因此被认为是 Sora 目前最有力的竞争对手。

Vidu 内测名额申请: shengshu.feishu.cn

当视频在手机上无法加载,可前往PC查看。

相关推荐:

Vidu 是中国首个具备长时长、高一致性及高动态性的视频大模型,从官方的演示视频中也可以切实感受到其强大的生成能力。对于 “画室里的一艘船驶向镜头” 这样的提示词,Vidu 不仅能正确地将两个原本不相干的元素恰当地融合在一起,也准确理解了 “驶向镜头” 这样的动态提示词,并且海浪的涌动、船体的摇晃、浪花的飞溅都非常生动自然,就如 CG 特效一样逼真。

Vidu 还具有模拟真实世界物理特征的能力。对于小狗在水下游泳这样的场景,泳池底部会有水波闪烁的纹理和小狗的影子;而生成包含球形玻璃容器的画面时,玻璃表面会有反光,玻璃内的物体也会呈现出畸变放大的状态,在此之前只有 Sora 才有这样的能力。

Vidu 在动态上的表现也非常优秀,处理眨眼、行走、头发漂浮、汽车疾驰等效果非常自然,不会出现 “慢动作” 或者 “假动作” 的情况。最令我印象深刻的画面有 2 个,一是陶坯在女孩手中飞速旋转,二是失重环境下书本纸张的随意漂浮。这些画面中局部的明显动态并没有对周围的内容造成扭曲,从而形成了动与静的鲜明对比;陶坯随时间变化还有一个向上延展的变形,由此也能看出 Vidu 对物体运动方式有非常清晰深入地认知。

官方的演示视频中,有些镜头可以明显看出与 Sora 的一些片段是相似的,比如 “越野车在山间的道路上行驶”、“堆叠在一起播放着不同年代节目的电视剧” ,以及“在街道上行走的女人等”,通过对比也能看出二者在视频质量不相上下,只不过在持续时长上目前还是 Sora 更胜一筹。

Vidu 提示词:镜头围绕一大堆老式电视旋转,所有电视都显示不同的节目 - 20 世纪 50 年代的科幻电影、恐怖电影、新闻、静态、1970 年代的情景喜剧等,背景设置在纽约一家大型博物馆画廊内。

从上面这个视频中也可以看出 Vidu 具有稳定多样的运镜能力,并且是可以通过文本来控制的。提示词中写的是“镜头围绕……旋转”,视频中展示的效果是镜头推进+拉高+环绕拍摄,手法更复杂,且结合地也很巧妙,这是目前很多AI视频工具都无法做到的。此外 Vidu 也和 Sora 一样具有生成多镜头的能力。

Vidu 提示词:在一个古色古香的海边小屋里,阳光沐浴着房间,镜头缓慢过渡到一个阳台,俯瞰着宁静的大海,最后镜头定格在漂浮着大海、帆船和倒影般的云彩。

Vidu 的研发公司北京生数科技成立于 2023 年 3 月,核心团队成员来自清华大学人工智能研究院,此外汇集了来自阿里、腾讯、字节等知名科技公司的顶尖人才,因此公司拥有扎实的扩散概率模型底层创新研发能力。据了解 Vidu 模型的核心是其团队于 2022 年 9 月提出的 U-ViT 架构,这是全球首个 Diffusion 与 Transformer 的融合架构, 为 Vidu 的诞生奠定了坚实基础,而 Sora 模型也用到 Diffusion 与 Transformer 技术。

目前生数科技也在努力打造世界领先的多模态大模型,致力于将文本、图像、视频、3D 等多种生成能力融为一体。目前它已经推出了视觉创意设计平台 PixWeaver 和 3D 资产创建工具 VoxCraft,Vidu 的视频生成服务将来就会在 PixWeaver 平台上推出,目前可以先加入等候名单获取内测名额。

生数科技官网: https://www.shengshu-ai.com/home

PixWeaver 官网: https://pw.shengshu-ai.com/

Vidu 内测名额申请: https://shengshu.feishu.cn/share/base/form/shrcnWhu2dSaGw4ZYYd7nNGzTZd

清华出品!AI视频神器 Vidu 横空出世,效果直追 Sora!

虽然 Vidu 目前在视频时长上还做不到 Sora 的 60 秒,但是在运动幅度,一致性、稳定性、对提示词的理解等方面效果都非常接近 Sora,并且远远高于 Runway、Pika 等一众 AI 视频工具。更重要的是 Vidu 是国产的,这意味着未来我们也能轻松用上世界顶尖水准的视频生成工具,这是非常令人振奋的。

那么以上就是本期为大家介绍的国产视频大模型 Vidu,喜欢的话记得点赞收藏支持一波,我会有更动力为大家推荐新的干货内容~ 想了解更多 AI 新鲜资讯的话,欢迎关注 优设 AI 自学网 和优设微信视频号,每天都会分享最新的 AIGC 资讯和神器,让你轻松掌握 AI 发展动态。

另外我最新制作的课程《零基础 AI 绘画入门》已经上线,课程包含对 Midjourney 及 Stable Diffusion WebUI 的系统入门教学,并提供配套资源、各类实用工具和提示词库,能帮助初学者快速掌握这 2 款目前最热门的 AI 工具,感兴趣的小伙伴可以戳的链接了解详情:夏花生的《零基础 AI 绘画录播课》

也欢迎大家扫描下方的二维码加入“优设 AI 知识交流群”,和我及其他设计师一起交流学习 AI 知识~

清华出品!AI视频神器 Vidu 横空出世,效果直追 Sora!

推荐阅读:

赞赏
收藏 38
点赞 62

复制本文链接 文章为作者独立观点不代表优设网立场,未经允许不得转载。