NVIDIA Studio 创意加速:NVIDIA Studio 平台的全新工具和性能提升

编辑注:本文是我们每周发布的 NVIDIA Studio 创意加速系列栏目的一部分,该系列旨在介绍一些特邀艺术家、提供创意提示和技巧,并展示 NVIDIA Studio 技术如何改善创意工作流。我们还将深入探讨全新 GeForce RTX 40 系列 GPU 的性能、技术和资源,以及它们将如何显著加速内容创作。

COMPUTEX 展会作为亚洲最大的年度科技贸易展览会,释出大量最新资讯,向创作者介绍了大量的 AI 功能,以及来自 NVIDIA Studio 平台的全新工具和性能提升。NVIDIA ACE for Games 和 Kairos 演示在 COMPUTEX 展会上首次亮相,本期“NVIDIA Studio 创意加速”栏目将详细介绍相关内容。

新款 14 英寸 NVIDIA Studio 设计本配备 GeForce RTX 40 系列笔记本电脑 GPU,与上一代产品相比,性能和便携性大幅提升,助力创作者加速灵感呈现。AI 专用硬件 Tensor Core 可使 Davinci Resolve 等热门应用中的任务省时高效。RT Core 与我们的神经渲染技术 DLSS 3 结合,可提升 D5渲染器和 NVIDIA Omniverse 等实时 3D 渲染应用的性能。

NVIDIA 还推出了一种加速视频编码的新方法。并行场景编码可将独立的帧组或场景组发送到每个 NVIDIA 编码器。通过充分利用多个 NVIDIA 编码器,可以在不影响图像质量的情况下,显著缩减视频导出时间。首个集成该技术的软件是热门视频编辑应用剪映专业版和CapCut桌面端。

5 月版 Studio 驱动目前可供下载。此版本支持更新 MAGIX VEGAS Pro、D5渲染器、VLC 媒体播放器。并且除了支持剪映专业版和CapCut桌面端之外,该版本还支持针对热门应用的 AI 模型优化。

全新 NVIDIA Avatar Cloud Engine (ACE) for Games 平台借助 AI 驱动的自然语言交互,使游戏内的非玩家角色 (NPC) 变得智能。

NVIDIA Studio 创意加速:NVIDIA Studio 平台的全新工具和性能提升

Kairos 演示是由 NVIDIA 创意总监 Gabriele Leone 与 Convai 联合开展的项目。在本周的“NVIDIA Studio 创意加速”栏目中将介绍如何将单个模型转变为鲜活逼真、栩栩如生的角色。

超便携、高性能

NVIDIA Studio 设计本采用 NVIDIA Ada Lovelace 架构,既可助您高效创作,也可助您畅快游戏。

这是 GeForce RTX 性能首次应用于 14 英寸设备。在此过程中,NVIDIA Studio 设计本凭借性能和便携性的完美结合,改变了超便携笔记本市场。

NVIDIA Studio 创意加速:NVIDIA Studio 平台的全新工具和性能提升

华硕灵耀Pro 14最高可选配 GeForce RTX 4070 笔记本电脑 GPU

这些专为创作者打造的生产力工具性能出众。NVIDIA Studio 平台可为超过 110 款创意应用提供强力支持,并且在 NVIDIA Studio 驱动的协助下为这些应用提供持久的稳定性。此外,该平台包含一套由 AI 驱动且功能强大的 Studio 软件,例如 NVIDIA Omniverse、Canvas 和 Broadcast。

第五代 Max-Q 技术是一套先进的 AI 驱动型技术,可优化笔记本电脑的性能、功耗和噪音,以实现峰值效率。电池续航时间最多可延长 70%。DLSS 现已针对笔记本电脑进行优化: DLSS 3 光学多帧生成和超分辨率技术可在 Omniverse 和 D5渲染器以及热门游戏(例如“赛博朋克 2077 (Cyberpunk 2077)”)中为创作者提供令人惊叹的 3D 渲染性能。

随着超便携笔记本市场的升温,PC 笔记本电脑制造商为创作者提供了比以往更多的选择。近期发布以及更多即将发布的机型包括:宏碁 非凡X 14、华硕灵耀Pro 14、 联想YOGA Pro14s至尊版和微星 绝影14 Studio。

并行场景编码

近期发布的 Video Codec SDK 12.1 版本增加了对多编码器的支持,可将视频导出时间减半。我们之前发布的切分编码方法(切分帧画面,然后将每个子画面单独发送给一个编码器)现在具有一个可由应用开发者提供给终端用户的 API。之前,系统会自动启用切分编码来处理 4K 或更高分辨率的视频,带来更快的导出预设。在此次更新中,开发者可为用户提供一个轻松切换编码方法的选项。

此外,Video Codec SDK 12.1 版本还引入了一种新的编码方法,即并行场景编码。在图片或场景发送到渲染工作流后,视频应用可以将其分割为多个组。然后,每组均可被独立渲染,并在最终输出时以适当的顺序排列。结果显示,编码速度可获得显著提高,双编码器的速度可提高将近 80%,在两个以上的 NVIDIA 编码器场景下还可以进一步提升编码速度(例如 NVIDIA RTX 6000 Ada 架构专业 GPU)。与现有的切分编码方法相比,图像质量也有所提高。

NVIDIA Studio 创意加速:NVIDIA Studio 平台的全新工具和性能提升

剪映:全能易剪的视频创作工具,让人人都能参与创作,轻松记录美好生活。经过4年的迭代发展,剪映已推出移动端、Pad版、专业版、网页版多个产品版本,实现了多端互通,为更多场景下的自由创作创造了可能。

剪映专业版4.2.0和CapCut桌面端2.2.0的Beta版已于今天发布。经测试,视频导出速度可提升高达67%。用户可率先在配备两个或更多编码器的 RTX GPU 上体验此优势。

5 月版 Studio 驱动推出重大更新

5 月版 Studio 驱动的功能得到显著的升级和优化。

MAGIX 已与 NVIDIA 合作将其 VEGAS Pro AI 模型系列迁移到 WinML,使视频编辑者能够更快地应用 AI 特效。此驱动还为在 WinML 上运行的应用优化了 AI 功能,包括 Adobe Photoshop、Lightroom、MAGIX Vegas Pro、ON1 和 DxO 等应用。

实时光线追踪渲染器 D5渲染器也添加了 NVIDIA DLSS 3 技术,可为用户提供更流畅的视窗体验,让他们在浏览场景时感受超流畅的动态效果。建筑师、设计师、室内设计师以及所有专业 3D 艺术家均可从中受益。

NVIDIA Studio 创意加速:NVIDIA Studio 平台的全新工具和性能提升

D5渲染器与 DLSS 3 强强联合,可打造逼真的图像

NVIDIA RTX 视频超分辨率功能(使用 AI 和 RTX Tensor Core 提升视频质量的视频升采样技术)现已完全集成到 VLC 媒体播放器中,您无需再单独下载。下载 GeForce Experience 或 NVIDIA RTX Experience 是您升级驱动,获悉其最新版本的最简单方法。

游戏界的王牌

NVIDIA 创始人兼首席执行官黄仁勋先生在 COMPUTEX 展会上 发表了主题演讲,介绍了可借助 AI 驱动的自然语言交互让游戏 NPC 更智能的全新构建服务 NVIDIA ACE for Games。

游戏开发者和工作室可以使用 ACE for Games 在其软件和游戏中构建和部署自定义的语音、对话和动画 AI 模型。这项 AI 技术可以改变整个游戏世界,为单个角色、群体角色或整个城镇的角色注入新的生命。此技术的未来无可限量。

ACE for Games 基于 NVIDIA Omniverse 中的技术构建而成。 NVIDIA Omniverse 是一个用于构建和运行元宇宙应用的开放式开发平台,包含针对语音、对话和角色动画而进行优化的 AI 基础模型。

其中包括 NVIDIA NeMo(可针对游戏角色进行微调的对话式 AI)、NVIDIA Riva(具有自动语音识别和文字转语音功能),以及 Omniverse Audio2Face(可即时为游戏角色创建生动的面部表情动画,以匹配任何语音)。Audio2Face 可配合 Omniverse 的虚幻引擎5连接器,开发者可以直接向 MetaHuman 角色添加面部动画。

眼见为实:Kairos 演示

在名为 Kairos 的演示中,黄仁勋先生向 COMPUTEX 与会者展示了 ACE for Games,并让观众一窥游戏的未来。

Convai是一家获得 NVIDIA 初创加速计划支持的初创公司,专注于为虚拟游戏世界开发先进的对话式 AI。NVIDIA Lightspeed Studios 由创意总监兼 3D 艺术家 Gabriele Leone 领导,打造出非常真实的场景。二者强强联合,展示了开发者可如何使用 NVIDIA ACE for Games 构建 NPC。

在演示中,玩家与一家拉面店的老板 Jin 互动。这个照片级真实的店铺基于在 NVIDIA Omniverse 中预先构建的虚拟拉面店。

为此,一位 NVIDIA 艺术家前往东京的一家正宗拉面餐厅,收集了 2,000 多份高分辨率参考图像和视频。这些素材的内容包含烹饪区、清洁区、食物准备去和储存去等不同厨房区域的各个角落。Leone 说:“我们使用了大约 70% 的现有模型、30% 的新模型以及 80% 的纹理重建。”

NVIDIA Studio 创意加速:NVIDIA Studio 平台的全新工具和性能提升

Kairos:在 Autodesk Maya、Blender、UE 5 和 NVIDIA Omniverse 中进行精美渲染

在数字拉面店中,物体在 Autodesk 3ds Max 和 Blender 中进行建模,前者采用 RTX 加速的 AI 降噪技术,后者则利用 RTX 加速的 OptiX 光线追踪技术在视窗中实现流畅的交互式创作。以上均由该团队大量 GeForce RTX 40 系列 GPU 提供支持。

创作者在纹理创作阶段使用Adobe Substance 3D Painter, 将 NVIDIA Iray 渲染技术与 RTX 加速的光线和环境光遮蔽结合,用户只需片刻即可烘焙出大型素材。

“说实话,在缺少 GeForce RTX GPU 和 Omniverse 的情况下,完成此项目必然要花费大量时间。”— Gabriele Leone

接下来,借助 UE 5 连接器,该团队可使用 Omniverse 和 Audio2Face 应用直接为拉面店 NPC 添加面部动画和音频。尽管 Jin 是一名 NPC,但他能够对自然语言给予真实的回复,并且答复内容与叙事背景故事一致。而这一切都得益于生成式 AI 的帮助。此外,光照和动画在 UE 5 中完成,并由 NVIDIA DLSS 技术提供助力。该技术借助 AI 对以较低分辨率渲染的帧进行升采样,同时仍保留高保真细节,进一步为制作团队提升视窗的交互性。

NVIDIA Studio 创意加速:NVIDIA Studio 平台的全新工具和性能提升

将您的拉面订单交给 NPC - 这个交互式、可对话角色

突然之间,NPC 变得更具吸引力,亦可大放异彩。

请在微博、哔哩哔哩,以及微信上关注 NVIDIA Studio 的官方帐号,您还可以在抖音上观看教程并通过订阅 NVIDIA Studio 新闻通讯从收件箱中了解最新资讯。

点赞 30
收藏
近期热门文章
评论 收藏