从读稿立牌到全身交互,Vivix 用统一流式架构重写数字人交互规则

大家刷直播或者找客服的时候,有没有遇见过那种所谓的AI主播?

表面上看着挺像那么回事儿,但只要我稍微问深一点,或者中间突然插嘴,完了,卡壳了。

接着,它就像个机械读稿机一样,继续自顾自地念台词。

但是咱们试想一下如果有一天,屏幕里这个 AI 真的活过来了呢?

最近 Vivix 新出的两款模型 A1 和 W1,正在将这种设想变成现实!

这两个模型生成的 AI 角色直接摆脱了以前人形立牌一样的机械感,第一次让我觉得屏幕里的 AI 变成了活生生的人~

地址在这儿:  vivix.ai

1秒接话!

咱们先看看以前的数字人是怎么工作的。

绝大多数数字人主播的实现方式,都需要分三步走。

第一步是ASR(语音识别),把你说话的声音转成文字;第二步是LLM(大模型思考),生成对应的文本答案;第三步是TTS(语音合成),把文字再变回声音,最后强行把嘴型给贴上去。

这样做虽然能让 AI 角色做出回答,但缺点非常明显。

一个是生成延迟太长,中间要过好几手,再就是非常别扭,AI 角色的动作、表情和嘴型,很难完全对得上。

从读稿立牌到全身交互,Vivix 用统一流式架构重写数字人交互规则

听到这儿你可能会好奇,现在的 AI 生成视频都这么厉害了,为什么不能直接用到数字人身上呢?

其实很多公司也在试,但问题是,这种视频生成对算力的要求实在是太高了,根本做不到实时给你反馈。

这就导致有些数字人虽然看起来很自然,但实际上只能在那里无限循环重复。

而 Vivix 这次发布的 A1 模型,正是在尝试解决这些实时交互中的难题。

AI 角色不仅能实时回答你的问题,甚至可以在一秒钟之内,完成画面的实时生成。

可能这么单说你觉得有点抽象,但是咱们只要看看下面几个案例,你就会发现这个突破到底有多大了。

以往的 AI 数字人,别说实时互动了,光是想让它动动全身、换个场景,都难如登天。

绝大多数只能被死死固定在镜头前,靠几套预设好的手势来回摆弄。

而 Vivix A1 模型生成的 AI 角色,直接做到了全身交互。

阅读原文查看视频

它让 AI 角色的能力,不再局限于固定机位,彻底扩展到了全身的动作、空间里的走动,甚至是直接跟周围的物品产生互动。

在 Vivix A1 里面,语音、文字还有图片,不再是开场时一次性设定、全程不变的固定条件,可以在互动过程中随时喂给它。

在直播电商场景中,虚拟主播能够根据用户反馈实时调整讲解内容,灵活过款,或随时切换到其他商品。

阅读原文查看视频

还有一点让我印象特别深,Vivix-A1 生成的角色动作足够丰富自然,不会走着走着突然乱蹦、动作崩掉。

阅读原文查看视频

当然,真要论画质的细腻程度,顶尖的离线视频模型还是更有优势。

但在边聊边生成的实时互动里,能把画面做到这么流畅清晰,已经是在颠覆行业规则了。

而 Vivix 真正的杀招,可不止这一个 A1 模型。

无限扩展

如果说 A1 是创造了一个会呼吸的顶流演员,那 Vivix 推出的另一个模型 W1,就相当于是帮你创造了一个可以沉浸式体验的世界。

这东西要是普及了,咱们平时玩游戏、看剧的体验,就完全不一样了!

不知道你有没有玩过那种互动影视游戏?比如《底特律:变人》。

以前玩这种游戏,说白了都是在做选择题,路线和结局全被编剧给死死框住了。

从读稿立牌到全身交互,Vivix 用统一流式架构重写数字人交互规则

但有了 W1,以后的游戏可能就直接没有剧本这一说了!

镜头瞬间切换,画面、配音、包括背景音乐,全部实时给你跑出来。

比如这样:

阅读原文查看视频

故事怎么发展、主角是生是死,全看你下一句想怎么折腾。

你每玩一次,都是在亲手导演一部独一无二的顶级大片!

从读稿立牌到全身交互,Vivix 用统一流式架构重写数字人交互规则

W1 真正颠覆行业的地方,是它把过去必须分开处理的多模态参考、流式生成和原生交互,全部塞进同一个模型里搞定了!

当然,你可能会好奇,既然要实时处理这么多东西,它跑起来得有多卡啊?

其实 Vivix 专门优化了算法,从底层重新给模型提速。

只有这样,它才能在秒级响应的同时,保住顶级的画面和剧情连贯性。

瞬间生成未来

以前像 DiT 这类主流的视频生成架构,都是离线模式。

你给它一个完整的提示词,它在后台慢慢算,把整段视频一口气跑完。这种方式画质虽然高,但前提是生成的目标在刚开始就已经定好。

但实时交互,直接把这个前提给干掉了。

你在看视频的过程中随时可能说话、打断它,甚至临时改变角色的行为。

这就要求模型不仅要记住过去,理解现在,还要瞬间生成未来。

带来的数据吞吐量是难以想象的,文本交互通常以每秒几个到几十个 Token 的规模处理。

而实时音视频场景需要持续处理视觉、音频等多模态信息流,Token 吞吐量可能达到前者的 10³–10⁴ 量级。

要在毫秒级的超低延迟下,跑这么庞大的数据量,旧架构根本扛不住。

Vivix 必须从底层对模型架构、交互方式和基础设施,进行一场全面的重构!

第一,在模型架构与交互层。

Vivix 摒弃了传统的“离线生成”和“先把音视频转成文字再给 AI 思考”的繁琐链路。

它建立了一套原生多模态统一的流式架构。无论是你的语音、文字,还是新的图片、场景上下文,都会被作为原生信号直接喂进模型。

在W1 模型里,不仅能做到一秒内实时反应,还能同步协调动作、对白、背景音效、镜头调度乃至剧情发展。

从读稿立牌到全身交互,Vivix 用统一流式架构重写数字人交互规则

第二,在训练与推理架构层(Infra)。

如果只有好模型,没有极致的 Infra(基础设施),这种技术就只能是实验室里烧钱的 Demo。而 Vivix 在 Infra 上的壁垒,直接决定了它能不能真正规模化应用:

训练端:Vivix 重构了整个管线,实现了原生 2K 10bit 长视频训练。配合他们自研的 Sparse Attention(稀疏注意力机制)对时空特征的极致压缩,激活参数 30B 的视频模型,在一个月内就能完成稳定训练。

推理端:Vivix 完成了 FP4 无损推理。在架构层面,支持快思考和慢思考模式,让“打断”等能力变成了原生体验。

过去一年,Vivix将实时视频推理成本在过去一年内降低 2 个数量级,目前已接近云游戏、音乐会员和流媒体服务的成本区间,数量级显著低于目前的头部视频生成模型。

普通人真正能用得起了。

第三,在数据平台层。

实时交互模型不仅要学会下一秒发生什么,还要学会人类介入后,内容怎么变。

这种数据市场上根本买不到。

所以 Vivix 从成立的第一天起,就围绕着 观测—交互—生成 搭建了独家的数据三元组,并且积累了大规模的精标数据。

再通过几十个专项训练的专家模型,组成了全自动化的数据处理管线。

当然,作为一项前沿技术的探索,它肯定还有提升空间。

A1 在处理一些极高速的复杂动作、大范围跑动,或者是非常精细的手部抓取时,偶尔还是会出现动作不一致或者物理逻辑的小偏差。

而 W1 实时生成的画面质感也仍有提升的空间。

但瑕不掩瑜,Vivix 作为最早押注实时交互技术的厂商,相信随着模型的迭代,这种全新的交互式 AI 视频,绝对会彻底改写我们未来看电影、玩游戏、甚至跟AI角色相处的方式。

说到这里,我也挺好奇的,如果这种实时互动随叫随应的 AI 技术真的彻底成熟了,你最想拿它来做什么?

欢迎在评论区留下你的脑洞,咱们一起聊聊!

收藏
点赞 25

复制本文链接 文章为作者独立观点不代表优设网立场,未经允许不得转载。

榜上有名 联系优设

行业风向标!14年助力企业品牌宣发

渠道丰富
场景多样
搜索引擎
极速收录
内容推广
量身打造
品牌流量
助力曝光

文章目录

发评论!每天赢奖品

点击 登录 后,在评论区留言,系统会随机派送奖品

2012年成立至今,是国内备受欢迎的设计师平台,提供奖品赞助 联系我们

本期奖品

发表评论

{{ moreBtnTxt }}

1 联系优设

QQ直接交流

2 微信扫码咨询

返回顶部

榜上有名 联系优设

行业风向标!14年助力企业品牌宣发

渠道丰富
场景多样
搜索引擎
极速收录
内容推广
量身打造
品牌流量
助力曝光

联系优设

量身打造推广方案
新闻通稿投放量增价更优
优设微信二维码
扫描上方微信号:uisdc5687
添加商务时请您备注「通稿」

单篇发布

14年专业平台

优设权威背书

¥ 998 元/1篇
最高效!创建品牌信息源

服务权益

 

年度传播

每月1篇全年12篇

让品牌持续被看见

¥ 6500 元/12篇
最受欢迎!单篇约省46%

年度服务权益

 

品牌高频传播

每月2篇全年24篇

品牌搜索+GEO持续全覆盖

¥ 12000 元/24篇
最优惠!单篇约省50%

年度服务权益

 
扫描左侧二维码 联系优设

联系优设

量身打造推广方案
新闻通稿投放量增价更优
优设微信二维码
扫描上方微信号:uisdc5687
添加商务时请您备注「通稿」

单篇发布

14年专业平台

优设权威背书

¥ 998 元/1篇
最高效!创建品牌信息源

服务权益

 

年度传播

每月1篇全年12篇

让品牌持续被看见

¥ 6500 元/12篇
最受欢迎!单篇约省46%

年度服务权益

 

品牌高频传播

每月2篇全年24篇

品牌搜索+GEO持续全覆盖

¥ 12000 元/24篇
最优惠!单篇约省50%

年度服务权益

 
扫描左侧二维码 联系优设