字节跳动的研究人员开发了一种超高清文生视频模型MagicVideo-V2。
这是一个集成了文本到图像模型、视频运动生成器、参考图像嵌入模块和帧插值模块的端到端视频生成pipeline。MagicVideo-V2能够从文本描述中生成具有高美感、高分辨率、高保真度和流畅性的视频。通过大规模用户评估,它在人类视觉感知方面表现出优秀的性能。
MagicVideo-V2的设计包括以下关键模块: - 文本到图像模型:从给定的文本提示生成一个1024×1024的图像作为视频生成的参考图像。 - 图像到视频模型:使用文本提示和生成的图像作为条件生成关键帧。 - 视频到视频模型:对关键帧进行细化和超分辨率处理,生成高分辨率视频。 - 视频帧插值模型:在关键帧之间插值生成平滑的视频运动,并最终生成高分辨率、流畅、高美感的视频。
论文地址:https://arxiv.org/abs/2401.04468 项目地址:https://magicvideov2.github.io/
Midjourney 官方宣布,正在测试一种风格调整算法「风格参照」,帮助用户生成风格一致性图像。这项功能与图像提示类似,在图片提示中,你可以提供一个或多个图像的链接,用以描述你想要的统一风格。该功能支持 V6 和 Niji V6 版本(不支持 V5 等旧版本),该功能可能会在未来几周进行更新。
划重点: 1. 使用 —sref url(image)这个指令可以添加最多三张风格参考图,现在不用写promt,想要什么风格直接扔图给MJ,他会懂你😎 2. 进行时:在接下来很短的日子里,MJ即将推出另外一个新指令 —cref, 让你能更好的控制人物形象一致性。