近期，阿里巴巴智能计算研究所提出了一种新的生成式框架 EMO，是一种富有表现力的音频驱动的肖像视频生成框架，用户只需提供一张照片和一段音频文件，EMO就能生成会说话唱歌的AI视频，实现无缝对接的动态小视频，最长时间可达1分30秒左右。这项技术的应用场景非常广泛，从电视剧角色的语音合成到音乐视频中的虚拟表演者，都有可能被AI技术所取代。
EMO框架使用Audio2Video扩散模型，通过三个阶段的技术处理，包括帧编码、音频编码和去噪操作，以及参考注意力和音频注意力机制，来生成富有表现力的人像视频。
目前，EMO 框架上线到 GitHub 中，相关论文也在 arxiv 上公开。
GitHub：https://github.com/HumanAIGC/EMO
论文：https://arxiv.org/abs/2402.17485
