最近，Stability AI做出了一个重大决策，修改了其社区许可协议，允许Stable Diffusion 3 Medium（简称SD3-M）模型商业化使用。如果企业或个人开发者年收入不超过100万美元（约726万人民币），只需向Stability AI提交申请，即可免费将SD3-M用于商业目的，如数据微调和生成式AI应用开发。
根据最新的协议，100万美元的收入门槛是硬性条件，不论收入是否直接来自SD3-M的使用。Stability AI还承诺，将在未来几周内发布一个更大版本的模型，并继续与社区分享，意味着该模型将会持续开源。
SD3-M模型拥有20亿参数，生成图片时间平均为2至10秒，推理效率高，对硬件要求低，适合在多种设备上运行。相较于前几代，它在图片质量、文本语义、光影和色彩表现上有显著提升，特别是在文本嵌入方面改进明显，提高了字体识别和嵌入的准确性。
训练过程中，SD3-M使用了包含10亿张图片的公开和合成数据集进行预训练，另外还使用了3000万张特定艺术风格和领域的图片进行微调，以及300万张偏好图片。
开源地址：https://huggingface.co/stabilityai/stable-diffusion-3-medium 填写申请地址：https://stability.ai/community-license
近期，阿里巴巴智能计算研究所提出了一种新的生成式框架 EMO，是一种富有表现力的音频驱动的肖像视频生成框架，用户只需提供一张照片和一段音频文件，EMO就能生成会说话唱歌的AI视频，实现无缝对接的动态小视频，最长时间可达1分30秒左右。这项技术的应用场景非常广泛，从电视剧角色的语音合成到音乐视频中的虚拟表演者，都有可能被AI技术所取代。
EMO框架使用Audio2Video扩散模型，通过三个阶段的技术处理，包括帧编码、音频编码和去噪操作，以及参考注意力和音频注意力机制，来生成富有表现力的人像视频。
目前，EMO 框架上线到 GitHub 中，相关论文也在 arxiv 上公开。
GitHub：https://github.com/HumanAIGC/EMO
论文：https://arxiv.org/abs/2402.17485
