大家还记得 Sora 是什么时候发布的吗？2 月份，当时 OpenAI 发布之后，一夜之间就把 AI 视频生成界搅得天翻地覆啊，但是现在一点消息都没有了，反倒是其他平台遍地开花，特别是这个月，简直太爆炸了~
昨天深夜，Runway 放出酝酿了半年的全新版本 Gen-3 Alpha，也让我们再次见证了这些巨头的底蕴。
Runway Gen-3 Alpha 特点如下： 高保真视频生成：能够生成接近真实世界质量的视频内容，具有高度的细节和清晰度。 精细动作控制：模型能够精确控制视频中对象的动作和过渡，实现复杂场景的流畅动画。 逼真人物生成：特别擅长生成具有自然动作、表情和情感的逼真人类角色。 多模态输入：支持文字转视频、图像转视频、文字转图像等多种创作方式。 先进工具：支持运动画笔、相机控制和导演模式等专业创作工具。 增强的安全措施：引入新的内部视觉审核系统和 C2PA 标准，确保内容的安全性和可靠性。 高质量训练：使用高描述性的、时间密集的字幕进行训练，使模型能够理解和生成具有丰富时间动态的视频。
现在还在内测中，后期可以体验的时候再给大家分享地址！
近日，Adobe为 Premiere Pro 引入新的AI工具，现在也升级了Lightroom应用程序引入诸多AI功能，例如高级人工智能功能Denoise可以去除图像中的数字噪点，在不丢失细节的情况下提高照片质量。 这在低光下处理高ISO文件时特别有用。目前该功能仅适用于RAW照片，后续会添加更多图片格式的支持。用户可以使用蒙版中的曲线调整图像特定部分的对比度、色调和颜色，从而创建高度自定义和精确的编辑。 Select People引入额外的AI Mask类目，该功能可自动为肖像生成mask，让用户更轻松更改服装、面部毛发的颜色。 Polished Portrait使您能够快速平滑人像上的皮肤、增强照明并优化面部特征以获得所需的外观。 或者使用Darken Beard将照片中模特的面部毛发加深，以获得更大的效果。 同时，Enhance Clothing可以增加对比度、饱和度和纹理。 你觉得哪一个最实用呢？
OpenAI 今天发布了全新的 AI 模型“GPT-4o mini”，是一款扩大聊天机器人应用范围的小型AI模型，它被标榜为功能强大且成本效益高的模型，并预留了未来整合图像、视频和音频处理能力的空间。
作为多模态技术推进的一部分，GPT-4o mini 即时起服务于ChatGPT的免费、Plus及Team用户，预计下周覆盖Enterprise用户。它是基于GPT-4o（5月发布，具备全面的多媒体处理能力和高速度）的精简版，优化了成本和响应速度，能处理长达128K tokens的上下文，特别提升了对非英文内容的支持，知识库更新至2023年10月。
在MMLU和MGSM基准测试中，GPT-4o mini表现出色，分别获得了82%和87.0%的分数，优于同类模型。目前，该模型已具备文本和图像处理功能，未来将扩展至视频和音频领域，大家觉得怎么样？
戳链接查看详情：GPT-4o mini
近期，Stability AI 推出的一款创新性视频生成模型 Stable Video 4D
模型下载：https://huggingface.co/stabilityai/sv4d
Stable Video 4D 的主要特点： - 高质量视频内容：Stable Video 4D 能够处理和生成高质量的视频内容，满足专业应用的需求。 - 合成数据集训练：虽然目前主要基于合成数据集进行训练，但 Stability AI 正在优化模型以适应真实世界的视频场景。 - 相关模型：除了 Stable Video 4D，Stability AI 还发布了 Stable Video Diffusion 和 SV3D 等模型，它们支持从图像或文本生成视频，并在多视图合成和高分辨率视频生成方面表现出色。
个人感觉这个模型还挺强的，大家觉得有哪些实际应用场景啊？
谷歌发布的一个名为 VLOGGER 的项目。这个项目能够根据输入的图片和音频生成对应人物讲话的视频。但是个人感觉 VLOGGER 看起来没有阿里巴巴发布的 DreamTalk 和 EMO 自然，大家觉得呢？
VLOGGER 主要特点： 1. 3D运动的扩散模型：它可以根据一张人物图像生成由文本和音频驱动的说话人视频。 2. 创新的架构：项目包含一个创新的基于扩散的架构，通过时间和空间控制来增强文本到图像模型的能力。 3. 高质量视频生成：能够生成高质量、可变长度的视频，并通过人脸和身体的高级表示进行便捷控制。 4. 广泛的适用性：与之前的工作相比，VLOGGER不需要为每个人单独训练模型，不依赖人脸检测和裁剪，能生成完整的图像（包括脸部和身体），适用于广泛场景，如躯干可见或身份多样化，这对于正确合成具有沟通能力的虚拟人至关重要。
项目地址：https://enriccorona.github.io/vlogger/
就在刚刚，著名生成式 AI 音乐平台 Elevenlabs 在官网发布了全新功能，文本可直接生成各种逼真音乐特效。
这项技术对于电影、游戏、短视频等行业非常有帮助，因为它可以简化寻找音效的过程，并且多数音效已经获得了 Shutterstock 的商业授权。
Elevenlabs 的这个新功能允许用户通过描述来生成音效，例如汽车呼啸而过的声音、刀剑碰撞的低沉声音或小提琴划过空气的尖锐声音。用户可以登录 Elevenlabs 的官网，选择 “Sound Effects” 并使用该功能。在生成音效之前，用户可以设置音效的时长和文本提示的还原程度。Elevenlabs 还提供了一些示例音效，如雷雨天气的声音和模仿兽人声音的摇滚音乐。
Elevenlabs还提供了语音克隆和文本转语音的功能，但目前对中文的支持较差，生成英文的效果则非常棒。
现在所有用户都可以免费试用 Elevenlabs 的这个新功能。大家可以访问 Elevenlabs 官网了解更多详情。
