谷歌发布的一个名为 VLOGGER 的项目。这个项目能够根据输入的图片和音频生成对应人物讲话的视频。但是个人感觉 VLOGGER 看起来没有阿里巴巴发布的 DreamTalk 和 EMO 自然，大家觉得呢？
VLOGGER 主要特点： 1. 3D运动的扩散模型：它可以根据一张人物图像生成由文本和音频驱动的说话人视频。 2. 创新的架构：项目包含一个创新的基于扩散的架构，通过时间和空间控制来增强文本到图像模型的能力。 3. 高质量视频生成：能够生成高质量、可变长度的视频，并通过人脸和身体的高级表示进行便捷控制。 4. 广泛的适用性：与之前的工作相比，VLOGGER不需要为每个人单独训练模型，不依赖人脸检测和裁剪，能生成完整的图像（包括脸部和身体），适用于广泛场景，如躯干可见或身份多样化，这对于正确合成具有沟通能力的虚拟人至关重要。
项目地址：https://enriccorona.github.io/vlogger/
小伙伴们，Microsoft Copilot 的重大更新！定制 Copilot GPT 现已推出。这意味着你可以在微软的工具里创建自己的 GPT 并共享它们~
具体方法如下：
→ 创建Copilot GPT ①访问官网：https://copilot.microsoft.com/ ②点击右侧的“查看所有 Copilot GPT” ③然后选择“创建新的 Copilot GPT”
→设置你的Copilot ①关注 creation chat ②设置名称、任务等 ③流程与 ChatGPT Plus 相同，无需个人资料照片
→配置你的Copilot ①可以单击“配置”选项卡 ②在这里你可以直接选择名称、描述、提示... ③你还可以添加知识文件并启用/禁用互联网访问和 Dall-E 3
→发布和使用 ①在发布之前单击“预览”按钮进行尝试 ②你只能为自己或任何有链接的人发布你的Copilot ③它将自动添加到右侧的 GPT 列表中
好消息，近日字节跳动推出了一种新型工具——分辨率适配器 ResAdapter，这个工具旨在解决在使用Stable Diffusion等文本到图像模型生成超出训练分辨率的图像时出现的肢体异常和画面崩坏问题。
ResAdapter能够与现有的IPadapter和Controlnet模型兼容，并且可以直接生成动态分辨率的图像，提高了图像处理的效率。
项目简介中提到，尽管像Stable Diffusion这样的模型能够创造出高质量的图像，但在生成非训练分辨率的图像时存在限制。ResAdapter通过利用广泛的分辨率先验，即使只有0.5M的容量，也能生成高分辨率且保持原有风格的图像。
ResAdapter在提高分辨率方面与扩散模型配合得很好，并且可以与其他模块兼容，用于创建不同分辨率的图像。
项目介绍地址：res-adapter.github
近日，谷歌DeepMind的研究人员推出了，首个无需数据标记、无监督训练的生成交互模型——Generative Interactive Environments，简称“Genie”。
Genie是一个具有110亿参数的模型，它能够根据图像、真实照片甚至草图生成可控制动作的视频游戏。这个模型的特点是无需数据标记和无监督训练，它通过3万小时、6800万段游戏视频进行了大规模训练，而且训练过程中没有使用任何真实动作标签或其他特定提示。
Genie的核心架构使用了ST-Transformer（时空变换器），这是一种结合了Transformer模型的自注意力机制与时空数据的特性，有效处理视频、多传感器时间序列、交通流量等时空数据的方法。ST-Transformer通过捕捉数据在时间和空间上的复杂依赖关系，提高了对时空序列的理解和预测能力。
Genie的架构主要由三大模块组成： 1. 视频分词器：基于VQ-VAE的模块，将原始视频帧压缩成离散的记号表示，以降低维度并提高视频生成质量。 2. 潜在动作模型：无监督学习模块，从原始视频中推断出状态变化对应的潜在动作，并实现对每一帧的控制。 3. 动力学模型：基于潜在动作模型学习到的动作关系，预测下一帧的视频。
除了视频游戏，你觉得 Genie 模型还能在哪些其他领域发挥作用？
Stability AI 发布了 Stable Diffusion 3，宣称这是他们最强大的文本到图像模型，利用扩散转换器架构大大提高了多主题提示、图像质量和拼写能力的性能！
该版本与Stable Diffusion 2相比，在文本语义理解、色彩饱和度、图像构图、分辨率、类型、质感、对比度等方面大幅度增强，可对标闭源模型Midjourney。
Stable Diffusion 3的参数在8亿——80亿之间，也就是说Stable Diffusion 3可能是专为移动设备开发的，AI算力消耗将更低，推理速度却更快。
Stable Diffusion 3 支持申请使用，未来会扩大测试范围。
申请地址：https://stability.ai/stablediffusion3
根据 Adobe 官方网站的公告，他们正式推出了一款名为AIAssistant的生成式AI助手，并将其整合到Reader和Acrobat这两款知名的PDF阅读器中。
AIAssistant 的功能类似于ChatGPT，它能够根据PDF文档内容提供摘要、核心见解，甚至回答各种问题。
目前，Acrobat Personal、Teams以及Acrobat Pro的用户可以体验测试版AIAssistant功能。
这一新功能的推出，无疑将极大地提升用户在阅读和处理PDF文档时的效率和便利性，为用户带来全新的使用体验。
字节研究院发布了一个名为 Boximator 的视频控制方式，看起来相当不错。这种控制方式允许用户选择需要运动的物体，并绘制其结束位置和运动路径，物体将严格按照用户绘制的位置和路径进行运动。与 Runway 的运动笔刷相比，Boximator 可以更精确地控制物体的运动结束位置。
Boximator适用于艺术家、设计师和营销专业人士，它结合了高度的个性化和创意表达能力，使用户能够创造出独特且引人入胜的视频内容。目前，Boximator仍在开发中，但已提供早期体验渠道，用户可以通过电子邮件体验其功能。
线上体验地址：https://boximator.github.io/
