好消息，近日字节跳动推出了一种新型工具——分辨率适配器 ResAdapter，这个工具旨在解决在使用Stable Diffusion等文本到图像模型生成超出训练分辨率的图像时出现的肢体异常和画面崩坏问题。
ResAdapter能够与现有的IPadapter和Controlnet模型兼容，并且可以直接生成动态分辨率的图像，提高了图像处理的效率。
项目简介中提到，尽管像Stable Diffusion这样的模型能够创造出高质量的图像，但在生成非训练分辨率的图像时存在限制。ResAdapter通过利用广泛的分辨率先验，即使只有0.5M的容量，也能生成高分辨率且保持原有风格的图像。
ResAdapter在提高分辨率方面与扩散模型配合得很好，并且可以与其他模块兼容，用于创建不同分辨率的图像。
项目介绍地址：res-adapter.github
昨天晚上，Anthropic 正式推出了 Claude 3 系列模型，包括 Claude 3 Opus、Claude 3 Sonnet 和 Claude 3 Haiku。
这些模型在多个方面超越了GPT-4，包括推理、数学、编码、多语言理解和视觉处理等。
以下是Claude 3系列模型与同行在多个能力评估基准上的对比：
可以看到，其中Claude 3 Opus模型性能完全碾压GPT-4，以及Gemini 1.0 Ultra。
Claude 3 Sonnet在部分基准上，比如GSM8K、MATH等超越了GPT-4。Claude 3 Haiku可以与Gemini 1.0 Pro相抗衡。
GPT-4是否真的已经过时？Claude 3的横空出世是否意味着我们即将进入一个全新的AI时代？
Claude 3 体验地址：https://claude.ai/chats
近日，在布鲁克林举行的Hot Pod峰会上，Adobe发布了名为“Project Music GenAI Control”的全新AI音乐创作工具原型。该工具利用生成式人工智能技术，帮助用户无需专业音频制作经验即可创作和编辑音乐。
用户只需输入文本描述，例如“欢快的舞蹈”或“忧伤的爵士乐”，Project Music GenAI Control就能生成对应风格的音乐。更重要的是，用户还可以使用集成的编辑控件自定义生成的音乐，调整重复模式、速度、强度和结构。该工具可以重新混音音乐片段，并生成循环音频，非常适合内容创作者制作背景音乐和配乐。
Adobe 表示，Project Music GenAI Control还能够“基于参考旋律”调整生成的音频，并且可以延长音频片段的长度，以满足固定动画或播客片段等所需时长。目前，用于编辑生成音频的实际用户界面尚未公布。
“这些新工具最激动人心的功能之一不仅仅是生成音频” Adobe研究院高级研究科学家Nicholas Bryan在新闻稿中表示，“它们就像Photoshop一样，赋予创作者深度控制权，让他们可以塑造、调整和编辑音频，就像像素级控制图像一样。”
Project Music GenAI Control由Adobe与加州大学和卡内基梅隆大学计算机科学学院合作开发，目前该项目仍处于“早期实验”阶段，未来可能会被整合到Adobe旗下的现有编辑工具Audition和Premiere Pro中。目前该工具尚未向公众开放，也未公布发布时间。
近日，谷歌DeepMind的研究人员推出了，首个无需数据标记、无监督训练的生成交互模型——Generative Interactive Environments，简称“Genie”。
Genie是一个具有110亿参数的模型，它能够根据图像、真实照片甚至草图生成可控制动作的视频游戏。这个模型的特点是无需数据标记和无监督训练，它通过3万小时、6800万段游戏视频进行了大规模训练，而且训练过程中没有使用任何真实动作标签或其他特定提示。
Genie的核心架构使用了ST-Transformer（时空变换器），这是一种结合了Transformer模型的自注意力机制与时空数据的特性，有效处理视频、多传感器时间序列、交通流量等时空数据的方法。ST-Transformer通过捕捉数据在时间和空间上的复杂依赖关系，提高了对时空序列的理解和预测能力。
Genie的架构主要由三大模块组成： 1. 视频分词器：基于VQ-VAE的模块，将原始视频帧压缩成离散的记号表示，以降低维度并提高视频生成质量。 2. 潜在动作模型：无监督学习模块，从原始视频中推断出状态变化对应的潜在动作，并实现对每一帧的控制。 3. 动力学模型：基于潜在动作模型学习到的动作关系，预测下一帧的视频。
除了视频游戏，你觉得 Genie 模型还能在哪些其他领域发挥作用？
