华为诺亚方舟实验室、清华大学信息科技学院、大连理工、香港大学和Hugging Face的研究人员，共同发布了一款名为PIXART-δ的超高清文生图模型。
这一模型集成了潜在一致性模型（LCM）和创新控制架构ControlNet-Transformer，实现了在文生图像方面的重大技术突破。仅需0.5秒2-4个推理步骤，PIXART-δ就能完成图像生成，速度比之前的PIXART-α模型快了7倍。
在ControlNet-Transformer的帮助下，PIXART-δ可以对生成模型的输出进行精确控制，包括图像的边缘、深度、分割和对象姿势等，类似于OpenAI的DALL·E 3。
谷歌发布的一个名为 VLOGGER 的项目。这个项目能够根据输入的图片和音频生成对应人物讲话的视频。但是个人感觉 VLOGGER 看起来没有阿里巴巴发布的 DreamTalk 和 EMO 自然，大家觉得呢？
VLOGGER 主要特点： 1. 3D运动的扩散模型：它可以根据一张人物图像生成由文本和音频驱动的说话人视频。 2. 创新的架构：项目包含一个创新的基于扩散的架构，通过时间和空间控制来增强文本到图像模型的能力。 3. 高质量视频生成：能够生成高质量、可变长度的视频，并通过人脸和身体的高级表示进行便捷控制。 4. 广泛的适用性：与之前的工作相比，VLOGGER不需要为每个人单独训练模型，不依赖人脸检测和裁剪，能生成完整的图像（包括脸部和身体），适用于广泛场景，如躯干可见或身份多样化，这对于正确合成具有沟通能力的虚拟人至关重要。
项目地址：https://enriccorona.github.io/vlogger/
4月10日凌晨，谷歌在官网正式发布了Gemini1.5Pro，现在可在180多个国家/地区使用。
Gemini 1.5 Pro 不仅能够生成创意文本和代码，还能理解、总结上传的视频和音频内容，并且支持高达100万tokens的上下文。
在Google AI Studio开发平台中，用户可以免费试用Gemini 1.5 Pro，并且它支持中文提示。这使得用户能够通过简单的操作，上传视频或音频文件，并获取内容的深度总结。例如，用户可以上传一个视频并询问影片的内容，Gemini 1.5 Pro能够快速解析并提供答案。
Gemini 1.5 Pro还提供了音频理解功能，能够快速解析音频文件并总结其内容。这对于需要处理大量视频和音频内容的用户来说，无疑是一个巨大的帮助，因为它可以节省大量的时间。
谷歌还对Gemini API进行了性能优化，包括系统指令、JSON模式以及函数调用优化，这些改进显著提升了模型的稳定性和输出能力。系统指令功能允许用户根据特定需求控制模型的行为，JSON模式可以帮助开发者从文本或图像中提取结构化数据，而函数调用优化则支持开发者实现更全面的查询响应。
详情点此查看: https://developers.googleblog.com/2024/04/gemini-15-pro-in-public-preview-with-new-features.html
音频理解能力: https://github.com/google-gemini/cookbook/blob/main/quickstarts/Audio.ipynb
从今年AIGC开始爆火，好像适合程序开发使用AI工具就很少，大多数都是AI绘画和AI视频，AI文案相关的。可以帮助程序员写代码的ChatGPT在前段时间也爆出代码错误率达到了50%左右。那到底有没有适合程序员开发使用的AI工具呢？
近日，Google 推出了一款名为 Project IDX 的新型云集成开发环境（IDE），以改善开发人员的体验，提供人工智能工具和功能，以更有效地构建应用程序。
Google在Visual Studio Code（使用Code OSS）的基础上开发了Project IDX，使其能够专注于AI集成，如Codey和PaLM 2。Google的Codey AI编程助手提供智能代码自动补全、编码问题的聊天机器人以及上下文代码推荐。
使用Project IDX，开发人员可以在浏览器中进行全栈网页和移动应用程序的编写。该平台支持目前流行的框架，如Angular、Flutter、React和Vue.js，并计划将来支持其他语言和框架。
Project IDX的一个主要优点是，它提供了一个一致的开发环境，可以从任何设备访问。这解决了跨设备同步开发环境的常见问题。基于云的IDE还可以利用强大的计算资源，这些资源通常是开发人员在本地无法获得的。
近日，谷歌DeepMind的研究人员推出了，首个无需数据标记、无监督训练的生成交互模型——Generative Interactive Environments，简称“Genie”。
Genie是一个具有110亿参数的模型，它能够根据图像、真实照片甚至草图生成可控制动作的视频游戏。这个模型的特点是无需数据标记和无监督训练，它通过3万小时、6800万段游戏视频进行了大规模训练，而且训练过程中没有使用任何真实动作标签或其他特定提示。
Genie的核心架构使用了ST-Transformer（时空变换器），这是一种结合了Transformer模型的自注意力机制与时空数据的特性，有效处理视频、多传感器时间序列、交通流量等时空数据的方法。ST-Transformer通过捕捉数据在时间和空间上的复杂依赖关系，提高了对时空序列的理解和预测能力。
Genie的架构主要由三大模块组成： 1. 视频分词器：基于VQ-VAE的模块，将原始视频帧压缩成离散的记号表示，以降低维度并提高视频生成质量。 2. 潜在动作模型：无监督学习模块，从原始视频中推断出状态变化对应的潜在动作，并实现对每一帧的控制。 3. 动力学模型：基于潜在动作模型学习到的动作关系，预测下一帧的视频。
除了视频游戏，你觉得 Genie 模型还能在哪些其他领域发挥作用？
