随着今年WWDC的临近，记者 Gurman 在其最新一期《Power On》专栏中，为我们揭秘了苹果在人工智能领域的最新进展。苹果将对其智能助手Siri进行升级，新版本的Siri将依托于苹果自主研发的LLM技术，为用户提供更为智能的服务。
除此之外，苹果还将在多个方面引入AI技术以增强用户体验，例如通过AI技术实现语音备忘录的自动转录、照片的智能修饰，以及Spotlight和Safari搜索功能的优化。而且，AI还将能够根据用户的短信内容，动态生成个性化的表情符号。
在个性化界面方面，苹果也做出了创新。用户将能够摆脱网格的限制，自由地在屏幕上摆放图标，并可以自定义图标的颜色，这一改进虽与AI无直接关系，但无疑将极大地提升用户体验。
同时，有消息称苹果将在即将到来的 iOS 18 和 macOS 15 系统中，为 Safari 浏览器加入一系列人工智能支持的新功能。
1、智能搜索。 苹果可能在搜索中引入 Ajax 语言模型来提供文本摘要。
2、Web橡皮擦：这一功能强调用户界面的简化和隐私保护的增强，允许用户自定义网页内容，删除不需要的元素，如广告和图片。
3、用户界面更新：苹果正在将 Safari 的关键工具集中到一个位置，以提高用户的访问效率。
4、 AI增强的视觉查找：苹果可能在2025年推出高级视觉搜索功能，允许用户通过图像获取信息，类似于 Siri 目前识别照片中的植物、宠物和地标的功能。
这些新功能的加入，将使Safari浏览器的使用体验更上一层楼，你觉得哪项最实用呢？
大家还记得 Sora 是什么时候发布的吗？2 月份，当时 OpenAI 发布之后，一夜之间就把 AI 视频生成界搅得天翻地覆啊，但是现在一点消息都没有了，反倒是其他平台遍地开花，特别是这个月，简直太爆炸了~
昨天深夜，Runway 放出酝酿了半年的全新版本 Gen-3 Alpha，也让我们再次见证了这些巨头的底蕴。
Runway Gen-3 Alpha 特点如下： 高保真视频生成：能够生成接近真实世界质量的视频内容，具有高度的细节和清晰度。 精细动作控制：模型能够精确控制视频中对象的动作和过渡，实现复杂场景的流畅动画。 逼真人物生成：特别擅长生成具有自然动作、表情和情感的逼真人类角色。 多模态输入：支持文字转视频、图像转视频、文字转图像等多种创作方式。 先进工具：支持运动画笔、相机控制和导演模式等专业创作工具。 增强的安全措施：引入新的内部视觉审核系统和 C2PA 标准，确保内容的安全性和可靠性。 高质量训练：使用高描述性的、时间密集的字幕进行训练，使模型能够理解和生成具有丰富时间动态的视频。
现在还在内测中，后期可以体验的时候再给大家分享地址！
今年接触了太多 AI 工具了，AI 绘画的先不说，光是视频生成就已经让我震惊不已。今天刷到了一个 VideoPoet 作者的专访，分享的一些关于视频生成领域的观点非常有意思，其中关于视频生成领域的 “ChatGPT 时刻”的解读前瞻性十足，大家感兴趣的可以了解一下！
以下是引用： “ 视频生成的“ChatGPT 时刻”，我觉得大概是，哪怕模型生成的还是比较短的片段，比如 2-5s，但这个生成是可控的，人类也很难分辨是 AI 生成还是人类制作。从用户角度，只需要几美分的代价，就能获得一个可以被送到好莱坞专业 studio 的样片。如果类比的话，可以类比到图像领域 stable diffusion 1.x 或 2.x 版本，肯定还有再提升的空间，但已经到了能使用的程度，而且能激发很多应用。
我的预测是，到 2024 年底或 2025 年初，我们可能会到这个时刻。并且我认为，实现这个时刻肯定也需要 diffusion 参与，并且 diffusion 在未来一段时间，比如 1 到 2 年内，可能仍然是主流，扮演很重要的角色。这里说的 diffusion 已经包含了 transformer。
“ChatGPT 时刻”意味着模型到了一个相对稳定的阶段，但后面还会再改，只不过是在这个基础上做小的改动，可能一开始版本只能做到逼近好莱坞，有一些缺点，但可以商业化运用了，但要达到真正稳定需要更长时间。随后还可能仍会迭代升级。
现在市场上所有的视频生成都达不到这个标准，所以我认为视频生成的方法可能还需要进一步迭代，有可能要达到“ChatGPT 时刻”需要新的模型和方法，它不一定是全新的模型或者架构，可能是现在市场上的某个技术路线或者方案再往前走一步。”
微软 GitHub 于今年 7 月份面向企业用户推出了 Copilot Chat 工具，这是一个 AI 代码助手。现在 GitHub 宣布将 Copilot Chat 公测版扩展至个人用户，提供实时编程帮助。用户可通过订阅每月或每年的个人用户费用来体验该功能，提高编码效率和质量。
以下是GitHub Copilot Chat的主要功能： 1、实时指导：它可以为开发者提供实时的最佳实践、技巧和解决方案建议。 2、代码分析：开发者可以使用它来分解复杂的编程概念，并获取代码片段的详细解释。 3、修复安全问题：它能够识别代码中的安全漏洞，并为其提供修复建议。 4、简单的故障排除：除了识别代码中的问题，它还可以为开发者提供解决方案、解释和替代方法。 5、学习新的语言或框架：它可以帮助开发者快速学习新的编程语言或框架，并为他们提供相关的代码示例和建议。
英伟达（NVIDIA）在2024年GTC大会上宣布的下一代人工智能超级计算机以及发布的最强AI加速卡——Blackwell GB200。
这款加速卡采用了新一代AI图形处理器架构Blackwell，由两个B200 Blackwell GPU和一个基于Arm的Grace CPU组成。黄仁勋在GTC大会上提到，尽管Hopper架构已经非常出色，但市场需要更强大的GPU。
以下是大会纪要： - 产品发布：英伟达发布了Blackwell GB200，这是一款新一代的AI加速卡，旨在大幅提升人工智能相关的计算性能。 - 性能提升：Blackwell GPU的AI性能可达20petaflops，而前代H100的性能为4petaflops。这意味着Blackwell GPU在AI性能上有显著提升。 - 技术规格：Blackwell GPU采用台积电的4纳米工艺制造，包含2080亿个晶体管，通过NVLink 5.0技术连接两个独立制造的裸晶（Die）。 - 性能对比：英伟达表示，GB200包含两个B200 Blackwell GPU和一个基于Arm的Grace CPU，其推理大语言模型性能比H100提升30倍，成本和能耗降至25分之一。 - 企业应用：英伟达提供成品服务，包括GB200NVL72服务器，该服务器配备了36个CPU和72个Blackwell GPU，以及一体化水冷散热方案，能够提供总计720petaflops的AI训练性能或1,440petaflops的推理性能。 - 市场合作：亚马逊、谷歌、微软和甲骨文等公司计划在其云服务产品中提供NVL72机架。亚马逊AWS已计划采购由2万片GB200芯片组建的服务器集群。
谷歌发布的一个名为 VLOGGER 的项目。这个项目能够根据输入的图片和音频生成对应人物讲话的视频。但是个人感觉 VLOGGER 看起来没有阿里巴巴发布的 DreamTalk 和 EMO 自然，大家觉得呢？
VLOGGER 主要特点： 1. 3D运动的扩散模型：它可以根据一张人物图像生成由文本和音频驱动的说话人视频。 2. 创新的架构：项目包含一个创新的基于扩散的架构，通过时间和空间控制来增强文本到图像模型的能力。 3. 高质量视频生成：能够生成高质量、可变长度的视频，并通过人脸和身体的高级表示进行便捷控制。 4. 广泛的适用性：与之前的工作相比，VLOGGER不需要为每个人单独训练模型，不依赖人脸检测和裁剪，能生成完整的图像（包括脸部和身体），适用于广泛场景，如躯干可见或身份多样化，这对于正确合成具有沟通能力的虚拟人至关重要。
项目地址：https://enriccorona.github.io/vlogger/
华为诺亚方舟实验室、清华大学信息科技学院、大连理工、香港大学和Hugging Face的研究人员，共同发布了一款名为PIXART-δ的超高清文生图模型。
这一模型集成了潜在一致性模型（LCM）和创新控制架构ControlNet-Transformer，实现了在文生图像方面的重大技术突破。仅需0.5秒2-4个推理步骤，PIXART-δ就能完成图像生成，速度比之前的PIXART-α模型快了7倍。
在ControlNet-Transformer的帮助下，PIXART-δ可以对生成模型的输出进行精确控制，包括图像的边缘、深度、分割和对象姿势等，类似于OpenAI的DALL·E 3。
4月10日凌晨，谷歌在官网正式发布了Gemini1.5Pro，现在可在180多个国家/地区使用。
Gemini 1.5 Pro 不仅能够生成创意文本和代码，还能理解、总结上传的视频和音频内容，并且支持高达100万tokens的上下文。
在Google AI Studio开发平台中，用户可以免费试用Gemini 1.5 Pro，并且它支持中文提示。这使得用户能够通过简单的操作，上传视频或音频文件，并获取内容的深度总结。例如，用户可以上传一个视频并询问影片的内容，Gemini 1.5 Pro能够快速解析并提供答案。
Gemini 1.5 Pro还提供了音频理解功能，能够快速解析音频文件并总结其内容。这对于需要处理大量视频和音频内容的用户来说，无疑是一个巨大的帮助，因为它可以节省大量的时间。
谷歌还对Gemini API进行了性能优化，包括系统指令、JSON模式以及函数调用优化，这些改进显著提升了模型的稳定性和输出能力。系统指令功能允许用户根据特定需求控制模型的行为，JSON模式可以帮助开发者从文本或图像中提取结构化数据，而函数调用优化则支持开发者实现更全面的查询响应。
详情点此查看: https://developers.googleblog.com/2024/04/gemini-15-pro-in-public-preview-with-new-features.html
音频理解能力: https://github.com/google-gemini/cookbook/blob/main/quickstarts/Audio.ipynb
昨天，在2023百度云智大会上，金山办公首席执行官章庆元宣布，WPS AI （ai.wps.cn）正式面向社会开放，首先应用在 WPS 智能文档中，用户可以在最新版 WPS 客户端 / APP、金山文档小程序 / 官网体验 WPS 智能文档
WPS 智能文档基于 WPS AI 技术，提供内容生成、表达优化、文档理解及处理等功能。具体而言，智能文档能够快速起草文章大纲、生成优质内容，支持对内容进行处理和优化，可依据多个文档进行归纳总结。
WPS AI 作为中国协同办公领域首个落地的生成式 AI 应用，已经接入 WPS 文字、演示、表格、PDF、金山文档等产品线，解决用户在内容生成、内容理解、指令操作等方面的办公难题。金山办公将 WPS AI 定位为大语言模型的应用方向，未来将在内容创作、智慧助手、知识洞察等战略方向上继续发展。
