优设问答你的职场经验书

Stability AI 开发者平台 API 现已支持最新版本的 Stable Diffusion3（SD3）及其增强版本 Stable Diffusion3Turbo。

SD3模型的亮点在于其对字体和提示的遵循能力，这在人类偏好评估中得到了突出体现。为了实现这一目标，SD3采用了新的多模态扩散变换器（MMDiT）架构，该架构改进了对图像和语言表示的权重分离处理，从而显著增强了模型的文本理解和拼写能力。这使得SD3在理解和执行用户的文本提示时更为精准，生成的图像更加符合用户的预期。

Stability AI在不断提升服务质量，尽管SD3模型已经通过API对外提供，但公司仍在持续对模型进行优化。Stability AI计划在不久的将来开放模型权重，允许拥有Stability AI会员资格的用户自行托管，这将增强用户的自主性和灵活性。

Stability AI与Fireworks AI的合作确保了API平台的高速和可靠性，公司承诺提供99.9%的服务可用性，这对于企业用户来说尤为重要，因为他们在使用开发者平台进行关键的生成型AI工作时，需要确保服务的稳定性和可靠性。

至于能不能和 Midjourney v6 相媲美或者超越 V6 ，大家不妨多体验，试试看！

API文档：https://top.aibase.com/tool/stable-diffusion-3-api 体验地址：https://sdxlturbo.ai/stable-diffusion3

哎呀，昨晚 Meta 发布被称为最强开源的 Llama 3 系列模型了，大晚上扔了个炸弹啊！说实话，这事儿也不算太意外，毕竟 Meta 总是喜欢搞点大动作。他们这次带来的就是那个自称“有史以来最牛”的开源大模型——Llama 3系列。 咱们设计师，又可以借助这个新模型好好发挥一番了！

一起看看这个 GPT-4 级模型，它能干得过 GPT-4 么？

Llama 3模型的特点 - 规模与性能：Meta开源了两款不同规模的Llama 3模型，分别是8B和70B参数规模。Llama 3 8B在性能上与Llama 2 70B相当，而Llama 3 70B则在性能上媲美甚至超越了其他顶尖AI模型。 - 技术改进：Llama 3在预训练和后训练方面都有所改进，优化了模型的一致性和响应多样性，降低了出错率。 - 多模态与多语言：未来几个月，Meta将推出具备多模态、多语言对话和更长上下文窗口的新模型，其中包括超过400B的模型，预计将与现有的顶尖模型竞争。

Llama 3的性能测试 - 基准测试：Llama 3在多个测试中得分超越了其他同类模型，显示出其在推理、代码生成和遵循指令等方面的突破性提升。 - 人类评估数据集：Meta开发了一套新的高质量人类评估数据集，用于准确研究模型性能。

开源与闭源的辩论 - 开源优势：Meta坚定地支持开源路线，认为这有助于推动社区和公司双方的创新。 - 未来展望：尽管Llama 3为开源模型赢得了一场胜利，但关于开源与闭源的辩论仍在继续。未来，可能会有更高性能的模型出现，为这场辩论带来新的转折。

附上 Llama 3 体验地址：https://huggingface.co/meta-llama/Meta-Llama-3-70B-Instruct

找了一下，好像都没有这样的教程？ 比如我想把药盒这个产品训练出来，融入各种不同的场景背景，甚至产品是不同角度。 看了好多炼丹都是人物比较多？

近日，在量子位举办的中国AIGC产业峰会现场，一份行业参考正式出炉——《中国AIGC应用全景报告》。

1. 市场规模预测：预计2024年中国AIGC应用市场规模将达到200亿人民币，到2030年将达到万亿规模。 2. 投融资情况：去年，AIGC领域发生了至少5起代表性融资事件，其中智谱AI和月之暗面的Kimi智能助手分别获得了巨额融资。 3. 商业模式：B端产品（面向企业的产品）80%实现营收，而C端产品（面向消费者的产品）近50%以免费为主。 4. AI应用类型：AI原生应用占比高于X+AI，即完全基于生成式AI技术打造的原生应用占比接近57%。 5. 技术趋势：多模态技术（能识别和理解两种及以上模态数据的产品）是大趋势，目前占比近50%。 6. 产品落地：AIGC应用产品落地的首要因素是场景与技术的匹配，技术成熟度决定落地速度。 7. 投资资源：AIGC产业投资资源向头部聚集，潜在资本重点看向应用层。 8. 地域分布：北京、上海、杭州、深圳是AIGC应用产品最多的地区。

原文地址：https://mp.weixin.qq.com/s/-jvjxWxssQvfgToxfJbzvA 完整报告下载：jkhbjkhb.feishu.cn/wiki/W5D7wuDcbiPXDLkaRLQcAJpOn8f

各位设计师小伙伴，现在用Midjourney、DALL·E 3、Stable Diffusion 这些AI模型来生成图片的时候，如果生成的图片样式并不完全符合你的设计需求，大家都是怎么处理的啊？

常规操作，你得用 PS、Adobe Lightroom这些软件来调整。不过说实话，这样挺费时的，也不太符合现在AI时代的高效率要求。

近日「AIGC开放社区」就为大家介绍一款最近公测的高效图片无限重生样式的免费试用AI平台——Freepik。这个平台现在是公测期，而且提供免费试用。

你只需要把图片上传到Freepik，选择3D、绘画、怀旧、卡通、超现实等样式，就能在几秒内快速实现。

对于我们这些设计师来说，Freepik简直就是个神器，强烈推荐给大家试试！

Freepik免费试用地址：https://www.freepik.com/pikaso/reimagine

昨晚，Adobe在官网宣布，将OpenAI的Sora、Pika 、Runway等著名第三方文生视频模型，集成在视频剪辑软件Premiere Pro中（简称“PR”）。这些集成的模型和功能将通过AI驱动的音频编辑功能，使得音频编辑变得更快、更轻松、更直观。

这次更新是Adobe对PR的一次重大重构，旨在帮助用户简化创作流程，并提供多样化的创作灵感。通过生成式AI的加持，PR将为专业视频剪辑师和业余爱好者带来更高效和便捷的创作体验。

△鼠标右键，勾选“显示控件”，可以打开声音哦！

用Sora生成视频素材 Adobe的创新之一是将Sora、Gen-2、Pika以及Firefly系列模型集成到PR中，这将帮助用户快速为作品添加不同类型的视频素材和动态效果。例如，用户只需输入文本提示“夜雨中的城市风景”，就能通过Sora生成相应的视频素材，并将其应用在视频项目中作为背景或增强主轨道视频。预览展示表明，用户一次可以生成三个视频供选择。

快速替换、删除视频特定区域 Adobe自研的Firefly模型使得替换视频素材中的特定区域变得轻松。过去，替换素材需要新增一条素材视频轨道并调整图层，而现在通过Firefly，用户只需用钢笔工具圈选区域并输入提示文本，如“一大堆宝石”，即可选择合适的素材进行替换。 此外，Firefly还提供了精准删除或替换视频中无用对象的功能。以往需要通过遮盖、模糊处理等繁琐方法移除的对象，如垃圾桶或电表箱，现在可以轻松点击一下快速删除或替换。

用生成式AI制作定格帧 传统的视频定格帧制作流程相对繁琐，需要找到需要定格的视频序列，确定并添加帧保持，然后调整定格帧的持续时间。现在，借助生成式AI功能，用户只需拖动视频的定格静态帧，AI将自动生成补充内容，简化了整个制作过程。 Adobe创意产品部高级副总裁Ashley Still表示，Adobe正在重新构想视频创作流程的每一个步骤，为创作者提供更高效、便捷的功能。通过将生成式AI深度融合到PR的核心工作流程中，Adobe正在解决视频编辑人员每天遇到的真正制作痛点，帮助他们节省时间并提升创意灵感。

这些更新和创新展示了Adobe对于AIGC领域的重视和投入，以及其致力于推动多媒体创作工具向前发展的决心。通过集成先进的AI技术，Adobe旨在为创作者提供更加强大和灵活的创作平台，以激发更多的创意和可能性。

自己尝试用MJ跑了几张图，效果不是很满意，有没有大佬可以分享一下提示词啊？科技感的banner图，感谢！

昨天，谷歌在官网宣布从5月15日起，将向所有谷歌相册用户免费提供Magic Editor、Photo Unblur和Magic Eraser三款生成式AI编辑工具。

通过这三款强大的AI图像编辑工具，用户可以轻松将模糊的图片变高清，实现一键PS/调色/光影，删除图片多余内容等。而在此之前，这三个是谷歌Pixel手机独有功能。

功能介绍： 1. Magic Editor：这是一款强大的AI图像编辑工具，它可以帮助用户轻松实现一键PS/调色/光影，改变图片中的物体位置等。这项功能最初在2023年10月4日随Pixel 8系列手机发布。Magic Editor的优势在于它的细节调整和融合度比传统的PS工具更强，而且操作简单，无需深度的专业知识。不过，需要注意的是，所有谷歌相册用户每月只能使用10次Magic Editor，如果想要更多使用次数，用户需要购买Pixel 8手机或开通Google One计划（2TB及以上）。 2. Photo Unblur：这是一款专用于去除图片模糊的工具。用户在拍摄图片时可能会因为手抖、环境等因素导致图片模糊，Photo Unblur能够一键还原图片的清晰度，让模糊的图片变高清。 3. Magic Eraser：这是一款图片擦除工具，可以帮助用户去除照片中不希望出现的元素，如行人或物体。对于不熟悉PS技术的用户来说，Magic Eraser提供了一种简单快捷的解决方案，一键完美去除图片中的障碍物。

哪款你最期待呢？评论区说出你的想法吧~

发现一个好东西，一个 Stable Diffusion 综合资源库：Latent Box

Stable Diffusion 生态论文精选、Diffuseum 播客和精选 AI 产品集等等众多资料，而且还根据不同的作用做了分类，除了论文地址还有对应的代码仓库和模型下载地址。非常适合深入学习 SD 的朋友研究。

OpenAI 发布了GPT-4-Turbo 正式版，这是一个带有视觉能力的模型，能够处理128k的上下文。

这个模型现在已经全面开放，可以通过“gpt-4-turbo”来使用，最新版本为“gpt-4-turbo-2024-04-09”。

GPT-4-Turbo模型的基础能力得到了显著提升，它不仅能够处理文本输入，还能够识别和理解图片。这一特性使得GPT-4-Turbo在多种应用场景中具有更广泛的应用潜力。例如，它可以用于自动编码、图像识别和营养分析等领域，为用户提供更加丰富和便捷的服务。

GPT-4-Turbo的价格与之前的版本保持一致，这使得用户能够以相对较低的成本使用这一先进的AI技术。同时，OpenAI还提供了详细的接口信息和使用限制，帮助开发者更好地理解和利用这一模型。

大家觉得这个新功能怎么样，实用性高吗？

4月10日凌晨，谷歌在官网正式发布了Gemini1.5Pro，现在可在180多个国家/地区使用。

Gemini 1.5 Pro 不仅能够生成创意文本和代码，还能理解、总结上传的视频和音频内容，并且支持高达100万tokens的上下文。

在Google AI Studio开发平台中，用户可以免费试用Gemini 1.5 Pro，并且它支持中文提示。这使得用户能够通过简单的操作，上传视频或音频文件，并获取内容的深度总结。例如，用户可以上传一个视频并询问影片的内容，Gemini 1.5 Pro能够快速解析并提供答案。

Gemini 1.5 Pro还提供了音频理解功能，能够快速解析音频文件并总结其内容。这对于需要处理大量视频和音频内容的用户来说，无疑是一个巨大的帮助，因为它可以节省大量的时间。

谷歌还对Gemini API进行了性能优化，包括系统指令、JSON模式以及函数调用优化，这些改进显著提升了模型的稳定性和输出能力。系统指令功能允许用户根据特定需求控制模型的行为，JSON模式可以帮助开发者从文本或图像中提取结构化数据，而函数调用优化则支持开发者实现更全面的查询响应。

详情点此查看: https://developers.googleblog.com/2024/04/gemini-15-pro-in-public-preview-with-new-features.html

音频理解能力: https://github.com/google-gemini/cookbook/blob/main/quickstarts/Audio.ipynb

今天发现个好玩的，网易云音乐整了一个 Suno AI 音乐的 Tab，都是各种 AI 音乐，听了一会儿感觉还是蛮有意思的，只能说搞运营还得是网易云。不知道听什么歌，可以听一下，感受一下离我们越来越近的 AI 人工智能。

刚刚，OpenAI 官方账号发布的一支由 Sora 制作的MV（Music Video）——《Worldweight》

这支 MV 的音乐是由艺术家 AugustKamp 作曲，而画面内容则是通过 Sora 来生成的。AugustKamp 表示，Sora 使得他能够将原本只存在于他心中的想象转化为可以与他人共享的艺术形式。这并非他首次使用AIGC技术来制作MV，他之前已经在 Instagram 上分享过由 Sora 生成的 MV 片段。

但是和以往不同的是，全球知名的艺术家，包括麻辣鸡（NickiMinaj）、水果姐（KatyPerry）、碧梨（BillieEilish）等，联名抗议AIGC技术的使用。他们认为AIGC技术在未经补偿的情况下使用艺术家的声音、作品来训练AI模型，并稀释支付给艺术家的版税池，这些问题不仅损害了艺术家的经济利益，也对他们的创作自由和艺术价值构成了威胁。

科技的发展与创造力的边界在哪里？从 MV 到音乐剧。AI如何重塑我们的音乐体验呢？欢迎在评论区留言讨论！

继上线视频生成功能后，Dreamina 又上线了一个新功能——智能画布。该功能集成了 mj、sd 和 PS 的功能，让用户能够在一个平台上完成多种操作，无需在不同的软件之间切换。Dreamina 智能画布的核心特点之一是支持多图层的 AI 可控能力，如：边缘保持，支持超清、重绘、抠图、扩图等丰富的后编辑能力。

以下是 Dreamina 功能概况： - 智能画布功能：Dreamina的智能画布支持多图层的AI可控能力，包括边缘保持、超清重绘、抠图、扩图等后编辑能力。这意味着用户可以像使用Photoshop一样操作多个图层，并通过AI生成新的图片。 - 提高工作效率：智能画布的智能化操作方式不仅提高了工作效率，还降低了操作难度，使得更多用户能够轻松上手。 - 应用场景： - 制作小程序产品宣传图 - 生成品牌的创意宣传海报 - logo创意玩法，将品牌logo嵌入图片中 - 对小企业和个人店铺的优势：对于宣传费用有限的小企业和个人店铺，Dreamina提供了一个免费制作宣传图的工具。

→ 官方使用教程文档

哇塞，W&B团队真是太牛了！他们开发的这个开源工具OpenUI，简直是我们设计师的福音啊！你只需用文字描述一下你想要的UI界面，OpenUI就能立刻帮你渲染出效果，实时呈现你的设计想法。

更神奇的是，你还可以通过聊天的方式随时修改设计，而且它能轻松将HTML转换成React、Svelte、Web Components等各种前端框架的代码。这简直就是设计界的神器啊！

我试了试，发现它现在用的是GPT模型，效果还挺不错的。虽然项目还有些小瑕疵，但已经很有潜力了，绝对值得继续深入研究。对于我们设计师来说，这绝对是个能大大提升工作效率的好帮手！

OpenUI 线上试玩戳这里！

就在昨天，OpenAI宣布，将允许用户直接使用ChatGPT，我们现在可以直接使用ChatGPT了，连注册都不用！

之前我就听说，ChatGPT自2023年5月以来全球访问量飙升到了18亿次，可见它有多受欢迎。不过，流量增长开始放缓，可能意味着大家对它的新鲜感逐渐减弱。这应该也是OpenAI放开限制的原因，随着人工智能技术的发展，现有的互联网信息量可能不足以支撑科技巨头训练更先进的人工智能系统，甚至高质量文本数据的不足可能减缓人工智能技术的发展速度。

大家平时有用到ChatGPT吗？还有没有付费的必要啊？