哇塞,W&B团队真是太牛了!他们开发的这个开源工具OpenUI,简直是我们设计师的福音啊!你只需用文字描述一下你想要的UI界面,OpenUI就能立刻帮你渲染出效果,实时呈现你的设计想法。
更神奇的是,你还可以通过聊天的方式随时修改设计,而且它能轻松将HTML转换成React、Svelte、Web Components等各种前端框架的代码。这简直就是设计界的神器啊!
我试了试,发现它现在用的是GPT模型,效果还挺不错的。虽然项目还有些小瑕疵,但已经很有潜力了,绝对值得继续深入研究。对于我们设计师来说,这绝对是个能大大提升工作效率的好帮手!
OpenUI 线上试玩戳这里!
昨晚,Adobe在官网宣布,将OpenAI的Sora、Pika 、Runway等著名第三方文生视频模型,集成在视频剪辑软件Premiere Pro中(简称“PR”)。这些集成的模型和功能将通过AI驱动的音频编辑功能,使得音频编辑变得更快、更轻松、更直观。
这次更新是Adobe对PR的一次重大重构,旨在帮助用户简化创作流程,并提供多样化的创作灵感。通过生成式AI的加持,PR将为专业视频剪辑师和业余爱好者带来更高效和便捷的创作体验。
△鼠标右键,勾选“显示控件”,可以打开声音哦!
用Sora生成视频素材 Adobe的创新之一是将Sora、Gen-2、Pika以及Firefly系列模型集成到PR中,这将帮助用户快速为作品添加不同类型的视频素材和动态效果。例如,用户只需输入文本提示“夜雨中的城市风景”,就能通过Sora生成相应的视频素材,并将其应用在视频项目中作为背景或增强主轨道视频。预览展示表明,用户一次可以生成三个视频供选择。
快速替换、删除视频特定区域 Adobe自研的Firefly模型使得替换视频素材中的特定区域变得轻松。过去,替换素材需要新增一条素材视频轨道并调整图层,而现在通过Firefly,用户只需用钢笔工具圈选区域并输入提示文本,如“一大堆宝石”,即可选择合适的素材进行替换。 此外,Firefly还提供了精准删除或替换视频中无用对象的功能。以往需要通过遮盖、模糊处理等繁琐方法移除的对象,如垃圾桶或电表箱,现在可以轻松点击一下快速删除或替换。
用生成式AI制作定格帧 传统的视频定格帧制作流程相对繁琐,需要找到需要定格的视频序列,确定并添加帧保持,然后调整定格帧的持续时间。现在,借助生成式AI功能,用户只需拖动视频的定格静态帧,AI将自动生成补充内容,简化了整个制作过程。 Adobe创意产品部高级副总裁Ashley Still表示,Adobe正在重新构想视频创作流程的每一个步骤,为创作者提供更高效、便捷的功能。通过将生成式AI深度融合到PR的核心工作流程中,Adobe正在解决视频编辑人员每天遇到的真正制作痛点,帮助他们节省时间并提升创意灵感。
这些更新和创新展示了Adobe对于AIGC领域的重视和投入,以及其致力于推动多媒体创作工具向前发展的决心。通过集成先进的AI技术,Adobe旨在为创作者提供更加强大和灵活的创作平台,以激发更多的创意和可能性。
各位设计师小伙伴,现在用Midjourney、DALL·E 3、Stable Diffusion 这些AI模型来生成图片的时候,如果生成的图片样式并不完全符合你的设计需求,大家都是怎么处理的啊?
常规操作,你得用 PS、Adobe Lightroom这些软件来调整。不过说实话,这样挺费时的,也不太符合现在AI时代的高效率要求。
近日「AIGC开放社区」就为大家介绍一款最近公测的高效图片无限重生样式的免费试用AI平台——Freepik。这个平台现在是公测期,而且提供免费试用。
你只需要把图片上传到Freepik,选择3D、绘画、怀旧、卡通、超现实等样式,就能在几秒内快速实现。
对于我们这些设计师来说,Freepik简直就是个神器,强烈推荐给大家试试!
Freepik免费试用地址:https://www.freepik.com/pikaso/reimagine
前段时间,Firefly发布了一项新功能,名为“生成式填充”,可帮助用户轻松去除或修改图像内容,同时还能扩展图像内容。在Photoshop Beta测试版中,用户可以非破坏性地组合或生成图像。我利用这项功能对9张剧照进行了调整,效果非常惊艳,你最喜欢哪一款呢? Adobe Firefly 的 Generative Fill 包括三个主要功能:添加新内容到图像中,删除或替换图像的一部分内容,以及通过向外扩展图像来增加其尺寸。前两个功能已经在 Adobe Firefly 中实现,而最后一个功能目前只能在 Photoshop 的测试版中使用。
微软推出了一项名为Mora的视频生成项目,该项目利用先进的Agents技术来尝试复原Sora的视频生成能力。目前,Mora已经能够基本还原Sora的所有功能,并可以生成分辨率为1024*576的12秒视频。
这些复原的能力包括:将文本直接转换为视频、根据特定的文本条件将图片转换成视频、扩展已有的视频内容、实现视频到视频的编辑、串联多个视频片段,以及模拟数字世界等。
项目简介:原文链接
Mora项目基于一种新型的多AI智能体框架,融合了多个尖端的视觉AI智能体,旨在复刻Sora所展示的强大的通用视频生成能力。Mora能够灵活运用这些视觉智能体,在各种任务中成功地模仿了Sora的视频生成技巧。
通过广泛的实验验证,我们发现Mora在这些任务上的表现已经与Sora相当接近。从整体性能上评估,Mora与Sora之间仍然存在一些差距。但是,我们仍对Mora项目寄予厚望,希望它能够引领未来视频生成技术的发展方向,并通过多AI智能体的协同工作实现更多的突破。
Techcrunch整理了一份AI行业最常见到的技术词语词典,搞懂这些,或许能帮初学者们轻松迈入AI世界的大门。
- AGI 通用人工智能 通用人工智能(AGI)是一个有些模糊的概念,通常指在多数任务上比普通人更强大的AI。OpenAI将其定义为“在最具经济价值的工作上超越人类的高度自主系统”。谷歌DeepMind则认为AGI是“在大多数认知任务上至少与人类能力相当的AI”。
- Chain of Thought 思维链 思维链推理意味着让AI像人一样一步步思考,把一个大问题拆解成多个小步骤。虽然慢一点,但在逻辑推理或编程这种需要严谨思考的场景里,答案会更准确。现在的大语言模型经过优化,在处理复杂问题时,就是靠这种“思维链”来提高准确性。
- Deep learning 深度学习 AI能自我优化学习的关键技术。它模仿人脑神经元连接方式,搭建多层人工神经网络,使AI算法能够建立比简单机器学习系统更复杂的关联关系。 深度学习模型能自己识别数据里的重要特征,而无需人类预先定义,还能从错误中学习,不断改进。
- Diffusion 扩散模型 扩散技术是众多艺术、音乐和文本生成AI模型的核心。受物理学启发,先“故意”一步步往数据里加噪声,直到数据面目全非。然后,AI学习如何“逆向扩散”,把这些被破坏的数据还原回来,从而获得从噪声中“创造”出全新数据的能力。
- Distillation 知识蒸馏 一种“师父带徒弟”的学习方法。让一个大型(“老师”)AI模型处理问题,然后把它的答案用来训练一个更小、更高效的(“学生”)模型,让学生模型学会老师的行为。这样就能用更小的模型,实现接近大型模型的性能。
- Fine-tuning 微调 微调是指对已训练的AI模型进行进一步训练,通过输入新的专业化数据,优化其在特定任务或领域的性能表现,使其超越原始训练的重点范围。很多AI公司都在用这个技术,把大型语言模型“微调”成适合自己行业的产品,提升实用性。
- GAN 生成对抗网络 让AI能“以假乱真”的关键技术。它由两个互相竞争的神经网络组成:生成器负责创造数据,判别器负责鉴别真伪。就像一场“猫捉老鼠”的游戏,两者不断对抗,让AI能自动生成极其逼真的数据,无需人工干预。GAN适合用于生成图片或视频。
- Hallucination 幻觉 “幻觉”是AI行业对模型虚构内容的专业术语,特指AI生成错误信息的行为。这显然是影响AI质量的核心问题。
- Neural Network 神经网络 神经网络是指支撑深度学习的多层算法结构,是推动生成式AI工具全面爆发的技术基础。尽管这个概念由来已久,GPU的崛起也让这个概念迎来了爆发。GPU被证明非常适合训练具有更多层次的算法,使得基于神经网络的AI系统在语音识别、自动驾驶导航和药物研发等多个领域实现了远超以往的性能表现。
- Transfer Learning 迁移学习 把一个已经训练好的AI模型拿来当起点,开发一个针对不同但相关的任务的新模型。这样可以节省大量开发时间,尤其是在新任务数据量不多的时候非常有用。但要注意,模型可能还需要在新领域的数据上进行额外训练才能表现最佳。
- Weights 权重 权重是AI训练的核心要素,它决定了在训练系统所用数据中,不同特征(或输入变量)的重要程度,直接影响AI模型的最终输出。训练开始时权重是随机的,但随着学习的深入,它们会不断调整,让AI的预测越来越准。
这份词典由Techcrunch定期维护,有需要的朋友可以收藏:https://techcrunch.com/2025/05/25/from-llms-to-hallucinations-heres-a-simple-guide-to-common-ai-terms/
ps:转自量子位