各位设计师们,这个工具太牛了啊,只需在源图像中指定需要编辑的区域,并提供一张参考图,MimicBrush 就能智能捕捉两者间的联系,自动完成局部编辑或替换。该工具的主要功能包括局部区域编辑、纹理转移和后期处理优化等。分享给大家!!
MimicBrush 是由中国香港大学、阿里巴巴集团和蚂蚁集团联合开发的一种零样本图像编辑工具,通过参考图像进行模仿编辑,帮助用户更方便地进行创作。
MimicBrush 的主要特点包括: 参考图像模拟:分析并复制参考图像中指定的视觉特征到源图像中的标记区域,确保风格或内容的一致性。 零样本图像编辑:允许用户在没有原始目标图像的情况下进行图像编辑,通过参考仿制的方式实现编辑效果。 文本到图像对齐:利用 CLIP 编码器和 VAE 实现文本到图像的对齐功能,用户可以通过输入文本描述来指导编辑过程。 多样化的编辑结果:展示了一系列多样化的编辑结果,包括局部区域编辑、纹理转移和后期处理优化等功能。
MimicBrush 还简化了复杂的编辑流程,提高了效率和灵活性,特别适用于产品定制、角色设计和特效制作等领域。其底层框架基于 SD1.5 的扩散模型和 MimicBrush 模型结合,极大地简化了 AI 图像编辑的流程。
项目地址:https://github.com/ali-vilab/MimicBrush
UGC(User Generated Content)指用户生成内容,即用户原创内容。也可叫做UCC(User-created Content)。现在产品的用户通常既是网络内容的浏览者,也是网络内容的创造者。 区别于PGC(Professionally Generated Content),专业生产内容,其创作主体是拥有专业知识、拥有内容相关领域资质的、具有一定权威的专家。
AIGC是指“AI Generative Content”,即人工智能生成内容。它是一种新兴的技术,利用人工智能模型可以根据给定的条件,自动生成各种类型的文本、图像、音频、视频等内容。这种技术可以应用于多个领域,包括但不限于媒体、教育、娱乐、营销和科学研究领域,为用户提供高效、高质量和具有个性化的内容服务。其技术应用场景为:文本生成,图片生成,视频生成和音频生成。
从 UGC 到 AIGC,用户的思维发生了哪些变化呢?
昨天,在2023百度云智大会上,金山办公首席执行官章庆元宣布,WPS AI (ai.wps.cn)正式面向社会开放,首先应用在 WPS 智能文档中,用户可以在最新版 WPS 客户端 / APP、金山文档小程序 / 官网体验 WPS 智能文档
WPS 智能文档基于 WPS AI 技术,提供内容生成、表达优化、文档理解及处理等功能。具体而言,智能文档能够快速起草文章大纲、生成优质内容,支持对内容进行处理和优化,可依据多个文档进行归纳总结。
WPS AI 作为中国协同办公领域首个落地的生成式 AI 应用,已经接入 WPS 文字、演示、表格、PDF、金山文档等产品线,解决用户在内容生成、内容理解、指令操作等方面的办公难题。金山办公将 WPS AI 定位为大语言模型的应用方向,未来将在内容创作、智慧助手、知识洞察等战略方向上继续发展。
腾讯发布了 ToonCrafter,是一种新型的卡通动画生成技术,可以通过生成插值方法生成自然、连贯的卡通动画中间帧。该技术超越了传统基于对应关系的卡通视频插值方法,能够处理复杂的非线性运动和遮挡问题,使动画过渡更加平滑自然。
从演示来看效果很好,过渡很顺滑,而且没有明显问题。ToonCrafter 利用预训练的图像到视频模型,可以插值两幅卡通图像,并根据参考图像对动画草图自动上色。它支持生成最多16帧的视频,每帧分辨率为512x320。通过减少DDIM步骤,可以降低推理时间。
还设计了一个灵活的草图编码器,使用户能够对插值结果进行互动控制。
项目地址:ToonCrafter
字节研究院发布了一个名为 Boximator 的视频控制方式,看起来相当不错。这种控制方式允许用户选择需要运动的物体,并绘制其结束位置和运动路径,物体将严格按照用户绘制的位置和路径进行运动。与 Runway 的运动笔刷相比,Boximator 可以更精确地控制物体的运动结束位置。
Boximator适用于艺术家、设计师和营销专业人士,它结合了高度的个性化和创意表达能力,使用户能够创造出独特且引人入胜的视频内容。目前,Boximator仍在开发中,但已提供早期体验渠道,用户可以通过电子邮件体验其功能。
线上体验地址:https://boximator.github.io/