文件名 如何下载使用 文件大小 提取码 下载来源
IP Adapter8.6G6666 点此复制 登录下载

IP Adapter Plus 插件手把手教程!用法更简单,可分别控制风格与构图

大家好,这里是和你们一起探索 AI 的花生~

IP Adapter 是 SD 生态中一个非常强大的风格迁移插件,可以将一张图像的风格复制到新生成的图像中,有效提升我们的出图效率,目前在设计领域有广泛应用。

相关推荐:

最近,ComfyUI IP Adapter Plus 的作者 @cubiq 重写了插件代码,对整体进行了升级更新。新插件在节点搭建和模型上读取上比之前更简单方便,并且支持的功能也更丰富了。而最让人惊喜的一点是 IP Adapter Plus 支持分别进行风格迁移、构图迁移和二者的联合使用,可以让我们更准确地控制出图效果。

IP Adapter Plus 插件手把手教程!用法更简单,可分别控制风格与构图

通过新版 IP Adapter Plus 插件分别学习梵高的风格和蒙娜丽莎的构图

但此次更新后,我们之前所有包含 IP Adapter Plus 的工作流也都无法使用了,需要用新节点重新搭建。今天就为大家详细介绍一下新版插件的安装使用方法。

一、插件安装

Github 主页: https://github.com/cubiq/ComfyUI_IPAdapter_plus (内有插件更新介绍)

  1. 在安装前,我们需要将 Comfyui 更新到最新版本;如果你之前安装过 IP Adapter Plus 插件,则需要先在 custom_nodes 内删除之前的文件夹。
  2. 插件可以通过 Manager 安装,但是更推荐在终端通过 git clone https://github.com/cubiq/ComfyUI_IPAdapter_plus.git 命令来安装,可以获取最新的更新内容。

IP Adapter Plus 插件手把手教程!用法更简单,可分别控制风格与构图

二、安装基础模型

Github 主页中对需要安装的模型有详细描述,下载后按要求安装到指定路径即可,需要注意的内容有:

  1. 安装在 /ComfyUI/models/clip_vision 的两个文件下载后需要重命名,再放到对应的文件夹内;
  2. 如果没有 /ComfyUI/models/ipadapter 这个文件夹,可以自己手动新建一个;
  3. models/ipadapter 内的模型并不需要全部下载,目前主要使用的有 ip-adapter-plus_sd15.safetensors 和 ip-adapter-plus_sdxl_vit-h.safetensors;
  4. 文末网盘链接内有对应的模型资源,可以直接下载使用。

IP Adapter Plus 插件手把手教程!用法更简单,可分别控制风格与构图

IP Adapter Plus 插件手把手教程!用法更简单,可分别控制风格与构图

三、安装 FaceID 模型

如果你想通过 IP Adapter Plus 保持人物脸部特征一致,则需要再下载 FaceID 模型以及对应的 Lora 模型,并安装到指定路径。此外还需要部署 insightface 环境,具体部署方法可以看官方给的链接。

IP Adapter Plus 插件手把手教程!用法更简单,可分别控制风格与构图

四、导入工作流

以上安装步骤完成后,记得重启 ComfyUI。在 IP Adapter Plus 根目录内有一个 example 文件夹,里面有官方提供的 13 个工作流,包含基础、进阶、FaceID、负面图像、分块等多种功能,大家可以直接导入 ComfyUI 中使用体验。官方 Github 主页中也有附上视频教学链接,里面对新功能有详细的介绍。

IP Adapter Plus 插件手把手教程!用法更简单,可分别控制风格与构图

五、风格/构图迁移功能

风格迁移是 IP Adapter 最重要的功能,现在又新增了构图迁移功能,让它能发挥的作用更大了。下面就结合工作流文件,简单介绍一下它们的用法(工作流文件在文末云盘链接内)。

① 风格迁移(Style transfer)

使用风格迁移功能,需要在 IP Adapter Advanced 节点内将权重类型选为 Style transfer,目前仅支持 SDXL 模型。它可以将一张图像的风格、氛围完美迁移到另一个图像上,而不会影响图像的具体内容。使用时可以多调节 weight 参数,即使是 0.1 的调整也会带来很不一样的效果;也可以尝试不同的 embeds_scaling 缩放值。

IP Adapter Plus 插件手把手教程!用法更简单,可分别控制风格与构图

② 构图迁移(Composition)

如果只想提取一张图像的构图,将 IP Adapter Advanced 节点内的 weight_type 改为 composition 就可以了。它可以学习一张图像中人物的姿势动作,或者画面的主体构图;如下图,新生成的赛博朋克房间像在镜头角度、窗户位置、家具摆放位置等方面与原图高度相似。这种方式与 controlnet 的线条约束相比会更灵活自由,在整体效果上也会更自然合理。

IP Adapter Plus 插件手把手教程!用法更简单,可分别控制风格与构图

③ 风格&构图混合迁移

此功能中需要用到一个新的节点 IPAdapterStyleComposition,它支持同时导入风格参考图像和构图参考图像,实现分别控制。使用时同样可以多调整二者的权重,获得更准确的效果。

IP Adapter Plus 插件手把手教程!用法更简单,可分别控制风格与构图

那么以上就是本期为大家介绍的 ComfyUI 插件 IP Adapter Plus 最新版本的相关内容,文内提到的模型及工作流文件都在文末的云盘链接内,有需要的小伙伴可以记得下载~

ComfyUI 的学习门槛比较高,如果你想掌握它,建议先从 Stable Diffusion WebUI 开始,它更适合初学入门,学会后也能有助于我们快速掌握 ComfyUI 的用法。 我最新制作的 《零基础 AI 绘画入门指南》是一门面向 AI 绘画零基础人群的系统课程,包含 Stable Diffusion WebUI 全面细致的用法教学,并提供配套资源,能帮你快速掌握这款目前最热门的 AI 绘画工具。

如果有关于文章的问题,欢迎在评论区留言,或者下方的二维码加入“优设 AI 绘画交流群”,和我及其他 设计师 一起交流学习 AI 知识~

IP Adapter Plus 插件手把手教程!用法更简单,可分别控制风格与构图

推荐阅读:

参考资料:

  1. https://www.youtube.com/watch?v=c8HWDQ67Dvg
  2. https://www.bilibili.com/video/BV1CA4m1A7Y9/
  3. https://www.youtube.com/watch?v=czcgJnoDVd4&t=2s
  4. https://www.youtube.com/watch?v=_JzDcgKgghY
文件名 如何下载使用 文件大小 提取码 下载来源
IP Adapter8.6G6666 点此复制 登录下载
赞赏
收藏 28
点赞 30

复制本文链接 文章为作者独立观点不代表优设网立场,未经允许不得转载。