文件名 如何下载使用 文件大小 提取码 下载来源
ComfyUI内容49.16G8888 点此复制 登录下载

Stable Diffusion ComfyUI 基础教程(八):如何使用 Controlnet

一、前言

终于到了最激动人心的时刻,我们使用 Stable Diffusion 最重要的就是他的可控性,其中 Controlnet(控制网络)的作用居功至伟,它可以引入更多的条件来让我们出图更加可控。

往期回顾:

在最开始之前我们需要安装 Controlnet 预处理器插件以及下载 Controlnet 模型:

①Controlnet 预处理器插件:

  1. 插件地址: https://github.com/Fannovel16/comfyui_controlnet_aux.git
  2. 如果安装后,运行 ComfyUI 显示无法导入插件
  3. 请运行“ComfyUI\custom_nodes\comfyui_controlnet_aux”目录下的“install.bat”文件

②Controlnet 模型:

  1. 常用模型我会放在本节课文件链接里面;
  2. 模型存放位置在“ComfyUI_windows_portable\ComfyUI\models\controlnet”目录下,如果你是和 Web UI 共用的模型,那就要看你第一节课设置的是插件下的还是 "models" 下的位置了。

一、创建流程

1. 需要有哪些操作:

①为了能让大家更直观的了解使用 Controlnet 需要有哪些操作,我先以 Web UI 上的 Controlnet 为例:

Stable Diffusion ComfyUI 基础教程(八):如何使用 Controlnet

②我们可以看到在使用 Controlnet 插件时,需要我们加载图像、选择预处理器、加载 Controlnet 模型,以及控制权重、控制引导介入时机、控制引导终止时机;

③好了,开始正题,我们还是以“万能的文生图”为基础,先打开“文生图基础流程”,我们这个基础上把 Controlnet 流程加进去。

2. 预处理器:

①Controlnet 预处理器分有很多,比如:线条、面部与姿态、法向与深度、语义分割、颜色、Tile 平铺等多个类型,并且每个类型又有多个预处理器,我们先以线条中的 Canny 细致线预处理器为例,后面我会分别介绍他们有什么作用,以及怎么使用;

②先“右键-新建节点-图像-加载图像”去加载图像,这个应该都会了吧。然后我们再去选择 Controlnet 预处理器,“右键-新建节点-Controlnet 预处理器-线条-Canny 细致线预处理器”

Stable Diffusion ComfyUI 基础教程(八):如何使用 Controlnet

③这一步是我们预处理器最重要的地方,我们可以把“加载图像”与“预处理器进行连接”,并且在右侧连接一个“预览图像”,然后跑一下,看看效果。

Stable Diffusion ComfyUI 基础教程(八):如何使用 Controlnet

④可以看到,我们的图片已经被处理成黑底白色的线稿,这个线稿就是我们使用 Controlnet 之前的必备条件;

⑤当然,如果我们有已经处理好的图片,我们就可以省略“预处理器”这一步,直接进行下一步就可以了。

3. Controlnet:

①图片已经处理好了,我们这时候就需要去加载选择 Controlnet 模型的节点,以及用来进行权重控制的节点;

② “右键-新建节点-Controlnet 加载器”

Stable Diffusion ComfyUI 基础教程(八):如何使用 Controlnet

③ “右键-新建节点-条件-Controlnet 应用”,这时候我们会看到两个 Controlnet 应用节点,分别是 Controlnet 应用、Controlnet 应用(高级):

Stable Diffusion ComfyUI 基础教程(八):如何使用 Controlnet

  1. 强度:就是我们用来控制权重的,还记得上节课 Lora 权重的控制吗,是一个意思;
  2. 开始时间:我们在绘图时,Controlnet 什么时候进行控制;
  3. 结束时间:我们在绘图时,Controlnet 什么时候结束控制;

④相比较,Controlnet 应用只能用来控制权重,开始/结束时间采用默认 0/1。另外 Controlnet 应用(高级)需要去连接负面关键词。我们根据自己的使用选择就可以,我一般使用 Controlnet 应用(高级);

4. 工作流:

①我们使用 Controlnet 所需要的节点都已经加载出来了,我们把他们连接起来,并添加到“文生图基础流程”中;

②我们把“预处理器”处理好的图像以及“Controlnet 加载器”分别连接到“Controlnet 应用”;

③选择 Controlnet 模型,这时候我们一定要选择对应功能、对应版本的模型:

  1. 比如我们用的 Canny 预处理器,那我们就要选择 Canny 的 Controlnet 模型(我会在挨个介绍预处理器的时候给大家讲解,他们分别对应哪些模型);
  2. 我们出图采用的是 SD1.5 的大模型,那我们就要去选择 SD1.5 的 Controlnet 模型;
  3. 我给大家演示是用的 SD1.5 的大模型,那我就选择了“control_v11p_sd15_canny”这个模型。

④“正/反 CLIP 文本编码器”连接“Controlnet 应用”,“Controlnet 应用”连接“K 采样器”

Stable Diffusion ComfyUI 基础教程(八):如何使用 Controlnet

⑤我们可以看到我通过一个二次元大模型以及关键词控制后,得到一张相同细节的二次元图像。

5. 多个 Controlnet 如何连接:

大家学习 ComfyUI 有段时间了,应该能猜到多个 Controlnet 怎么连接吧,我们在“Controlnet 应用”后面再串联个“Controlnet 应用”就可以了,其余的该连 Controlnet 模型的连模型,该连 Controlnet 预处理器的连预处理器。

Stable Diffusion ComfyUI 基础教程(八):如何使用 Controlnet

三、后续课程规划

到这我们的 ComfyUI 基础教程就已经结束,在接下来的课程中我会带给大家带来更精深的课程,比如:

  1. Controlnet 各种预处理器以及模型的详细讲解;
  2. 如何使用“LCM模型&Turbo模型”进行快速出图和实时绘图;
  3. 如何使用 AnimateDiff 插件生成视频动画;
  4. 如何使用 Stable Video Diffusion 模型进行图生视频;
  5. 如何使用 Stable Zero 123 模型生成多角度图像并生成视频。

更多的课程还在规划中,大家敬请期待!

文件名 如何下载使用 文件大小 提取码 下载来源
ComfyUI内容49.16G8888 点此复制 登录下载
收藏 70
点赞 65

复制本文链接 文章为作者独立观点不代表优设网立场,未经允许不得转载。