Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

前言:

  1. 我们在前面的基础教程中已经知道怎么去连接 Controlnet 了,接下来我们就要去了解一下不同的 Controlnet 预处理器以及 Controlnet 模型分别有什么效果和作用;
  2. 我们先从最常用的“线条预处理器”开始,这也是我们最常用的预处理器之一,我们做动漫转真人、真人转动漫、线稿上色等效果时必用的一个预处理器;
  3. 我们会在“Controlnet 预处理器-线条”线条里面发现 14 个不同的预处理器,插件作者一直在更新,也许过段时间大家会看到更多的预处理器。

一、线稿

1. Canny 细致线预处理器:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

①介绍:识别图像中的边缘信息,并生成物体的线稿。生成的线条十分明显,粗细、颜色一致,没有大的变化。

②阈值(数值区间:0-255):

  1. 低阈值:控制弱边缘检测阈值,数值越低线条越复杂/细节越丰富,数值越高线条越简单/细节越少;
  2. 高阈值:控制强边缘检测阈值,数值越低线条越复杂/细节越丰富,数值越高线条越简单/细节越少;

③对应模型:

  1. SD1.5 模型:control_v11p_sd15_canny、t2iadapter_canny_sd1.5v2
  2. SDXL 模型:control-lora-canny-rank128、control-lora-canny-rank256

④效果预览:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

2. HED 模糊线预处理器:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

①介绍:从图像中提取边缘线,相对于 Canny 处理的锐利边缘线,HED 提供了边缘过渡,可以保留更多柔和的边缘细节,类似手绘效果(好处:通过线条区分画面层次,以及图像中的柔和边缘。能更好的融入画面,减少画面细节的突兀)

② 稳增:开启后会使提取的线条明暗对比更明显,模糊内容也会减少。选择是否增稳,具体看图片生成效果。

③对应模型:

  1. SD1.5 模型:control_v11p_sd15_softedge
  2. SDXL 模型:暂无

④效果预览:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

3. PidiNet 模糊线预处理器:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

①介绍:与 HED 类似,从图像提取(有过渡)边缘,因为算法不同,效果也略有差异;

②稳增:开启后会使提取的线条明暗对比更明显,模糊内容也会减少。选择是否增稳,具体看图片生成效果;

③对应模型:

  1. SD1.5 模型:control_v11p_sd15_softedge、control_v11p_sd15_scribble、t2iadapter_sketch_sd15v2
  2.  SDXL 模型:暂无

④效果预览:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

4. TEEDPreprocessor:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

①介绍:与 HED 类似,从图像提取边缘以及柔和边缘过渡,但线条细节更丰富;

②safe_steps:数值越小,柔和边缘过渡区域越小;数值越大柔和边缘过渡区域越大;(数值区间:0-10,0 与 10 效果相同)

③对应模型:

  1. SD1.5 模型:control_v11p_sd15_softedge
  2. SDXL 模型:controlnet-sd-xl-1.0-softedge-dexined

④效果预览:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

5. LineArt 艺术线预处理器:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

①介绍:从图像中提取艺术线条风格的边缘线,相较于 Canny,Lineart 提取的线稿更加精细,细节更加丰富;

②粗糙化:开启后线条会变的粗糙潦草,控制效果也会减弱;

③对应模型:

  1. SD1.5 模型:control_v11p_sd15_lineart
  2. SDXL 模型:暂无

④效果预览:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

6. LineArtStandard 艺术线预处理器:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

①介绍:从图像中提取艺术线条风格的边缘线,相较于 LineArt 艺术线预处理器,增加了亮面和暗面过渡区域(美术生小伙伴肯定熟悉,这就是我们画画时常说的明暗交界线)

②Guassian_sigma:用来控制高斯模糊的数值大小;数值越小,亮暗面过渡区域越小;数值越大,亮暗面过渡区域越大;(数值区间:0-100)

③强度阈值:数值越小,亮暗面过度区域越大;数值越大,亮暗面过度区域越小;(数值区间:0-16)

④ 对应模型:

  1. SD1.5 模型:control_v11p_sd15_lineart
  2. SDXL 模型:暂无

⑤效果预览:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

7. AnimeLineArt 动漫艺术线预处理器:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

①介绍:从图像中提取动漫艺术线条风格的边缘线,相比 LineArt 艺术线预处理器增加了类似 HED 的模糊过度细节,不全是纯粹的细线了。

②对应模型:

  1. SD1.5 模型:control_v11p_sd15s2_lineart_anime
  2. SDXL 模型:暂无

③效果预览:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

8. MangaAnime 漫画艺术线预处理器:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

①介绍:从图像中提取漫画艺术线条风格的边缘线,轮廓凌厉且分明,适用从漫画风格图像中提取线条

②对应模型:

  1. SD1.5 模型:control_v11p_sd15s2_lineart_anime
  2. SDXL 模型:暂无

③效果预览:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

9. M-LSD 线段预处理器:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

①介绍:从图片中提取直线线段,弯曲线条不会被提取,多用于建筑设计、室内设计;

②刻痕阈值:低于阈值的线条不被检测为边缘,数值越小线越多/也会越乱,数值越大线越少/也会越简单;

③距离阈值:线条间的距离低于阈值时会被合并,数值越小线越多/也会越乱,数值越大线越少/也会越简单;

④对应模型:

  1. SD1.5 模型:control_v11p_sd15_mlsd
  2. SDXL 模型:暂无

⑤效果预览:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

10. Diffusion Edge:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

①介绍:从图像提取边简单边缘线(此预处理器我为找到未找到官方介绍以及算法介绍);

② environment:针对 indoor(室内)、urban(城市)、natrual(自然)图像进行选择处理;

③patch_batgh_size:未发现明显区别;(数值区间:1-16)

④对应模型:未找到官方推荐模型,图像处理效果偏向于 canny、lineart,可使用这几种预处理器对应的模型,我试了一下,效果都挺不错的;

⑤效果预览:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

二、涂鸦

1. Scribble 涂鸦预处理器:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

①介绍:使用涂鸦化算法转换图像颜色为黑白(控制效果没有 Canny 或 HED 严格);

②对应模型:

  1. SD1.5 模型:control_v11p_sd15_scribble
  2. SDXL 模型:暂无

③效果预览:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

2. Binary 二值化预处理器:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

①介绍:Binary 二值化预处理器属于涂鸦类型的预处理器,使用涂鸦算法把图像颜色转换为黑白(Scribble 涂鸦预处理器的可调节版,控制效果没有 Canny 或 HED 严格);

②阈值:当色值高于阈值的像素会被处理为 1(白色),低于阈值的像素会被处理为 0(黑色),(当阈值为 0 时,效果与 255 相同)

③对应模型:

  1. SD1.5 模型:control_v11p_sd15_scribble
  2. SDXL 模型:暂无

④效果预览:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

3. ScribbleXDoG 涂鸦预处理器:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

①介绍:Scribble 与 XDoG 结合,可通过 XDoG 阈值来控制细节。

②阈值:数值越低,处理的图像越复杂/线条越多;数值越高,处理后的图像越简单/线条越少(数值区间 0-64)

③对应模型:

  1. SD1.5 模型:control_v11p_sd15_scribble
  2. SDXL 模型:暂无

④效果预览:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

4. FakeScribble 伪涂鸦预处理器:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

①介绍:提取图像中黑白分明的边缘线并生成类似涂鸦效果的草图线条,类似于灵魂画手画出来的画(哈哈哈,能知道是什么样的了吧)。正因为生成的线条比较粗犷,所以他的控制效果比上述几种涂鸦效果还弱,只能进行粗略控制,但是他非常适合对我们随手涂鸦的“大作”进行转绘。

②阈值:开启增稳会略微增加线条细节,实际上区别不是太大;

③对应模型:

  1. SD1.5 模型:control_v11p_sd15_scribble
  2. SDXL 模型:暂无

④效果预览:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

收藏 55
点赞 40

复制本文链接 文章为作者独立观点不代表优设网立场,未经允许不得转载。