文件名 如何下载使用 文件大小 提取码 下载来源
ComfyUI内容1.43GB8866 点此复制 登录下载

超详细的 Stable Diffusion ComfyUI 基础教程(四):图生图流程

想一下,在我们使用 web UI 图生图的时候,他比文生图多了什么,是不是多了个加载图像的位置。

我们怎么才能把图片转成可以被识别的信息呢,我们需要把图片解码成可以被识别的信息。

上期回顾:

一、创建流程

1. 同样,我们先打开文生图基础流程,我们这个基础上把图生图流程加进去;

2. 我们“右键——新建节点——图像——加载图像”,然后把图片传上去;

3. 我们在加载图像上鼠标点击住“图像”往外拉,松开然后选择“VAE 解码”;

4. 我们再把“VAE 解码的 Latent”和“采样器的 Latent”链接,“VAE”连接到“VAE 加载器”;

超详细的 Stable Diffusion ComfyUI 基础教程(四):图生图流程

5. 这时候我们会发现两个问题,“加载图像的遮罩”没有连接任何节点,这个没关系,我们在使用局部重绘的时候才使用这个功能,图生图用不到。还有个就是原本的“空 Latent”断开了,是的,我们不能设置尺寸了,这个情况下会按照你上传的图片尺寸为基础。我们先出图看一下吧。

超详细的 Stable Diffusion ComfyUI 基础教程(四):图生图流程

6. 有没有发现,我们出的图只是引用了图片尺寸,出图内容和上传的图片没有任何关系。大家还记得我们之前讲过的采样器里面的降噪吗,我们现在的数值是 1,他会 100%按照我们的文字描述出图。降噪数值越低和原图越接近,越高权重越偏向文字描述(我们一般会使用 0.5-0.8)。

7. 他的原理就是把已有的图像特征放进去再去做去燥迭代,0.8 就是我们跳过 20%的步数,用其余 80%的步数在原有图像噪点上进行文生图。

超详细的 Stable Diffusion ComfyUI 基础教程(四):图生图流程

二、调整尺寸

1. 我们前面说没有连接“空 Latent”,不能设置尺寸了,这个情况下图片特别大或者特别小都会出问题;

2. 我们“右键——新建节点——图像——放大——图像缩放”,并把他连接在“加载图像”和“VAE解码”中间。

超详细的 Stable Diffusion ComfyUI 基础教程(四):图生图流程

超详细的 Stable Diffusion ComfyUI 基础教程(四):图生图流程

3. 我们看到有四个可以设置的参数,除了缩放方法外(三种缩放方法,区别不是太大,我们使用时默认不修改即可),中间两个是宽高。最后一个是裁剪,但是有两种裁剪方式:

a. disabled:直接拉伸(我们以一张 1024*1536 变成 1024*1024 为例)

超详细的 Stable Diffusion ComfyUI 基础教程(四):图生图流程

4. center:根据中心进行裁剪(我们以一张 1024*1536 变成 1024*1024 为例)

超详细的 Stable Diffusion ComfyUI 基础教程(四):图生图流程

5. 这两种裁剪方式都有个问题:

  • disabled,我们需要知道原图片的尺寸,并且按照比例计算宽高,不然就会变形;
  • center,根据中心进行裁剪,有很大的可能会裁掉我们需要的内容。

derfuu 插件:

①这时候我们可以通过 derfuu 插件去帮我们解决需要计算的问题,他可以根据图片比例自动计算成你想要的尺寸;

② derfuu 插件地址: https://github.com/Derfuu/Derfuu_ComfyUI_ModdedNodes.git (网盘也有我下载好的,不会安装的看我 ComfyUI 系列教程一);

③我们“新建节点——Derfu节点(Derfu_Nodes)——自设节点——图像——Image scale to side”,这时候我们就可以删掉“图片缩放”换成“Image scale to side”了;

超详细的 Stable Diffusion ComfyUI 基础教程(四):图生图流程

超详细的 Stable Diffusion ComfyUI 基础教程(四):图生图流程

④我们在“Image scale to side”会看到有四个可调节的参数(upscale_method、crop 不用修改,默认的就可以):

  1. side_length(边长):我们 side 参数选择边的尺寸应该改成多少
  2. side(边):我们按照图像的那条边进行缩放,给了三个选择:Longest(长)/Height(高):这两个所控制的是一样的,都是以图片的高度为基础进行缩放;Width(宽):以图片的宽度为基础进行缩放。
  3. upscale_method(缩放方法):三种缩放方法,邻近-精准、双线性插值、区域,区别不是太大,我们使用时默认不用修改即可;
  4. crop(裁剪):和我们上面说“图片缩放”时的裁剪一样,但是这个设置在这不起作用,因为我们是通过比例进行缩放的,不用进行裁剪(可能在其他的节点上起作用吧,我们使用时默认不用修改就可以);

5. 我们可以跑图了,快去玩耍吧。

超详细的 Stable Diffusion ComfyUI 基础教程(四):图生图流程

三、知识点扩展

还记得我们上节课讲的 refiner 细化流程吗,我们图生图的时候是不是也可以使用 refiner 模型细化呢?

我们先复制一下图生图最主要的几个节点(加载图像、Image scale to side、VAE 编码),然后打开文生图 - refiner 细化流程并粘贴进去。

那我们把“VAE 编码的 Latent”连接到 “base 模型的采样器”上面(空 Latent 就不需要了,可以删掉了);

这时候还有个问题,我们是通过“降噪”来控制出图相似度的,但是“采样器(高级)”没有“降噪”可以输入。我们可以想一下“降噪”的作用和“采样器(高级)”里面哪个功能相似呢?

当然是“开始降噪步数”了,同样是用来跳过迭代步数的,但是相反的是,“开始降噪步数”数值越高和原图越接近,越低越偏向文字描述;

注意(1):开始降噪步数的数值不要超过“总步数-结束降噪步数”;

注意(2):我们所连接和修改的地方仅在 base 模型所连接的采样器。

文件名 如何下载使用 文件大小 提取码 下载来源
ComfyUI内容1.43GB8866 点此复制 登录下载
收藏 33
点赞 45

复制本文链接 文章为作者独立观点不代表优设网立场,未经允许不得转载。