零基础也能学!最适合设计师的Flux基础工作流教程讲解(上)

大家好,我是三石。

最近发现大家对 Flux 模型及其 ComfyUI 工作流不太清楚,不知道跟 SDXL、SD1.5 的区别是什么,也不太清楚工作流的基础搭建和 SDXL 这类的工作流的区别,包括后面的 ControlNet 的搭建,感觉晕晕的。

现在我将通过上下两篇文章帮助大家更好地理解 Flux 模型和工作流的搭建,并共安排 8 个典型的工作流搭建方法(上下两篇),如文生图、图生图、放大、遮罩重绘、物品替换、风格迁移等。让大家迅速适应并熟悉 Flux 的工作流搭建方法,为后续的学习打好夯实的基础!

相关干货:

本篇我们将学习 Flux 模型解析和 4 个基础工作流:

一、什么是 Flux 模型?

Flux 模型是由黑森林团队(Black Forest Labs)于 2024 年 8 月推出的最新一代的文生图大模型,特点就是分辨率高、提示词精准和识别能力强。目前是业内开源大模型的标杆。当然,现在 QWEN 已经出来了,后续有机会可以给大家做个模型之间的比较。下方是 FLUX 模型生成的一些图片,我们看下实际出图效果,会发现在细节上会比 SDXL 等老版本的模型表现更加出色,光感和材质的质感也表现的很出色。

零基础也能学!最适合设计师的Flux基础工作流教程讲解(上)

FLUX出图效果

所以我强烈建议大家使用最新的模型来出图,虽然后面的 ComfyUI 工作流在搭建上有些许的差异,但是还是值得我们使用的。那 FLUX 的模型在哪里下载呢?

截止目前,Flux 模型有三大版本,分别是 FLUX.1(pro)、FLUX.1(dev)和 FLUX.1(schnell)三个大版本。之间的差别如下图:

零基础也能学!最适合设计师的Flux基础工作流教程讲解(上)

FLUX三个版本模型的差异

此外,FLUX 模型对文字的理解能力也很强,比如我输入提示词:

"Under the sea, four large letters 'LOVE' floating in clear seawater, each letter with a smooth, semi-transparent surface reflecting sunlight filtering through the water, surrounded by small bubbles and shimmering particles, soft light rays penetrating from above, creating a dreamy and romantic atmosphere, digital art style, hyper-detailed, vibrant colors, realistic water texture, 8K resolution"。

得到下面这张图,不会出现不理解文字的情况。

零基础也能学!最适合设计师的Flux基础工作流教程讲解(上)

Flux对文字的理解

大家如果想下载模型的,可以登录 HugggingFace 官网的 Black Forest Labs 主页(https://huggingface.co/black-forest-labs)进行下载,如下图。如果本地电脑配置低,也建议大家用在线 ComfyUI 平台运行,好处就是不用自己费劲装模型。

零基础也能学!最适合设计师的Flux基础工作流教程讲解(上)

FLUX模型下载

还有一点就是大家别忘了下载 Flux 的专属 VAE 模型,如下图:

零基础也能学!最适合设计师的Flux基础工作流教程讲解(上)

VAE模型下载

二、SDXL 和 SD1.5 模型的区别

既然 Flux 模型这么强,那我们有必要了解它为什么这么强?原因是什么?知道了底层原理,我们对模型才能真正摸透,而不是停留在表面山的理解。

我们都知道,大模型的训练需要先学习,比如我想生成猫的图片,那首先需要让计算机先学习几百张猫的图片,然后我们给这些图片“打标签”,再转换成计算机能理解的语言,这是一个基础的模型学习和训练过程,但真实情况远比这复杂的多(涉及很多技术和算法知识)。

所以学习的数量和质量就尤为关键。在网上我大概了解到:SD1.5 模型大概有 4.2 亿参数,而 Flux 有 120 亿参数。那学的数量多,自然出图的效果好。而且,SD1.5 的训练图片尺寸是 512*512,而 SDXL 的训练图片尺寸是 1024*1024, FLUX 也是 1024*1024,因此,我们会发现 SDXL 和 Flux 的出图效果要比 SD1.5 好很多,也清晰很多。在提示词的理解能力上,Flux 基于多模态架构,能够理解多模态指令,所以对提示词的理解能力更强。

关于这三个模型的差异,大家可以看下图:

零基础也能学!最适合设计师的Flux基础工作流教程讲解(上)

三个模型的区别

三、Flux 基础文生图工作流搭建

了解了 Flux 模型的优势及与其它模型的差异,我们现在就可以着手开始搭建最基础的 Flux 文生图工作流了。与传统的 SDXL 的文生图工作流不同的是,Flux 模型中没有 CLIP 和 VAE,所以我们需要将原来的「Checkpoint 加载器」节点变成三个不同的节点来组合使用,如下图所示。在「Checkpoint 加载器」中有三个输出,分别是 MODEL、CLIP 和 VAE,换到 FLUX,就需要分别加载「UNet 加载器」、「双 CLIP 加载器」和「加载 VAE」三个节点。

零基础也能学!最适合设计师的Flux基础工作流教程讲解(上)

第二个差异点是 Flux 不需要负面提示词,所以原来 SDXL 这些模型的 CLIP 输入需要输入正向、负向两段提示词,现在换到 Flux,只需要输入正向提示词。因此我们还需要用到「条件零化」节点,将负向提示词直接零化掉。再连接到 K 采样器即可,如下图。

零基础也能学!最适合设计师的Flux基础工作流教程讲解(上)

第三个差异点是再「CLIP 文本编码器」和「K 采样器」之间,还多了一个「Flux 引导」节点。这个节点其实是代替了「K 采样器」里面的“cfg”。「Flux 引导」的数值对画面的影响还是比较大的,引导系数越大,图像和提示词的匹配度越高,但是缺乏艺术表现力;反之,数值越小,出图更有创意。简单说,「Flux 引导」就是告诉模型我这张图片到底需要有多听提示词的话。

我们可以做个简单的测试,输入以下提示词(提示词来自网络,仅为参考):

Surreal 4k painting of a beautiful alien princess with expressive lilac eyes and cosmic features. Her skin appears to be composed of intertwined bioluminescent particles, surrounded by neon lights and floating, colorful orbs in a fantastical forest environment, with exotic animals creating a mesmerizing and otherworldly atmosphere, cinematic composition.

翻译:这幅超现实的 4K 画作描绘了一位美丽的外星公主,她有着富有表现力的淡紫色眼睛和宇宙般的五官。她的皮肤似乎由相互交织的生物发光粒子构成,周围环绕着霓虹灯和漂浮的彩色球体,周围是奇幻的森林环境,珍奇的动物营造出一种令人着迷的、超凡脱俗的氛围,如同电影般的构图。
我们分别设置 Flux 引导系数为 2.5、3.5、10、20,得到的画面如下图,发现提示词越小,画面会整体显得灰暗,过大则会缺少艺术表现力,所以建议大家使用默认值 3.5 即可。

零基础也能学!最适合设计师的Flux基础工作流教程讲解(上)

Flux不同引导系数的差异

最后一个差异点就是在「K 采样器」中,我们需要把“cfg”的数值调整为 1。cfg 的意思是对提示词的契合度,因为前面已经有「Flux 引导」来代替“cfg”了,所以「K 采样器」里的“cfg”需要设置为 1,也就相当于“禁用 cfg”了。

到这里,我们就将 Flux 模型在 ComfyUI 中的基本文生图工作流搭建结束了。如下图:

零基础也能学!最适合设计师的Flux基础工作流教程讲解(上)

FLUX文生图工作流

四、Flux 基础图生图工作流搭建

了解了 Flux 的文生图工作流,图生图工作流就比较简单了,跟 SD 的图生图工作流是一样的,我们只要把上传的图片先通过「VAE 编码」连接到「K 采样器」的“latent_image”(也就是潜在空间),再设置“降噪”数值为 0.8 左右即可,这样相当于告诉模型 80%参考提示词,20%参考图片,所以出图结果会更偏上传的图片,如下图所示。

零基础也能学!最适合设计师的Flux基础工作流教程讲解(上)

flux图生图工作流

当然,我们还可以通过提示词反推节点来获得跟原图类似的结果,这里用到的节点是「Joy Caption Two」,如下图,我们将上传的图片给到「Joy Caption Two」输出提示词,再将提示词输入给「CLIP 文本编码」。

零基础也能学!最适合设计师的Flux基础工作流教程讲解(上)

提示词反推节点

其余连接保持不变,这样我们就能得到一张跟原图类似的图案,如下图。

零基础也能学!最适合设计师的Flux基础工作流教程讲解(上)

出图结果

五、Flux 基础局部重绘工作流搭建

局部重绘工作流需要用到「Detailer (SEGS)」局部细化节点来替代「K 采样器」,然后用「MASK to SEGS」遮罩到 Seg 来将需要重绘的部分给到「Detailer (SEGS)」的“Seg”,如下图所示。需要注意的是在「Detailer (SEGS)」节点中,也需要将“cfg”数值调为 1,并且将“denoise”数值下调。

 

零基础也能学!最适合设计师的Flux基础工作流教程讲解(上)

局部重绘节点

最后在「CLIP 文本编码」中输入想要替换的内容,如下图,我想将女孩的头发变成红色,就要输入“red hair”。如下图,这里我把“denoise”降噪设置为了 0.95。如果设置为 1 的话,相当于 100%参考提示词,最终出图的头发会完全变成另外一个样子,如下图 2。

零基础也能学!最适合设计师的Flux基础工作流教程讲解(上)

局部重新绘制 denoise=0.95

零基础也能学!最适合设计师的Flux基础工作流教程讲解(上)

denoise=1

六、Flux 高清放大修复工作流搭建

最后给大家分享的是 Flux 的高清放大修复,该工作流跟 SD 的高清放大差不多,都是用到「Ultimate SD Upscale」节点,在文生图中,只需要把该节点连接到「K 采样器」后面就可以了,连接方式也比较简单,该节点中虽然参数很多,但是需要了解的只有“upscale_by”、“cfg”、“scheduler”和“denoise”四个参数,它们的作用分别是:

upscale_b:放大倍数

cfg:跟采样器中一样,设置为 1

scheduler:跟采样器中一样,设置为 simple

denoise:重绘幅度,默认 0.2

下图是放大前后的对比,可以看出,发丝、盔甲等细节都比放大前要清晰很多。

零基础也能学!最适合设计师的Flux基础工作流教程讲解(上)

放大前后效果对比

整个工作流如下:

零基础也能学!最适合设计师的Flux基础工作流教程讲解(上)

文生图高清修复放大工作流

在图生图中,我们也可以使用「Ultimate SD Upscale」节点将图片进行高清放大修复,搭建的流程差不多,但是不需要「K 采样器」了,直接连接到「Ultimate SD Upscale」节点就行。然后在「CLIP 文本编码器」中输入一些关于质量的词汇,如:high quality, detailed, highly detailed, hd, 8k , 4k, sharp

整个工作流如下图:

零基础也能学!最适合设计师的Flux基础工作流教程讲解(上)

图生图高清修复放大工作流

总结

ok,今天的分享到这里就结束啦,本篇文章主要帮助大家从 0-1 熟悉 Flux 模型和之前模型的差异点,并分享了 flux 模型基本工作流的搭建方法,包括文生图、图生图、局部重绘、高清放大。不难发现,工作流中很多节点和之前的 SDXL、SD1.5 没有太大改变,只是在模型加载和提示词调整这两部分有些许的变动,所以大家不用担心 Flux 的上手难度会很大。了解了原理之后,我觉得反而比之前的工作流更精简、也更容易理解了。

下一篇文章,我会和大家分享 Flux 的进阶工作流,包括换背景、万物迁移、风格迁移、修复手型等工作流,期待一下吧。

谢谢!

喜欢我的可以关注下哦,坚持输出 AIGC 普惠知识,让设计师 AI 不迷路。

收藏 17
点赞 42

复制本文链接 文章为作者独立观点不代表优设网立场,未经允许不得转载。