【ComfyUI進階】🔥區域採樣+Lora,自定義你的風格,換臉換裝輕輕鬆!👀 #aigc #flux #comfyui

Hello 大家好
歡迎再次來到歐陽的KangVY系列教程
那麼這一期應用粉絲朋友的要求
我們來講一下
在Impact當中
如何更好的對於區域運用Laura
那麼在曾經的高級理解部分當中
已經講過基礎的clip區域運用
以及Laura如何結合clip的高級操作
來在某一個區域作用Laura的效果
但是當我們理解基礎
並結合Impact以後
我們的區域定位和Laura效果
將會更好更準確
話不多說
那我們直接進入今天的教程
好的
回來以後這一期
我們還是以端腦云云平臺爲例
在歐陽的基本教學系統鏡像上
來講解這一期的實際案例
如果希望在雲平臺使用AI項目的話
大家也可以通過歐陽的簡介
或者是評論區置頂區域的註冊鏈接
來訪問端腦雲平臺
簡單的測試和試用
OK話不多說
我們直接來到我的應用
我已經開啓了一個系統鏡像
我們直接進入KangVY
來到KangVY以後
我們可以看到這裏
我使用Impact的Pipe的方式
組了一個Pipe
那麼我使用的是一個簡易的加載器
加載了Flex FP8的一個通量模型
這裏我們可以直接通過通量模型
把它的模型Clip和AV1調出來
同時我們單獨給一箇中向提示詞
和負面的一個空提示詞
最終打成一個Pipe
傳輸給我們的這邊的Pipe的一個採樣器
這裏我們給個1024 1280的寬高比
生成一個人像
這個提示詞很簡單
看一下就是什麼顯示照片
然後高質量
有着黑色頭髮的美麗女士
穿着閃亮的晚禮服
後面加一些描述
這裏我們直接用25步
然後CFG 3.5
也就是引導值了相等於
下面我們默認參數
來生成一下這樣一張圖像
OK生成以後
就是我們這樣一張
一個類似於模特的
這麼一個側面的一個肖像
穿的是這種blingbling的
閃亮的一個長裙
接下來比如我們舉個例子
我們想用一個Laura
把它的面部給它替換掉
通常我們使用Laura
就是人物的Laura比較多
那麼風格可能會也有
但是風格大家不會去做一個區域劃分
某個區域有一個風格
某個區域是另一個風格
這樣的話可能有些跳對吧
通常我們套用Laura都是角色
或者整體的這麼一個角色
加風格的這樣的東西嵌入進來的
所以這一期我們就使用Laura
來換一下她的臉型
像我們默認的flex
它肯定出的都是一些
西方的多一些對吧
那麼東方它的審美
其實也不符合我們所謂的美的概念
這裏我們比如說用一個網紅臉的Laura
flex網紅臉的Laura套進來
我們可以直接使用通配服的方式
爲了方便調用Laura
我們其實可以把這個clip文本編碼
換成我們impact當中
一個通配服的文本編碼
我們直接右鍵新建一個節點
找到impact
在節點組當中
我們可以找到提示詞相關選項
有兩個
一個是單獨處理文本
一個是處理完以後加編碼
我們這一步是需要編碼的
我們使用編碼文本
同時把我們的模型和我們的clip穿過來
然後把我們的提示詞複製一下
給到我們下面的輸入框
最後把我們的模型和clip
重新連回到pipe節點這邊
以及最後這個條件
也就是我們的正向提示詞
之後我們把這個節點刪掉
這樣的話就方便我們來調用
任何的通配服文件或者是Laura了
然後下面這裏我們添加一個flex的Laura
比如這裏我們選擇flex
這裏有一個默優的國風網紅臉的Laura
加載進來以後
我們把它放到第一行
這樣的話它的權重會高一些
對吧
然後我們在這個基礎上再次進行生成
這時候我們會看到
由於Laura的介入
我們來對比一下
兩邊的圖像是有了明顯的色彩
以及觀感上的變化
包括整體的膚色也會有所變化
從某些方面來說
Laura的介入是把整個的模型
models的輸入管道的所有信息
進行了全面的微調
所以出來的畫面
它所有的部分都會變化
包括髮型以及各種各樣的
細節部分都會變化
在手的部分也會出現一些問題
這就是當Laura介入的時候
這個模型權重
所有的權重層都會跟着調整
有的時候某些層有一些衝突
比如說表達肢體的
或者表達邏輯的
有些衝突
它就會造成一些問題
又或者是我們只是想要區域變化
而不想要其他的部分變化的話
它就會有這樣的問題
對吧
那麼這種情況
我們可以在已有的生成好的構圖上
只換面部
對吧
那麼對於面部的區域Laura運用
我們最簡單的
就之前說過的Face Detailer
這裏我們就可以直接把Base Path拿出來
Path轉換到我們細化的節點
對吧
有了細化節點
我們再從下面去走一個面部的修復
這裏我們迅速的給它一個加載器
然後同時給它一個Same的模型
這裏我們Same選一箇中等的模型
然後這邊我們選的是Face
對吧
然後我們再把細化節點
給到我們最終的一個面部細化
這裏我們在二次調整的時候
可以把我們第一層的Laura刪掉
而把它加到我們第二次的這個地方來
同時我們把它的提示詞稍微改一下
因爲這個是區域描述
我們可以描述一些人物的面部特徵
以及我們想要的特徵
這裏我們簡單的使用這樣一個提示詞
還是告訴她是一個女性
然後精緻的眼睛以及皮膚紋理
我們想體現這部分內容
同時這邊可以稍微改一下
它的一樣的CFG
就是引導
我們可以3.5
然後降噪我們可以稍微高一些
比如說0.8
最終的膨脹我們可以給的多一些
比如Box的膨脹我們可以給個30
裁剪係數
因爲面部區域它比較適中
我們給到2或者1.5都可以
下面的最終膨脹
我們可以給的多一些
給到30或者是50都可以
我們再把這個面部圖像給它
投標一下
那麼這個時候我們使用第二條線路
單獨加載這個lower來應用
那這個地方
我們把第一次生成出來的圖像
給到我們下面
這裏距離有點遠
我們給個轉接點
然後給到圖像
OK
接下來我們來生成一下
OK
這就是我們進行了第一次面部重繪
繪製完以後的效果
我們可以看到
當我們用面部重繪的時候
雖然它修復的還是可以的
但是有一個問題就是
它對於周圍的銜接處
它的表現並不是特別的好
但是對於面部內部
我們這個lower是有作用的
對吧
可以看一下
這是原始的lower出的圖
和我們這一張
它是有相似度的
但是在這種區域重繪
面部這個地方
算是區域重繪
當然了
如果我們不想修面部
比如說我們有個衣服的lower
先識別衣服再使用
也是沒有問題
只不過這個地方
我們把它換成遮罩細化
而不是面部細化
我們檢測一下
它的服裝傳進來
也是道理是一樣的
所以說我們這裏說一個基本的原理
就是我們使用這一種重繪的方式
它是在我們原圖
底圖這個區域的基礎上進行重繪
我們可以保留其他的部分
而只是改變這一個區域的部分
但是問題是
它多少和我們原圖
是有一些融合的
並沒有還原我們lower的
原本的它的樣貌
對吧
如何讓我們這個區域
跨分的很明確
使用的lower部分
就是這個區域
同時我們要讓lower
100%的作用
而不是80%
或者60%的作用
沒有融合
完全我就想體現
或者是想體現更多
我們原始lower的特點
更純粹
這裏我們就說到了
Impact當中的另一種方式
就是區域提示詞的重繪
說到這個地方
大家如果看過歐陽之前講
clip區域的clip劃分的那一期
應該知道它的底層原理就是clip
如果這個基礎大家想了解的話
可以查看我之前出的
關於高級理解clip的那期內容
所以瞭解了以後
這時候我們在這邊
我們來找到impact節點
在impact節點當中
我們下面可以找到有個區域採樣
這邊有個區域採樣的選項
裏面有這麼幾個節點
左邊採樣器分爲
普通的區域採樣器
以及高級的
高級的我們可以看到
有開始和結束部署
這就和我們普通採樣器
和高級採樣器一樣
它可以部內調度
這一步我們不需要那麼複雜的操作
我們可以直接使用
簡單的區域採樣器
同時下面我們可以看到
有一個區域提示詞
我們也把它拿出來
現在我們來看一下
簡單區域採樣器
它的輸入其實比較簡單
就三項
一個latent的輸入
一個採樣器的輸入
一個區域提示詞的輸入
提示詞其實就包含了遮罩的部分
以及提示詞的部分
我們之前說過
clip自然會包含什麼
模型管道
以及遮罩信息
以及我們 clip編碼的信息
都在這個部分
只有這樣
它才能針對我們某一個區域
來精確的使用
我們的clip信息和內容
同時會對其他區域進行一個隔離
OK
那麼接下來我們來接入一個採樣器
我們直接拖出來
來使用中文翻譯叫提供器
其實我們這邊是一個
K-Simple的一個設置
基礎設置
也就是下面的CFG
雕度器
採樣器等等的
這些基礎設置
這邊我們可以把我們的pipe管道接下來
我們這邊把pipe往下挪一下
我們挪到中間來
然後把我們的基本的信息挪到下面來
這是我們的基礎採樣器
那麼之後我們把區域提示詞
和我們提示詞的節點進行相連
連接過來以後
我們這邊就需要給它一個
採樣器以及遮罩的設置
同樣我們這邊把這個拖出來
同樣是一個提供採樣器
一個採樣器的設置
其實這兩個是一樣的
對不對
一個採樣器
我們是作用於整個畫面
一個採樣器
我們設置了遮罩以後
給了提示詞區域以後
給到的是遮罩部分
這裏我們可以簡單理解
我們設置兩個不同的採樣器
對兩個不同的區域來進行調整
第一個我們其實可以把它定義爲
是一個背景的採樣器設置
我們希望使用什麼樣的
調度器和採樣器
下面我們就給到一個區域的Laura
所以這裏我們可以自定義
一個基礎的Pipe
同時把這個Pipe
給到我們這邊的採樣器
這裏我們使用一個通配服務
改一下Pipe基礎信息
我們從這邊基礎的同樣拖出來
然後我們使用一個edit的節點
也就是編輯我們基礎樹
這邊過來以後
我們把編輯完的基礎樹的Pipe
傳給我們這個採樣器
這邊我們要編輯什麼
自然就是我們的提示詞
和我們使用的Laura
這裏我們可以複製一下
我們上面這邊所使用的修改提示詞
然後給到我們下邊的
二次修改以後的通配服編碼節點
之後我們把基礎的模型
以及Clip傳過來
同時我們把這邊的模型
Clip條件傳到我們這邊來
OK我們只改這三項
其實我們只改這個
就正面條件
那麼這個時候
我們就使用了兩種不同的設置
對區域以及整個背景
進行了一個設置
之後這邊的區域採樣器的設置
就很簡單
我們這裏其實可以默認的運行
只要需要簡單的設置一下步數就可以
這裏其實提供了很細緻的設置
比如說我們兩個區域
一個是背景區域
一個是我們的遮罩信息區域
兩個區域是否使用不同的種子
又或者是它的倍數設置
因爲這個區域採樣器
它是兩邊都會同時採樣
就是背景也會採樣
前景的遮罩也會採樣
所以說它是交替的
那麼這個交替的
我們需要幾步進行一次交替
總步數又是多少
當然這個總步數之後
它還要換算
因爲背景和前景
它是交替渲染
所以說換算的值
要比我們普通的步數要大
大概大20%左右
如果是我們設置20
最終它的渲染出來以後
可能是25、26、27步
那麼最後我們這裏可以給它設置
一個遮罩信息的降噪值
這裏我們簡單默認就使用1
讓它完全重回我的面部
我們來看一下效果
之後我們使用一個load image
來設置一下我們的mask信息
當然這個mask信息
我們一樣可以使用這邊的
檢測出來的面部mask
也是可以的
只是這裏爲了示範
更精確的示範
我們來手動加載一個這樣的圖像
我們來複制我們原始的圖像
粘貼到我們這邊來
同時把mask信息
連給我們這邊的區域提示詞的設置
這裏我們右鍵來編輯一下我們的mask
我們想替換面部
對吧
我們就簡單的把它的面部
來稍微繪製一下
同時因爲它的脖子這個地方
皮膚有些黑
我們也可以看到
之前在這個地方運用以後
它是有色差的
下面還是比較黑的
我們把脖子稍微塗抹一下
這樣的話
我們就完成了基本的設置
最終把我們這邊出來的
latent也連過來
我們挪下來把latent輸入進來
最後我們給一個VA1解碼
把我們的圖像給到最後一個預覽
OK
現在我們來進行這一步的生成
這裏我們可以看到
它對於兩個部分是一個分別採樣
也可以看到我們的遮罩部分
它是添加了一個noise
那麼在這個過程當中
它會交替的進行一個採樣
而且它的模型
會反覆的進行一個讀取讀捺
所以說對於flex
這個過程是有一些慢的
因爲flex模型很大
我們要來回讀取的話
確實是有些慢的
它並不會助流顯存
因爲這裏也可能這個節點
作者還沒有優化
OK
那麼稍微等待一段時間再回來
OK
那麼最終我們相同的種子
以及完全一的降噪
來使用區域採樣
繪製出來這個面部
我們來看一下它的效果
就是我們的最後一張
這裏我們可以大概的來看一下
第一張是完全原始的
對吧
第二張是加了laura的
第三張是我們使用了face detailer的
而第四張是我們使用了區域採樣的
那麼對於face detailer來說
它的割裂感是比較明顯的
也就是說它對一個區域
是完全獨立式的生成
它銜接還是可以
但是我們可以看到
膚色上是有明顯的割裂的
這就是它的一個缺點
也就是說它對於周圍的環境
識別的不是很好
同時它的面部還原
其實也不是特別像
它綜合了一點點
我們曾經的面部的臉型或者是形狀
而對於我們區域採樣來說
我們可以看到它的膚色
和身體的膚色更近
以及它的脖子沒有這麼的割裂
因爲我們剛纔mask畫了一下脖子的部分
同時在面部的還原上
它更貼近我們原始的面部的特徵
那麼我們可以理解爲
它是進行了一個全局採樣
對於周圍來說
是用我們原始的採樣器
進行周圍的識別
對於中間而言
是用我們修改了lower的識別
所以說它是內外雙重渲染
那麼在衣服上
我們可以看到是有一些區別的
在外部它也進行了重繪和重新渲染
只是說我們用了相同的種子
所以說大體是相似的
但是細節方面還是有一些區別
總體而言對於區域採樣來說
它是會參考整個圖像的信息
來讓我們這個區域融合的更好
這也是我們在講clip當中所說的
clip它不是像圖形遮罩
image的mask信息
劃分的那麼明確
它會有上下文的關聯
所以我們可以看到它的還原也可以
它的膚色也比較貼近
而不像這麼割裂
對吧
那麼這就是關於我們區域採樣器
所能做到的一個效果
如果我們想保留第一次所生成的結果
隔離某些區域
而只針對一個區域進行修復的話
對於區域採樣來說
它的整體融合度是要比較高的
當然了因爲這裏我們使用flex是比較慢的
我們可不可以再把模型換一下
所以我們這裏來一個加載器
我們使用賣橘的一個混合真實類的模型
這個模型通常對我們亞洲的面部優化比較好
對吧
然後把我們這個laura換一下
換成1.5的中式審美網紅臉
這裏我們隨便加載一個
之後把VAE我們也連過來
因爲最後我們VAE解碼
不可以用我們曾經flex的VAE
所以我們需要單獨給它一個VAE進行一個解碼
對於latent而言
flex的latent其實和我們1.5還是不一樣的
所以這裏我們把這個圖像重新進行一個編碼
然後把編碼的latent給到我們下面的區域採樣
這樣的話我們就形成了flex對接1.5的這麼一個流程
第一個採樣器也需要我們1.5的pipe
因爲這個流程是沒有辦法穿插的
我們不可能上面用flex下面用1.5
因爲是我們用了1.5的了
所以說我們生成的背景模型
它就可能會有很大的偏差
這裏我們給個0.8的降噪
只要有一些圖像的noise進來就可以了
現在我們來重新生成一下
OK
那這裏我們可以看到1.5的速度是很快的
它就是來回交替的進行運行
但是我們可能給的降噪有點高了
我們給到0.7再試一下
這樣的話它的效果就更接近
但是有一個問題就是我們的服裝和髮型不是特別的像
爲什麼呢
因爲我們給的pipe是一樣的
基礎應該不是一樣的
提示詞應該不一樣對不對
這裏我們可以重新給一個pipe
然後把我們這個串過來
把pipe我們稍微改一下題詞
重新給到我們這邊來進行一下修改
那修改這邊的題詞就是用我們上面這個題詞對不對
我們把這個題詞來重新複製一下
然後粘貼過來
這樣的話我們就相當於在1.5的基礎上
重新復現了一下flex的底膜的效果
最終我們把編輯後的pipe給到我們這邊
同時如果是1.5的
其實我們還需要給個負面
這裏我們就忽略負面了
還是留一個空負面
其實有個正向負面
對於1.5來說效果還是會更好的
所以這裏我們可以看到服裝就會有一些還原對吧
就是我們之前所描述的一個blingbling的聯誼羣
OK我們可以看到大概渲染到應該是27步的樣子
我們就渲染完這樣一個效果了
但對於1.5來說
我們還可以單獨的設置一下它每個區域的cfg
可以看到這個地方我給的比較低了
對吧我們可以單獨設置一下它的採樣
1.5而言我們可以就是設置dpm++的採樣
這樣的話我們來生成我們的預覽圖來對比一下
這就是我們通過flex生成一個底膜
然後通過我們的區域採樣
完全更改了它的外部區域和內部區域的信息圖
這裏就使用了我們另外的一個主模型
以及一個網紅的laura
來修改的面部和整體的一個膚色
這就是如何通過flex生成一個基礎
在這個基礎之上進行多方面的改良或者是加工和魔改
其實我們就是進行了一個圖像上的重繪
並且在重繪的基礎上使用了分區域的繪製
分區域的應用
OK那麼這就是這一期要跟大家分享的
我們如何在採樣過程中分這個clip的區域
合理的運用laura運用到不同的區域
那麼各種方式不能說對不能說錯
只能說根據我們的需求而定
針對不同情況我們做不同細節上的調整
這裏要注意的就是這個是還是我們之前說的基於clip
是基於clip的
不是說我們單獨對這個區域運用一個laura就完事了
基於clip的重要作用是
我們可以針對這個區域制定不同的提示詞
而不是說制定不同的laura
在我們通配服使用裏面我們是可以加laura對吧
但是更重要的還是會體現一個提示詞的
比如說我們把眼睛對吧
我們來替換一下換成墨鏡
這時候我們來生成一下
OK我們可以看到
雖然說它沒有像我們提詞所說的帶墨鏡了
是爲什麼我們這邊可以看一下
有可能是一個laura的問題
因爲laura它網紅臉它這個當中就沒有墨鏡的信息
我們可以把laura給它刪掉
我們單獨使用我們提詞帶墨鏡的一個提詞
然後這邊我們重繪可以稍微給高一點
現在我們0.7我們可以到0.8
比如對吧
然後我們再次生成一下
我們現在就可以看到它已經有眼鏡了
對吧
我們來到這邊看一下預覽圖
它就已經有這樣一個眼鏡的輪廓了
只是說眼鏡不是墨鏡
我們可以給它改成太陽鏡
對吧
這樣的話我們就可以針對一個區域
給予不同的提詞
對於提詞進行精細的一個修復
所以它不僅僅是這個套laura
除了laura以後
你可以用提示詞調整很多不同的區域
那麼這就是這個區域採樣最重要最主要的一個作用
OK那麼這就是這一期
我要跟大家分享的最主要的一個內容
就是這兩種不同區域的劃分的區別
以及我們應該如何在什麼情況下使用它們
好的 那我們這一期的分享就到這裏
再次感謝斷導運平臺對本頻道的大力支持
那麼之前說的這個福利也一直拖到了現在
之後歐陽爭取在這個月再給大家抽一波獎
發一波這個平臺的福利
好的 那我們本期內容就到這裏
如果對AI領域感興趣的朋友
就千萬不要忘了關注歐陽這一系列教學內容了
如果喜歡歐陽的頻道
也千萬不要忘了點擊系列按鍵來支持歐陽一波了
那我們這期就到這裏
我們下期再見