【ComfyUI教學】🎨8G顯存玩轉Flux-量化模型與藝術家風格大融合! #aigc #flux #comfyui

Hello 大家好
歡迎再次來到歐陽的視頻頻道
那麼這一期我們繼續來分享Flex的相關內容
因爲最近確實Flex相關的東西比較多
我們趕一趕進度
這期我們就聊一聊Flex周圍的一些生態和工具
目前都能用哪些
順便再來講一下對於Flex當中
一些風格數據的挖掘方式
和一些借鑑的參考的一些方法
那麼話不多說
直接進入今天的內容
OK 回來以後我們先說第一個點
就是對於Flex的硬件要求
因爲在評論區我看到很多朋友問
我這個16G的微潤能不能跑得起來
Flex又或者是12G甚至是8G的微潤
我們首先聊一下關於Flex當中的量化模型
這期同樣我們還是以端腦雲的遠程服務平臺爲例
來到我的應用
開啓我們的鏡像
來到ConfigUI這邊
我們二話不說
先打開Manager管理器
然後直接搜節點
gguf
我們會看到一個ConfigUI的gguf
我們之後簡稱它爲Golf
這個插件的作用
就是可以讓我們加載Golf格式的模型
那Golf是什麼呢
直接點到它的GitHub來看一下
Golf這麼一種格式
它其實是一種大語言模型的統一量化格式
那麼這種格式的運用方式
使得模型即便在性能較弱的硬件上
也能順暢的運行
同時不會損失太多的模型權重
也就是不會損失我們太多模型出圖的質量
通常我們將Golf量化與文本生成模型相關聯
也就是我們大語言模型
通常是這個格式的
所以顯然我們現在使用的Flex大模型
也具有相同的Transform這樣一個構架
因此我們纔可以將Flex模型
轉換成這樣一種量化的格式
以往我們都是在GBT Llama這種語言模型上
纔會看到的這種格式
那麼這種格式
它不僅僅對於我們的電腦性能要求比較低
同時它也會極高的提高我們模型的運行速率
當然了我們現在用這種格式
主要是爲了讓我們比較低顯存的配置能使用
提高效率這一點是有一點點提升
但是因爲我們Config UI本身
也對Flex進行了很多的優化了
所以說它們的效率基本上是差不了太多的
OK 那麼瞭解了這一點以後
我們就往下翻
在Github下面
我們會直接看到Flex DEV的Golf格式的下載
以及Chanel Golf格式的下載連接
還有一個T5的Clip
也有一個量化版本
那麼這個量化版本其實我們可以看需求
如果我們的顯存比較低
我們最好兩個都用量化
如果我們的顯存稍微有一點點富裕的話
T5 Clip我們就可以不用
可以用原先的方式加載原版的T5
也沒有什麼問題
首先我們來到它的Hug & Face
然後我們看一下模型的版本
在這裏面我們會看到很多不一樣的這種格式
有各種各樣的
那麼原版FP16的也就是滿血版的轉換格式
它的大小其實和我們的Unite模型大小是差不多的
下面會有不同的量化版本
簡單來說越往上就Q2
這是壓縮最高的
也就是質量損失最多的一個版本
越往下它的損失越低
這裏我們以8GB爲例
我們可以下載Q4
所以這個模型是6GB
我們再加個Clip
它可能就差不多再往內存裏推一推對吧
如果你要是12G的話就可以選Q5
它的平衡效果會更好一些
但是不管怎麼樣
GARF的量化模型它損失都是比較低的
這是第一個
回到這邊Hug & Face
我們找一下下面的T5 Clip
那麼這個量化版本其實就快需要了
最小體積它已經壓到了兩個G
Q3的這麼一個體量
但是我覺得這個可以稍微大一點
比如說我們那邊都是Q4
我們這邊可以用個Q5
這些都是它的壓縮比
其實和型號沒關係
我們那邊下Q4
這邊不一定就非要下Q4
我們可以下Q5 Q6 Q7 Q8都可以
我推薦的就是比量化的主模型稍微高一點點
比如說那邊Q4
我們這邊可以Q5
下載下來以後
我們繼續回到Config UI
那麼插件沒有安裝的話
我們就可以安裝一下了
安裝完成以後重啓Config UI以後
我們直接雙擊來搜索GARF
就會看到一系列的loader加載器了
這些加載器其實就是專門加載我們規格的模型的
那麼至於這個模型所在放在什麼位置
還是和我們原版的Flex一樣
下載的量化主模型
就放到我們Models的Unit裏
下載的T5 Clip就放到我們Models Clip裏面
一樣的位置沒有變
然後我們直接先加載一個Unit Loader
這裏我估計已經上傳了Q4版本的GARF這麼一個模型了
然後我們再雙擊
之後我們找雙Clip加載器
Dual打頭的
和我們上面雙Clip一樣
只不過它也是針對GARF這個格式的
選擇也是一樣
這邊我們選擇Clip I
下面我們選擇量化版本的T5 Clip
如果你不是很低的顯存
直接用我們雙Clip讀取器
讀取原版的T5 Clip也沒有任何問題的
不一定非得下這個
除非我們的顯存比較緊張了
我們把它也給改成量化版本的也是可以的
就這麼個意思
現在我們這兩個都用量化版本的
之後我們來測試一下
這邊我們直接複製這邊工作流
把我們這邊的採樣器直接Ctrl加C
然後Ctrl加V
過來以後我們這邊直接往過連
Unit直接給到這邊
然後Clip我們給到引導
然後再引導給到條件
然後這邊的提示詞
我們還是用我們之前的提示詞
Latent也把我們Latent往下傳下來一個
這邊就是一個量化版本的
我們來對比一下
然後這兩邊的種子和採樣器都一樣
步數都是25步
我們可以統一給到它20步
25步我們上一次也說了
它是一個比較完整的第一階段收斂的一個步數
然後我們直接來生成
OK那麼現在我們來對比一下
上面是FP8的
DEV的
下面用的是我們量化的模型
Q4的量化模型
我們看一下
兩張圖像的區別有嗎
很小的區別
對不對
這個細節是非常小的一些細節的區別
所以說它的損失是很低的
而且它的體量
這個GARF的模型只有6G
也就相當於我們曾經的一個SDXL的大小
這個CLEVER我下的Q5的
所以說它有3G多
加起來也不超過10G
質量上基本上沒什麼損失
而且這一套配置
就這一套只需要8GB就能跑起來
那麼這就是第一點
我們如何優化我們的模型
讓我們比較低的硬件配置
就能跑起來Flex
而且沒有特別大的損失
OK說完這一點以後
我們來說第二點
關於Flex模型數據的一個風格挖掘
那麼說到風格數據
我們要說到一個曾經的項目
來到Github
大家可以看一下
我們曾經在SD生圖的時候
這個項目就已經有了
這個作者其實是總結了大多數的風格
可以看到目前總結了833個
這些風格都會梳理到一個web項目裏面
然後我們可以根據這個項目
來觀察不同作者的風格
同時複製這個風格的提示詞
我們如何使用這個項目
其實很簡單
這裏就是有一個打包的壓縮包
我們直接可以通過這下載
也可以直接點擊到這邊
來下載它更新到1.2的
這麼一個壓縮包的版本
下來以後我們只需要解壓到本地
比如我把它解壓到這個地方
然後來到本地以後
它就是一個網頁項目
我們直接運行index
主頁的這麼一個文件
雙擊以後它就會打開
所以這裏我們可以看到
它整理的所有的風格
那上面我們也可以進行搜索分類
等等方式的查閱
這樣我們就可以查閱
各式各樣的一個風格主題了
當有了這個風格主題以後
我們就可以來確認一下
模型裏面是否有這樣一個數據集
或者是是否訓練過這些某些畫作風格了
比如說這一個美漫的
我們直接點擊這裏複製一下
然後來到我們的configure
這裏我們把這一個分支給它刪掉
然後這個clip我們直接拉出來一個
拉出來一個文本編碼
就最簡單的一個文本編碼
然後連過來把它先頂掉
我們先不要它
然後我們粘貼一下這個風格
同時我們再給它一個傾向
對吧
不能光給風格
有了風格以後我們給個主體
然後再加一點權重
比如說我們加到2
因爲對於t5 clip
它其實還是不會燒傷特別嚴重的
我們給的權重高一些
也沒有任何關係
然後我們比如後面來一個a woman
給它一個主體
任何一個主體都可以
我們來試一下它有沒有數據
現在我們把它調成20步來預覽
甚至19步15步也可以
我們直接來預覽
OK可以看到是有數據的
對不對
和我們這邊風格我們來對照一下
感覺色彩以及它光影是沒有太大問題的
和我們這邊是能對得上的
這樣的話我們就確認了模型裏
是有這樣一個美漫的風格數據的
接下來我們就可以把它融入到
我們自己的一個題詞裏面去
然後這邊我們一樣還是用大預言模型
我們給它一個提示詞
很簡單
就是一位美麗的女廚師
這邊我們直接用我們這邊的題詞
來進行生成
好的
那麼這就是這樣一個女性廚師
比如說我們想要這張照片
融入之前的畫作風格
對吧
接下來我們就需要先創建一個text
然後把我們這邊它給的提示詞
我們複製一下
因爲我們這個提示詞它有主體
有背景
有描述
有風格等等的
我們只需要這兩個
一個背景一個主體
我們把這個直接傳給我們這邊的Clip
那麼之後我們就需要把風格描述
給它複製一下
放到第一行
這樣它的權重是最高的
對不對
然後值得注意的就是這個Clip L和T5
因爲L它是屬於Tag
我們這邊自然語言它會連在一片
連成一戶片的
爲了讓風格更明確
我們可以單獨給它一個Prompt
對於這個Prompt
我們就只會留有風格
這個Clip L就只會接收一個高權重的風格係數
我們直接給L
那麼這樣我們來生成一下
看看效果
可以看到它的風格就已經被融進來了
如果訓練機比較少的話
它就不會有這麼好的效果
比如說我們來換一個
比如說這個上的油畫
這有一點點油畫風格
對吧
我們直接複製這麼一個提示詞
然後回來同樣是把風格放到這裏
成功的我們就不說了
我們一定要找失敗的
它裏面沒有數據集的
或者是很少的
我們把它粘貼進來
現在我們來生成一下
看看它這個數據集
是否能體現出來這麼一個風格
OK可以看到基本上沒什麼作用
接下來我們看一看它模型裏有沒有數據
把風格提示詞放過來
直接Clip給過來
我們單獨測一下它風格提示詞
如果這個還是沒有的話
那麼就說明它模型裏沒有數據
通過我們的測試來看
它是有數據的
可以看到很符合油畫的感覺
不能說很符合
多少有一些偏向油畫的感覺
但沒有這麼厲害
所以通過簡單的一個Clip
加一個高權重的風格提示詞
加一個主體
就能測試出來我們Flex模型當中
針對於這個風格
它到底訓練的怎麼樣
從這一步來看
Flex對這個風格來說
訓練的不是很完整
大概的色彩和這種油畫的風格
比處是對的
但是調性不太對
因爲這邊的調性可以看到
它是有很多這種凌亂的這種感覺
人不一定完全特別的寫實
或者是特別的3D
相比下來它是更平面的東西
我們這邊Flex出來的特別的立體
有立體感
雖然說還是有油畫的比處
但是對於面部來說
它有油膩感
有立體感
確認了風格以後
這個時候我們就需要進行一個融合了
將我們這一個提示詞出來的效果
和我們這邊的效果進行融合
對於這個提詞來說
我們要稍微給它改一下
比如說我們這邊是一個女性廚師
對不對
體現一下主體儘量是一樣的
粘貼到我們這邊風格的後面去
當然這一步不一定是絕對的
如果風格當中主體體現不好的話
也不一定好
我們甚至可以把這個刪掉
單獨的去融
現在我們先試一下
怎麼融合
我們之前用的是combine對吧
合併
要做到一個平衡
我們這裏要選擇一個平均
上面就是風格
下面就是我們的主體描述
最後把條件傳進來
這裏我們要給一個係數
如果是1的話
就全部跟上面走了
如果是0的話
就是下面的狀態
現在我們先試一下一半的一半
可以看到現在還是偏油畫的風格
我們再把這個降低一點
降到0.3
這樣的話
是不是就有一些融合的感覺了
只是現在有點少
我們稍微再加一點
讓上面的油畫再多一點
比如說0.38
Ok這樣的話就更偏向油畫
但是它的衣服就有點跑偏了
可能對於油畫來說
它當中並沒有女性廚師的這麼一個形象
所以說它的衣服就會有所改變
所以說到這
現在大家已經知道
怎麼挖掘模型數據
同時使用模型當中的風格數據
和我們的主體進行一個融合
之後我們再找一個數據再試一試
比如說就黑白泛黃的這麼一個風格
它的風格是有些報紙風格
可以看到背景都是報紙
這個我之前測過也是有數據的
所以說現在我們直接把這個風格加過來
後面兩個我們也改一下
其實這邊的話
如果我們想要做這種風格探索
直接substream來直接給它傳值
合併我們這個風格
是更快的一種工作流
我們只需要粘貼一個地方
就把這些地方都替換了
這裏我們只是做一個演示
讓大家明白它具體的一個原理
應該怎麼傳入
應該怎麼合併
現在我們來試一下報紙的風格
直接來運行
你們會看到已經有這樣的風格傾向了
至於像出師還是像風格
這個就需要在這個地方去平衡
OK 當我們把這個值調低了以後
它自然會出來這種報紙的感覺
當然了這也是我們實驗性去嘗試的
某些數據真的沒有的話
它模型出不來
就是我們第一步來測試的時候
它就沒有的話
那也沒有辦法進行融合
第三個環節簡單的來說一下
我們目前在flex當中
有哪些比較成熟的組件是可以使用的
首先第一個就是contra net
那對於flex的contra net
其實目前有很多第三方訓練的各種各樣的
歐陽這裏推薦的
其實是一個比較統一的這麼一個contra net
這邊我們來到它的hack&fix
我們看一下
就這個union的contra net
在之前我們的XL當中
也出過一個pro union的這麼一個contra net
它當中囊括了很多的處理方式
可以看到有kenny deep pose以及tail
這是我們常用的
如果不常用的就是這麼模糊 灰度
以及低質量
這個我們平時不常用
當然也有第三方訓練的
比如說kenny可以看到有kenny
或者是有deep單獨的模型
目前我覺得還是使用union就可以
這裏也有個pro的連接
所以我們使用的就是這一個pro
這裏我們只需要來下載這樣一個模型
到這邊來把這個模型下載下來
傳到我們contra net文件目錄下就可以了
之後我們簡單的說一下搭建
和我們之前的contra net一樣
只不過這裏我們用的不是contra net apply
而是sd3這樣一個contra net應用
可以看到這邊有一個contra net應用是sd3的
使用方法和我們之前其實是一樣的
我們只需要把正向條件過來
傳過來正向條件
那麼負向條件我們可以直接給一個空的
可力啤編碼文本
當然我們也可以使用之前的
impark當中的一個空值的負面
直接傳給我們的k採樣器
當然我們現在使用這個並不是k採樣器
它並沒有負面
我們現在使用這個是上一次我們講
flex參數便利的這麼一個採樣器
這是一樣的連過來
然後這邊有一個contra net的加載器
在加載之前因爲是union
我們需要找一個union的type的一個選擇
直接找出來這個就設置
unioncontra net模型的一個類型
這個類型默認是自動
在之後我們就可以把模型加載進來
直接contra net的加載器
加載我們所選的union模型
那麼自動是什麼意思
也就是我們傳進來的圖像
是什麼預處理圖像
它就會選擇哪個模式
比如我們傳進來是open pose的圖
它就會自動選擇open pose
之後我們只需要和使用之前的
contra net一樣
把這個傳進來就行
這裏我們來切換一個工作流
來看一下contra net的一個效果
尤其要注意一下
關於flex的contra net
不能給太高
就結束時間和強度都不能給太高
因爲太高的話
我們預處理圖像的精度不夠的話
就不會特別好
找這樣一張圖像
我們這邊就給它一個提示詞
就一個長髮美女坐在吧檯前
然後看着攝像機
最後我們給它一個卡通的風格
讓它轉換成一個卡通風格的形象
然後這邊我們直接把條件給過來
給到我們的pep
然後分辨率
我們這邊已經調了
kenny的一個線稿
所以我們這邊它就會自動識別
成一個kenny
現在我們直接來運行
ok那麼最後我們就生成了
這樣一個參考圖
ok那麼接下來我們再把它換成一個
zoe的深度圖
那麼這個深度圖感覺要比之前
那個線稿要好一些
對吧
我們可以看一下
它的整體的結構還原還是挺好的
那麼這就是關於
這個contra net的一些使用方法
其實很簡單
和我們過去沒有太大的差別
但是在這個質量和可控性上
我們還是需要多測試一下
另外除了主要說的這個以外
還有第三方訓練的
各種各樣的contra net
但是現在因爲時間問題
歐陽也沒有挨個測試
比如說前兩天發佈的
imprinting的一個contra net
進行一個內補的
但是我覺得如果大家會使用
這個impug節點
我們之前也講過
這個impug重匯的話
它的能力還是比較強的
那麼這個imprinting的方式
其實我覺得可以不必要
完全用這個contra net來實現
第二個就是reference only
那就是一個參考圖的形式
之前我們contra net
也有reference
但是這個效果我也沒有親測過
目前這些第三方的
這些contra net的模型
慢慢都出來了
至於效果如何
大家可以挨個去測一下
到時候我會把下載地址等等的
全部放到視頻簡介下方
至於其他的
其實關於ip adapter也有
包括這個clip反推
類似於ip adapter第一代
這個version的圖像反推對吧
那也有
只不過效果我覺得
不是特別進入人意
IPA的作者也說需要等一等
目前的效果可能還不是特別成熟
另外近期還有一個
就是這個換臉
pulid
之前在這個sdxl上
也有這麼一個插件
可以看到現在的效果
其實也是一般般了
而且對於這個插件來說
配置還是有一些繁瑣的
所以說我覺得還是要等一等看
對於這些東西還不成熟的時候
我覺得人物也好
還是風格也好
最好的解決方案
目前就是訓練
其實無非就是訓練那麼一兩個小時
整個的人物表現是相當好的
那麼這基本就是目前flux周邊生態的
一些大概環境
所有的組件都在慢慢的冒出來
慢慢的成熟
要麼說最近很多東西
跟大家大概的去普及一下
科普一下
我瞭解到的一些信息
那麼之後真正易用性
以及它的使用性上去以後
我們再挨個的去講解
或者是符合的運用這些東西
來用我們flux模型
來做一些實際的案例
目前我覺得成熟度
還是差那麼一丟丟
好的
那麼再次感謝端腦雲平臺的大力支持
如果想體驗AI雲服務器的話
可以通過歐陽下方視頻簡介
或者是評論區置頂的註冊鏈接進行註冊
並且免費獲得4000的
端腦雲算力平臺積分
最後如果本期內容
對大家有所幫助的話
就千萬不要忘了
點擊一系列按鍵來支持歐陽一下下了
大家的支持纔是歐陽更新的原動力
如果對AI領域感興趣的話
也不要忘了關注歐陽一波
未來我們一同學習
一同進步
一同成長
那我們下期再見