SD3模型到底如何?StableDiffusion3全面評測!如何使用ComfyUI遍歷題詞 | 模型?(附贈測試工作流)! #aigc #stablediffusion3 關注
評論 文字稿
Hello 大家好
歡迎再次來到歐陽的視頻頻道
那麼這一期我們就來聊一聊
這個剛剛開源的SD第三代模型
除此之外我們還會講一些
Configure.io的P處理操作
來配合我們的題詞測試一下這個模型了
OK 那麼話不多說
我們直接來到SD的官網
首先我們要說的是SD3
它和之前的構架有什麼不一樣的
它的構架也是基於SDXL的基礎上進行訓練的
首先第一點我們可以看到
它VAE解碼的部分進行了一個大幅度的增強
現在的通道是16
其次它對於題詞的理解
以及元素的融合就更加完善
簡單來說我們可以通過題詞
更加精確的控制畫面的某些部分
這個新一代的模型它用了三種Klib編碼
在SDXL當中我們有兩種編碼器
一個是L一個是G對不對
那麼這一代模型在之前的基礎上
又增加了一個編碼器
文本編碼器
那麼再往下就涉及到這一次所訓練的數據就更大了
是2B相當於是20億這麼一個參數
比之前SDXL是多了很多
簡單來說這就是整個3的一個狀況
那麼現在我們來到Target Face的官網
有些新手朋友都不知道使用哪些模型
那麼我們看它的後綴基本上就能分辨出來
主要我們可以看到它沒有任何後綴
這樣的話它是不帶Klib編碼的
也就是說打包好的SafeTensils文件
它不帶Klib解碼或者是編碼的模型
那麼第二個可以看到這樣一個標識有Klib
所以說這個版本它是帶一個基礎的Klib
也就是I和L的這麼Klib
相當於XL的這樣一個模型
再往下就是第三代帶第三個Klib編碼模型的
T5XXL這就是這一代新增的一個編碼模型
這裏分別有兩個
一個是FP16精度的
還有一個是8精度的
所以說我們從精度可以看到
我們曾經沒有裁剪過精度的模型應該是32
那麼裁剪過以後是FP16
那麼對於大參數的模型
它只提供FP16這樣一個半精度
大小已經到了15G
額外它還提供一個8精度
也就是一半的一半更小
所以說官方發佈的體量還是比較大的
要求也是相對較高的
我感覺至少也得12G
當然小的顯存我沒試過
官方說8G也是可以的
但是這個容量是讀到虛擬內存裏的
一定要把虛擬內存設置起來
纔有可能跑起來
當然這個速度是不敢保證的
那麼就是這4個模型
我們可以看到在這邊text encoders
這裏面它會提供額外的 clip模型
所以如果我們加載沒有clip的模型的話
我們就需要把這些模型下載下來
進行額外的clip模型的加載
下面這兩個也是一樣的
只需要選擇一個
比如說16精度的或者8精度的
這樣加上GHL就是三個clip模型了
說到這想起來羣裏有很多新手朋友
還不知道有什麼模型在哪裏下載
這裏我也還是要老生常談
對於國內用戶來說
我們最佳訪問的資源網站
那就是Libribo了
我在當時講stable diffusion的時候
就跟大家說過這樣的網站
目前來說Libribo AI已經算是國內
比較完善的繪畫模型資源網站了
除了能找到我們常用的一些模型以外
還可以看到它平時都有一些激勵活動
所以說有很多原創作者
在這個地方發佈模型
而且有很多獨家的模型
比較適合我們東方人的體質的
可以看到有什麼國粹或者是國潮等等的
有大模型也有小模型
這些模型在CVT網站上不一定能找得到
同時一些熱門的模型
我們也可以在Libribo上找到
最重要的是對於不會配置網絡的朋友們
這個就是很方便了
直接就可以訪問
而且速度是非常的順暢的
那麼說到這我們可以看到
現在排名第一的就是SD3這個模型
在它網站上也上架了
對不對
在這裏我們可以看到
這個是一個實際的版本
那麼實際的版本
就是我們剛纔在Hack&Fizz看到的
帶三個編碼器
三個編碼器都包含在內的
這樣的話我們就不需要單獨加載
Clip編碼模型了
那麼現在王智能我也會放在視頻簡介區下方
我們額外的還可以看到
Libribo網站還支持V3模型的生成
現在它的在線生成
除了SD3
還有WebUI的在線生成
在這裏生成的速度和4090是差不多的
我是對比過這個時間
所以我猜測他們應該也是使用了
這樣的一個大算力
來提供前端的實時生成這麼一個模式
對了
在這裏我們還可以看到
Hack&Fizz它爲我們提供了一個
Configure UI的樣本
就是一個樣本工作流
可以看到一共有三個工作流
分別是一個Basic基礎的
以及Prompt強化的
還有一個就是放大
傳統放大工作流
Upscale這三個工作流
我們都來看一下
其實是比較簡單的
OK話不多說
我們現在直接來到服務器
那麼在服務器這邊
我們來直接打開這個工作流
我已經挨個保存了
首先我們看一下這個Basic
就是最基礎的一個工作流
在這裏我們簡單來分析一下
首先我們可以看到
官方提供這邊是有一個
Clip單獨加載
可以看到三個Clip加載器
模型是沒有Clip的
這種情況就是適用於
我們所下載的是一個4G的
它沒有打包任何的Clip模型
這個時候我們就需要下載三Clip
對不對
比如說Clip L Clip G
還有T5的Clip
把這三個模型加載下來
單獨的把這個Clip
傳給正向和負向兩個文本編碼器
那麼這邊只是單獨加載模型
這是其一
那麼其二最有趣的
就是它的負面這裏
我們可以看到它的負面
這裏有一堆東西
是什麼東西
我們簡單來分析一下
首先我們可以看到
它在負面這裏分了兩條線
然後最後用了一個Combine合併了
那麼這兩個是什麼意思
我們簡單看一下
上面這一條是條件歸零
也就是說整個的負面
走了這一條的話
它是沒有任何提詞的
相當於這是空的
因爲它歸零了
這些東西都沒有了
之後就是一個時間設置
我們把這兩個時間設置對比一下
也就是說上面這個路線
它是沒有強度的
相當於是空提詞
而下面這個路線纔是有強度的
是有提詞的
之後在這兩個強度上
做了一個融合
其實是一個線性過渡
但是因爲我們Configure
沒有Clip的線性過渡
所以說我們可以看到
沒有強度的
就相當於是空的提詞
沒有強度的
它的開始時間是從0.1開始
到1結束
也就是說它90%的時間
都是沒有提詞作用的
這個負面提詞是沒作用的
只有多少
我們可以看有提詞效果的
也就是佔了前面的10%
所以我們可以理解
它是把負面完全的降低了
前面的10%是有提詞的
那麼到了後面就已經沒有提詞了
相當於做了一個緩出的效果
這個權重是一個緩出
而且緩出的還特別的厲害
也就是前面10%有作用
後面它就不想讓提詞發揮作用了
所以說我們可以理解
它的負面的強度是很高的
它是要把強度降下來
我猜測因爲三個Clip模型的加持
它對於提詞的理解過於強悍
所以說這些操作
是不想讓負面體現的太突出
因此把負面的強度降的很弱
只要有一點點就可以
這是第二點
它的負面處理
那麼第三點我們還可以看到
SD3的模型採樣算法
模型管的處理算法
不管我們在之前接觸LCM也好
又或者是PolyGround也好
都是可以在模型管道
做一些算法的優化
並不是特別的主要
現在我們來看一下
在高級裏面找到模型
這裏我們是不是可以看到
之前所有的什麼離散算法
連續算法
以及Cascade的算法
連續就是我們之前PolyGround用的
對吧
下面SD3以及CFG縮放
這些都是一些微調
它不是說特別關鍵的一個組件
沒有它就不能運行了
OK 說到這以後
我們就來用它官方的提示詞
來生成一下圖像
大家要注意
我們現在所加載的模型是實際的
裏面包括了這三個Clip模型了
所以說我們Clip模型
就不需要單獨加載了
就可以直接從模型這裏面來出了
給到正向 給到負向
我們來看一下
這是它官方給到的採樣器的參數
28步
所以說它的步數要求也不是特別高
然後CFG 4.5
明顯可以感覺到
它的風格性也特別強
我們CFG不能給特別高
同時也能感覺到
它的編碼強度也特別高
也就是因爲它編碼模型
那麼再往下
採樣器我們常用的2M
要注意的是調度器
它用的是SGM的
就和LCM的調度器類似
所以說它融合了一些這種精煉的東西
我感覺這樣的話
我們先來直接來生成一下
看到這一套提詞的效果還是可以的
但是我感覺稍微有些油膩
臉上反光特別高
接下來我們來稍微做一下調整
第一個我們把CFG稍微降低一點
之前我試過DDIM
這裏值得要說的就是
我之前試了一些常用的什麼3M
DDPM都不好使
都是有點崩的
這裏我們試個默認的OLED看一看
然後第二個調度器也是比較重要的
我之前使用了一些其他的調度器
效果沒有這個好
這個效果是最好的
再其次我們把模型算法改掉
用我們默認的模型
其實是沒有太大的變化的
之後我們把步數稍微降低一點
降到25步
我們再來生成一下
可以看到OLED是不行的
對吧
DDIM來試一下
OK DDIM沒有問題
其實DDIM是一個
瘦臉比較快的採用方法
我們這時候也可以把步數給的低一點
爲了速度的話
我們給的低一點再來看一下
基本上沒有太大的變化
對吧
接下來我們就來試一下負面
直接給過來
不使用原先的負面處理
我們看看效果
可以看到這就要差一些
當中的細節是沒有凸顯出來的
對不對
這是其一
我們還是一定要遵守
遵循它的負面的方式
來進行負面的生成
接下來我們來再看第二個工作流
也就是提詞強化的這麼一個工作流
對比一下就能發現
其他的部件其實都一樣
唯一不一樣的地方就是這個
文本編碼
有一個專門的SD3的文本編碼
它單獨的給了什麼
我們可以看第一個是CLIP-L
第二個可以看到是CLIP-G
第三個不用多說就是T5
所以說它分開了單獨的給三個CLIP模型
不同的CLIP信息
那麼他們負責什麼
從官方演示的內容上
我們就可以清楚的瞭解
這一套提詞
其實和之前的提詞是一樣的
同樣是一套提詞
它的效果其實會有很大的差距
這就是專門用SD3的方式來生成的圖像
我們可以對照一下
我們稍微翻一下
首先我們來翻一下上面
可以看到上面CLIP-I和CLIP-L是一樣的
CLIP-L和CLIP-I它提供的是什麼
提供的是氛圍
所以說這一部分它提供了背景的色彩
整個的氛圍
以及背景的形狀
又或者類似於風格的這麼一個東西
最下面這個T5的CLIP負責什麼
我們來看一下
也可以猜到自然它是主體
對吧
那麼它描述了是女性的肖像
她的神情是什麼樣
人物特點是什麼樣
以及下面有一個風格
藝術品的整體風格
這我們就知道它的一個作用了
同時我們再來看一下這邊
就是基礎案類的提詞
基本上是沒有什麼變化的
那麼所產出的生成的效果
是完全截然不同的
對吧
完全不一樣
那麼這就是給予三種不同的CLIP提示以後
它的效果會明顯的增強
之後我們來看一下第三個工作流
這個其實就沒什麼特殊的了
同樣還是這麼一個加載方式
很簡單的一個後期放大
我們可以看到這基本上沒什麼
就後面接了一個什麼
US放大
這就是它的一個放大工作流
我感覺這個都不需要提供了
就走了一個SD而已
那麼這就是官方所提供的
三個不同的工作流了
那麼之後我們就來簡單的測試一下
因爲SD剛剛開源剛一天
有一些節點的進度還沒跟上
我們要便利一些提示詞
沒有辦法用這種獨特的方式來便利
所以也就體現不了它的特性了
我們只能用這種單提示
文本編碼器來進行圖像的測試了
那麼之後我們來簡單說一下
如何便利我們的圖像
首先說到便利
這裏我們說到的一個插件
就是這樣一個插件
我們可以直接在manager裏來搜索
Dynamic
它是一個提詞的便利插件
當我們安裝好插件以後
我們在新建節點這裏
就可以看到這裏有個動態提示詞
這個提示詞節點說白了
就是一個prom的通配符的使用節點
當然了不用這個也可以
我們也可以使用
inspire裏邊的一個通配符
這裏我們單獨再講一下這個插件
如果不想用的話
我們之後也可以用inspire
接下來我們來選擇一個隨機提詞
可以讓我們隨意的調用一個通配符的文件
那麼說到文檔調用
我們還是要來到lib的網站
除了模型
我們還可以下載一些提詞的文檔
點擊右邊全部類型
我們可以看到這邊有一個wordcards
就是提詞的提詞卡算是
這裏有很多不同類型的提詞卡
比如說有服裝的
有人物的
有風格的
有場景的
以及視角
各種各樣的提詞卡
這裏我下載了一些提詞卡
解壓了以後全是TXT的文檔
我們打開以後可以看到這個是什麼
這個是鏡頭
這個是服裝
各種各樣的職業服裝
再往下還有什麼動物
還有什麼人文景觀以及風格
這裏我上傳了一部分
也沒有全部上傳到服務器
那麼之後我們來到服務器的硬盤
我們在configure的目錄下
不管是服務器也好
還是本地也好
文件位置是不會變的
configure下面我們還是找到
custom nodes
自定義節點插件文件夾
下面找到我們之前安裝的 dynamic prompt
然後在這個裏面
我們可以看到wordcards文件夾
之後把我們的
剛纔我們下載的TXT文檔放進來就可以
放進來以後
第一點我們要記得它們的名稱
那麼第一個是動物
第二個是一個配置文件
裏面有很多不同的結構
需要不同的指令
使用起來比較複雜
這是我測試時候用的
如果之後大家感興趣的話
我們再說一下這個
那麼第二個是角色的服裝
第三個是風格
第四個是一個場景
我們如何調用
接下來我們就來調用一下
來到configure
首先我們可以測試一個風格
那麼在風格之上我們需要給什麼
我們可以給它不同的動物
或者給它不同的場景都可以
接下來我們就涉及到兩個文檔了
對吧
第一個文檔就是我們的動物
這各種各樣動物的一些題詞
我們可以直接重命名一下
把它的名字複製一下
就這個文件名
調用的時候我們要切換到英文輸入法
然後Shift 下斜槓
兩個下滑線
然後把這個文件名粘貼下來
再來兩個下滑線
那麼這樣的話它就會隨機的調用
我們這個文檔裏的任意一行提示詞
那麼接下來我們再給個風格
同樣我們來到這來複制一下
風格卡的文件名
回來以後同樣還是一樣的調用方式
這樣我們就有了動物加風格了
之後我們把提示詞先來預覽一下
把採樣器先關掉
我們來直接運行
可以看到我們這邊就有動物的描述
以及風格的描述
那麼 ART 後面就是一個風格
然後我們把穩穩變化器給它提升
對吧
輸入提升一下
直接給到我們穩穩變化器
至於負面我們稍微修改一下
只是留一些通用的就夠了
OK
這就是我們使用風格來產生的圖像
當然可以看到犀牛有一點點不對勁
我們再重新生成一下
那麼第二次生成它就不是犀牛了
它就會隨機的來挑選各種各樣的東西
可以看到是豹子
CF 就有點高
我們再低一點給到三
光線還是有點過曝
這是小貓的
我們稍微測了幾張以後
就可以感覺到在藝術性的表現上
並不是特別的好
只是說中規中矩
對不對
那麼接下來我們進行一些便利
也就是說我們現在要這麼測試的話
只能一張一張來看
點一下生成一下
我們能不能生成一批
就是一下給它4張10張5張什麼的
這裏我們改成2行不行
空 later 我們給它兩張
讓它生成不同的
我們來看看是不是不同的
這裏可以看到它不是不同的
爲什麼
因爲我們這邊只傳了一次給到這邊
它用同樣的題詞生成了兩遍而已
怎樣才能批處理
就是讓它生成各種各樣的
然後我們在這邊生成的
這就涉及到一個批一次了
因爲我們現在這個不是批一次
怎麼用批次
還是我們之前所說的
做動畫時候用到的 FIZZ 節點
那麼按照我們之前動畫流程的題詞調度
可不可以
其實不是很方便
因爲我們可以看到
這邊是要我們手動輸入的
我們能不能直接把這邊的題詞
傳過來給到這邊
讓它自動填寫
這就需要我們來進行更精細的設置了
接下來我們就來說一下
如何做批處理
就題詞的便利批處理
首先我們這裏要用到的是一個
stream的一個合併
在真節點這裏
我們可以看到有個字符串連鎖
我們直接調出來
可以看到它是這樣的一個連鎖效果
而接收的就是 Prompt
下面我們可以設置對應的幀
所以說到這大家就明白了
我們可以將不同的組件
生成出來不同的內容
傳給到不同的幀上
比如說第一個我們給到A
同時複製一個我們給到B
把這些自動生成題詞的節點
全部複製給到它
比如說這裏我們就複製4張
我們想便利4張不一樣的東西
之後我們再輸出字符串這個地方
我們ProView一下
預覽一下它這個輸出是什麼
展示一下文本
我們來看看直接運行
OK現在我們就可以看到
它所給我們的文本
前面就帶了關鍵幀了
對不對
這是第0幀的
這是第12幀的
這是第24幀的
也就是我們這裏指定的圖像A是第0幀
圖像B是第12幀
所以說它就在每一個題詞前面
單獨的生成了幀的格式了
當有了這些格式以後
是不是就好辦了
那麼接下來我們先把這改一下
我們就讓它每一幀
也就每一個批次是單獨的一個題詞
0123456對吧
這三個我們沒有給
所以說我們只需要生成4個就可以
那麼接下來就自然就是
我們剛纔的題詞調度器了
同樣是FIZZ
批次調度找到題詞調度
這樣的話文本是不是我們就有了
所以我們直接就可以把它提升爲變量
把我們這邊的字符串輸出給文本
最大幀數這裏我們要4幀
相當於4張
同樣我們這邊編碼器傳過來
然後正向直接傳給我們這邊正向
OK那麼這樣我們就可以批量的
預覽各式各樣的題詞詞了
這裏我們再設置一下結束幀
結束我們也給到4
我們最終生成4張
現在我們打開採樣器直接生成
OK可以看到我們有不同風格的
各種各樣的動物了
對不對
不算好也不壞
我覺得是比較一般般的樣子
那麼先進動物大家並不是很關心的
接下來我們試試人
那麼這裏我們就可以簡單做一下修改
把動物的animals給它去掉
只留風格提示詞
然後在這邊的批次裏
我們可以給它一個置頂的文本
置頂我們隨便給一個文本輸入框就行
字符串處理都可以
這裏我直接用一個textbox
這裏我們就給一個beautiful girl
這樣的話我們的前置文本就是這個女孩
而後面拼上來的所有的文本
就是帶不同風格的
各種各樣風格的女孩
我們再來生成
自然就會有各種各樣風格的
有什麼水彩風格
寫實的風格
可以看到還有一些人體機型
它現在還是沒有得到很好的改善
對於肖像或者是比較近的一些構圖
它的效果還可以
離得遠了就不太好了
我們這裏來個肖像
加一個肖像
可以看到肖像帶一些風格還是可以的
肖像還不錯
那麼之後我們還可以手動來制定一下它的風格
挨個在這裏重新寫
把通背復我們去掉
分別是水彩
幻想風
寫實的照片
動漫
因爲效果問題
我們再給它加一個正向提示詞
簡單的來一個正向
把我們這個女孩給到附加文本
把正向給到置頂文本
接下來我們再來生成
這裏我們來看一下這個風格
第一個水彩的
第二個是寫實的
第三個是幻想的
第四個是anime
不是特別的鮮明
接下來我們再測一下這個手微笑着
向觀衆招手
只能說是一般般
這個是多了一隻手指
是完全不能看
這個也不能看
這個還好
我們再來試一下
看看這一批就更粗糙了
所以說我們可以看到這個模型
其實只是個基礎模型
對一些細節沒有進行過多的調效
那麼第二個我們來個宏觀的
我們進行一個多模型的比較
這裏我專門花了一下午時間
創建了這樣一個測試工作流
那在這個工作流是稍微有一些大的
我們可以看到
我這裏放了三種不一樣的模型
第一種是SDXL
我使用的是基礎1.0的SDXL的模型
那麼第二個就是我們SD3的
那麼第三個就是CASCADE
這三個模型生成的效果
我們來對比一下
同時這裏我使用的是
一鍵題詞的這麼一個插件
之前在SD當中
跟大家講過的一鍵題詞
那麼在configurator中自然也是有的
這裏可以看到它分GL
以及提示詞
不同的通道
可以選擇不同的風格
選擇不同的類型
選擇不同的主體
以及emoji的表情等等的
很豐富
我們需要生成哪一類的
目前可以看到
還沒有更新出來
專門針對SD3的題詞
所以這裏我們統一用SDXL的
因爲它包含了G和L
第一個宏觀提示詞
我們可以給到SD的T5
這樣一個clip
這個題詞很簡單
我們可以預覽一下
它會同時生成三個
不同的clip所需要的文本
我們直接來預覽一下
我們直接生成
不設置任何東西的時候
它會直接隨機的選
比如說藝術風格
比如說類型
比如說主體
隨機的選
選好以後直接出題詞
可以看到我們這邊的題詞
就已經出來了
對不對
這個插件還是比較好用的
但是不敢保證
題詞的精度
能適合我們SD3的
所以我在這裏做了一些工作
這裏我們可以看一下
在題詞這個組裏
我把它需要的所有的組件
都單獨提升出來了
包括什麼隨機強度
藝術風格
主體類型
性別
所用的模型等等
我全部提升在這邊了
我們直接可以在這邊進行設置
一共有7個
它會生成7套不一樣的題詞
那麼之後我進行了一個
字符串的處理
因爲一鍵題詞
它生成出來的提示詞
有可能帶這個雙引號
這個雙引號其實是ZIF節點
它的一個特殊格式
這裏我們擴一下
這是0幀
這是它的一個方式
然後後面這是0幀
後面輸入的提示詞
對吧
它是這樣的模式
如果在提示詞中
多出來這麼一個符號
比如說提示詞中間有個
它就會識別錯誤
這個節點就會識別錯誤
所以在字符串操作這裏
我把它所有題詞當中
有這個符號的
全部給替換了
給替換成空的
把這個符號去掉
就分別對題詞的GL和I
進行字符串的操作
最後給到我們這邊
剛纔我們說的連接字符串連接
一共給了7個
所以說我就做了7個
連接過來以後產生了字符串
我們給到一個緩存
它會保存下來
然後這邊我們可以預覽
最後我們這邊緩存讀取
有這個G的有L的
那麼這個F就是一個全局題詞
之後我們對接到下面的生成工作流
當然了
這裏我還給了一個自動負面提示詞
也是我們OneButton
Prompt插件裏面的一個
我們可以看到這邊
有個自動負面提示詞
對吧
生成了一個負面提示詞
分別也給了他們三個流程
具體的方式
SDXL就不用說了
我輸入給的就是G和L的文本
下面的CASKET
它只有一個文本輸入
所以說我給到的是全局題詞
就是宏觀的提示詞
那麼對於我們SD3
這裏我實驗性的做了一個
題詞的分離
我們可以看一下
首先我給了它一個宏觀的
那麼這個宏觀
就是用我們的普通的提示詞的P次節點
同時我還給了它SDXL的L和G輸入過來
最後將這兩個P次進行了一個Combine
所以說這邊是SDXL的P次
加1.5的P次
一個接收的是全局宏觀
一個接收的是SDXL
我只能是通過這樣的方式傳給它
但是其實更好的方式
是用它原先的T5專門的編碼器
那樣一個文本編碼框
可是因爲它文本編碼框
不支持P處理
所以說沒有辦法這麼做
希望以後FIZZ也開一個調度
SD3的調度
我覺得應該之後會更新
現在還沒有更新
所以說我們現在只能將就用
之後下面都是一樣
就是這樣一個流程
然後我們用這個題詞隨便生成點什麼
首先把我們的Prompt這個組給它打開
讓它生成題詞
我們的P次給它7
也就讓它生成7張不一樣的圖像
在這之前
我們先把其他的組全給它關閉了
關閉了是因爲我們只需要生成一個緩存
之後我們就不需要反覆的調用了
而且現在是沒有定任何風格主題
它隨便挑隨便選生成7個
這邊它就會一個這麼題詞詞
一直生成下來
生成完成以後
我們可以看到這邊的所有的文本
就已經全部打上關鍵幀了
之後我們就可以直接把Prompt關閉掉
然後我們挨個開啓XL渲染
SD3渲染以及CASCADE渲染
之後我們來直接渲染生成
OK那麼這是第一組
最左邊是CASCADE
中間是SD3
右邊是SDXL
大概的來看一下
這三張我覺得CASCADE比較好的
那SDXL也還湊合
對於人物而言
CASCADE我覺得更富有風格性
SD3比較一般
它的風格性也不強
然後畫面有點問題
總感覺是有點問題
也可能是我接錯了
就我的這種合併方式有些問題
但是這一張看着還湊合
有可能由於我這個地方給的不一定對
我們就直接給單獨的一個題詞
這樣的話更保險一點
再進行一批生成
剛纔沒有標註
所以說我也說錯了
第一個是SDXL的
第二個是SD3的
第三個是CASCADE的
那麼同樣是一組車的風景
SD3就要更中規中矩一些
沒有任何風格
那麼第二個是SD3多了一個人物
兩邊都是車沒有什麼問題
第三張是一個人物的特寫
可以看到SD3的權重還是有些高
有一些過你河
還是得降一下給到3.5
對於風景來說
SD3還是可以的
第三個是師生人面像
最後一個和第一個稍微有些走樣了
說明他們的基礎數據不是很好
因爲這個東西可能一般人不會生成
這就是看基礎數據了
這個房間的描述有些籠統
所以說三張生成的都不太一樣
最後一張一個水珠和水滴
感覺最好的就是SDXL了
那麼接下來我們再看一組有主題的
首先我們來看一組風景
我們來到設置這邊
它因爲翻譯插件的問題
我把這些名字都改了
但是重新加載一下工作流以後
它又還原了
這個是沒辦法
只能這麼找一下了
主體我們選一個風景
Let's get
其他我們不變直接生成
一眼看過來還是SDXL表現的比較好一些
這個SD3比較平平
CASCADE它的色彩是比較好的
想象力也比較豐富
這還是對於風格的訓練的問題
我們剛纔降了權重了
還是有一些過
這一張各有特色
接下來我覺得SDXL是比較好的
第二是CASCADE
第三是SD3
這麼對比下來以後
大家應該大概看出來
它的水平是一個什麼水平了
如果是單題詞的話
它並沒有那麼優秀
並沒有那麼突出的
最後我們再來測試一組人物
測試一組女性
大家應該都喜歡看美女是吧
來改一下
選擇成我們就選通用
其他的一概不變
再來生成
可以看到這個效果還是挺慘不忍睹的
一樣最好的還是SDXL
注意我現在用的SDXL是基礎模型
最原始的base1.0的模型
能體現出來整體的風格
CASCADE稍微有些一般
對於動漫的可以看到它就不太強
而對於SD3真的就有點廢
我都懷疑是不是我配置錯了
因爲我們用的是實際的PF8的精度
並不是16的精度
是不是因爲這個
還有一個問題就是這個地方的題詞
我給的是SDXL的一個風格題詞
如果給1.5的或者是CASCADE
我們試一試
看看是個什麼效果
這邊如果要給CASCADE
GL的張量可能
SDXL的調度編碼可能會報錯
就它的張量不一致
所以我們直接把它統一改成
直接一個題詞
相當於我們SDXL是默認的了
就不給什麼又是G又是L
我們把這些都取消掉
直接就給它一個題詞
我們再生成一輪
可以看到其實用處不太大
感覺SDXL的質量稍微下來了一點
對吧
CASCADE它也沒有提升
而SD3還是不太行
還是表現不如這兩個對吧
同樣還是這兩個要比SD3好
仔細對比來看
每一個都要比SD3強
所以說這還是一個基礎模型
反而基礎模型它風格上沒怎麼訓練
只是說可能在數據上
它訓練的多了一些
直接用題詞來測試的話
確實還是有一定的差距的
如果我們在基礎上
用這樣的方式來豐富一下
看看能不能改善
這個是第4章
我們直接把第4章的題詞
給它拷貝出來
然後進行一個更精細的加工
可以看到
即便是用了這個也不太行
具體也不知道是啥問題
是模型就這樣
還是回頭我再下一個
PM16的再看一看
我們這一期也就差不多了
那麼最後把這個題詞
我們再複製一下
因爲我們之前說了
Lib是有一個在線生成的
我們再來驗證一下
我們用Lib在線生成的功能
我們把這個題詞直接複製過來
我們直接來生成
可以看到Lib還可以
爲什麼本地生成的就不行
所以現在看來它還是基礎模型
還要需要進一步的優化
大家如果還像我一樣不甘心的話
我們之後再說
它具體的調教是哪一方面出了問題
之後我可能會再摸索一段時間
看一看到底它是什麼規律
不可能比這兩個都差
像之前我還是挺側重於CASKET
我比較喜歡它的感覺
但是經過今天這麼一測
其實SD的效果要更好
對吧
那麼這就是這一期
要跟大家分享的內容了
之後我也會把工作流發出來
大家如果想實驗一下
想跑一下不同的模型
或者跑一下不同的流程
具體是什麼效果的話
可以用這個工作流
然後大家如果測出來哪些可行性
怎麼優化模型出的圖
也可以在評論區下方多多交流
如果還不太明白的小夥伴
也可以加歐陽的交流羣
有很多大神們一起探討
有什麼問題也能及時的解決
那麼最後還要說的就是
新手不知道去哪下模型
如果是國內的朋友
首選這個LIB不LIB
而且現在我們可以看到
它現在分爲在線生成的V3
以及我們剛纔使用的高級版V3
高級版V3應該是調用了官方的API
要不然效果爲什麼那麼好
對不對
如果有興趣的話
之後我們可以再對比一下
調用官方API和我們本地調用模型
是否效果一致或者是相似
如果不一致
那就說明官方只是開源了
它的基礎模型
通過API調用的
是它的優化以後的高級模型
這裏我們也可以再試一下
在LIB的在線生成這裏
現在可以看到
它已經完全支持SD3模型的調用了
這應該是SD3上線最快的
一個在線生成平臺了
同樣我們把剛纔的提示詞複製一下
粘貼到這邊來
然後我們稍微設置一下
下面的採用器
因爲WebUI和CoffeeUI有一些差異
所以這裏我們默認選個2M
迭代步數我們同樣25
提示強度我們往下降一降
降到3.5
然後圖片我們給多一點
三張方便對比
現在我們來生成
那麼這樣的結果
我感覺和那個有點像
我感覺和API調用的有點像
這個差異可能就是因爲
我們CoffeeUI的Noise生成方式
和SD的生成方式不太一樣
這個我們之前也都講過對吧
之後也可以試一下
生成方式改成SD的
是否有改善
所以說如果習慣用WebUI的朋友
那麼在這個地方來生成的話
還是比較方便快捷的
OK
那麼這就是這一期
要跟大家分享的所有內容了
如果本期內容
對大家還有借鑑和參考意義的話
就不要忘了點擊系列按鍵
來支持歐陽謝謝了
之後可能還有不少的資訊
新聞和應用要跟大家分享
OK
那我們這期就到這裏
我們下期再見吧