【Stable Diffusion】微調模型詳細教程 - embedding, hypernetwork, LoRA | Forge UI & Automatic 1111
2024年3月9日
【Stable Diffusion】微調模型詳細教程 - embedding, hypernetwork, LoRA | Forge UI & Automatic 1111 | 界面基本功能與參數詳細教程
今天我們來講這幾個功能
嵌入式,超網絡,模型,LoRA
第一個嵌入式
我們先來看看什麼是嵌入式
嵌入式又稱爲Textual Inversion
文本反轉
它的功能類似於一個微調模型
就是通過加入這個嵌入式的模型
它可以生成
具有特定屬性或特徵的圖像
通過在提示詞中使用特殊的單詞
可以精確的控制生成圖像的外觀
顏色形狀等等屬性
我們先來看一個例子
比如說我生成一個漂亮的女孩
那麼
她就是一個隨機的一個漂亮的女孩
現在
我有一個Emma Watson的嵌入式的模型
在這裏點擊這個嵌入式模型
它就會將這個文件名
加入到提示詞裏面來
現在我們來重新生成
那就不需要你寫其他的提示詞
它就會自動地生成
帶有Emma Watson這樣的面部特徵的女孩
我們再加一些其他的提示詞
就是無論你的提示詞是什麼
這個人物的面部特徵
總是與Emma Watson非常相似
這個就是嵌入式模型的概念
和它的使用方法
但是因爲嵌入式模型的生成
它的訓練數據量少
所以它生成圖像的精度有限
在個性化特徵的表現上
遠不如LoRA模型穩定
所以在正面提示詞中使用並不廣泛
那麼它最大的作用
其實是應用在負面提示詞中
我們在生成一張圖像的時候
往往需要在負面提示詞中
輸入很多的單詞
比如說低分辨率
模糊扭曲的五官,錯誤的手指
多餘的數字,水印,文本等等
以避免生成低質量的圖像
那麼嵌入式模型
就可以將許多這一類的描述性提示詞
整合打包爲一個嵌入式模型
那麼你應用的時候
只要輸入這個文件名就可以了
因此
嵌入式模型在負面提示詞中很受歡迎
接下來
我們說說嵌入式模型怎麼樣下載
我們打開civitai網站
點擊Models
然後點擊Filters
這裏選中Embedding
這裏你可以根據它使用的基礎模型
來進行過濾
比如說SD 1.5 SDXL 1.0 SDXL Turbo等等
然後將它的排序改成Most Downloaded
那這樣的話
它就是按照最受歡迎的程度
來進行排序的
我們看到排到第一的是EasyNegative
在這裏將它下載下來
這個文件非常小
只有24KB
我們將它copy下來
然後放在你的Stable Diffusion的主目錄
下面的
webui目錄下面的embeddings
將它copy在這裏就可以了
然後打開這個標籤頁
如果你的嵌入式模型
沒有顯示出來的話
那你在這裏點擊一下刷新
那麼它就會顯示出來了
使用的時候
需要在提示詞上加一個逗號
然後點擊你要使用的嵌入模型
它就可以將文件名copy到上面來
然後就可以使用了
注意這個negative的模型
它是反向提示詞的模型
所以不能加在正向提示詞裏面來
我們點擊反向提示詞
然後
就可以將它加在反向提示詞裏面來
這裏還有一個模型叫badhandv4
這個是一款專門針對手部進行優化的
負面提示詞
它能夠在對原畫風影響較小的前提下
減少手部殘缺
手指數量不對
出現多餘手臂等等情況
適合動漫風大模型
OK我們來試一個例子
我們先不使用badhand這個模型
來生成一個pretty girl
然後是手指交叉
可以看到她這個手生成的就有問題
她這個大拇指向外翻
我們再生成一個
這個手也有問題
這個看上去還可以
好下面我們來將這個badhand這個模型加進來
然後我們再重新生成
這個手就非常的完美了
這四個手指頭
然後大拇指藏在後面
來再重新生成一個
1234 這個是左手的
這個手生成的就非常完美
就是說
如果不使用badhand這個嵌入式模型
那麼幾乎十次有九次
它的手都是有問題的
使用了這個嵌入式模型
它不會達到100%的沒有問題
但是10次中
總會有五六次你會得到滿意的結果
下面這個Hypernetworks
通常我們翻譯爲超網絡
這個也是一個微調模型
其實這幾個文本反轉
還有超網絡
還有LoRA這幾個都是微調模型
但它們的名字怪怪的都不同是因爲
它們作用在整個算法的不同的位置
或者說不同的階段
像這個文本反轉
它就是作用在文本方面
而這個Hypernetworks
它就是作用在神經網絡
至於再深的技術細節
因爲我本人不是AI專業的
剩下的我也不懂了
就記住
它們是各自有不同側重的微調模型就行了
像這個文本反轉的微調模型
它就比較適合於反向提示詞
而這個超網絡模型
它就比較適合於更改圖像的風格
它對人物的特徵屬性等幫助不大
我們來看一下它的下載
也是在civitai網站 -> Models
然後我們在Filters裏面選擇Hypernetwork
同樣
還是按照Most Downloaded這個進行排序
我用的是這個例子
點進去然後將它下載下來
它的大小有83.7兆b
我們將它copy下來
然後在Stable Diffusion的主目錄下面的
webui目錄下面的
models目錄下面的hypernetworks
將它copy到這裏就可以了
如果它在這個標籤頁裏沒有顯示出來
那麼按一下刷新
它就會顯示出來
對於它的使用
我們來看一個例子
這個是一個芭蕾舞的女孩
我們將它提示詞copy過來
正向提示詞
它沒有反向提示詞
它的採用算法是DPM++ SDE Karras
然後是使用的模型是photogenInfinity
我還特意下載了一個
這個photogenInfinity
CFG值是8
採用步數是20
種子值
CFG值是8
採樣步數20
然後將種子值copy過來
現在我們將這個Hypernetworks的微調模型
的提示詞先去掉
看看它生成的效果是怎麼樣的
好這個就是不帶超網絡
微調模型生成的效果
接下來
我們點這個waterElemental這個微調模型
那這個就是它的格式
是hypertnet
然後是冒號
然後是waterElemental
就是這個文件名
下面是這個比重最高是1
通常情況下我們就是使用1
然後我們再加上water elemental
這個提示詞
接下來生成
那這個就是重新生成的
雖然有三條胳膊
但是不影響我們看到它
這個Hypernetwork
這個模型所造成的效果
就是它將這個衣服
還有這個人都是變成像水做的一樣
我們可以看到
這裏還有很多不同的風格
像這個是貼紙風格
這個是midjourney v4的人像風格
還有這個是大理石雕塑風格等等
觀衆朋友們可以自己測試一下
各種各樣不同的風格
接下來模型
這個英文原文是checkpoint
也就是這裏我們下載的所有的大模型
它在這個標籤頁
用一個一個的卡片來表示
這裏功能不多
這個是拷貝它的目錄
然後這個是顯示內部的原數據
這個就是內部的原數據
然後這裏有一個功能
編輯它的原數據
這裏是描述
這裏
你可以設置它搭配哪一個VAE使用
然後保存
還可以替換預覽圖像
我們先將它取消
先跑一張圖出來
我們隨便舉個例子
比如說我們跑出一張圖
我對這張圖比較滿意
OK那麼在這裏點擊替換預覽圖像
我們可以看到
這個模型就用這張圖片來表示
接下來LoRA模型
LoRA模型也是一個微調模型
LoRA是指Low Rank Adaptation
就是低階自適應
它通過更新模型中的一小部分參數
來調整預訓練的大模型
與其他的微調模型相比
LoRA模型可以生成具有特定風格
或者是特定主題的圖像
而不會丟失大模型的原始能力
LoRA模型
應該是我們用的最多的一個微調模型了
我們來找個例子
還是在civitai網站
這裏我們按照LoRA來過濾
按照Most Downloaded來排序
我們來試一下這個Add More Details
增強圖像的細節
這裏點擊下載
把下載下來的模型
放到Stable Diffusion的主目錄
下面的webui目錄
下面的models目錄下面的LoRA目錄
然後在這個標籤頁裏
如果這個卡片沒有顯示出來
那麼你點擊一下刷新
接下來我們生成一個例子
我們將它的正向提示詞
反向提示詞都copy進來
然後它的CFG值是7
採樣步數是36
採用算法是DPM++ 2M
種子值
OK這個就是不帶LoRA的效果
下面我們加上LoRA
那這裏就是增加的LoRA的提示詞
我們重新生成
這個效果確實好多了
它增加了許多豐富的細節
我們再找一個其他的例子
我們再來看一下這個Cute_girl_mix4
這個就是生成亞洲美女的LoRA
我們來試一下
就隨便輸入一個提示詞
一個漂亮的女孩
真實照片風格
這個就是不加LoRA生成的圖像
下面我們將這個LoRA加上去
它就會生成亞洲的女孩
抖音上有許多AI網紅的賬號
就是這樣生成的
它這個LoRA是
最好是搭配Chilloutmix
這個大模型來使用
這個我就不下載下來試了
基本上它的功能就是這樣

