Fooocus進階技巧 · 風格轉繪,擴圖,換臉,無所不能的ControlNet!

緊接上期視頻,本期着重介紹Fooocus強大的圖生圖功能
以及更多的進階技巧
勾選左下角的Input image就能打開圖生圖模塊
圖生圖功能包括三個主要部分
第一個是Upscale or variation,圖像放大與變體
如果你用過Midjourney的話,對這個功能應該很熟悉
以剛剛生成的這張圖像爲例,按住左鍵直接拖到下方
圖像變體分爲Subtle和Strong
Subtle是微調,會在原圖基礎上改變一些細節
Strong是大幅度調整,改動的地方更多
當然,我們也能對非AI生成的圖像進行變體
prompt可以選擇留空,也可以新增你想要的內容
圖像放大分爲1.5倍、2倍和2倍快速(僅分辨率提升)
除了基本的分辨率提升,還會在原圖的基礎上增加更豐富的細節
因爲有重繪的成分在裏面
所以放大後的圖像或多或少都會跟原圖有所出入
第二個部分是Image prompt,圖像提示
這裏請拉到最底部,勾選左下角的Advanced
這是個很熟悉的ControlNet插件佈局
因爲Fooocus和ControlNet是同一個作者
圖像提示模塊又有四種控制選項
首先是最基本的ImagePrompt
模型會借鑑你所上傳圖像中的風格、物體、構圖以及配色
來影響新生成的圖像
第一個案例,文本提示留空,僅僅上傳一張圖像,參數保持默認
第二個案例,加入文本提示,參數保持默認
第三個案例,文本提示留空,上傳兩張圖像
相信大家都注意到了
在上傳圖像的下方有兩個可以手動調整的參數
分別是Stop at和Weight
Stop at的範圍是0-1
它控制的是圖像提示產生的影響在什麼時候結束
舉個例子,採樣步數設置爲30,Stop at設置爲0.5
那麼新圖像的生成會在第15個採樣步驟停止對圖像內容的借鑑
也就是說後15步採樣會讓AI自由發揮
第二個參數,Weight,圖像權重,範圍是0-2
如果說Stop at控制的是圖像提示產生影響的時間跨度
Weight控制的就是它的影響強度
數值越大跟原圖的相似性也就越大
在這個示例中,顯示了不同參數設置下,圖像提示所產生的影響
第二個選項PyraCanny和第三個CPDS可以放在一起講
他們都屬於構圖和姿勢方面的控制
PyraCanny,金字塔型邊緣控制
預處理器會對圖像的整體結構進行描邊
在這個範圍內生成新的內容
在這個環節中
我們可以進入右上角高級選項中的開發者調試模式
在Control選項卡中勾選第一欄的預處理器調試
上傳圖像,選擇PyraCanny,點擊Generate
就會得到預處理圖像
CPDS,對比度保持脫色結構控制
會將原圖轉換爲灰度圖像
這兩種結構控制方法目的相同,只是實現路徑不一樣
很難說哪種更好
所以建議在使用過程中逐一嘗試
第四個控制選項,FaceSwap,面部替換
圖像最好是近距離的面部特寫
如果覺得結果不夠接近就手動調整權重參數
一般情況下作者默認設置的0.75已經足夠了
我們在使用過程中可以對這四個控制選項任意搭配
第一個案例,圖像提示+邊緣控制
第二個案例,圖像提示+面部替換
第三個案例,邊緣控制+面部替換
第四個案例,同時使用這三種控制選項
OK,接着是第三個部分
Inpaint or outpaint,重繪和擴圖
同樣是和Midjourney類似的操作方式
通過鼠標塗抹你需要進行重繪的區域
跟PhotoShop一樣,可以通過快捷鍵Ctrl+z撤銷更改
右上角第二行的圖標這裏,能夠調整筆刷大小
需要注意的是,重繪功能最好配合文本提示
文本留空的話,AI的發揮會很隨機
第一個案例,在圖像中去除指定物體
第二個案例,在圖像中添加指定物體
第三個案例,在圖像中替換指定物體
比較經典的應用場景就是
我們很多時候會遇到
一張圖像哪裏都好,但是因爲某個微小的瑕疵毀掉了一切
這種情況與其重新去抽卡,不如進行重繪
不過需要注意的是,重繪功能也不是萬能的
假如某個地方一直畫不好,我更建議用PhotoShop手動修圖
效率可能更高
Outpaint,擴圖功能
在左下角勾選需要擴展的方向
配合文字描述,擴大場景中包含的內容
應用場景一,也是我個人平常用得比較多的
將一張圖水平擴展出一個純色空間,留出填充文字的地方
適用於封面或海報製作
應用場景二,製作臨時證件照
假如遇到急需使用證件照的情況
完全可以只用手機拍一張大頭照
再通過擴圖和重繪功能製作一張毫無違和感的正裝照
重繪功能的第二個子類別,Improve Detail,提升細節
爲任意物體添加更多的細節或紋理
在左側的額外提示詞中寫上你想要提升細節的地方
作者也在下方列出了一系列快捷選項,方便懶人
案例一,將一張有瑕疵的臉調節得更好看
案例二,改變人物表情
重繪功能的第三個子類別,Modify content,修改內容
相較於默認重繪選項,更適用於大範圍修改
案例一,在場景中以更自然的方式新增物體
案例二,背景替換
在使用鼠標塗抹背景時,對精度的要求並不是那麼嚴格
出入不要太大就行
總的來說,重繪和擴圖的組合使用
在某些情況下比PhotoShop效果更好
圖生圖的第四個部分,Describe,圖像描述
使用視覺模型爲圖像內容生成文字描述
有時候我們希望重現一張圖像
但是受限於表達能力不知道該怎麼寫
使用Describe功能就很方便
依據文件類型不同,分爲攝影照片和藝術作品
攝影類型生成的描述是自然語言,非常簡短
藝術類型生成的描述都是單詞和短句,但是更加詳細
而且這種句式在Stable Diffusion中效果更好
所以我個人更習慣使用Art/Anime類型
不過需要注意的是,自動生成的prompt不一定完全準確
你最好人工審覈一遍
手動修改或增刪部分內容
另外,我們也能使用免費的微軟Copilot來描述圖像
不過鑑於微軟嚴格的隱私政策,很多時候對圖像的描述並不完整
最後一個部分,Metadata,圖像元數據查詢
上傳一張AI生成的原圖
可以查詢到生成這張圖像所使用的具體參數和prompt
以上基本包括了Fooocus圖生圖板塊到目前爲止的所有功能
現在我們回過頭將這些功能組合起來使用,來點不一樣的玩法
比如,將真人照片動漫化、3D化
或者將虛擬角色真人化
本期視頻會由易到難介紹兩種方法
以真人照片轉動畫爲例
第一步,通過Describe功能生成圖像描述
這裏記得勾選第二項Art/Anime
檢查自動生成的prompt,修改不需要的內容
比如,在轉換爲動畫風格時,我會把prompt中的realistic刪掉
第二步,調整分辨率,儘可能接近原圖的分辨率
第三步,在風格選擇器中搜索anime
分別勾選Fooocus v2、SAI Anime和MRE Anime
第三步,將Base模型切換爲動畫風格
如果沒有特殊需求的話,下方的LoRa可以全部取消
第四步,在圖生圖模塊中勾選Variation(Subtle)並上傳原始圖像
同理,我們也能夠通過切換模型與風格的方法
將它轉換爲3D動畫風格
假如這種方法達不到你的預期
接下來可以嘗試第二種方法
唯一的區別在於最後一個步驟
這裏我們不使用Variation功能
切換到第二欄的Image prompt,上傳三張圖像
控制選項分別選擇Image prompt、PyraCanny和FaceSwap
先嚐試在不改動任何參數的情況下生成一次
依據生成的圖像而定,後續就可以開始手動增減參數
使圖像越來越接近我們的心理預期
這裏需要提醒一下的是,三種控制選項並非一成不變
請根據具體情況自由組合
比如,在這個案例中,我嘗試將動畫角色真人化
但是出現了身體和麪部畫風不一致的情況
這時候就需要將FaceSwap選項中的圖像刪掉
只選擇Image prompt和PyraCanny,效果會更自然
基於以上介紹的兩種方法,我們可以通過切換模型和風格
在Fooocus中對任意圖像進行轉繪
視頻的最後
聊一下爲什麼Fooocus能在Stable Diffusion框架內
做到接近Midjourney的效果
個人認爲主要有三個方面
第一個原因
ooocus作者的設計初衷就是結合SD和MJ這兩個工具的特點
取長補短
Fooocus在運行過程中會自動執行大量內部優化和質量改進步驟
用戶只需要專注在輸入提示詞這個環節即可
Fooocus開放的可調節參數本身就不多
作者在出廠設置中已經提前將各項功能調整成了最佳狀態
第二個原因
Fooocus中集成了一個基於GPT-2的離線提示詞處理引擎
並且做了大量的改進措施
在運行日誌中能看到
基於語言模型的prompt expansion功能
在我原始提示詞的基礎上進行了擴展
新增了很多正向修飾詞和形容詞
啓用prompt擴展的關鍵在於在Style中勾選Fooocus V2風格
因爲添加的都是修飾詞
所以你完全不用擔心會對圖像內容造成影響
請放心勾選這個選項
Midjourney採用的其實也是這種隱藏提示詞的方案
也就是說用戶實際輸入的文本提示
和最後用來生成圖像的提示並不完全一致
現在你知道爲什麼在Midjourney中
僅僅輸入一個單詞也能生成這麼精美的圖像了吧
從心理層面來說,這是對新手的正向激勵
效果好人家纔有動力繼續用,纔有可能進行付費
Midjourney創始人David Holz
在V6版本發佈公告中的一句話讓我印象很深刻
(在提示詞中)避免使用“獲獎作品、逼真、4k、8k”之類的“垃圾”
第三個原因,Fooocus目前只支持SDXL系列的Base模型
SDXL目前成熟的社區模型並不像1.5那麼多
所以爲模型設定最優化配置相對來說會輕鬆很多
從技術迭代來說,新模型在大部分情況下都優於舊模型
另外,繼SDXL之後
Stability AI會在今年晚些時候
發佈更強大的Stable Diffusion 3模型
感謝收看,下期再見,拜拜~