【AI+建築】Stable diffusion生成超高分辨率畫面的3種方式丨Tiled Diffusion丨Ultimate SD upscale丨高清放大

隨着效果圖使用場景的多樣性 大家對圖片分辨率的要求也越來越高 爲什麼你在網上看到別人用AI出的效果圖 是這樣這樣還有這樣的 而你自己出的圖卻是這樣這樣這樣的 別灰心 其實要產出高質量高分辨率的圖片非常簡單 只需要簡單的幾個步驟 就可以得到一張2K 4K乃至8K的超高清圖片 這裏是阿薩 你正在收看的是 AI繪畫家建築設計零基礎培訓課程的第五節課 在之前的課程裏 我們提到過一些間接提高圖片分辨率的方法 比如使用高分辨率高質量等標準化提示詞 或者選擇一些高精度質量好的模型 但這都是一些間接的手段 並不能直接提高我們圖片的分辨率大小 這節課我們就來說一說 在Stable Diffusion中 如何對圖片直接進行高清放大的操作 我們主要針對Stable Diffusion中常用的三種方法 對圖片進行放大 分別是Tiled Diffusion Ultimate SD Upscale和高分辨率修復 Tiled Diffusion在紋身圖和圖生圖當中都能使用 Ultimate SD Upscale在圖生圖當中進行使用 而高分辨率修復則是在紋身圖當中進行使用 我們先從簡單的高分辨率修復開始講起 高分辨率修復只存在於紋身圖當中 打開WebUI 我們先來跑一張沒有經過高清放大的圖 大模型選擇Architecture Realmix 正向提示詞輸入這些詞 尺寸保持默認的512×512 其他參數保持不變 點擊生成 我們就得到了這樣一張建築效果圖 因爲像素只有512×512 所以仔細看很多細節都看不清楚 圖片稍微一放大就模糊了 接着我們打開高分辨率修復來跑一張一模一樣的圖 保持各參數不變 將剛剛圖片的隨機種子數輸入進來 也可以從圖像瀏覽器裏直接發送到紋身圖 它會保留各項參數以及隨機種子數不變 勾選上高分辨率修復 下邊設置放大倍數 有兩種方式 可以直接輸入放大倍數 也可以手動輸入要放大到的圖片數值 我們將圖片放大三倍 也就是從512×512放大到1536×1536 放大算法選擇真實圖片常用的RESRGN4X 迭代部署和上面的迭代部署是一個意思 因爲上面已經設置 所以這裏保持默認的0 或者給一個20左右的數值即可 重繪幅度和圖生圖當中的重繪幅度一樣 數值不宜過高 一般不超過0.5 以免圖片發生大的變化 這裏改爲0.4 稍微給AI一點自由發揮的空間 點擊生成 我們觀察它的生成過程你會發現 SD會先很快繪製出一張低分辨率的圖片 再根據它繪製高分辨率的圖片 其實它的本質就是圖生圖的過程 將低分辨率的圖片打回重畫 再得到一張高分辨率的圖片 我們來對比一下和之前的圖片的區別 是不是變得更加清晰了呢 建築細節很好地展現了出來 即使放大圖片也不會很模糊 我們再看到圖片下方的信息 跑圖時間耗費了22秒 這裏使用高分辨率修復後的顯存 佔用就高達11.5G 佔用率爲96.2% 顯存直接拉滿 如果圖再大一點點就包顯存了 所以高分辨率修復的結果固然不錯 但是卻非常依賴顯存 而且繪製速度極慢 這是它最大的劣勢 對於它的工作流 就是先在低分辨率下抽卡 等抽到一張不錯的卡時 再固定隨機種子 利用高分辨率修復 進行比較有限的高清放大 接着我們再來說一下 Ultimate SD Upscale 翻譯成中文就是 中級的SD放大腳本 它是一個非常熱門的放大腳本 注意這裏是腳本而不是擴展 它存在於圖生圖界面 最下方的腳本選項當中 它現在已經被內置到了啓動器裏 所以大家打開就有 不用獨立安裝 Ultimate SD Upscale是 SD Upscale的升級版 穩定性更高 效果也更好 來看一下它的參數 首先設置放大類型 可以直接輸入放大倍數 也可以手動輸入 放大算法同樣選擇 如果大家對各種放大算法感興趣的話 彈幕扣個1 我之後會專門出一節課 來梳理一下各種算法的區別 下邊的繪製類型有兩種 一種是線性 一種是分塊 線性就是一個一個畫過去 而分塊則是像黑白格一樣交叉繪製 它的拼合效果會更好 分塊的寬度和高度 只要有一個爲0時 就代表是正方形 所以這裏其實就是分成 512×512的正方形 來進行繪製 對於分塊的詳細解釋 馬上會在講Tiled Diffusion時 給大家詳細說明 其他參數和之前圖生圖裏 講到的一樣 下面有個SimFix 接縫處的修復 推薦選擇第三個 我們用它來跑一張圖看看 還是用我們剛剛通過紋身圖 得到的效果圖爲例 在無邊圖像瀏覽裏 將圖片發送到圖生圖的窗口 放大倍數直接改爲4倍 從512×512 到2048×2048 2K的圖 下面的重繪幅度 同樣控制在0.5以內 其他參數保持我們剛剛的設置不動 點擊生成 對比一下和之前的原圖 2K的是不是更加清晰了一些呢 再看到生成圖片下方的信息 生成過程唯有加速 這裏的實際跑圖時間 消耗了47秒 顯存佔用爲5.4G 佔用率爲45.4% 算是處在一個比較低的狀態 這個水平 我們即使出4K的圖也沒有問題 最後我們就來說一下 Tiled Diffusion擴展 它的核心其實就是Tile Tile的意思是瓷磚瓦片 在這裏我們將它表示 對圖片的平鋪分塊處理 也叫區塊化處理 它的優點就是 不僅提高了圖片的分辨率 而且因爲分塊處理 所以極大的降低了顯存 區塊化處理是什麼意思呢 就是說如果你讓AI 直接生成一張很大分辨率的圖片 大概率你會爆顯存 就像使用高分辨率修復那樣 但是有了Tile 它就將這張大圖 分割成了一個個小塊去分別處理 極大的降低了電腦的負擔 最後再將它們巧妙的拼接在一起 形成最終的高清圖片 和我們之前說的 Ultimate SD Upscale的原理一樣 但卻比它更加的強大 目前新版本的啓動器 已經把Tile整合到WebUI裏面了 所以大家也不需要額外的進行下載安裝 打開WebUI 在文生圖或圖生圖的界面下方 都有兩個關於Tile的選項 分別是Tile的Diffusion和Tile的VAE 這兩個需要搭配在一起使用 其中Diffusion負責擴展生成圖像 VAE負責編碼各司其職 我們來拿一個案例 實際演示一下它的操作流程和各項參數 爲了展示更多的細節 方便我們進行放大對比 我這裏選擇出一張中式的建築效果圖 來簡單看一下生成流程 大模型選擇liblib網站上的百變景觀 LOL模型選擇東方建築神域 正反向提示詞輸入框裏 輸入這些提示詞 注意這裏的LOL模型也要輸入進來 我會將測試用的模型和提示詞 都放在視頻下方的課件鏈接當中 方便你們直接下載使用 下面的尺寸設置爲1024×576 如果你要測試和我一樣的圖片的話 將隨機種子一模一樣的輸入進來 其他參數默認不變 點擊生成 得到一張中式建築的效果圖 仔細看它的精度並不高 稍微一放大就模糊了 這時我們用Tile的Diffusion來將它放大 在無邊圖像瀏覽裏 將它發送到圖生圖的界面 重繪幅度要低一些 我們設置爲0.3 以免圖片發生大的變化 其他參數不要動 點擊Tile的Diffusion和Tile的VAE的啓用選項 這時你會看到一些很複雜的參數 不要害怕 其實核心參數也就那幾個 主要還是看放大的算法 倍數以及分塊繪製的分割塊的大小 如果你想直接放大出圖的話 只需要設置放大算法和倍數 其他保持默認即可 這裏的方案選擇MultiDiffusion 放大算法還是選擇真實系常用的 RESRJN4X加 我們將圖片放大4倍 從1024x576到4096x2304像素 放大倍數有兩種輸入方法 首先你可以點擊這裏的保持輸入圖像大小 然後下方放大倍數改爲4 或者勾選掉保持輸入圖像大小 在上邊的尺寸裏輸入原尺寸的4倍 其他參數保持默認 點擊生成 一張高清的大圖就生成出來了 仔細看圖片的精度明顯比之前提高了很多 生成圖片所花的時間也大大減少 我們再來說一下其他的一些進階參數 如果你通過上面的步驟依舊出現了暴顯存的情況 就可以適當的降低Tile的VAE中的編碼器分塊大小 如果輸出圖片顏色較灰 可以啓用快速編碼器顏色修復 Tile的Diffusion中的參數 無非就是分割塊的大小 以及重疊區域的大小 分割塊的大小很好理解 就是把圖片分成了若干小塊的大小 在之前課程裏講圖生圖的時候 我們講過重疊這個概念 AI在繪製大圖的時候 並不是像這樣一刀切開 每一塊都單獨去繪製 而是在繪製每一塊時 都會參考其周圍的重疊區域來進行繪製 這樣才能確保這些內容的一致性 如果沒有重疊區域的存在 那麼你就會很明顯看出 塊與塊之間很生硬的接縫感 因此這裏的淺空間分塊的寬度和高度 決定把圖片分成多少塊 影響其出圖效果和繪製速度 而淺空間分塊重疊 則影響這些塊拼接在一起之後是否融洽 理論上說分割的塊越大 繪製的次數就會減少 速度會更快 但也不能過大 因爲大部分模型訓練圖片的尺寸 是在1280以下 過大會出現個別元素重複的情況 建議在64到160像素之間即可 平時使用保持默認的96像素就可以 重疊區域的大小怎麼控制呢 越大的重疊區域 會使圖片拼接時顯得更加自然 但重疊區域越大 就意味着繪製的次數增加 進而增大工作量 會使繪製效率降低 平時使用保持默認即可 如果你發現圖片有明顯的接縫感 那麼就可以適當增大重疊區域的大小 使用噪聲反轉可以穩定圖片 多數情況下影響不大 其他保持默認即可 這就是Tiered Diffusion中 到這裏高清放大的三種常用方法 我們就講完了 學會了這幾種操作 不管是新生成圖片 還是針對網上的一些參考圖 我們都可以用這幾種方式 對它們進行高清修復 再也不用擔心圖片模糊的問題了 對於這節課的知識點 做個總結吧 Tiered Diffusion 應該是目前最優秀的放大工具之一 利用分區塊處理 能得到非常不錯的圖片 並且佔用顯存低 讓低顯存顯卡的朋友 也擁有了超高清級別的出圖能力 Ultimate SD Upscale 僅次於Tiered Diffusion 有一些分區塊處理的雛形 但可控性稍弱 速度偏慢 高分辨率修復的結果雖然不錯 但是卻非常依賴顯存 經常會出現爆顯存的情況 並且繪製速度極慢 所以要排個序的話 那一定是Tiered Diffusion 大於Ultimate SD Upscale 大於高分辨率修復 Tiered Diffusion 直接表現出來的優勢 就是效果好 效率高 佔用顯存低 可控性強 下節課我們將全面學習 Laura的相關概念 以及如何搭配使用Laura模型 來繪製特定風格的圖片 我們下期見 拜拜