【AI+建築】Stable Diffusion圖生圖超詳細攻略 玩轉局部重繪塗鴉重繪

想象一下 你作爲一名設計公司的員工 甲方給你丟過來一張參考圖 說我就要圖中的這個效果 建築形體要有體塊穿插感 局部架空要形成灰空間 立面要利用折線強化層疊感 柱子要修成來強化建築形體的漂浮感 要使用玻璃幕牆和混凝土材質來形成對比 嗯... 停 是不是已經厭倦了乙方的維維諾諾 這次就讓我們來當一次甲方給AI提需求 回想一下剛剛甲方給我們的意見 一張參考圖 一條條的文字信息 這些文字信息就類似我們上節課講到的 AI紋身圖 將提示詞組輸入給AI 讓它理解我們的需求 從而繪製一幅作品 但有的時候只有提示詞是很不準確的 往往需要搭配圖片來引導AI創作 從而產出和參考圖很相似的圖片作品 這就是這節課要講的圖生圖了 嗨 這裏是阿賽 你現在正在收看的是 AI家建築系列Stable Diffusion課程的第四節課 圖生圖的板塊 課程乾貨很多 建議先點個收藏再開始學習 我們之前講過 AI繪畫主要的兩種出圖方式 就是紋身圖與圖生圖 圖生圖有幾大核心功能 分別是圖生圖 圖壓 局部重繪 圖壓重繪 上傳重繪門板 批量處理 在我們建築設計領域當中 主要的工作流是以紋身圖 搭配插件ContraNet爲主 達到精準控制建築輪廓的效果 我們建築領域當中 並不主要拿圖生圖來進行出圖 在圖生圖的衆多功能中 我們主要用它的局部重繪 上傳重繪門板 以及圖壓重繪的功能 用來對生成的圖片 去做一定程度的修改 在這裏很多人可能會比較奇怪 爲什麼我們建築設計 不用圖生圖本身來進行出圖呢 不要着急 馬上會給你答案 打開WebUI 首先我們來看一下圖生圖的整個界面 它和紋身圖的界面基本一致 上面是提示詞文本輸入框 右邊是生成按鈕 和圖片輸出的位置 不同的是 在下面多了一個圖生圖的圖片輸入框 這裏就是輸入圖生圖底圖的地方 進入正題 首先我們來簡單介紹一下 圖生圖的基本工作流 圖生圖的基本邏輯 是基於參考圖片和提示詞 來生成一張新的圖片 它最終的生成結果 是和原圖片比較像 記住這裏像這個詞 如果你給它輸入一張畫面豐富的效果圖 那麼你就能通過圖生圖 得到和它類似的圖片 但是如果你給它一張單一的模型截圖 或者線稿圖片 那它同樣也只能生成出 和模型圖或線稿圖很像的圖片 結果總是差強人意 線稿圖就幾乎完全沒有變化 所以都並不太能得到 我們想要的精緻豐富美觀的建築效果圖 你發現了嗎 圖生圖其實就是非常粗暴的圖片轉換 AI自由發揮的餘地比較少 這就回答了我們之前的問題 不過圖生圖也有它自己的核心領域 它常用於人物的繪製 我們在很多手機APP上看到的 真人轉漫畫的效果 就是基於圖生圖的原理來完成的 通過它可以實現跨次元的操作 利用對應的二次元或寫實風格模型 我們就可以將動漫人物 拉到現實世界當中 或者讓真實世界的人物 穿越到二次元的世界 我們拿剛剛展示的二次元動漫人物圖片 來詳細瞭解一下圖生圖的基本工作流程 以及各項參數 課程中使用的模型以及案例文件 我都會放在視頻下方的課件鏈接當中 方便大家下載使用 打開webUI點擊圖生圖的選項 因爲是要將二次元人物 轉化爲真實世界的人物 所以大模型這裏 我們選擇寫實風格的人物模型 麥菊唯美 然後將圖片直接拖入到 下邊的圖片輸入框中 也可以點擊上傳 因爲我們的目的主要是以圖生圖 所以這裏的提示詞 起的是一個輔助出圖的作用 可以不寫影響不大 也可以簡單寫一些 描述畫面當中人物的詞組 比如女孩 灰色短髮 白色裙子 來強化這些特徵 防止AI出錯 如果你懶得寫 也可以直接點擊生成按鈕 下邊的反推圖片提示詞的按鈕 它可以通過圖片 幫我們自動識別一些 符合畫面的提示詞 並填入到文檔框中 這裏是兩個 分別代表不同算法的反推 第一種使用起來速度很慢 推薦用第二種方式 點擊它符合畫面的提示詞 就會自動加入進來了 接下來看到下面的一系列參數 大部分參數和紋身圖當中一樣 我們已經講過了 圖片下面的縮放模式 和圖片的尺寸有關係 看到重繪尺寸 注意這裏的尺寸 儘量和我們拖進來的圖片尺寸 比例保持一致 可以直接點擊右邊的三角形按鈕 它會自動幫你識別 底圖的尺寸 並輸入進來 這樣做的目的 就是可以避免最後生成的圖片 有被裁減或者拉伸的操作 我們使用的原圖尺寸爲 1024×1536 這裏生成的圖片尺寸 就是1024×1536 如果你原圖的尺寸很大 就將它等比例縮小 所以縮放模式保持默認 僅調整大小即可 如果你輸入圖片 和輸出圖片比例不一致的話 它就會根據你選擇的縮放模式 自動幫你進行裁減或者拉伸 提示詞引導係數 就是最後生成的圖片 和你提示詞的一個關聯程度 這裏保持默認的7就可以 如果你想突出某個特徵 那麼就可以適當增加 提示詞的權重 或者拉高引導係數 這個參數直接影響 你最後生成的圖片 和原圖片的差距 也就是說 參數越高 重繪幅度越大 圖片生成的差距越大 參數越小 和原圖片越接近 這裏我們調整爲0.55 全部設置好之後 點擊生成 我們就得到了圖生圖的結果 真正讓二次元的人物 穿越到了我們現實世界當中 對它的效果 你還滿意嗎 我們再調整一下重繪幅度 作爲對比 就能很明顯的看出 不同的重繪幅度數值 所對應的區別了 這就是圖生圖的 一個基本工作流程 接下來我們講一講局部重繪 拿我們第一節課 生成的建築效果圖來舉例 如果你發現你生成的圖中 建築已經非常完美了 但就是前面的場景差點溢死 你想把場景部分 全部換成草地 再進行抽卡的話 建築也會發生改變 只想修改局部 那該怎麼做呢 這裏就要用到 我們的局部重繪操作了 它是我們建築設計領域 非常常用的一個操作 顧名思義 它可以幫助我們對圖片 在無邊圖像瀏覽器裏 找到要修改的圖片 並將它發送到局部重繪的窗口 它會將你的圖片 提示詞 以及各種參數信息 全部發送過來 如果不是SD生成的圖片 也可以直接點擊 圖生圖裏的局部重繪窗口 將要重繪的圖片拖進來 或者點擊上傳 不過要注意調整一下各項參數 這時你會發現在圖片上 鼠標變成了一個筆刷 右上角有4個調節的工具 分別是 撤銷筆刷 清除筆刷 移除圖片 以及調節筆刷的大小 左上角有各種快捷操作 比如常用的 Ctrl加滾輪調節筆刷大小 S全屏 我們調節一下筆刷的大小 將整個畫面的前景區域 用筆刷全部塗抹 這個區域我們就叫它門板區域 因爲只是對局部進行修改 所以在上面的提示詞輸入欄當中 只輸入草地這個提示詞 下邊的其他參數保持默認 這裏要注意下邊的隨機種子 因爲我們是直接發送過來的 所以發送過來之後 圖片的隨機種子 也自動填寫了進來 我們在重繪時 點擊SR字將數值改爲-1 代表隨機生成 因爲我們局部重繪 是想讓AI根據我們的提示詞 以及範圍有指向性的繪製 並且在固定重繪的範圍內 可以生成多個結果 供我們選擇 所以不使用原來的隨機種子 而且要讓修改後的圖 和原圖有所區別 所以重繪幅度不能過小 這裏保持默認的0.75就可以 點擊生成 修改過後的效果圖 就生成出來了 建築前景已經鋪滿了草地 是不是非常方便呢 利用同樣的手法 我們就可以對圖片上任意內容 諸如天空 背景 局部材質等等來進行修改 接着看下上面的參數欄 我們依次來詳細瞭解一下 這些參數的含義 門板邊緣模糊度 是講你的重繪區域邊緣 和其他部分是如何拼接的 它和Photoshop裏一個概念非常像 就是雲幻 如果你的邊緣模糊度爲0 那麼重繪區域和其他部分 接觸的地方 就會有非常明顯的分界線 就是硬邊緣相接 增大模糊度 儘量控制在實影內 這樣拼接後的圖像 就看不出來邊緣 處理更加的絲滑 門板模式有兩種 一種是重繪門板內容 一種是重繪非門板內容 都是字面意思 對於門板區域的內容處理上 原版就是根據圖片原圖進行處理 填充就是將原圖高度模糊之後 再輸入進去生成 後邊兩個比較專業 有興趣的可以去讀一下相關的文獻 也是不同的處理方式 這裏推薦選擇原版就好 重繪區域有整張圖片和緊門板區域兩種 通常我都會建議你們把格局打開 選擇整張圖片 這樣才能保證重繪區域 和整張圖片的一個契合度 如果你重繪的區域很小 又想快速修改的話 可以選擇緊門板區域繪製 右邊有個緊門板區域下 邊緣預留像素 它就像一個緩衝帶 這裏的豎直就代表緩衝帶的寬度 圖片太大的話 就在這個基礎上適當的增加 小的話就適當減少 設置它同樣也是爲了 讓圖片拼接的更加自然 說完了局部重繪 順便就說一下上傳重繪門板 其實重繪門板和局部重繪是一個原理 只是對門板的製作方式不同 局部重繪是利用筆刷 手動去描繪一個區域 而重繪門板 則是直接上傳一張黑白圖片 來精準控制門板的邊緣 有點像我們平時P圖時 利用通道圖來方便選擇對應的區域 從而對它進行修改 局部重繪適用於邊緣要求不高 大範圍的區域修改 而上傳重繪門板適合 要精準控制邊緣的修改 拿一張圖片舉例 這是我之前拿SD出的 木星美術館的鳥刊圖 有兩棟建築的屋頂應該是預化的 但是AI之前卻做成了水 我們就可以利用上傳門板的功能 來修正它 切換到上傳重繪門板的界面 它裏邊的參數和局部重繪一模一樣 不同的是放圖片的地方有兩個 一個是要重繪的圖片 先把要修改的圖片拖到上面的圖片框中 然後我們要製作一個門板 在Photoshop將要重繪修改的地方 摳出來填充成白色 其他地方填充成黑色 一張門板圖就做好了 白色區域就是我們門板的區域 將它拖動到門板的圖片框中 我們的目的是把屋頂都改成綠化 所以上邊的提示詞輸入框當中 輸入grass 調一下各項參數 因爲我們是想嚴格的控制邊緣 所以這裏的門板邊緣模糊度 就降低一些 填位1 其他保持默認即可 下面的重繪尺寸 點擊這個小三角識別尺寸 這裏的提示詞引導係數 建議拉高到12 讓AI非常清楚的知道 我們要改成什麼東西 重繪幅度默認的0.75就可以 設置完成之後 直接點擊生成 修改後的圖片就做好了 很明顯看出這裏的屋頂 已經被修改爲綠化了 其實這個操作 已經和PS有點聯動的味道了 是不是可控性更高了呢 接下來我們來講一下 塗鴉和塗鴉重繪 目前來說 塗聖圖當中的塗鴉這個功能 非常的雞肋 限制很多 而且出來的效果也不好 它有點像簡化版的塗聖圖 如果要正兒八經 通過塗鴉來出圖的話 一般是通過 ControlNet裏邊的塗鴉控制出圖 塗鴉重繪就不一樣了 塗鴉重繪可以在 生成圖片的基礎上加點東西 還是拿我們之前的別墅建築爲例 我們如果想在這張成圖上 加一棵前景的樹 該怎麼做呢 將效果圖上傳至塗鴉重繪的窗口 調整下筆刷顏色爲綠色 方便AI識別 用筆刷畫一個非常抽象的樹 注意它的形狀可以抽象 但是大小尺寸要儘量的合適 調整下參數 點擊小三角識別尺寸 提示詞引導係數改爲12 重繪幅度默認0.75 然後在上邊的提示詞輸入欄當中 輸入tree 點擊生成 一棵前景的樹 就加在了我們的畫面當中 並且與畫面融合的也很好 這就是Stable Diffusion中 塗鴉重繪的強大之處 它會根據我們畫出的形狀加提示詞 來重繪畫面當中的物體 以上就是本節課所有的內容了 總結一下吧 在這節課裏 我們學習了塗深圖的基本原理和工作流 介紹瞭如何對圖片進行局部修改的 局部重繪操作 以及重繪門板的操作 通過塗鴉重繪對圖片做加法 如果課程對你有幫助的話 一定不要忘了給up三連哦 點一個小小的贊支持一下也行 下節課我們將學習 如何對圖片進行優化和高清放大的操作 我們下期見 拜拜