【合集】可能是全網最適合建築室內景觀設計師的SD-Webui系統入門課程 | 零基礎新手學習Stable Diffusion保姆級教程 P17 - D14-生成圖像多種控制方式

Hello大家好 歡迎來到本節課 今天這節課我們來接着給大家講一下 Control NET裏面的一些其他的控制類型 那麼這些控制類型 通常來說我們不會把它作爲 我們在做控制的時候的第一選擇 但是有時候我們會把它作爲一個輔助 比如說像我們的深度 然後還有一些別的 像什麼Tile這些 它在我們做後期的時候會有一些用處 我們這節課來給大家去做一個補充 就是還有一些我們沒有講到的 那麼首先第一個深度它是什麼意思 我們可以拖一張圖線進來 比如說我拖一張圖線 儘量Q權啓用完美享受允許預覽 然後我們選擇這個深度 然後它會有一個默認的預處理器 默認的預處理器通常來說就是最合適的 然後其他的預處理器它也可以去做 它就是相當於把圖片給你去轉成一張深度圖 我們可以先用默認的來給大家看一下 它就是這個意思 就是深度圖如果說大家做過渲染 應該知道有一個叫Z深度通道 它就是那個意思 它就是用這個畫面的黑白灰的關係來表示 你畫面裏面的物體距離我的鏡頭的遠近關係 越黑的地方就是距離我的相機鏡頭越遠 然後越白的東西就是距離於我的相機鏡頭越近 然後灰色的就是距離中間的對吧 越黑越灰它就越離我的鏡頭遠 越白就是離我們鏡頭越近 就是這個意思 通過這個來控制我們去生成畫面的構圖 它不一定這個地方具體是個什麼東西 它跟我們的比如說我們前面講的線稿對吧 它會把植物的線稿很精細的提取出來 生成的植物跟它大差不差 如果說你是用羽翼分割的話 它這方植物對吧 灌木它會單獨有個色塊 它可以控制住它生成的是一個 還是是同樣的類型 但是我們這裏控制的是 它只是在這個位置擺了一個東西 在這個位置有一個構圖 我一定要在這個地方擺個東西 但是我不一定生成的具體是什麼東西 是植物也可以是石頭也可以對吧 是一個灌木也可以 或者說你是一個擺了一個什麼玩具在這也可以 它都是可以的 這個就是深度 我們來給大家直接實操演示一下 我們把768把寬度改一下 然後提示詞用反向模板 然後正向提示詞用一個顯示器手勢 加一個現代建築 然後我們別的提示詞就不寫對吧 自己去猜測 自己去發揮自由發揮一下 然後我們生成一個4張可以看一下趨勢 因爲你生成一張的話 有時候正好就是萬一生成的結果就是植物 你可能會覺得是不是每次生成都是植物了 我們多生成幾張看一下 它生成的好像還真的就是4張都是植物 但是我之前生成的時候 其實它有時候會是一些石頭 我可以給大家看一下 我們研究科建的時候有一些記錄 比如這個它就是石頭生成的是石頭 然後還有一些 它不一定生成的是植物 然後我們回到這邊來 然後DEPS裏面它還有一些其他的預處理器 比如像這個它其實算的就沒有那麼準 它就是不同的預處理器 它可以把圖片去給你轉成 我們的深度圖的功能 你看它轉出來 不太對對吧 你天空肯定應該是最遠的 那麼天空爲什麼這麼白 而且它生成的結果還不穩定 多去生成幾次 它有時候是這樣子的 有時候又不是這樣子的 你看到植物這怎麼會比天空還要遠 這個就不太對對吧 但是我們用MIDAS 就通常來說就比較好結果 然後第二個是NORMAL NORMAL的話是法線貼圖 法線貼圖它跟DEPS的 它實際的用處其實有點像 它也是控制我們畫面的這種凹凸質感的 但它的解釋的原理會有點不一樣 法線貼圖它是指的 大家稍微想一下 就是法線貼圖它是指的 在物體的凹凸表面 每個點上面去做法線 就是每個點它都有個凹凸的這種 它朝不同的方向去做它的法線 然後通過RGB值的顏色通道 來標記法線的方向 這個說起來有點繞 總之就是比如說你這有一個石頭的牆 那麼然後去表達這個石頭的凹凸 它就會出來一個這樣子的圖 包括像磚牆它也會有這樣子的圖 那麼通過這種就是我們的這種法線圖 它就可以去表達我們圖像的凹凸程度 在STABILITY FUSION裏面 我們用法線我們來先做一個預處理 這個法線其實我們實際真正的 我們在做設計的時候用的時候 經常就是做貼圖裏面去用的 在實際的控制裏面 我們相對來說用的會比較少一些 但它其實也可以去控制住 我們畫面的這種凹凸這種質感 而且它是建築造型 它也會有一部分的影響 然後我們來點擊生成一下看一下 好它很快就生成了這樣子的結果 這個結果它跟我們之前講的一些 很多控制類型裏面的 控制出來的效果有點像對吧 就是NART包括我們的MOSD 控制出來的結果都有點像 我們一般來說我們會優先去選擇線稿 這個它用的相對來說會少一些 因爲線稿我們可以自己去做對吧 這個法線我們很難去自己去做 就是你只能通過一張照片去轉 你只能去參考別人的照片的時候 你用得到 但是我們自己去做法線貼圖是比較複雜的 可能在一些別的行業可能會比較常用一些 但是在建築行業用的比較少 下一個是這個叫Open pose Open pose這個就跟我們設計行業 基本上沒什麼關係了 這些順便簡單的給大家科普一下 Open pose主要是做人像的時候 它可以控制人物生成的姿態 比如說我這方有一張人像對吧 我把他拖進來 然後你可以去檢測他的人像 他會去做一個分析 就是你這個人是一個什麼姿態 你看他的肩膀是傾斜的 手臂是這樣子的 然後這邊他的腳是這麼站位的 他就是這樣子去生成的這麼一個人物 好 然後我們可以去寫一下提示詞 這邊我們比如說寫一個男孩在打籃球對吧 我們就把一個男孩在打籃球 他就會生成一定會生成這樣子的姿勢在打籃球的 雖然這個姿勢看着有點彆扭 對吧 但是他就是會生成這樣子的 因爲你控制住了 你用這個圖去把生成的人物的形象 把控制住了 你看到這邊他每一個人打籃球的姿勢對吧 都是這樣子肩膀傾斜的時候 這樣子去擺在這兒的 然後腿這樣子站的 然後這個地方的尺寸 我們應該去調一下 這個是一個方圖的 我們這裏改成了一個寬圖 那總之他就把這個控制住了 對吧 就是就這個意思 還有比如說他還有一些別的類型 比如說你去畫人物的特寫的時候 他可以仔細分析他的什麼面部 你看到這兒他有更多的這種控制類型 他默認的這個是全身檢測 然後有這種什麼緊臉部 然後還有什麼open pose姿態 緊臉部 然後什麼其他的 還有手部的什麼檢測 因爲這個AI畫人像的時候 其實手他經常容易去畫出什麼6個指頭 什麼這些 就是如果說你要去畫手部的特寫 可以去開手部的專門的檢測 比如說我們這開一個臉部的檢測 發現他單獨去把你的臉的姿態去做一個識別 你也可以去把臉和全身一起去做一個識別 比如說這兒他現在是一個女孩 然後他的臉是這樣子朝向的 我們可以通過這個來去控制生成人物的一個姿態 比如說你去把換成一個老人 比如說我這地方一個白髮老年男士 比如說這樣子 他就通過提示詞可以去生成新的內容 但是他的面部的姿態朝向 他一定會按照我們引導的去生成 稍微等一下我把他的圖像的尺寸調一下 我們這反轉一下 因爲他是一個這種高度 這種寬是比高要低一點 看我們生成的這個人物 你不管生成多少張人物 他的臉他一定是這樣子的一個朝向 因爲他檢測出來了 他用他去控制住了人的臉部的姿態對吧 這個就是open pose他去做的一些事情 還有些別的 大家可以下來自己去玩一下 檢測手部姿態這些 我們在設計裏面用的比較少 我們就不去給大家去贅述了 然後下一個我們沒有講到的是叫Tile Tile這個模型它主要是拿來去做分塊放大的 然後它比較厲害的點是什麼 它可以幫你去補充很多的細節 我們拿一個比較極端的圖線來 就是這裏有一個表情包 這個表情包其實很糊 這個應該在網上看到過 就這個圖已經馬賽克了對吧 就是糊成糊的包漿了 然後這個圖我們可以通過Tile這個模型 很容易的就可以去實現對它一個高清的一個修復 Tile這個模型非常厲害 然後我們選擇Tile 然後我們就用它默認的Tile resample就可以了 然後點一下它就是把圖片原圖直接傳過來 然後我們把它的尺寸發送上去 然後我們來生成4張 這個地方的提示詞我們就稍微改一下 就寫一下一隻貓就行了 然後我們寫一下一隻貓 好就是a cat就這麼簡單 然後加一個基礎提示詞 然後我們這你看到這個地方原來很糊的 它一下就可以給你生成非常多的細節 好你看到這個圖這麼多細節 你看到原來這個圖是什麼樣的 原來這個圖我們放大給大家看一下 這樣子的這個圖它可以去給你放大成這樣子的 就是它放大的同時當這個尺寸我沒有放大 其實我可以去在做放大的同時 加入Tile去給它去增加細節 就是你沒有去做放大的 它已經可以給你修復你的畫面裏面的很多的細節了 Tile它還有一個比較常見的用法是什麼 我們在可以放到圖層圖裏面去使用 圖層圖我們之前跟大家說過 就是我們圖層圖它本來是一個電圖的這麼一個操作 我如果說我要去把這個圖片 比如說我想去做一個放大 現在這個圖相對來說還是比較小 因爲我是4K的屏幕 它在4K屏幕上面看着就比較小 如果你是1080P的屏幕的話 差不多可能有這麼大 但是如果說我想把這個建築去增加一些細節 這個時候我們就可以用Tile去做 那麼Tile的話在圖層圖裏面去做一個放大 我們把它拖進來 直接拖到圖層圖這裏面來 然後它的提示是怎麼寫的 這一方我可以給大家補充一個小技巧 我們可以直接用這個click反推 就是用AI去反推它的提示詞 點這個click反推 它就會用AI它認爲的語言去反推這張圖 應該怎麼去描述它 你第一次使用的話 它應該是要去下載一個模型 就是我這一方顯示後臺再下載一個模型 等它下載完了之後 它這有一個download下載完了之後 它就應該是可以去正常使用了 這個地方有一個模型路徑 這個應該是我們配置給大家 就是你配置的文件 它還是要去做一個下載 讓這個地方的路徑 我們可以找一下它路徑裏面的模型 我們應該是有的 webUI10.5 然後models 然後bip 然後文件800多兆的文件 我們在配置文件裏面 應該是直接給它準備好了的 如果說沒有的話 它就會再見下載一次 然後下載 下載了之後它還要去下載一個東西 就是你第一次使用這個click反推的時候 它要去下載一些東西 但是下載好了之後就不需要了 第一次的時候你要打開控制檯看一下 看一下這個進度 稍等片刻 它這個地方就加載完了 加載完了之後 你會看到這個地方 它就會反推出來一個提示詞 然後提示詞就是描述你的畫面的 好我們就可以直接用AI 自動去幫我們去描述一下這個畫面 有時候我們不知道怎麼去寫提示詞的時候 好然後我們在後面加一個顯示器的時候 是就可以了 然後比如說我這個大模型 我切換成這個architecture的 然後反向提示詞 我們還是用一個反向的模板 好然後這個時候我們可以去把我們下面 就是把我們成繪尺寸的倍數調大一點 我們調到比如說兩倍 這個時候它就把這個圖像可以去做一個放大 我們輸入一個2確定 然後其他的參數 你可以就用默認的就可以了 然後這個重繪幅度了 當我們加了tile之後 這個重繪幅度它就沒有那麼起作用了 就是因爲tile它會把你的這個型控制住 就是我們在文身圖的時候 其實它雖然說是在放大對吧 雖然說我們這寫的提示詞 但是它還是基於你原來這個圖像 就控制住它去生成的 所以我們在圖生圖裏面 這個地方的重繪幅度 你可以先暫時不用去管它 你可以先看一下這些效果是不是ok的 我們可以在control net這個地方 去如果說你在圖生圖裏面去 你要去上傳獨立的圖像的話 你在control net的地方 如果說你不去選這個上傳獨立的圖像 你勾選啓用 然後勾選這個完美像素模式 它就是用的這個圖片本身 去作爲它的control net 那這時候你就直接勾選啓用就可以了 如果說你要去上傳獨立圖像 要單獨勾一下它 這個是control net在圖生圖裏面使用方法 稍微有點區別的 那麼這個時候我們選擇tile 然後其他的我們就用默認的設置就可以了 然後你可以先生成一張看一下 因爲這個尺寸變成了兩倍對吧 那麼這個時候要稍微的等一下 它的生成時間會慢一些 這個有些東西電腦如果說顯存比較小 有可能兩倍就生成不了 你可以生成1.5倍試一下 ok它就把這個圖片做了一個放大 你看到這個圖片現在就是它的尺寸 跟之前就不一樣了 它的這個尺寸現在是應該是 我們可以直接拖到這個無邊瀏覽器裏面 圖像瀏覽裏面來我們來做一個對比 然後我們來添加一個圖生圖 然後在這兒 然後我們可以來拖放一張在這兒 然後我們再加一個 我們這個空白的頁面 我們可以去設置一個自己的這個路徑 然後這個路徑我們可以去在這兒 去找到我們的這張圖的路徑 c然後粘貼一下 然後ctrl v ok 然後我們點擊它 我們可以把這張圖片給它拖進來 這個圖片然後拖到這兒來 我們可以來做一個對比 然後確定 然後我們再全屏查看 然後這個時候你可以看到 我們這個右邊 右手邊的這個它是我們放大過後的 就是做過這個高分修復之後的這個效果 然後左邊的這個是沒有去做 tile放大修復的效果 tile它其實就是可以去做一個放大 你看到這個建築的邊緣 原來這個邊緣 你看到它是比較模糊一點的 然後現在你做了 做了我們的tile去放大一次之後 它這個邊緣會清晰一些 同時看到玻璃上的這些植物的這些細節 反射這種光影的細節也會增加 你看到這個就是tile 它會去做的這個事情 當tile我們在後面去講放大專題的時候 還會專門給大家去講一下 讓大家知道tile它就可以去控制住你的造型 同時它可以去分塊的 去給你去處理你的 一塊塊去給你放大 它的原理是什麼 我們在正常的去放大的時候 比如這個圖它有一個 叫現在放大到多少了 它原來這個尺寸看一下 原來這個尺寸是800×600 現在就變成了1600×1200 那麼如果說你就是普通的去放大 直接去放大的話 它有一個問題 就是它在放大每一塊的時候 我們之前跟大家講過一個基本的原理 SDV1.5它是512×512的這麼一塊的 當你在放大這一塊的時候 它可能會在這一塊變成一個獨立的 結果一個建築architecture 因爲你寫了一個architecture 可能在這一塊又是一個獨立的architecture 它最後就跟這個建築就不那麼像了 但是它有這個算法 它會去給你固定住 就是每一塊它會去參考你的原圖 然後去分析你原圖這一塊 它本來應該是什麼提示詞 然後基於你原來圖的提示詞 去給你去放大 最後就給你拼成一整塊 這樣子它就不會容易出錯 那麼總之它有它就可以去 結合我們圖中圖 可以去做一個放大的這麼一個效果 然後同時它可以去增添很多的細節 它不僅僅是放大 就是它可以增加細節 可以看到貓的案例 非常的特徵非常的明顯 可以去增加細節 那麼這個是tile模型 它的用法 然後下一個是這個叫局部重繪 局部重繪它有幾個用處 局部重繪它局部重繪 其實有點像我們圖中圖裏面的功能 它把它放到control net這裏面來了 比如說我在這個地方把這個圖片拖進來 如果說我要去用局部重繪的話 我們把上面的提示詞改一下 然後比如說我想在這個地方變成一束花 我在這裏我就可以直接使用畫筆去塗抹一下 這個有點像我們圖中圖裏面的局部重繪對吧 我去把這兒去塗抹一下 然後我把這一塊都塗抹一下 然後我希望這個地方它原來是一個草對吧 然後我希望它現在變成這個叫flower對吧 變成花 然後我在這上面就寫一個鮮花 好然後確定 然後它這個地方的局部重繪就是input only 就是我們選擇它就可以了 它就是真正的局部重繪 然後我們點擊生成看一下 這個地方的預處理 結果你做不做預覽其實都可以 就是做了預覽的話 它就直接把預覽圖輸過去 你不做預覽的話 它只是一個預覽 它在內部它還是會運行一次結果的 好這個就是我們去做的局部重繪 就是我們在這去抹了一下 把我們希望這地方變成花 它這地方它就真的去給我們去變成了一些花 但是有些可能生成的不是特別的好 這個也是需要去抽卡的 好這個就是生成的4張 然後有一些生成的比較自然 有些生成的不是那麼的自然 這個就是局部重繪 它跟我們圖中圖裏面的局部重繪的意思比較像 它這裏還有另外一個算法 就是除了input only之外 還有叫全局融合算法 它其實你在這個地方 雖然說你畫的是在這個位置 但是它其實整個圖都會去給你做一個重繪 就是它不是隻重繪這個位置 這個地方你點一下生成看一下 好它全局融合算法的話 你會發現它連這個地方的景觀 都給你去發生了一些變化 你看到景觀這些位置 它都給你去發生了變化 它爲了融合全圖 它就把就是爲了讓整個圖比較融合 就不會像這種 就是我們圖模的地方 有比較生硬的這種接縫 它會把整個圖全部去給你去重新去做一個計算 這個算法實際測試下並不好 就是它讓你的建築有點就是變模糊了 它是有點灰你看到 原來這個建築其實效果沒有特別的好 就是它生成的效果 然後它這個裏面還有一個比較特殊的用法 就是它有一個擴圖的 大家在網上可能也看到過很多擴圖的這些玩法 這一方我們把這個先改一下 改回現代建築 它這個擴圖也是在這地方又出現了一個小Bug 我們把這個刪掉 然後我們再點一下空白的地方 它這個擴圖也是用input的局部重匯這裏面去做的 那麼它擴圖的玩法稍微來說有一點點特別 就是預處理器要選擇input only加Lama 就是這個局部重匯加大型蒙版 然後它的這個地方 步數一般來說我們要去把它調高一點 這個迭代步數我們調到50步左右 然後你的這個位置 我們原來這個圖的尺寸是多少 我們原來這個圖的尺寸是800×600 現在來去改一下 我們可以把這個先點一下發送給它 我們這不要這個蒙版不要這個筆刷 我們點一下清除 然後再重新的發送給它 然後把它發送上去 它本來是800×600 現在我希望擴圖我把它擴寬一點 比如我把它擴成1200×600 這個時候我們怎麼去操作 我希望它在兩邊去給我們增加一些內容 在一些別的軟件裏面 比如PS裏面 大家應該看過這種類似的操作 其實在W3C裏面 也可以去做這樣子的操作 這個時候我們只需要把它的 首先是寬度高度 然後去改一下改成新的尺寸 然後它的迭代步數改成50步 然後下面有一個比較重要的 就是控制模式建議大家去改成 更偏向這個叫control net 然後說放模式要改一下 它默認的這個是裁減 然後說放 然後變成說放後填充空白 然後最好了就是 如果說你直接這樣去生產 結果可能在兩側 會有一些比較明顯的接縫 最好你是在用畫筆 在這個我們先把原來清除掉 清除了之後用畫筆 然後可以調一下大小 可以在兩側的位置去給它塗抹一下 就是塗抹了之後 相當於就是在這個位置 它會去產生比較柔和的過渡的接縫 然後這邊你在畫的時候 它界面會有時候有點不是很 就是你要稍微的多去畫兩筆 它因爲這些地方有一些遮擋 你就用畫筆在這拿去抹一下 再去抹一下 就是把這個接縫的位置 因爲我們現在是800×600 那麼變成1200×600 它就會在這個位置產生接縫 你在接縫的位置先用畫筆去塗抹一下 再給大家說一下 就是我們的迭代步數50步 然後這個圖像的寬度高度 你就改成新的 然後這個位置不要去動它 1200×600 然後我們的更偏向提示詞 然後預處理器來選擇 input only加number 更偏向提示詞 然後說服模式選擇最後一個 相對這樣這兩個參數都選擇最後一個 然後我們來可以點擊生成看一下 稍等片刻這一方就生成了幾張擴好的圖 可以看到它擴的還是比較自然的 就是原來這個建築是長這樣的 然後它這兩邊就給你去做了一些擴展 然後擴展它生成了一些新的內容 它融合的比較自然 但是如果說你非常放大 仔細去看的話 其實還是能看得出來 有些地方有一些接縫 這個你可以結合這種後期軟件 自己再去修一下 但如果說你追求不是那種特別說 100%的對吧 因爲現在AI你說要去做到百分之百完美的 還是有點困難 但如果說你只是放到PPT裏面去做一個彙報 對吧 然後這個圖給你去擴出來 其實你仔細看是看不太出來的 還是比較自然的對吧 就是它自然的去往兩側去做了一些擴充 這個擴而且擴出來好多個結果對吧 這個就是擴圖 就是用input only加number這個算法去做 然後它的用法相對來說要比較的 這個有一些限制 就是要去改一下 迭代部署儘量改高點 然後更偏向control net 然後縮放後填充空白 這兩個去設置一下 好 然後還有最後一個就是我們用的比較少的 就是這個T2i adapter T2i adapter裏面它對應的有好多個模型 然後這裏面的模型 它其實跟我們前面的其實是有些重複的 比如說Depth 然後Canny 然後OpenPose Seg這些 其實都差不多的 包括這個草圖 這裏面有一個稍微特別點 就是這個color 有個color 它可以去控制我們的顏色 在預處理器裏面 我們去選擇T2i color 然後模型這邊去選擇對應的color 我們可以先點一下預覽 它其實做的事情就是把我們的色彩 去轉換爲它取的色 就像我們去做色板的那種 你看到網上有一些這種什麼色卡分享 它有點像從這個圖裏面去取的一些色卡 然後它把這個顏色會運用到 我們新生成的圖像裏面去 然後這上面我設置了一些參數 然後就是現代建築 我沒有去規定它的顏色 但是這個時候你去生成的時候 它一定會生成 就是跟這個圖的色彩感覺很像的 這個可以去控制你生成圖像的色彩 它比shuffle還要直接一些 shuffle它是既有色彩 然後又有一些風格 這個它就只控制你的色彩 就是生成的圖像 一定是這樣子的色彩 如果說你想換一個色彩 比如說你想換成這個圖的色彩 甚至你想比如用什麼人像的色彩 都是可以的 你可以把T2i color這個地方 注意一下就是一定要去選 它不是默認自動給你選的 因爲它T2i adapter裏面對應了好多個 你要一定要自己去選 把預處理器和模型都要去選成color對應的 預處理器它是把圖去轉成這個 然後模型是把圖去打直到 我們生成的新的圖 這個時候我們點擊生成一下 這個圖它主要就是藍色黑白這種顏色 對吧 你看到生成的圖它就變成這樣了 把它的顏色就把它控制住了 這個就是不一樣的這種色彩風格 包括你要去換一個我們再換一個色調 比如說這個地方好的這種顏色比較多 它這裏面就會有比較多的綠色 我們來看一下它又生成一個什麼樣的結果 它這次它直接它也變成這種小建築 可能生成這種小建築 可能綠色才能佔比到這麼多 這個就是它去控制我們生成 圖像的色彩T2i 其他的模型差不多的 就是你可以去試一下 比如說你如果說你要用 比如說你要用open pose的話 它T2i預處理器裏面都沒有open pose 你直接去用open pose自己的預處理器 然後你把模型去改成T2i的open pose 就是我們在open pose的時候 其他模型這其實有兩個選項的 它一個是默認的open pose 有一個是T2i的open pose 通常來說我們會用默認的會用的多一些 T2i的我們用的會相對來說比較少一些 好那麼以上就是我們關於control light裏面 所有的控制類型的講解 就是我們先給大家去有一個基本的認知 然後我們在後面的實戰案例裏面 我們還會去給大家去講更多的這些進階的技巧 那麼這節課就先給大家講到這兒 謝謝大家