【合集】可能是全網最適合建築室內景觀設計師的SD-Webui系統入門課程 | 零基礎新手學習Stable Diffusion保姆級教程 P12 - D09-Controlnet基礎參數詳解

Hello大家好 歡迎來到本節課 今天這節課我們來給大家講一個非常重要的插件 可以說是最重要的 沒有之一的插件 就是control net 那麼通過control net 我們可以去實現很多的功能 就是你可以它可以基於你的 比如說你的三維模型 你的手繪 然後你的照片 它基於你的這些基礎的內容 在你的內容基礎上拿去生產我們的圖像 它可以去控制我們的構圖 控制我們的色彩 控制很多很多的東西 就是通過control net去控制它 這個插件它的安裝方式 我們應該是已經給大家去集成好了 這個插件在我們的整合包裡面 裡面有安裝 你自己去裝的話 應該是在這個 有一個這個鏈接 大家可以自己去搜一下 這個鏈接到時候我會發到這個科技裡面 這個鏈接裡面 它同時還有對control net相關的一些介紹 大家也可以自己感興趣的話 可以去打開去看一下 這是control net這個GitHub上面的一個主頁 然後它有一些比較詳細的 關於它的一些底層邏輯的一些介紹 我們直接來給大家講一下怎麼去應用 首先我們這個上面 我們先隨便的寫一些提示詞 我們寫一個線內建築 比如說我們還是寫一個最基礎的 我們之前寫的線內建築 其實它就生成的非常的隨機 就是它的整個生成結果是非常不可控的 比如說我生成一個768x512 生成不同的圖線 它每一次它的構圖 它的造型完全是隨機的 沒有任何的規律 這個時候如果說我們現在自己已經有一個大概的想法了 或者說我去網上找了一個參考圖 我想就基於它這個造型 我去重新去生成一些新的方案 這個時候怎麼辦 它生成的這個完全是隨機的 這個時候就用到control net這個插件 它就是可以去幫我們控制住我們畫面的一部分內容 control net它的基本的用法 我們這節課先來熟悉一下 它這有很多很多的類型 我們這節課先用一個最簡單的 MLC直線的這種類型 給大家去講一下 它默認的選擇是在全部這 那麼control net的用法是這樣子的 我們首先勾選啟用 勾選完美像素模式 勾選允許預覽 然後去上傳一張圖片 這個時候假如說 比如說我想去參考這個建築它的這麼一個造型 我想去做一個建築造型跟它差不多的 但是我可能我的一些細節要不一樣的 但是它的輪廓我希望跟它是差不多的 大差不差的 我想控制一下 我想試一下看一下效果 它就可以把這個圖片拖進來 然後拖進來了之後 這個下面我們還是選擇一個類型 我們先用直線的給大家去講一下它的基本的流程 比如說我們選擇MSD 你選擇MSD之後 它的預處理器和模型 它會自動的去幫你去做一個選擇 比如說你選一個別的 比如說我們改成Depth 你看它下面這個預處理器和模型 它都對應的變成了它自己對應的這個預處理器和模型 然後我們改回MSD 然後我們需要去做一件事情 就是點一下這個爆炸的圖標 它就會把我們這個圖片拿去轉成一個線稿 就是它提取出來的這個線稿 這個線稿有點像我們去畫素描的那種結構線一樣的 那麼通過這個結構線 它就可以去控制我們生成的畫面的構圖 就是我們建築的主體的它的框架 就是我們生成的建築的造型 它就一定會是這個樣子的 我們可以來點擊生成 我們多生成幾張 我們生成一個4張 這樣子就可以看得出來趨勢 它這4張絕對它的造型都是長這樣子的 稍等片刻 你看它這一方生成了4張這個圖 它事實上這個圖的造型都是大差不差的 上面都是這麼一個框 然後下面它有一些不同的這種設計 它這個就是通過我們這張圖片 就實現了對我們畫面的一個控制 它其實最終是用它來控制它的 就是用這張圖去控制我們生成的圖 而這張圖它是控制我們生成的這張圖 這裡面有一個關係比較繞 很多同學正常會搞混 我給大家解釋一下 就是我們的control net 它這裡面的幾個圖 首先我們上傳的這張圖 它是通過預處理器 通過它通過預處理器 然後變成這張圖 變成了這張圖 那麼這張圖它再去變到這個圖裡面來的 那麼這個中間就是經過我們的stable diffusion 就是這個過程中間經過的就是我們的SD 就是這個意思 這個地方從這個照片到我們的黑白的圖 黑色的背景的白色線稿這個圖 它是通過預處理器來的 而我們這張圖然後再經過SD 然後它就控制我們實現的圖 是這樣子的一個關係 很多新手把預處理器和模型之間的關係 是搞不清楚的 它其實經過SD的時候 它其實也是用了我們的模型 它其實應該更準確的說法的話 應該是這樣子 就是它先是先是這樣子 我們通過這張圖 然後通過預處理器 然後到這個位置 然後它通過這個圖 然後到這兒 然後再結合我們的SD 對吧 就是再加上加上我們的SD 然後加上我們大模型 加上我們提示詞 然後它再生成了這個圖 它是這麼一個關係 就是先經過預處理器再經過模型 這個關係不要搞錯了 很多同學這個預處理器和模型 它這個關係是搞不清楚的 那這個預處理器和模型 你第一次使用的話 有可能是如果說你是自己裝的話 有可能是沒有的 這個要提前去安裝一下 預處理器和模型的安裝路徑 我再打開給大家說一下 我們在最開始講 這個Stability Fusion的安裝的時候 應該給大家提過 你的模型可以放到我們的 Stability Fusion的 這個叫Models 然後這裡面專門有一個叫ControlNet 然後這裡面我們常用的模型 都給它去整理好了 如果說你沒有的話 你下載一下我的整合包 把這個模型把它拷貝過去就可以了 我們1.5的這個大模型 對應的就是1.5的ControlNet 然後XL的話 它有對應的XL的這個ControlNet 然後我們的預處理器 它是放在另外一個文件夾 在Extension就是這個插件 然後你去找到插件ControlNet 插件我們SD-WBY-ControlNet 然後在這個Allotator這裡面 就是這裡面有各種各樣的預處理器 你可以把我的整個文件夾也是拷過去 這個文件夾稍微的有一點點大吧 我看一下 也是有十幾個G 你可以把它一起拷貝過去 然後常用的這些預處理器 我都給你已經給大家下載下了 因為你第一次有可能使用的時候 需要去聯網去下載 就是你選擇了這個MSD的預處理器 但是你實際用不了 它本地沒有 它去給你去做一個在線的下載 但是你網絡環境比較差的話 有可能就下載不下來 你就會直接彈出來的錯誤 就是你直接在這一步就卡住了 就是你從這張圖轉到這張圖 你直接這張圖就出不來 你就卡住了 你後續的工作就沒法進行了 這個是大家要去注意一下的 那麼這個預處理器 我們除了去選擇它自帶的 它其實有些時候 一個我們的控制類型下面 它有幾個預處理器 比如像MSD 它除了自帶的MSD 它把你的圖片 去給你去轉成 線稿之外 它有一個叫invert 那麼invert它主要是針對白色背景 黑色線稿的圖去做一個處理 比如說我們自己經常 比如說我們做設計師的 就是你自己去建一個模型 比如說你建好了這麼一個體塊的模型 那你自己有一個模型的線稿 你不需要他去給你去分析你那個照片 我自己已經把這個線稿做好了 那你把白色線條拖進來 拖進來的話 你只需要去做什麼事情 就是選擇invert invert它就是專門去處理這種白色線稿 就是你白底的這種黑色線稿 然後它就是做一個反向 就是相當於ps裡面 它就直接給你反向出來了 然後你就可以基於這個圖去給它生成 那這還有一個小技巧 就是我們這個圖片的比例 它不一定是我們768乘以51的比例 你可以直接把這個圖的尺寸發送上來 我們這個圖的尺寸是1496乘以768 那如果說你開始 你覺得你的電腦顯卡顯存比較小 你生成不了這麼大的圖 你可以把它鎖定一下 點一下這個鎖 然後把它去縮小一點 比如說我們生成一個800 然後它下面的自動會給你去 適應一下你的比例 然後就會生成一個800乘以408的這麼一個圖 然後我們點擊生成一下 它就會基於我們現在這個線稿 那麼這個線稿就不是 從照片裡面去識別出來的 它就是基於我們自己建的模型體塊 它就可以去幫你去生成這樣子的圖像 對吧 好 那麼這個就是一個新的建築的一個案例 然後它的體塊的造型關係 就是嚴格的按照我們的這個去生成的 那還有一種情況 就是如果說你自己已經把黑色的圖做好的 我直接就做一個黑色的線稿圖 我自己用ps把它p好了 那麼這個怎麼去做 這個時候就不需要預處理器了 這個時候預處理器你直接選擇無就可以 這它還有個選項叫無 就是不用預處理器 直接把這張圖原圖傳送給他 你點一下這個 他直接把原圖傳送給他 然後你再點擊生成一次 我們來看一下 還是可以對吧 它只要是符合它的預處理之後的結果 因為AI它去認識這些圖片 它有一個自己固定的格式 像線稿的話 我們都是要求要黑色的底 然後白色的線條 它生成的這個就可以 那如果說你已經自己提前做好了之後 它就會可以選擇這個預處理器 選擇無就可以 直接讓它去生成就ok了 好那麼這個是關於control net 去使用的一些最基礎的方式 那麼除了我們上面的這些控制類型 我們後面會一次的去給大家 去做一個詳細的講解之外 下面還有幾個參數 就是比如說我們再拖回這張圖 給大家去解釋一下刷新一下 然後我們重新來點擊一下這個 選擇一下我們重新去換一個 隨便換一個 然後我們再換回來 換回到這個MSD 它就會又會回到默認的選擇 然後我們基於這個MSD 我們去拾取它的線稿的時候 它其實還有一些選項 就是這個下面有一些控制類型 它會有這個選項 有些控制類型它沒有這個選項 它這個選項的意思是指的是 你的這個地方 它自動去識別這個線稿 它有一個叫threshold 就是差不多是預值的意思 就是當你把這個值往這邊拉的時候 它的線稿會更乾淨一些 就是它的線條會更少 你可以去試一下 當你把這個值拉得很高的時候 它的線條就越來越少 當你超過一定的時候 它就畫面就根本就沒有線條了 當你把這個拉到最左側的時候 它這個線條出來的就會比較複雜一些 如果說你覺得出來的識別 出來的線條太複雜了對吧 有些線條可能不是你想要的 可以適當的把這個值往我們的右側 稍微拉一下 它出來的線條就會越來越清爽 越來越簡潔 那麼它的畫面 它就會根據你新的圖去控制它 你可以去點擊生成一下 然後這個地方我們的參數又發生了一些變化 我們可以把它的參數重新發送上去 它是800乘以600 然後我們來生成看一下 這次它的線稿就控制的就沒有那麼 沒有像之前那麼嚴格了對吧 因為它識別出來的線本身就要少一些了 我們可以把再往這邊再拉多一點 我們拉到一個比如說0.4G左右 我們看一下它的線就更少 我們再做的極端一點 0.6G我們看一下 它就只剩很小的線 只剩幾根線的窗框的還有幾根線 然後我們看基於這樣子的這麼一個控制 它生成的造型它就會給它更大的自由度 你只想大概的一個形跟它是差不多 但是我又給它更多的自由 我讓它生成一些更自由的東西 我們在參考別人案例的時候 我基於你的參考案例 然後我去生成一些新的方案 這個就是慢慢的去拓展你的思路對吧 這個它就越來越不像你原來那個方案了 這個就是你去通過控制的我們叫預處理器 下面有一個滑稿可以去拉它 然後另外一個滑稿是指的是它這個叫距離 就是當你的距離太近的時候 我們這個地方把它回到默認的參數 應該是0.1左右 然後這個地方有個叫distance 就是它的距離的預知 就是當你的距離太近的 比如像這些植物它有些被識別出來了 如果你不想它被識別 它可以去把一定距離範圍以內的東西給你清理掉 你可以再拉極限一點看一下 但這個值好像它是有一點bug的 這個好像實際測試下來之後 它並沒有按照它寫的意思去生成 拉到頭好像它也沒有什麼作用 這個可能是有點bug 這個大家主要就關心這是上面這個參數就可以了 就是MSD它除了MSD還有一些類型的 它都有一些這種滑塊去控制它的 生成圖像的精度的意思 然後除了這個滑塊之外 這個中間還有幾個比較重要的參數 就是控制權重引導介入時機和引導終止時機 我們把這個重新來 先生成預處理的結果 控制權重這個很好理解 就是當你的控制權重調的比較低的時候 比如說我把它調到 我們先把這個生成一個 我們先生成一個 然後我們把種子固定下來 生成一組 我們生成4張 好這個時候就是我們控制的 它的權重默認的參數是1的時候 它基本上就是按照你的 線稿的意思去生成的 如果說你把權重調到很低 比如我調到一個0.5以下 它的權重就相對降低了 就是我們在生成這個圖像的時候 它是提示詞和我們的圖片對吧 一起去起作用的 如果說我們把圖片它的控制權重降低 相對圖片參與的就很少 就像我們的提示詞本身它也是有權重一樣的 這個時候它的圖片影響就會降低 它的圖片參與的 但是它參與的並不多 它有一些造型它就超出了你控制的模式的這種影響 比如說像這些建築對吧 頂上它就支出去了一些污染 像這個建築頂上它也冒出去了一坨對吧 然後這個建築旁邊它也冒出去了一坨 就是它就沒有完全的遵循你的線稿的這種控制 這個就是控制權重 然後把它改回1 然後還有一個叫引導介入時機和引導中止時機 這兩個參數是什麼 就是我們這兒總共不是迭代步數有20步 然後它的引導中止時機和介入時機表示的是 假如說我引導介入時機 我們要開到比如說0.25 那麼它就表示從25%開始 就是1 4的位置 就從第5步開始介入進來 那麼前5步它就沒有介入 它就會一開始的時候 就是它在那個噪點階段 它就沒有控制加入進去 這個我們調的相對來說比較少一些 然後還有一個叫引導中止時機 那比如說我把這個調到0.75 它是什麼意思 就是我們總共這裡有20步 我們在只有75% 它是有這個控制模式在裡面去參與的 那它剩下25% 它就沒有這個controller去控制它 這個時候允許它去生成一些更多的細節 就是我們前面大部分我們已經把它控制住了 但是我們可以允許它在我們的控制模式之外 去生成更多的細節 我們經常會這樣子去用 這個引導中止時機 我們可以來生成看一下 通過這種就是降低它的引導中止時機 有時候我們可以去讓畫面得到更多的這種自由度 這個我們在實戰案例的時候 我們到時候會給大家去做進一步的詳細的瞭解 大家可以先知道有這幾個概念就可以了 我這裡把它調回1 它默認的參數是1 然後這下面還有三個參數 這三個參數稍微給大家提一下 它這三個參數一個是叫均衡 默認的就是均衡 而更偏向提示詞和更偏向controller 其實就是它的字面意思 就是當我們如果說更偏向提示詞的時候 我們其實在生成這個圖像的時候 它既有我們的controller這個結果 然後也有我們的提示詞的結果 然後一起去生成這個圖片 有點像我們的Majorly裡面說的那個電圖 這個時候如果說它更偏向提示詞的話 就是這個controller它的影響就會小一些 它就會更偏向提示詞 就是你提示詞裡面寫了哪些內容 它就盡量的按照你的提示詞裡面去寫 但是它也會參考一下controller 但是它參考的比重就會低一些 那麼如果說你用的是更偏向controller的話 它的controller的權重相對就會變得更高一些 它其實有點像我們去提高它的權重 或者降低它的權重 但是它又不完全一樣 大家先對有一個瞭解有一個概念 我們後面在實戰裡面 我們會再去給大家去深入的去講 哪些時候我們應該去怎麼去調這些參數 這些參數可以結合起來一起去使用 那麼第一次我們講的controller 大家先知道就怎麼去控制 就怎麼通過我們一個圖像 去控制我們這個畫面去生成的內容 你一旦你看上了大概你想做這麼一個造型 你可以自己去建個模拉個幾塊 拉成這個樣子 你也可以找一張照片 讓他基於這個照片就給你去分解 分解出來分析出來你這麼一個造型 然後你生成的圖像 它就一定是基於這個造型 然後去給你生成更多的這種創意 去給你去做一些參考 那麼這個就是controller它最基本的作用 那麼我們這節課先就給大家講到這 謝謝大家