【合集】可能是全網最適合建築室內景觀設計師的SD-Webui系統入門課程 | 零基礎新手學習Stable Diffusion保姆級教程 P16 - D13-圖像風格遷移進階控制

哈嘍大家好 歡迎來到本傑克 今天這節課我們來給大家講一下 ControlNet裡面幾個跟我們的風格 遷移非常重要的幾個控制類型 那首先我們把這個T40先簡單的寫一下 然後我們的大模型 我們選擇一個真實系的大模型 就realistic這個好了 然後我們既有建築也有室內的 我們來寫一個比如現代建築 然後我們可以先生成一下 我們先看一下這個 就是我們不去加ControlNet 我們在生成一個768x512 然後我們生成一個四張 我們來看一下 如果說我們不去加任何的幹預 我們看一下這個 realistic這個模型 它生成的現代建築是什麼樣子的 那麼等會怎麼去實現 就是控制它的一些風格 OK它現在生成的這個現代建築 差不多就是這樣子 這個其實也還行 中規中矩的 那這個時候我們就可以介入 用我們的風格遷移 就是假如說我想希望這個現代建築 它的這個風格 比如說是像這樣子的 這個插畫風格的這個圖對吧 那我可以把這個圖拖進來 然後我們啟用 然後就選完美像素 然後允許預覽 那第一個這個shuffle shuffle是什麼意思 它就是隨機洗牌 有點像我們在一副撲克牌對吧 就是我們玩完了之後 重新去洗一下 但是洗了之後 你這個撲克牌還是原來這個牌 它有點像 我們在那個顏料盤裡面 去攪拌這張圖一樣 把這裡面的圖裡面的所有內容 包括你的色彩 包括裡面這個圖裡面的一些要素元素 我們建築的風格 這些全部都給你攪拌進去 攪拌進去之後 新生成的這個圖 它會參考你這個圖的這個風格 你的顏色 我們可以來點擊生成 重新生成4張 你可以看到它這個生成的這個效果 就明顯的有這個插畫風 在這個風格裡面對吧 OK 然後你看到生成的這個結果 很明顯的有插畫風的風格在裡面 而且它不是這種小建築了 我們之前生成的這個建築是小建築 我們可以在這個圖像瀏覽裡面 可以看到 之前生成的這個 我們的這個 modern architecture對吧 它是很小的這種建築 那麼這次我們加了這個shuffle進來之後 它不僅借鑒了你的色彩 同時還借鑒了你的這個建築的這些元素 建築的高度 這些它都去做了一個借鑒 那假如說我去換一張圖 我把這個圖又換成一個 比如本來就是這種現代建築的這種 然後我們重新來shuffle一次 然後我們再來生成一輪 給你看一下 OK 這次它又回到了像我們這種小建築這種風格 然後它的配色 包括你的這種尺度感 都跟它很像對吧 這個就是shuffle 它去起的作用 就是像它的字面意識一樣洗牌 但是shuffle它有時候會出現一些bug 就是有時候我們在做室內的時候 看一下我們能不能複現這個bug 就是有時候在做室內設計的時候 它都會產生一些像劃痕一樣的圖片上 產生很多的這種噪點 好這張圖裡面就有 這個圖就有點爛 你看像這些像玻璃碎掉的那種感覺一樣的 把這個在做室內設計的時候 有時候會遇到這個 這個可以適當的去把它的這個權重調低一點點 它這些所謂的這個control net的模型 其實它也像我們的大模型和lower模型 它其實是它有預訓練的 預訓練的時候 它可能設計到這種場景比較少 它生成出來的效果就會差一些 就是有些lower有些這個control net模型 它在某些特定的場景裡面 比如畫人或者說畫一些風景畫 或者畫二次元可能表現特別好 但是你可能畫到這個什麼建築室內 反而它效果又這麼好 像這個室內的怎麼去處理 它這個效果都不算特別的好 但是在建築裡面我覺得效果相對來說還可以 但它有一個比較確定的 就是它會去借鑒你的色彩 我們這個圖裡面原來大量的是這個白色 然後有黑色和這個棕色 新生成的圖裡面它也是基本上是這個色彩 shuffle就是隨機洗牌 它把你的這些色彩 重新去搭配到你的新的這個圖裡面去 但是它的圖像質量有時候會受到一定的影響 這是第一個比較重要的 大家可以去記一下的這個shuffle 它會去遷移你的色彩 然後遷移一定你的圖像的這個風格 就是你圖像裡面的元素它也會遷移過去 然後第二個比較重要的是這個叫IP adapter IP adapter是非常新的一個 就它是在這些控制類型裡面 差不多算是最晚出來的 然後它出來之後就特別火 這個是騰訊新出品的一個IP adapter 這個IP adapter它的出來的時候 很多營銷號把它說這個是叫 一張圖就可以去替代這個laura 就是說我想去做這樣子的風格的時候 我不需要去再去練一個這樣子的laura了 我只需要去把這個圖 添加到IP adapter這個控制類型下面就可以去實現 去遷移它的風格 那到底有沒有這麼厲害呢 我們可以來試一下 我們把這個控制權重改回默認的1 然後上面的這個地方 我們可以把這改成比如說室內設計 我們改成這個室內設計 然後客廳就這樣子簡單的提示詞 然後我們這點擊生成 OK我們可以看到它這個效果確實還可以 就是但是實測下來 就是如果說你要去說去完全替代laura 我覺得還是做不到的 就是它可以去凝膜這個圖片的一些色彩 包括這些圖像裡面的一些元素一些要素 它整個這種感覺大的這種氛圍感 我覺得是還是學習的比較到位的 就是這個圖原圖是這樣子的 然後它出來的圖 這是它出來的4張圖 如果我們不去加這個 我們把這個關掉 你可以去對比一下 就是它realistic自帶的出來的室內設計的風格 好這個新生成的4張 就是realistic自帶的風格 它這個風格就各種各樣的都有了 它跟我們這個風格就差別比較遠了 我們可以再回過去看一下 我們在這個圖像瀏覽器裡面 我們刷新一下 好這4張是這個realistic自動的 這個就是沒有去加任何的 這個我們的controller 它就生成了 然後這個明顯的看得出來還是有對比 對吧 這個它有奶油風的這種 它這個圖片的這種質感在裡面 好這個是IP adapter 它其實確實是蠻厲害的 然後比IP adapter稍微的 這個差不多是一起出來的 這個是屬於也是比較新的 叫reveal 這個reveal它的特點是什麼 reveal它的這個裡面你展開 它有兩個 它有一個解釋 reveal它的原理 它其實是把這個圖片 就自動的去做一個叫反推它的提示詞 就它認為這個圖片 它用AI去描述這個圖片 它認為這個圖片是一個 比如什麼風格的室內設計 然後它會用它反推的提示詞 要麼作為補充 要麼就是直接忽略原有的提示詞 去生成這個圖像 我們可以去試一下 就是它默認這個就是作為補充 就是你這個提示詞 然後再結合這個圖片 它AI自動的去解讀這個圖片 它認為這個圖片應該怎麼去描述它 然後相對加到你這個提示詞裡面去 然後一起去生成這個 這個地方我們要勾選一下啟用 然後我們來生成4張看一下 像這種風格遷移的模型 其實大部分時候 我們並不需要去點這個爆炸 就是你點了爆炸之後 它還是這個原圖 它就是遷移這個原圖的 稍等片刻它這個地方就生成了 它這個遷移的這種效果 我覺得我自己多次對比下來 我覺得比那個Action Adapter 稍微的要弱一點點 但是也還可以 然後你可以再去試一下 另外一個就是它完全忽略原有的提示詞 只用它認為這個圖片 它解讀出來這個提示詞 然後我們點擊一下生成 它這個生成的圖片的這種大的感覺還可以 但是它的這個色調這些 跟原圖就差別會有一點遠 對吧 像這個的話 我覺得跟原圖就差別就稍微都有點大了 它的整體的這種效果 沒有這個RP Adapter那麼穩定 但是相對來說也還算還可以 就是有一些借鑒 然後還有一個更老的 就是這個叫Reference Reference是屬於在他們之前出來的 他們以前我們會用Reference 但現在我已經很少用Reference了 Reference它也是就是去參考這個圖 然後參考這個圖 然後去大概去 遷移一下它的風格 但它這個遷移能力比較弱 我們可以直接點擊生成看一下 好 看到它這個圖的這個幅度 整個這種都是比較暗色調的 感覺就差的就有點多了 這個但它也反正會有一點點參考 就是跟你完全不去加這個Reference的話 它還是會有一點點 去學習你這個圖的風格的 那麼這幾個就是要我去選的話 優先會選擇RP Adapter 然後Shuffle它會一定會去保證你的這個顏色 這個時候有時候你可以去把兩個結合起來去使用 比如說你加一個RP Adapter在這裡 然後你再把這個圖片 再加進來一次 然後加一個Shuffle 然後去用Shuffle去控制它的色彩 當然你可以把兩個加在一起的時候 你可以把兩個權重都調低一點 然後把兩個都啟用 然後它的色彩會依照這個去 然後它的這個整個風格 它也會依照這個去 這樣子生成的這個效果就會更好一些 就是我們的這個風格遷移的模型 也是可以去疊加的 我們可以來試一下 我們點擊生成一下看一下 在RP Adapter和這個Reveal出來之前 我們就只能用Reference加Shuffle的這種組合去做 可能我這個地方的權重稍微調的有點高 剛剛出來的這個圖好像比較混亂 我看到這個地方要去調一下 把這兩個都調低一點 調到個0.5 試一下 然後RP Adapter這邊也稍微調低一點 好這次生成的這個圖 我覺得質量就明顯高很多了 這個你看到它生成的這些很像這個圖的這種風格對吧 就是它的這種大的這種質感 這個大的這種質感 這個Shuffle在做室內的時候 它有時候就是容易產生一些 就是我之前跟大家說過 像玻璃破碎的這種感覺 稍微的把它的權重調低一點 如果說你在做建築的時候 這個Shuffle好像它的這個看上去會正常一些 好這個就是幾個主要的風格遷移 然後還有兩個我給大家做一個補充 一個是這個叫 這個叫IP2P 就是這個Instructor P2P 我們一般簡稱IP2P 它這個模型是幹嘛的 它其實不是風格遷移 我們把這個後面這個關掉 它這個這個叫什麼 就是你用語句直接用一句話 可以去引導這個圖像去生成什麼東西 這一方它的意思是什麼 就是比如說把這個這地方有一張圖 我想讓這個房間著火 這個比較極端的一個例子 它的語法就是有個固定的就是叫Make Make it 比如說你要著火的話On fire 我們看一下 它可以讓這個房間燃起來 就是直接用這個IP2P 然後在你的提示詞裡面去輸就行了 這個地方這個圖好像沒有引導過來 它這個圖生成的跟這個有點差別 這個我看一下是哪個參數 我們這個權重調低的這個地方應該調回默認的 我是說這個怎麼跟這個房間都長得不太像了 正常的話它應該就是 直接讓這個房間裡面的一些東西著火了 這個很厲害 這個就是這個IP2P的這個 你的房間裡面的形狀是沒有變的 你看就是房間著火了 你的這些燈具沙發這些東西還是你原來這個 還有四張有些可能有點變化 但是整個這個房間就著火了 然後比如說你的這個建築 比如說我們輸入一張建築這個圖進來 然後我們還是用這個IP2P 你可以讓它去一鍵的去切換它的這個 風格比如說我們現在是一個正常的晴天的這個 然後它是一個這個草地還比較綠的 我們可以直接讓它變成雪景 make it winter你直接或者make it snow 就直接這樣子輸 它的固定的語法建議大家就是make it什麼 然後點擊一下直接就變成雪景了 你看這個建築還是原來這個建築的 整個場景還是原來這個場景 它直接就下雪了 這個就是IP2P 這個看這個很自然對吧 下雪的這個它這個專門去訓練過的 這個比較神奇的這麼一個控制類型IP2P 然後最後還有一個叫recolor recolor這個我們在建築上面其實它比較弱 但是我可以用一張人像給大家看一下 就是比如說這個有一張黑白的照片 然後你把這個放到recolor這來 把這個人像的尺寸傳送上去 然後這你就寫一個 比如說這個一個女人對吧 一個女人 好然後你點擊生成 它就會去基於這個黑白的照片 去給你去做一個上色 但是這個模型就是這個content的模型 應該主要是基於人去做的域訓練 我們在處理這種人像 去做這種黑白照片上色很厲害 但是去處理建築上色其實很一般 就是我們等會拿這種黑白的這種建築照片 我們來給大家去演示一下 它處理的效果遠遠沒有這個人像這個效果這麼好 蘋果專利有平時就是留一些老照片 你想去做一些人像的修復 大家可以去玩一下 這個是題外話 你看它生成了4個結果對吧 你可以去挑選一下 那麼有些它衣服生成了不同的顏色 這個就是給老照片去上色 但是我們去給這種黑白的建築照片去上色的時候 反而它這個效果就很普通很普通 我們去給它說 這個是一個我們給它加一個顯示器手勢 然後寫一個這種現代建築對吧 現代建築然後玻璃幕牆 我們給它寫一下 給它描述的細點藍天 甚至就是我們都告訴它這個藍色的天 它都不一定能夠生成的出來 我們給它recolor我們看一下 等一下這個地方的尺寸稍微的調一下 把這個尺寸發送上去 這剛剛已經生成了一張了 但是生成的效果並不是特別的理想 OK它這生成了4張 但是這4張你看到像這些位置 明顯的這個位置應該也是玻璃幕牆 而且應該有反光的 這些位置應該也是玻璃幕牆 它沒有做出來玻璃幕牆那種通透感 像這些位置也是 就是它有些塊做出來 有些塊做不出來 它就不是很自然 不像人像那麼自然 這幾張大差不差的 你看出來這個它都是有這種污染 比較嚴重的污染在裡面 看上去不太自然 其實像這種圖片的話 大家應該在網上見過類似這種圖片的 它就是在這種玻璃幕牆的下面 就是它會反射到藍天 然後這個出來應該是一個很自然光感 很柔和的這麼一個效果才對 應該是很驚艷的一張照片 但它出來這個效果對吧 並沒有達到我們期待的這種效果 這個大家知道有這麼一個算法就可以了 好那麼這幾類就是 這幾個就是跟風格遷移關係比較大的 這幾個我們單獨給大家去講一下 好大家一定要去掌握的就是 這個Epidaptor加這個Shuffle 這兩個會比較常用一些 好那我們這節課就先給大家講到這 謝謝大家