【合集】可能是全網最適合建築室內景觀設計師的SD-Webui系統入門課程 | 零基礎新手學習Stable Diffusion保姆級教程 P7 - D04-大模型和Lora模型

哈嘍大家好 歡迎來到本節課 今天這節課我們來給大家講一下 大模型和lora模型相關的一些知識 首先我們打開stabilityfusion webUI的介面 那麼大模型其實就是第一個我們需要去關注的內容 這個介面我們現在用的是1.6.1的介面 你可能之後打開的介面跟我會稍微的有一點點區別 這個介面的它的版本的調整是在我們的啟動器 然後在這有個版本管理 然後在這有一個內核 我們之前說過擴展可以在這去更新卸載去禁用 內核在這邊你可以去切換不同的版本 我現在用的是1.6.1的版本 如果你早期比如你上半年開始用的話 你可能用過一些別的版本 它的介面跟我們稍微的有點區別 但大體上是差不多的 然後我們介面裡面其實主要我們就是需要去調的參數 就是大模型及時值 然後我們的圖片的寬度高度 然後我們要去出圖的張數 這是最基礎的 我們來先來說一下 那麼大模型它是一個什麼意思 就是我們同樣一個詞語去輸給大模型 輸給這個大模型它的結果會不一樣 大模型你可以把它理解為是一個畫家 我們這之前做過一張測試的表 這裡面我們去評測了一些比較有名的模型 然後評測它不同的給它輸入不同的詞語 它的反應 有些模型其實表現不是特別好的 我們都已經把它取消了 然後可以簡單跟大家說一下這張圖表 就是這我們的橫坐標X 表示的是不同的模型的名字 然後這有一些模型 然後包括我們的Architecture Remix 然後包括我們的Landscape 然後我們的Magic Realistic 然後包括我們的Realistic 這個我們用的是之前更早的一個版本 我們去測 這個下面就是同樣的關鍵詞 比如這個是別墅 然後這個是辦公樓 我們在輸入別墅的時候 那麼這個大模型它出來的結果是這樣子的 然後我們的Architecture出來是這樣子的 然後這個模型出來是這樣子的 而Interior Design它出來的又是這樣子的 就是同樣一個詞語 不同的大模型 它對它的理解是有偏差的 這個就好比一個畫家 我們讓不同的畫家去做這個 硬式的題目 你給它出一個題目 不同的畫家他畫出來的內容是不一樣的 有些畫家他擅長畫建築 有些畫家擅長畫室內 比如說你輸一個別墅 你沒有告訴他是室內還是室外的時候 像我們這個建築大模型 他可能偏向於去畫室外 然後我們的室內大模型 他就偏向去畫室內 包括像這個Magic 他畫出來的也是室內 還有這個SDV1.5 這個是最初始的底模 就是沒有去做過這種二次訓練的底模 它出來這個圖像質量就很一般 比較像那種國外的那種 就是這種土房子 比較土 然後我們這些經過訓練的 看上去會現代一些 包括這個Office Building 它也是一樣的 你看室內變成了室內 辦公樓的室內的每個空間 而大部分的我們這些建築 它其實是表現了外觀 然後也有一些像SDV1.5 這個本身它這個質量就比較差的 這個就是不同的模型 它的表現力是有區別的 你想要去做什麼場景 比如說你想是做室內的場景的話 那你肯定優先用室內大模型 如果說你是想用這個 想去畫這個建築的外觀 你優先用這個建築的外觀 如果說你想畫人像的話 你就優先去用畫人像的 其實像這個Magic Realistic 他最擅長的其實就是畫人像 但是它是一個寫實系列的大模型 它跟這個Realistic Viewing 這個都是屬於寫實系列的大模型 他就是什麼都能畫 但是他最擅長的 其實這個Magic這個是畫人 比如說你去給他一個Factory這種提示詞 他就會出現 他對提示詞的理解就有點偏差 就是我們想像的 比如說我們從設計師的角度 我們想像的是去設計一個工廠 那他實際上是出來的圖像是一個人 站在工廠裡面的這麼一個 這種自拍照一樣的這麼一個圖像 這個就可能離我們設計師的需要 就有點偏差了 但是在有些情況下 他結合Laura模型 可能又會表現比較好 那麼這個 大家可以下來再去仔細的去 慢慢的去看一下這個表格 包括我們這個 比如說用Park 這個Magic的這個模型 他也會出來 是一個人在這個公園裡面去 閒逛的這麼一個照片 就是拍的照片這樣子 而像我們的這個Landscape這個模型 在處理這種 像Park這樣子的區域的時候 他出的這個效果就比較有這種 像我們真正的所設計過的這種公園 其他的都是這種 像歐美的那種很 傳統的那種公園 還有這種就是 歐美那種比較傳統的這種 古建築對吧 都不是特別的這個符合設計師的審美 這個就是你普通的需求 你要去選用不同的大模型 那麼通過這個圖像 大家應該比較能夠 直觀的去了解他 然後第二個是 我們去要去加載 可以去加載Laura模型 那麼Laura模型的 加載方式是怎麼樣的 首先我們要去選一個大模型 比如說我們去選擇一個 寫實系的大模型 那麼他這個模型 比如說寫實系的大模型 他雖然說專門 你如果說你直接拿他來去畫這個室內 比如說你要去畫一個Bedroom 可能不見得很好 但是你可以結合一個Laura模型去使用 這地方比如說我們去寫一個 其實是叫室內設計 然後Laura模型的加載方式是在這 這個下面他有一個Laura 以前舊版本他的Laura的 這個位置是在這 你點一下他 他會彈到這個下面來 但新版本就直接在這個位置 點一下Laura 然後比如說你去加 這個奶油風的這種客廳 點一下他 他就會把這個客廳加載進來 然後後面他還有一個帽號 這個帽號表示是Laura的權重 他默認的這個地方 其實不是這樣子的 不是零點齊的 這地方我們去做了一些修改 我簡單給大家說一下 我們怎麼去改的 我這地方提前給大家去做了一個課件 就是我們的Laura的加載方式 他是直接在這個地方去點擊他 他就可以去加載進來 就是他會變成一個提示詞 他是一個方括號的 然後後面去加了Laura 然後Laura的名字以及帽號 帽號後面是Laura的權重 這個怎麼去設置成默認 就是零點七的 需要我們在這裡面去做一個設置 就是我們Laura的權重 對他有一個影響 那麼我們先給大家說一下 怎麼去修改 就是在這個設置這裡面 然後去找到我們有一個叫拓展模型 然後把默認的拓展模型的強度倍率 改成零點七 因為大部分的Laura 我們都不會去使用1的強度 一般來說我們在零點七 或者更低以下 你可以把默認的改成零點七 然後還有就是你的Laura 你們可能如果說沒有去做設置的話 你打開Laura的卡片 就是他的預覽圖特別的大 就是不太好看 就是你一頁能夠看到的 Laura的數量比較少 建議大家在這個位置去改一下 在設置這裡去把卡片的寬度和高度 都改成150 然後卡片的文本大小改成零點七 這樣子就會跟我是一樣的 這樣子的話 你的整個設置好了之後 介面會看上去更方便一些 我們回到Laura介面裡面 Laura他加上去之後 他就會去修飾 他有點像比如說一個畫家的幫手 或者說你一個人拍了照片之後 去給他去調整的風格 後期去做一些處理這種感覺 Laura他是可以去控制你畫面的風格的 我這方也是提前做了一張圖 去給大家去解釋 我們提前跑了一張圖 那麼這就是我們這兒 如果說我們不去加Laura 奶油風的這麼一個死雷設計 不去加載Laura的時候 比如說這個地方有一個叫 Adnet weight 就是權重它是零 那麼權重零就表示的是後面 這個冒號後面這兒 權重是零 那麼他不同的權重表示的 有啥意思 有什麼區別 我簡單跟大家說一下 我們這裡總共跑了5張圖 然後這第一排就是第一列 這5張圖表示的是 我們都沒有去加Laura 我們告訴他 我們要去做一個 現代風格的這種死雷設計 那麼他並不知道 你具體是要更明確的風格 那麼他就會按照他的理解 去生成一個現代的這種死雷設計 但是你把它加上Laura 權重一次加低 當你是零的時候 相對Laura你沒有加 當你把它的權重0.1 0.2 往上去調的時候 我們會看一下 比如我們重點關注 比如從第一排的圖來看 當你的權重是0.1的時候 他馬上就把屋頂的顏色給改了 因為我們要的是奶油風 他屋頂的這種木頭的這種材質 他不像奶油風 那麼他就改成這樣子 當你的權重加的越來越高的時候 他就越像我們現在在網上看到那種 比較網紅的那種風格 就是這種奶油風格 越往上去加 像0.7的話 這個風格就已經很好看了 但是你加到1的話 有可能模型反而會出現一些混亂 這個是我們在訓練的時候 發現的一些特質 就是有可能你把權重加的太高了 他可能反而模型會出現一些圖像的這種混亂 這個裡面還不是特別的明顯 像這個他就出來了兩個電視 有可能會出現一些混亂的這種狀況 有些時候圖像會出現一些發藍發紫的這種情況 大部分情況下 我們到0.7 其實就已經可以達到一個很好的效果了 而且他跟你原始的大模型其實融合的比較好 這個就是Laura 我們在講後面Laura訓練的時候 其實還會給大家去詳細的去講 我這裡可以給大家提前看一下 Laura訓練的原理 其實他跟我們訓練是有很大的關係的 你懂了Laura的原理的話 你對他的理解會更深入一些 Laura和大模型的關係 你可以這樣子去理解 我們這做了一個示意圖 當然這個示意圖不一定是百分之百準確的 但大概大家可以這樣子去理解一下 就是我們大模型 你可以把理解為像一本指點一樣的 就是我們去輸入一個詞語 他就對應的有一個圖像 對吧 他有一個對應的解釋 那麼他是以圖像的形式去給你去做解釋 當我們去輸入一些提示詞的時候 我們輸入一些prompt 我們輸入比如說這兒 然後這兒有一些提示 他跟你的大模型對應起來 他就會產生大模型裡面語字相對應的圖像 如果說我們大模型裡面沒有對應的這些詞條 他根本就不認識這個詞語 他就會返回出來是一個空白的 就空在那兒 他不知道怎麼去表現 他可能會給你一些隨機的表現 而我們去做Lora訓練 Lora訓練它其實是一個非常輕量化的 一個模型訓練的方式 因為去訓練一個大模型 相對你要去編一本字典對吧 那你這個字典編起來其實是很複雜的 那我們就是AI 我們在使用的過程當中 那就有這個人想到了對吧 就說我們能不能不愁著去編一本字典對吧 我基於現有的字典 我去給他去做一些修正 我發現有些詞語 比如說我們建築師常用的 這個線內建築或者說別墅對吧 或者辦公樓 這些詞語是非常常用的 那我單獨把這幾個詞語 他對應的圖像給他替換一下 那麼這個就是Lora訓練 他其實大概來做這麼一個事情 我就單獨把這裡面 其中的局部的一些詞語 一些詞條給他去做一些替換 那也可以去增訂 就是你去增加一些我們的這個 其實只是有些詞語他不認識對吧 我們去增加一個 那麼你把這個Lora和大模型 一起組合起來去使用 它就變成了這樣子 就是你的詞典裡面的原有的一些圖像 就是會被替換 就是我們以Lora他的這個詞條 他的這個訓練的這些詞條 優先級更高 他就給你去換掉了 但是如果說我們的大模型 和Lora模型裡面都沒有的這個詞條 比如說你在寫prompt的時候 寫了這麼一個詞條 他都沒有他不認識 他還是會以隨機的方式 去給你去呈現 但是如果說我們寫的prompt裡面 他有Lora對應的詞條 也有大模型對應的詞條 他就優先以Lora的這個詞條 給你去顯示 當Lora和大模型本身 他都是以圖像的顯示對吧 那麼我們只需要去輸入提示詞 他就會返回出與提示詞相關聯的圖像 這樣子他就做到了一個更新 那麼Lora我們建築師 我們就只需要去訓練對吧 給我們建築常用的一些詞語 他對應的圖像就可以了 然後你室內設計師就專門去訓練一些 跟室內設計相關的這些提示詞 他對應的圖像就可以了 這樣子就可以大大的去節省我們的資源 就不用從頭去訓練一個大模型 因為訓練一個大模型 普通的電腦是根本就帶不動的 比如說像我用的電腦是4090 去訓練大模型也是帶不動的 我們只能去訓練Lora 還勉強還可以 那麼這個就是關於大模型 和Lora的一個相對應的關係 Lora你加載了之後 在這裡就是他有個括號 可以去直接去改他的權重 然後你把提示詞加進來之後 我們可以先試一下 直接給大家去看一下 比如說我們寫一個interior design 室內設計 然後我直接點擊生成 其他參數我都不去調了 然後這個是realistic v5.1的這麼一個模型 對吧 他就是這樣子的 然後我們去點擊加載Lora之後 我們就用一個默認的權重 用0.7 我們點擊生成一下 好你看到這個奶油風的這個質感 是不是一下就出來了 但是我們通常來說 我們為什麼不建議大家把這個開的太高 他超過0.7就有一定的機率會 這個圖像會發藍發紫 比如說我把位置設置的高點 我們設到1.5左右 看一下他這個有時候會有些極端的情況發生 像質量可能會反而會變差 就是會變成這樣子 你看這個圖片有點爛掉了對吧 就是在0.7到1之間 都有可能出現這種情況 只是你看小圖 剛剛可能看的不是很明顯 他反而還不如我們剛剛之前那張圖 那麼我看 通常來說不要建議大家去超過0.7 打開這個文件夾 可以看到我們剛剛生成的這個圖 這個就是0.7生成的這個圖對吧 我們可以把它放大一點 這個圖至少他 你雖然說這個圖片 我們生成的圖像比較小 但是他至少是沒有問題的 而這個你的圖像 這個其實明顯的就已經爛掉了 這個就不太適合 就通常來說我們建議大家默認的 去把這個地方設置裡面去改一下 把你的拓展模型 這個默認強度的倍率改成0.7 這裡也去稍微的設置一下 那麼關於這個大模型和Lora模型 我們第一節課就先給大家去講到這裡