【AI+建築】Lora從原理到實戰終極寶典丨從入門到進階全流程丨Stable diffusion AI繪畫

從接觸AI繪畫開始 從我們的課程開始 你不僅一次都聽過這個名詞 一個不到200MB的小文件 卻能發揮出極其強大的作用 諸如改變風格 畫面增強 固定特徵 資源穿越等等 還有着極其豐富的應用 這就是我們大名鼎鼎的 Laura模型了 這裏是阿薩 你正在收看的是 我們AI繪畫 加建築設計零基礎 培訓課程的第六節課 在之前的第二節課裏 講各類模型介紹時 就已經給大家簡單梳理了 其中就對Laura進行了簡單的講解 並展示了利用Laura模型 來實現熱門遊戲人物的精確繪製 這節課我們將對Laura 進行一次詳細的剖析 從原理層到應用層 再通過多個案例 讓大家熟練掌握Laura Laura是 Low Rank Adaptation Models的縮寫 意思是低質適應模型 這是微軟的研究人員 爲了解決大語言模型微調 而開發的一項技術 在早期被應用到GPT-2 GPT-3中 比如GPT-3有1750億參數 爲了讓它能幹指定領域的工作 需要進行微調 但是如果直接對GPT-3做微調 成本太高太麻煩了 Laura的做法是 凍結預訓練好的模型權重參數 然後在每個Transformer的塊裏 注入可訓練的層 由於不需要對模型的權重參數 重新計算梯度 所以大大減少了需要訓練的計算量 同理應用到我們的圖片領域 在Laura之前 Stable Diffusion只能通過 由Dreambox方法訓練的大模型 Checkpoint來進行出圖 如果對大模型產出的效果不滿意 那就只能繼續訓練 對大模型進行不斷的迭代更新 微調 但我們之前課程裏也講過 對於大模型的訓練成本很高 消耗大 速度慢 基礎數據極多 於是Github上的這位大佬 也就是第一個將Laura引進SD中的人 在之前關於Laura論文的啓發下 創造性的提出了一種 微調擴散模型的方式 就有了現在我們能訓練 並且使用的Laura模型 相較於大模型的Dreambox 全面微調模型的方法 Laura的訓練參數可以減少上千倍 對硬件性能的要求也急劇下降 訓練大模型通常需要12GB以上的顯存 但訓練Laura可能只需要8GB或者更低 由於需要訓練的參數量大大降低 Laura模型的文件大小 通常在幾十到幾百MB 模型體積小 訓練難度低 控圖效果好 這是它最大的優勢 正因如此 Laura的應用百花齊放 如今在開源社區中 你能看到有大量的Laura模型供用戶使用 對於它的訓練方法 我們在第八節課中 也會給大家詳細講解 如果你覺得原理比較難懂 那我們來做個有趣的比喻 就像一個人顏值不高 想去做整容手術 但奈何成本太高 囊中羞澀 只能通過化妝來改變自己 在這裏通過Dreamverse微調大模型 就像整容手術 而Laura則是那個神奇的化妝品 化妝品的種類繁多 粉底 口紅 眼影 每一個都有它自己指定的用途和使用部位 那Laura模型具體有哪些用途呢 總結成一句話 就是固定目標的特徵分隔 這裏的目標既可以是人也可以是物 可固定的特徵信息就更加包羅萬象了 從人物 動作 年齡 表情 着裝 到材質 視角 劃分等都能復刻 因此Laura模型在角色還原 劃分渲染 場景設計 還有我們的建築效果圖等方面 都有着非常廣泛的應用 Laura模型要如何下載安裝呢 我們在模型網站上 能看到圖片上方的Laura標識 也可以通過Lame篩選 把Laura文件挑選出來 需要注意的是 在下載的時候 一定要看一下作者針對Laura的使用說明 就類似Laura說明書一樣 一般會寫怎麼搭配模型 建議尺寸 推薦權重等等 有些Laura模型的作者 會在訓練時加上一些強化認知的觸發詞 非常建議大家在使用Laura模型時 加上這些觸發詞 可以進一步強化Laura模型的效果 當然有的模型詳情中沒有寫觸發詞 這個時候我們直接調用即可 模型也會自動觸發控圖效果 下載下來的Laura文件和大模型的文件類型是一致的 基本都是Safe Tensor後綴 可以通過我們之前提及的文件大小 輕鬆將它們區分開來 Laura的存在並不是要取代大模型 而是要和大模型搭配一起使用 從而實現對這個大模型的微調 對於Laura的調用有三種方式 第一種方法是直接在提示詞裏 輸入對應的Laura提示詞 當你下載好一個Laura文件之後 將它保存在SD跟目錄下的Models Laura文件夾當中 Laura的文件是可以隨意命名的 調用時只需要在提示詞文本框中輸入 比如我下載了一個名爲MIR的Laura 那麼在調用時就輸入這樣的格式就可以了 如果你覺得手動輸入太麻煩 那麼第二種方法就能幫你節約一些時間 當你安裝好Laura後 在提示詞輸入框下邊的額外選單當中 有一個Laura的選項 點擊右邊的刷新 Laura文件就會以卡牌視圖的方式呈現 然後在其中點擊要調用的Laura 它會幫你自動將Laura對應的提示詞輸入進去 你只需要調整權重數值即可 不過使用這個方法安裝時要注意一點 如果你在models.laura文件夾當中 並沒有放Laura對應圖片的話 在這裏是看不到預覽圖的 爲了方便查看 建議你們下載Laura的時候 隨手下一張通過這個Laura生成的圖片 或者自己用它跑一張圖 然後將它重命名改爲和Laura一模一樣的名字 再一起放到models.laura文件夾當中 再點一下刷新 新的模型和預覽圖就都有了 當然還有更方便的方法 我們還可以點擊Laura文件右上方的編輯按鈕 在這裏會看到對應Laura一系列參數 可以添加描述 查看信息 查看提示詞 它還會生成一些該Laura的隨機提示詞來供你使用 如果你剛好有拿這個Laura跑完一張圖 直接點擊下方的替換預覽圖像 新的預覽圖就很方便的替換好了 通過以上兩種方法調用的Laura 都會被明確寫進提示詞裏 所以在網上看到別人分享的圖片信息時 使用了什麼Laura 權重多少是一目瞭然的 但隨着Laura的發展數量增加 應用也變得越來越複雜化 使用多個Laura來同步工作 這時候如果都寫進提示詞裏 加上各種符號 會將提示詞變得複雜 難以讀取 這時就誕生了第三種調用Laura的方法 那就是附加網絡擴展 沒錯 它是一個擴展 目前已經內置在了WebUI裏 在界面下方有個叫做Additional Networks的摺疊選單 注意 如果用這種方式調用Laura的話 那麼Laura的安裝就不是之前的路徑了 而是要將Laura文件放到這個路徑的文件夾當中 如果你不想複製兩次的話 也可以在WebUI的設置中找到Additional Networks 在最上面的掃描Laura模型的目錄中 將之前的Laura存放路徑Models-Laura完整複製進去 點擊保存設置 這樣就將兩個Laura路徑統一了起來 以後的Laura文件都只用放在這一個文件夾裏就可以了 安裝好後 在Additional Networks點擊啓用 目前附加模型只能選擇Laura 後邊的模型選擇我們要調用的Laura文件 如果沒有 點擊下邊的刷新模型列表 新安裝的Laura就會顯示出來了 選中默認爲1 通過滑桿調整 這裏可以調用多個Laura一起使用 而且是和提示詞完全分開的 你也不用擔心多個Laura混進提示詞裏難以讀取 但是也有個弊端 就是通過這種方式調用的Laura 你生成的圖片信息裏是看不到Laura文件的 所以有時候你在網上看到一張好看的圖 想抄作業時 輸入了一模一樣的參數 卻還是無法做到100%還原 有很大可能就是作者通過這種方式調用的Laura 這個方式還有一個高階玩法 就是利用門板來指定畫面中需要Laura參與的部分 點擊下邊的額外參數 上傳一張門板圖像 使其只作用於門板的區域 瞭解了這三種方式 你就可以在出圖中順利用上Laura了 基本操作和我們之前講過的一樣 選擇一個大模型 輸入提示詞 調用Laura文件 配置各項參數 點擊生成 Laura的應用可謂是極其廣泛 對於我們建築設計行業來說 我們可以通過訓練指定的Laura 來生成指定建築類型的風格 比如塔樓超高層 住宅 學校 商業 產業園 古建 以及一型建築 或者是室內的特定風格 比如法式 極簡 輕奢 奶油 新中式 黑金 也可以控制其出圖風格 例如手工模型 賽博朋克 建築插畫 建築立面拼貼 以及指定的鳥刊圖的風格 我們現在就正式拿五個比較有特徵的案例類型 來演示一下Laura的基本出圖流程 這五個案例分別是針對住宅建築 超高層建築 一型建築 賽博朋克場景 和極簡風格室內 課程中用到的大模型 以及Laura文件 都來自於C站 Libliboo等開源社區 文件我已經下載好了 會放到視頻下方的課件鏈接當中 方便大家直接下載使用 如果使用過程中 覺得哪個模型效果不錯的話 不要忘了進到作者的主頁 給他們點一個大大的贊 正是因爲這些先行者的付出 纔有瞭如今百花齊放的開源社區 好 話不多說 我們開始第一個住宅建築案例的練習 這裏大模型 用到的是老王的大模型 Laura使用A4大常規住宅 將下載好的Laura文件 放到指定位置後 打開WebUI 大模型選擇老王的大模型 正向和反向提示詞輸入框當中 輸入這些提示詞 並把我們要用的常規住宅Laura 加載進來 選中默認爲1不用改 迭代部署改爲30 採用方法默認2mKeras 尺寸調整爲豎向構圖512x768 其他參數保持默認不變 這裏我們再給它加一個ControlNet 控制其建築輪廓 對於ControlNet的安裝 還不瞭解它的同學 也可以在第七節課當中 去詳細的學習ControlNet的原理 及其應用 打開ControlNet的選項框 將我們的住宅線稿圖導入進來 勾選上啓用完美像素模式 和允許預覽 下邊的控制類型 選擇Lineart線稿 下邊會自動加載預處理器和模型 保持默認即可 控制權重改爲1.6 模式選擇均衡 設置完成之後 點擊生成 一張非常精準的住宅效果圖 就生成了 我們將P次數改爲10 再多生成幾張 因爲有了住宅LoRa的加成 可以很明顯的看出 生成的住宅效果圖 還是非常穩定的 接着我們來嘗試一個 超高層建築效果圖的生成 大模型用到的是老王的大模型 LoRa使用兩個疊加 分別是現代建築和超高層建築 提示詞輸入框當中 輸入這些提示詞 這些提示詞 我都會放到課件文件裏 方便大家複製練習 不用自己去一個個輸入 疊代部署20 這裏我們用Additional Networks 來調用LoRa 打開極選項欄 LoRa模型選擇 現代建築和超高層建築 這兩個 權重都改爲0.4 設置完成之後 點擊生成 一張超高層建築效果圖 就生成好了 效果還是非常不錯的 我們再取消LoRa 跑一張圖對比一下看看 你就會發現 生成的結果極其不穩定 所以這兩個LoRa 很好的幫我們固定了 建築的類型分隔 接着我們再來看 一個異形建築的案例 大模型用到的 還是老王的大模型 LoRa是非線性異形造型 提示詞輸入框中 輸入這些提示詞 並選擇要使用的LoRa 點擊添加進來 權重爲1 疊代部署30 採用方法RmCarous 尺寸512x768 其他參數默認不變 點擊生成 我們就得到了一張 異形建築的效果圖 再多生成幾張看看 基本上都是 這個類型的建築 非常穩定 但取消LoRa 我們再來對比一下 上面三個LoRa 是針對不同的建築類型出圖 那我們第四個案例 就來換一下畫面的風格 出一張賽博朋克風格的圖片 大模型選擇邁舉寫實 LoRa是賽博朋克場景 輸入這些提示詞 並將賽博朋克風格的LoRa 點擊添加進來 權重改爲0.4 疊代部署30 採用方法RmCarous 尺寸512x768 其他參數默認不變 點擊生成 我們就得到了一張 非常炫酷的賽博朋克風格的圖片 再多生成幾張看看 生成的也全都是賽博朋克的風格 我們還可以把第一張圖片上的跑車 固定到畫面當中 提示詞裏增加跑車這個詞 點擊生成 AI繪製的圖片當中 都會有這個車的存在 最後我們再來看一個 室內的效果圖案例 大模型選擇邁舉寫實 LoRa選擇極簡室內 輸入這些提示詞 並將這個LoRa點擊添加進來 權重改爲0.8 疊代部署20 採用方法ELL12A 尺寸1024x768 點擊生成 我們就得到了一張 極簡風格的室內效果圖 多生成幾張 都是這種極簡的統一風格 我們換一個風格再試試 保持提示詞和參數不變 將LoRa改爲法式奶油風 多出幾張 很明顯就能看出 和之前風格的區別 有了這個方法 我們再搭配ControlNet 將我們毛皮房的照片輸入進去 搭配對應風格的LoRa 就可以非常容易的 出一些室內的效果圖 以後裝修設計的話 也可以自己搞定了 這就是本節課所有的內容了 如果覺得課程對你有幫助的話 一定不要忘了給up三連哦 總結一下吧 在這節課裏 我們學習了LoRa的原理 三種調用LoRa的方式 以及用六個案例 詳細展示了LoRa模型 在建築設計上的應用 下節課我們將全面學習 ControlNet的相關知識及其應用 我們下節課見 拜拜