【AI+建築】Lora是啥？大模型是啥？AI四大模型概念超全解析 Stable Diffusion保姆級攻略

checkpoint, lora, embedding, happen network 這些AI模型名詞你或多或少應該都聽過 但卻傻傻分不清楚 有人說學習stable diffusion這個軟件本身不就好了嗎 爲什麼還要學習這麼多模型的概念 模型是什麼 模型很重要嗎 其實在上節課我們講AI原理的時候就給大家說過 之所以AI可以做出各種不同風格的圖像畫作 是因爲其對大量素材的深度學習 對於AI繪畫而言 我們通過對算法程序進行訓練 讓機器來學習各類圖片的信息特徵 而在訓練之後沉澱下來的文件包 我們就將它稱之爲模型 用一句話來總結 模型就是經過訓練學習後得到的程序文件 它就像一個儲存了大量程序信息的超級大腦 百科全書 會根據我們所提供的提示內容進行解析 自動提取對應的碎片信息進行重組 最後輸出生成一張圖片 這節課我們用一節課的時間 給大家講清楚各模型的分類以及使用方法 在AI衆多模型當中 我們主要將它們分爲兩大類 一種是大模型也叫做主模型 常用英文名稱爲checkpoint 另一種則適用於微條的擴展模型 常用的有lora embedding hypernetwork 在stable diffusion裏 大模型通常被保存在安裝根目錄下的models stable diffusion文件夾當中 如果你下載了新的模型文件 只需要把它們複製進來就可以 大模型也被叫做checkpoint 翻譯過來就是檢查點 常玩遊戲的朋友可能更好理解 由於一個大模型訓練起來非常消耗算力 所以模型訓練到關鍵的位置就會進行存檔 有點類似於我們玩遊戲時的解鎖場景和保存進度 方便後面進行調用和回滾 這就是checkpoint的來源 每一個保存的檢查點都可以被我們用來出圖 所以大部分模型都具有迭代更新的能力 大模型是AI繪圖的基本模型 它決定了AI繪圖的主要風格 比如你這個模型是二次元畫分訓練出來的 那它生成的圖片就是二次元的 如果你拿真實世界的人橫幅訓練它 那它生成的結果就是真實的場景 它可以很好的幫我們去控制圖片的主要風格 checkpoint大模型文件非常的大 一般大小會在2-8GB之間 這就是讓你們找一個容量大的盤 來安裝stable diffusion的原因 它的後綴名是CKPT Safe Tensors Safe Tensors佔用內存稍微小一點 通常一兩個G左右 是開發者們爲了模型更加高效安全而開發的 目前來說這兩者使用區別不大 下載下來之後一股腦丟在models stable diffusion文件夾裏就可以了 接着在webUI的模型後邊點擊刷新就加載進來了 當然也可以用秋葉的啓動器來加載模型 在啓動器的模型管理界面 點擊右上角的添加模型 選中自己下載好的模型文件就可以了 它的啓動器裏內置了很多熱門的大模型 方便大家直接下載使用 不過都是一些人物和二次元畫分的模型 這兩種安裝方法是一樣的 checkpoint模型的常見訓練方法叫做dreambox 它訓練模型是通過微調整個網絡參數 來得到一個完整的新模型 下面是它的訓練方法 先爲訓練樣本添加n步噪聲得到噪聲圖 再爲訓練樣本添加n剪輯步噪聲得到樣本校準圖 這樣比上面的噪聲圖就會稍微清晰一些 將噪聲圖和由關鍵詞生成的文本項量 都輸入到擴散模型當中得到模型輸出圖 將模型輸出圖和樣本校準圖進行對比 並根據差異值來微調擴散模型 通過這樣的訓練方式 後面我們再輸入關鍵詞時 模型就會繪製一張類似訓練樣本的圖片了 因此checkpoint模型可以很好地學習一個新的概念 無論是用來訓練人物或者劃分效果都很好 但缺點就是它訓練起來成本較高 通常需要積累大量的圖片素材 對電腦顯存的要求尤其高 推薦使用12GB以上的顯存容量 所以並不推薦大家去訓練大模型 耗時耗力出來的效果也不一定好 如果自己想控制出圖的風格的話 可以訓練我們之後要講的Lore模型 在第八節課當中會給大家講解其詳細的訓練方法 介紹完了大模型 我們來說一下其他用於微調的擴展模型 首先是最輕量的Embeddings模型 它常用於繪製人物 雖然大模型包含的數據信息非常的充足 但是龐大的身段也使得它使用起來並沒有那麼的精準 就如大海撈針一般 我們爲了得到一個最滿意的結果 往往需要大量反覆的抽卡纔可以實現 如果把大模型比作一本厚厚的百科全書 那麼Embeddings模型就像書裏面夾的書籤 它可以快速精準的幫我們定位到某個知識點的位置 由於是書籤 它本身並沒有記錄很多信息 而是將所需要的元素信息提取出來進行標註 所以其文件大小非常小 可能只有幾十KB左右 Embeddings又被稱作嵌入式向量 在之前第一節課給大家講原理時 介紹了Stable Diffusion模型包含文本編碼器 其中文本編碼器Texture Encoder的作用是 將提示詞轉化成電腦可以識別的文本向量 而Embeddings模型的原理就是通過訓練 將包含特定分格特徵的信息映射在其中 這樣後續在輸入對應關鍵詞時 模型就會自動啓用這部分文本向量來進行繪製 對於Embeddings的訓練過程 由於它是針對提示文本部分進行操作 所以該訓練方法叫做Texture Evasion 文本到紙瞭解即可 平時在網上提到Embeddings和Texture Evasion時 指的都是同一種模型 以C站爲例 我們可以在主頁清楚地看到模型文件的類型和大小 當然Embeddings也有自己的侷限性 由於沒有改變大模型的權重參數 因此它很難教會AI繪製它沒有見過的圖像內容 簡單來說就是不能無中生有 也很難改變圖像的整體分格 因此通常只用來固定人物角色或畫面內容的特徵 安裝方法也很簡單 只需將下載好的模型放置到Stable Diffusion根部 錄下的Embeddings文件夾當中就可以了 不過Embeddings現在的使用少之又少 大家可以和其他模型作爲對比了解即可 雖然Embeddings模型非常輕量 但大部分情況下都只能在大模型的原有數據上進行修正定位 有沒有一種模型既能保持輕便又能儲存一定的圖片信息呢 這就不得不提我們大名鼎鼎的Laura模型了 也是我們建築領域最常用的擴展模型 Laura是Low Rank Adaptation Models的縮寫 意思是低質適應模型 相較於大模型的Dreamburst全面微調模型的方法 Laura的訓練參數可以減少上千倍 對硬件性能的要求也急劇下降 如果說Embeddings像一張空白書籤 那Laura就像是記錄了信息的書籤夾頁 在這個夾頁中記錄了更全面的圖片特徵 它不僅可以幫我們定位 甚至可以在大模型的基礎上新增一些風格特徵 由於需要微調的參數量大大降低 Laura模型的文件大小通常在幾十到幾百MB 比Embeddings豐富了許多 但又沒有Checkpoint那麼臃腫龐大 模型體積小 訓練難度低 控圖效果好 這是它最大的優勢 在開源社區中有大量的Laura模型供用戶使用 它的訓練方法在我們的第八解構中也會給大家詳細講解 那麼Laura模型具體有哪些應用場景呢 總結成一句話就是固定目標的特徵分隔 這裏的目標既可以是人也可以是物 可固定的特徵信息就更加包羅萬象了 從人物 動作 年齡 表情 着裝 到材質 視角 劃分等都能復刻 因此Laura模型在角色還原 劃分渲染 場景設計 還有我們的建築效果圖等方面都有着非常廣泛的應用 這裏我舉一個人物的例子來更好的說明Laura的作用原理 以遊戲原神里人氣角色水神弗尼娜爲例 對於該角色我們都有統一的外貌共識 發燒處還有一點藍色的頭髮 這些信息如果單純的通過提示詞描述往往很難表達正確 而有了Laura就輕鬆多了 可以看到調用了弗尼娜Laura的模型後 即使是不同劃分 不同動作 也都能實現比較準確的角色形象還原 對於我們建築領域來說 我們可以通過訓練指定的Laura來生成指定的建築類型 比如塔樓超高層 小型住宅以及一型建築 也可以控制其出圖分格 例如賽博朋克分 建築插畫分 建築立面拼貼分以及指定的鳥刊圖的分格 安裝Laura模型的方法和前面大同小異 下載好之後將模型保存在models Laura文件夾當中即可 在實際使用時我們只需在WebUI的Laura界面當中選擇Laura模型 在提示詞當中就會自動加上對應的提示詞組 表示已經啓用 後邊的數字代表Laura的權重大小默認爲1 根據自己需要去進行調整 需要注意的是 有些Laura模型的作者會在訓練時加上一些強化認知的出發詞 我們在下載模型的時候可以在右側看到Trigger word 非常建議大家在使用Laura模型的時候加上這些出發詞 可以進一步強化Laura模型的效果 當然有的模型詳情中沒有出發詞 這個時候我們直接調用即可 模型會自動觸發控圖效果 接着我們再來了解下Happen Network模型 對於它我們簡單瞭解即可 它的原理是在擴散模型之外 新建一個神經網絡來調整模型參數 而這個神經網絡也被稱作超網格 因爲Happen Network訓練過程中同樣沒有對大模型進行微調 因此模型尺寸通常也在幾十到幾百MB不等 它的效果我們可以簡單理解爲低配版的Laura 雖然超網格這個名字聽起來很厲害 但其實它並不好用 在國內已經逐漸被Laura所取代 它的訓練難度很大且應用範圍極窄 目前大多數用於控制圖像劃分 所以除非是有特定的劃分要求 否則還是建議大家優先選擇Laura模型來使用 它的安裝文件夾是在Stable Diffusion 跟目錄下的Models Happen Network裏 文件下載之後放到這個文件夾裏就可以了 到這裏我們這節課就基本結束了 在今天的課程裏沒有涉及到太多的實操案例 更多的是對目前模型知識的總結和反思 文中不少知識點都來自於開源社區中各位前輩的無私分享 希望通過這篇文章可以幫助更多對Stable Diffusion感興趣的朋友 建立從原理層到應用層的知識框架 並對未來AI繪畫模型的發展有更加系統化的認知 如果你有更多對模型的想法也歡迎在評論區留言討論 做一個總結吧 今天這節課我們瞭解了Stable Diffusion模型的分類原理以及應用 學會了它們的安裝和使用方法 下節課我們將系統學習Stable Diffusion中紋身圖的應用 那麼這節課就到這裏了 下節課再見 拜拜