📈數據怪獸✨Flux✨快速配置,萬能修復流程,|全新創作方式| 全面公開!!! #aigc #flux

Hello 大家好
歡迎再次來到歐陽的視頻頻道
那麼這一期我們緊接上一次
Flex的全面評測內容
來講解Flex如何本地部署
注意事項以及服務器運行
那麼最最最重要的是
Config UI當中的使用技巧
以及正確的打開方式
那麼接下來我們直接來到
黑森林工作室的官網
目前Flex一共有三個版本
第一個版本是Pro
那麼這個是團隊
目前正在開發的一個版本
只支持API的遠程調用
第二個版本和第三個版本
是我們本地能部署的
第一個是Dev
也就是Developer
一個開發者的版本
它的配置要求是比較高的
要到24G的顯存
第二個是Chanel版
這個版本相當於是用戶版本了
這是一個精簡版
也就是我們所謂的一個幀流版
只需要四步就可以出圖
但是我覺得它的質量
是要比Dev版差一些的
所以說如果配置夠的話
我是建議用Dev版
那當然開發者版本
也不是必須要24G
而是24G能跑它的滿血版
那還有一個半血版
就是它的模型是經過裁剪
像我們通常用的版本
都是FB16的
就是半精英度的
我們直接打開它的HackinFace
不是HackinFace
這個GitHub
然後在下面我們可以看到
這邊有它的HackinFace的連接
一個是開發者版
一個是用戶版本
我們想下哪個模型
就可以直接點到它的HackinFace
來看一下它的模型版本
這邊直接點擊模型選擇
下面可以看到
開發者版本的完全版
也就是FB16的版本
23.8G
同時也有個AVE
這個AVE我們也需要下載一下
這是滿血版
如果是Chanel一樣
從這邊點到HackinFace去下載
文件結構是一樣的
只不過文件不一樣
這樣的話
我們用的是半精英度的模型
就是FP16的
那麼同時它還提供FP8的
也就是半半精英度的一個版本
方便顯存不夠的朋友們
來本地運行
這裏我也會把連接
都放在視頻簡介下方
看到這個HackinFace
就是FluxFP8
兩個模型
一個是開發者模型
一個是閒聊模型
它的容積就只有11.9G
還不到完整版的一半
但是生成出來的圖像
它質量其實衰減了
不是特別多
你要說細節上有沒有衰減
其實也有一點點衰減
如果都用FP8的模型
我們的顯存
其實16G就可以跑得起來
有朋友在圈裏
我看12G都能跑得起來
只不過特別的慢
生成特別的慢
這是主模型
我們要注意的
在開發者版本和用戶版本當中
我們可以選擇FP16的模型
以及FP8的模型
同時它們倆用的AVE
其實都是一樣的
主模型和AVE有了
那麼第三步
我們模型加載還少一個CLIP
對不對
和SD3一樣
FLUX的CLIP
我們也是雙CLIP
這邊我們可以看到
一樣是個hacking face
這裏一共有4個CLIP
其實前兩個看到一個G一個L
是我們SDXL當中
用的兩個編碼CLIP模型
但是在FLUX當中
我們通常只會用L一個模型
再加一個T5的模型
那麼T5的
我們也可以看到FP16和FP8
我們用什麼主模型
就用什麼CLIP模型
所以說AVE和CLIP模型是通用的
只是說主模型不一樣
我們到底用開發版還是用戶版
是用的滿血版還是半血版
就是這兩個區別
所以說明白了這個結構以後
大家就可以把這三類模型
放到對應的地方
哪些地方
我們來到configure的根目錄
直接點開configure
找到models
模型文件夾當中
主模型就放到unet
在下面我們找到unet
其實這個裏面放的
就是我們的模型管道
所加載的模型
那麼VAE自然我們就放到VAE模型
也就是我們VAE管道
所加載的模型
CLIP自然不用多說了
找到我們的CLIP文件夾
放到CLIP文件夾裏
這裏我也下了T5X的兩個
一個滿血版
一個半血版
對不對
還有個CLIPi
那麼另外沒有連接的小夥伴
我這裏也會提供網盤下載
不管是百度還是夸克
然後這裏邊我會提供一系列
FLUX FP8精度的
也就是半血版的
不管是閒聊還是開發版
我都會上傳上來
之後我們就可以打開configure
隨便加載一個
視力工作流來運行FLUX了
這一期演示的話
我們來到one thing AI的服務器
在服務器這邊
我已經在應用中心
我的configure的鏡像
今天已經剛剛打包好
部署了FLUX的這麼一個鏡像了
所以如果本地配置不夠
跑不起來
FLUX的小夥伴們
想體驗一下的話
可以直接到one thing AI
來開歐陽這樣一個服務器
這裏的文檔之後
我也會更新一下
OK
那麼現在我們就直接來到服務器這邊
來啓用我們這邊的一個服務器
那麼在這邊的服務器上
我部署的是一個
滿血開發者版本
所以建議大家開這個鏡像的時候
儘量選用3090或者是4090
有24G顯存
這樣的服務器才能跑得開
要不然跑不開
隨時都可能爆顯存的
在這裏我們可以先看一下
它的基礎工作流
我們把這個工作流全部打開
我們這裏是單獨的用一個
VAE的loader加載器
然後unite的加載器
然後clip的加載器
把三個管道單獨的加載進來
同時開啓一個空的latent
這裏的latent
其實是我給它了一個p次
我這裏如果用高配置的話
是沒辦法一次給多個p次的
所以說我想讓它進行一個p次的選擇
那麼我就可以先建一個4p次的latent
發給latent forum bot
讓我們從4個latent裏隨便選一個
所以這樣的話
我就可以單張的從latent當中
提取任何一個p次的latent
這裏我們再看一下采樣器
它比較特殊
不像我們之前的採樣器
就有三個管道
模型clip以及VAE
在這裏我們可以看到
它有很多的管道
其實是分開了
首先噪波生成是單獨的生成一個噪波
其次是我們給它一個採樣器的模式
默認是Oler
之後我們還要給它一個調度器
也就是步數和降噪
以及我們生成的調度器
這三項曾經我們是直接打包在採樣器裏面的
但是我們現在是一個自定義的採樣器
單獨的輸入
那麼最終模型現在已經被替代成引導了
出來以後是一個基礎的模型引導
這個引導包括了clip
以及我們的unite管道
其實這就是我們曾經的unite模型管道
這裏比較有意思的是
它是將模型分開了兩個管道進行注入的
一邊是根據調度進行注入
一邊是根據基礎引導進入到採樣器裏面
所以說這個大模型的unite管道是參與了兩個運算
第一個是調度運算
它會根據調度自動的進行模型的加權或者是計算
第二個就是根據clip來正確的理解提示詞
並且給到引導
那麼這裏多出來一個節點
這個unite爲什麼不直接連過來
這是一個微調的節點
相當於曾經不管是我們PolyGround或者SD32
當中模型管道當中都有一個類似於CFG縮放
或者CFG搜索或者CFG採樣
都有這樣一個模型的調整管道
這是前兩天剛剛更新的這麼一個多重調整
比如說可以調整我們這個管道的shift
也就是模型管道的偏移
它只是對模型管道起到一個微調作用
並不會起到決定性作用
所以這裏其實加它不加它直接給過來都是可以的
只是多了一種選項和選擇
那麼最後我們來看一下這三個加載有什麼不一樣
首先VAE就不說了
很簡單
加載一個就可以
第二個是模型的加載
可以看到這裏我選擇的是開發者的FB8
它佔用的顯存比較少
因爲它的總體容量只有11個G
當然如果我們要用最原始版本的滿血版
之後我們就需要把下面的權重類型改爲默認
也就是原始版本的這樣一種方式
那麼相對的T5的CLIP模型
我們就不能選FP8
而是要選FP16
之後CLIP2其實都一樣
都是用的CLIPi
它就是曾經所用的一個最基礎的編碼模型
之後CLIP自然連到這邊的CLIP encoding的FLUX
它會包括兩個CLIP輸入
那麼第一個就是CLIPi的
我們可以看一下默認是CLIPi對不對
這個CLIPi就可以按照我們原先的這種提詞輸入規則
就是TAG的形式
我們可以只輸入一個one goal
之後是描述的一些單詞
一些TAG的標籤標註
那麼下面自然是提供給T5模型識別的一個提示詞
這些文本將會被我們T5的文本模型進行一個識別
同時進行一個編碼
其實在最終編碼的conditioning這一步
是這兩個模型進行的一個結合
T5主要作用是理解文本
再使用CLIPi進行一個編碼
至於這邊CLIPi的提示詞它只是一個參考
所以這裏我們也可以輸入相同的
一樣的就算偷懶了
這裏我們就可以把它全部提升爲變量
然後將box的內容輸入給這兩個管道
我們就不需要再填寫兩次了
這裏也算我們偷一個懶
那麼下面有一個引導參數
這個引導參數有點相似於我這邊模型對提詞的一個作用度
大家也可以理解爲是曾經的CFG
它和我們曾經的流程有兩點不同
第一點不同就是它沒有CFG
採樣器這邊沒有CFG可以調
那麼第二點沒有負面
這個模型是完全不需要負面的
它是一種完全的正向疊加
對於這個模型的推導的方式特別有趣
第一步我們先來檢測一下它的文本能力
因爲之前我們對比了那麼多
沒有檢測到文本能力
這裏我們隨便生成一個
我們簡單的做一下翻譯
是一個寫有文本的簡約logo
我們把它直接粘貼進來
這裏我們默認設置1024的1024
然後我們取80萬進行一個生成
現在我們用的是滿血版
滿血版跑的時候
其實生成的過程還是比較快的
我們使用了是20步
默認官方就是20步
在第一次加載的時候
它的模型加載很慢
畢竟它的體量很大
第二次加載就比較快了
在服務器上我感覺它的加載還是整體來說還是比較快
對於生成過程當中步數我覺得也可以
只是說對於開發本來說
它的v1解碼這一步時間要長一些
甚至是和它的採樣步數
怎麼說有些類似有些相似了這個速度
可以看到這邊生成一張大概是60秒左右
這是在4090的顯卡上
而且我們這邊可以看到它佔的vran是比較多的
目前是66%
最高佔用率應該是能到99%
98%24G顯存全部佔滿血版的話
我們這邊的latent甚至是不能給太大
或者是不能給很多批次
這也就是我爲什麼給到了一個from batch latent
這麼一個節點來取之前的空批次了
ok現在我們生成了這樣的一個簡約風的logo
可以看到文字上是沒有錯的
這是很明顯的一個文字識別的特徵
準確率能達到90%以上
但是也是隻侷限於英文
因爲英文只有24個字母
它是很好訓練的
或者是可以全面訓練的
然後之後我們給它加一個風格
華麗的奢侈品logo
logo我們之前測試過
但是我們沒有給過它指定的一個文字
那麼現在我們給它指定的文字來看一下
ok一個華麗的奢侈品logo
同樣的字體沒有問題
所以說這種英文藝術字體
我覺得甚至可以用它來進行設計
這個字體真的是非常的準確
有人說了
因爲你只打了字體
並沒有加入其他複雜的元素
所以說字體的表現的好
ok我們來加一個點複雜的元素
把其他的畫面內容加上
比如說一位美女教師在教室上課
黑板上寫着configuretutorials
這個是不是它就有了一些畫面
複製進來進行一下生成看看
那麼現在我們可以看到
美女教師後面是教室上課
黑板上寫着configuretutorials
只是說現在是虛膠了
因此它會有一些失真
我們可以把它的焦距對到黑板上
一位美女教師認真的給同學們上課
焦距清晰的拍攝着黑板上的字體
那麼現在我們可以看到題詞的理解
我們這次加入了同學們
自然可以看到有同學
同時我們這個字體就更大了
configuretutorials
而且是在它的後面
這就是一個題詞
對你當中所有元素的敏感性
所以在這種複雜的情況下
它依然能正確的顯示出來
而且還要根據不同的情況
以不同的字體
或者是這種不同的字號來進行顯示
這就是它比較全面的一個地方
這是第一點
現在我們使用的是滿血版
所以說生成的時間會比較慢
如果我們機器不行的話
我們就需要把它換成FP8這樣的類型
不管是用我們FP8
還是Chanel的FP8
下面我們T5X都一樣
要給它轉換成FP8
兩種對應的
同時在生成權重這裏
我們要把它改成兩種FP8的形式
歐陽個人測試下來以後是第一種比較好
第二種稍微差一點點質量
這時候我們選擇第一種來生成一下
看看對比
這一次我不切
就是不剪輯
我們可以看一下它的生成速度
我們這裏可以看一下它讀取模型的時間
其實還是比較快的
因爲之前我們已經讀取過了
之後進行二十步的採樣
這個採樣過程可能
其實我覺得還比較快
就像我們之前SD的採樣過程一樣
可以看到現在我一點沒剪輯
可以看到它的速度
還是比較適中的
最重要的是它採樣完成以後解碼是非常快
可以看到per就跳過來了
或者我們之前SD也好XL也好
而開發版它這個解碼可能要花將近二十秒
甚至是三十秒
所以現在我們可以看到這個質量
和之前是不是有一些差別
它的細節是稍微有一些差別的
但是整體來說還是沒有任何問題
對於題詞的理解以及體現都沒有任何問題
對吧
所以說我們平時可以用
在服務器上可以用FP8來快速的調整我們的題詞
這是第一個基本的工作流
現在我們就說完了
然後我們看第二個
就是我們所謂的一個圖生圖
重匯的一個工作流
看一下一樣的
是下載了VAE UNIT和CLIP
這裏同樣我們還是選擇FP8的模型
整體的圖生圖的基礎工作流
和我們之前的最基本的1.5或者是SDXL都一樣
我們這邊給一個圖片串進來以後
這邊給一個VAE的編碼
但是在編碼之前
我想讓這個圖片的寬高比來制定一下
所以說我把它的最大的寬高給到1024
那麼下面固定一下比例
它就會自動把單邊縮放成1024
同時比例不會變
這個是essentials的一個縮放節點
因爲有可能我們給到一個4K的
那我們這邊肯定崩
我們縮放一下以後
這邊直接VAE編碼進去
然後給到latent
就這麼簡單一個圖生圖的重匯流程
接下來我們直接這邊是一個戴着耳環的少女
後面我給了它一些風格描述
pixel
然後3D animation
那就是一個3D動畫的風格
既然是圖生圖
我們這邊自然會有一個重匯幅度
這裏我把它簡單的我們調成爲0.7
一個標準比例
讓它進行一個重匯生成
OK 這樣的話你就會看到
整體的風格略有變化
稍微融入了一些3D的風格
可以看到它的重匯質量是非常高的
如果我們想讓它變得多一點
比如說這裏我們給到0.85
在我測試下來以後
其實到0.8它就開始已經有偏差了
可以看到對不對
這種情況下我們就不能給太高的重匯
基本上我測試下來它的重匯閾值
就是說它的變化最大的點
就是在0.8上下
過了0.8就會變得特別的多
OK 0.75是差不多的
它既有我們的風格
又有我們這個原圖的影子
當然了它的方向不對
我們可以在題詞上面給它校正一下
轉過頭來看向觀衆
OK這樣的話它就會進行一個調整
所以說它對題詞理解還是比較敏感的
這就是我們的一個簡單的圖聲圖的工作流
接下來我們再說第三個工作流
就是我們的影盆亭
對於圖聲圖
我們不想改變那麼多部位
或者是那麼多地方的話
我們就給它進行一個影盆亭的繪製
當然這個影盆亭的繪製它不是特別的準確
因爲這畢竟是基礎版本的影盆亭
這裏我同樣將它兩個圖像進行了一個縮放
一個我要縮放它的pixel信息
第二個我們要縮放它的mask信息
把這兩個信息全部傳出來以後
pixel信息進行一個內部編碼的圖像輸入
而mask信息我們做了一個模糊
給到了VAE內部編碼的折照
最後我們給一個VAE
這樣形成了最終的latent mask
傳入到這邊來
同樣是這樣一組提示詞
然後我們把這邊的mask稍微給它編輯一下
我們直接open mask edit
打開編輯器
只繪製它的面部爲pixel的動漫形象
其他的地方我們都不動
都讓它保持原畫的油畫風格
直接點擊save to node
之後什麼都不需要動
直接點擊生成
OK
那麼我們第一次生成的效果
有些不盡如人意
和之前的關聯失去了很多
因爲我們這個地方的降噪是1
我們這裏同樣要給它改到
比如說0.7的降噪
或者是0.8
我們來再生成一次
那麼這裏它就會出現一個很有意思的點了
因爲在我們接觸了高階插件以後
你會發現我們原始的工作流
它已經慢慢的不夠用了
它慢慢不夠用了
爲什麼呢
我們現在把這個降噪慢慢開低以後
它其實和我們原先的圖像
還是會有比較大的偏差
那是爲什麼
其實我們這個降噪給它降低了以後
因爲我們這是個內部編碼
降低了以後
它其實背後是沒有圖的
就是說如果我們降噪降到0以後
中間這個地方
它並不會顯示我們原先的面部
而是會顯示一片空白noise
因爲我們這邊是直接AVE的一個noise區域編進去的
它並不是說有一個可選性
也會看到周圍我們處理的
並不是很好語化的效果
那麼這樣的話
我們是不是就能和上一節課進行結合
把這個內部編碼
或者是把重繪的流程
直接套到我們in park當中
當然這是可以的了
最後我們可以回頭講一下
如何使用in park當中強大的插件功能
爲我們提供flux模型的重繪功能
先把最後一個mute掉
這基本上就是三種官方提供的不同的工作流
當然歐陽可能經過了一些小小的魔改
就是對於圖像的一個預處理
官方還有一個放大流程的框架
這裏其實我們就不用說了
跟它底層的這個東西沒有什麼關係了
我們瞭解了一下它底層就可以
後面無非就是加了個放大插件
你可以潛空間later放大兩倍
又或者是直接用SD放大都可以
這個就沒有必要再跟大家講了
之前都已經講明明白白了
那麼在重繪中間
歐陽想跟大家插入一個理念
就是我們flux爲什麼讓我覺得比較有趣的
在生圖過程當中
爲什麼歐陽那麼上癮的一個原因在哪
就是因爲它的這種生成方式和生成模式
會和我們之前的創作過程是不一樣的
這裏我們是進行一個迭代式
或者是聯想式的生成
之後我們來這裏進行一個簡單的創作
我這裏也是即興發揮
沒準備任何東西
我們想到哪創作到哪
最終我們可以看看這個過程是什麼樣
因爲我們現在用的是fp8
我們可以給的它大一點
這樣我想給它一個寬屏的一個效果
然後之後我們先來一個提詞
這個過程就像我們畫畫一樣
是從籠統到細節
慢慢給它進行一個推演
比如說我們先想到一個女士
一位女士坐在沙發上
我們先想到的就這麼多
是一個上半身的攝影的肖像
我不想要這個構圖
我想要全身的效果
同時能看到腿
還能看到她的鞋的細節
我們就把鞋和腿加入進來
翹着二郎腿穿着高跟鞋
這個構圖它着重的體現了是這個鞋
並沒有全身像
我們把它表情加進來
讓她look at the camera
這個視圖可能不是我想要的
這個女性的氣質能不能改一下
我可能會想要女王或者是女皇
如果是女皇的話
她可能肯定會戴皇冠會聯想
我們加個女王試試
女皇坐在哪 坐在寶座上
然後描述詞
我們再給它一個高傲的看着鏡頭
這樣我們就會有一個
另一種比較正式的
比較正觀的這樣的一種視角了
這個視角我覺得不太夠
我們想要的那種效果
我想讓它仰拍
我們就再加一下視角
比如說低視角
從下往上仰拍
OK 這個視角的意思就對了
我們隨便再換一個總的
重新來刷兩張
看一看我們描述的準確性
我們要的氣質對不對
大概我們想要的感覺是差不多的
之後我們來看一下這個人物
對於人物來說
它可能美式的偏多
我們稍微給它一些人物的傾向
比如說人物我們加一些形容詞
就是有固有形態的一些詞
比如這個地方我們不叫它女王
或者女王后面
我們再加一個描述詞
比如說埃及豔后
這我也是突然想到的
同時我們給它一個黑色的頭髮
然後是齊劉海
這個意思稍微有點對了
可以看到我們稍微加入一個
身份的提示
它對這個提示有一些理解的話
你會看到它的首飾
和它的皇冠的樣式
就會變得
是我們想要的類似的這種樣式了
對吧
我們爲了強調這一點
我們還可以給它加入一些
華麗的首飾
當然我們是一個籠統的提示詞
它並不是說一個具象的
如果我們要給它具象的
它能不能理解
依舊能理解
只是在這步
我們稍微的給它精簡一下
這樣的話就可以看到它的身上
各處有很多一些珠寶的點綴
之後我們把它的風格變一下
遊戲的風格
我們隨想隨來
就是不一定的
所以說這是一個即興的創作過程
我們想讓它變成一種那種叫什麼
僱傭者對吧
手繪的那種風格
遊戲手繪風格
同時爲了體現它的風格明晰
我們把這個風格加到第一行
OK這就是一個遊戲的
但是我覺得它並不是
這種我們想要的風格
可能我描述錯了
不是手繪風格
而是插畫風格
我們重新來試過一下
這樣的話可能比剛纔稍微好一些
它稍微有一些三粒遊戲的風格
這一步我又想到一些東西
太傳統了這個角色
我能不能讓它不坐在王座上
一個埃及女王就要坐在王座上
我們重新我又發散式的想到了一個
坐在一個動物身上
一頭雪豹身上
我們看看會發生什麼變化
OK這基本上是我們想要的
一個大概方向
同時我們讓它的背景換一下
在皇宮裏面
或者是在一個很大的豪華的大廳裏面
然後我想讓它後面再有兩個守衛
而這兩個守衛它可能不是人
因爲我想體現主角的一種野性
它身邊伴隨的都是野獸對吧
那麼我們可以讓它有兩個
野獸侍衛站在身後
比如說這個時候
你不想讓埃及皇后
更像傳統的埃及皇后
我們可以指定一下它的服裝
讓它不是這種埃及皇后的感覺
我們可以再給它一些獸飾
比如說披草的圍脖
或者是頭上有一根羽毛
我們試一下
OK一樣沒有問題
那麼這樣你會感受到
它整個被提詞的感知力
慢慢的我們一步一步
就能推演出來一些不一樣的東西
那麼最後我們還可以把它
作爲一個圖片
或者是作爲一個這種封面
給它加一個title對不對
都說了flex的文字識別和理解能力很強
最後我們來個title
然後告訴它在畫面的中央
頂部或者是底部
以醒目清晰的方式
顯示出華麗的標題文字
當然這個文字我們可以描述
或者是神奇的
或者是有魔法的等等
根據我們的主題不一樣
我們把這個東西
給它加在我們的文本的上方
那麼這樣我們就能創作出來
類似的這種遊戲角色的封面了
但是次要角色
你會看到有時候它還是會有些變化
所以說或多或少
它能體現出來
人物的一個整體的形態
歐陽爲什麼要跟大家展示這個
只是說基於flex這種
強文本理解的基礎之上
這形成了一種全新的
一個AI的創作方式
它能體現並理解
我們題詞當中每一個細節的內容
所以說我們可以不斷的加細節
不斷的一步一步的迭代我們的想法
更改我們的想法
形成最終的
我們想要的一個完整的視力圖像
這就是我看到新一代
AI生成的一個創作過程
所以說它讓我感覺非常的不可思議
那麼說到這以後
因爲有文本的干擾
我們來試一下
不同模型之間的對比
我們直接把文本的這一行
給它刪除掉線
然後我們用不同的模型生成一遍
首先我們用滿血版
然後用半血版
之後用SIGNOW的半血版
我們先來看一下這邊的開發版
右邊是開發版的全景度
左邊是半景度
我們先看這兩個的區別
其實不是特別大
就是一些細節了
這邊的細節可以看到
不是特別的
精度特別的高
但這邊我們衣服的細節的精度
就要比那邊高一些
同時它在背景表現上
它也會有一些不太相同
但是這個背景還好
包括這邊的細節
可以看到人物有一個披風
但我們這邊的人物的披風
它不是特別的明顯
下面這邊沒有描繪出來
這也就是細節當中的一些體現
但是其實我們感覺一下
其實很少了
包括這個姿勢也有一些變化
大部分的風格都是很相近的
我們看SIGNOW的
它在視角上體現的比較好
但是它的畫面的質感
就要不是那麼的好了
即便我們給到它20的步數
我們再給起來點步數
其實它的改善
不是特別的好
它會有一些概念的混淆
相當於之前模型的一個通病
這就是很大的一個區別
所以如果配置不好的話
我還是建議大家用開發版本的
三分之一精度
這個效果應該是夠用了
而且它佔用的內存顯存
也不是完整版滿血版那麼多
基本上24要跑滿
但是現在如果是三精度的
能佔到70%的威潤
那麼說到這裏
相信大家已經感受到
Flex對於題詞的細緻性
以及精確性
要求還是比較高的
所以當我們需要快速定位
快速鎖定很多細節的時候
我們一點一點用腦子想
效率是不是就有點低了
有些朋友就聯想到
使用一些語言大模型
迅速的幫我們出
詳細豐富的小作文了
對吧
這個應該就是我們之後
要探討的話題了
OK
那麼回頭過來
來說重繪的環節
這就涉及到我們之前的
Impact當中的節點
可不可以用
當然可以了
也就是在我上期視頻
剛發佈之後的一天
那麼這個作者也很牛
就已經更新了
我們插件的功能了
在V6版本當中
已經支持了Flex模型的
K-Simpler節點
Detailers節點
以及Furfill Bridge Latent
也就是一個潛在空間的預覽
潛在空間預覽橋
這個並不是主要的核心功能
主要的是這兩個
K-Simpler和Detailers
這期時間已經很長了
我們簡單的來說一下
Detailers怎麼用
把這些都關掉
全部關掉
然後來到我們下面的
圖生圖的一個工作流
我們直接把這一套打開
這個渲染我們不打
渲染我們用Detailers
這裏我們直接加載一個
Impact當中
我們之前講的細化節點
細化節點
我們就要局部細化
默認的不要管道
因爲管道還要打包很麻煩
我們可以看一下
Detailers它需要什麼參數
比如說圖像
比如SIG這些模型
我們挨着給它輸入進來
我們這邊要加載的
其實是圖像和遮罩
對不對
我們不應該用這個流程
我們應該用下一個重匯流程
然後我們先把我們的圖像接進來
圖像過來
然後遮罩按我們之前說的
直接給一個SIG
Mask to SIG
有了SIG以後
我們把SIG傳到我們這邊來
對不對
這前兩個有了
之後模型我們怎麼走
因爲這邊它輸入到
KSampler裏面的Advanced的高級
是直接走的引導
這一步我們可以不用引導
因爲它作者已經把引導這一步搞定了
我們就可以直接從模型輸入點這
甚至是我們都不需要
模型偏移設置
把模型管道直接挪過來
這樣的模型輸入進來
之後Clip
當然是我們這邊的Clip了
然後的VAE
我們單獨加載的VAE模型的管道
也挪下來
正向負向
正向當然是我們編碼器出來的
Conditioning了
那麼有個負面怎麼辦
因爲它沒有負面
我們就造一個負面
我們局部這些參數都要有
沒有的話會報錯
我們就造一個
直接來一個Clip編碼器
然後負面我們什麼都不填寫
我可以直接輸到負面條件
這樣的話
我們局部重匯的點就基本上完成了
然後在引導大小這裏
我們就可以按之前所學的隨意的設置
這裏的步數我們給的第一點
給的15步
然後這個Cfg其實在這都沒有用了
我們直接就在這個地方
把提示詞複製過來了
我們放到這邊下面來
之後我們直接出圖像
我們來看一下預覽一下圖像
我們看到它現在的一個重匯局部區域
是不是就是我們面部的區域
然後最終的效果我們可以看一下
因爲我們給了0.5
可以看到它的變化已經比較大了
如果我們給到它0.8
這個地方我們就可以設置重匯了
對吧
而不是像我們上面VAE這個地方
如果你設置了重匯
它是沒有底的
就會影響它整個的一個體現
顯得很奇怪
這裏我們可以把它的採樣步數
再稍微拉高一點
然後把我們的這邊重匯
再重新設置一下
這樣我們自然就會能完美的生成
不同的重匯效果
有人說像我們之前修手
修身體的各種畸形行不行
當然是非常簡單
非常容易的了
比如說我們這邊再換一個
我之前生成了一些畸形的圖
我們可以看一下這幾張圖
第一張腿是不是有問題
這個腿是莫名其妙的
第二張這個手是不是有問題
這裏手也不知道幾根手指頭糊了巴唧的
然後第三張一樣是腿
經常我們所看到的這種畸形的圖
這個手是不是更過分
我們隨便來修一下
就這個手不讓它模型檢測了
那麼麻煩了
我們直接來手動繪製
把它的模型區域我們畫一下
遮罩區域我們畫一下
然後我們給它一個提示詞
比如說一個女孩坐在沙發上
我們直接來繪製一下看看效果
OK沒有什麼問題了
當然了我們這個地方可以看到
我們塗的遮罩比較少
少了一些
因爲它有羽化
塗了以後羽化還要往裏羽化一點
所以說就能看到它之前的手
分分鐘的事情
我們把羽化拖大一點就行
之後我們再換一下
我們來修一個腿
可以看到腿直接編輯一下遮罩
因爲這個地方可以看到
我們闊的東西比較多了
所以我們需要加一個裙子之類的描述詞
skirt
我們就在這個地方加一個裙子
現在我們再修復一下這一張看一看
OK自然而然的把它修復了
但你會看見有些色差
這個地方我們可能再把它的重繪給它降一下
不要那麼高的重繪
來比較一下修復的效果
對吧
這邊它已經就把多餘的腿修掉了
只不過這個沙發我們可以再給它一些提詞
讓它更好的做一個修復
有了這個模型真的太狠了
配合上我們這個in park
因爲in park它有一個重繪功能
它能識別到底圖的周圍的一個上下文
這個也是in park很重繪很厲害的地方
這就是它很大的優勢
絕殺
現在這個圖一樣
這是什麼腿什麼鬼對吧
OK臉部我們也可以修
當然如果這個主模型修臉部
它可能就成爲外國人了
我們就不修臉了
這個提詞詞應該都是一樣的東西
我們直接來修復
OK完美解決
這種畸形的身體和腳
你看看這腳沒問題吧
5個手指頭手也是腳也是
還有一個手我們再來一個
就輕輕鬆
我們重新來編輯一下這個東西
我們來看一下它的手怎麼樣
給搞沒了
這個地方我們不要緊
我們可以添加一個hand
手託着塞把一個手給它帶進來
因爲我們之前提詞裏是沒有守護信息的
手是對了
但是位置有些不對
我們這個給的它太死了
就是我們蒙版給它太小了
沒有什麼發揮餘地
這裏我們把它的蒙版稍微塗大一點點
把它肩膀塗進來
這個胳膊也塗進來
另外我們這裏稍微降一下它的寵慧
寵慧高了以後它變化可能會比較大
我們給個7.0
OK沒有毛病了
好
好像又少了一根手指
但是比原先真的強太多了
畢竟比原先強的不是一點半點了
我們隨便再抽一個種子
4根手指沒有任何問題了
對不對
修復的話
你也看不出來任何的修復痕跡
OK那麼就最後一部分
如何結合我們DETAILER
用我們FLUX強大的模型能力
來進行任何錯誤的修復
所以這一期分享這麼多
大家肯定會從這一期當中
收穫到不同的意外和驚喜
對不對
那我們教學部分先到這裏
歐陽後面其實還有一點點話想跟大家說
OK那麼講到這裏
我相信大家已經大概明白
這個FLUX是怎麼回事了
但是這個模型真的這兩天的感觸挺深的
不僅僅是使用的過程
當我使用覺得那種感覺特別奇妙
創作的感覺特別奇妙的時候
你就會不自然的再去關注到這個團隊
關注到他們的未來的方向
我看了他們團隊的首頁
以及看了一些八卦新聞
大家也都知道了
FLUX的開發團隊
其實就是原SPIRIT AI
也就是SD1.5模型
XL模型所有的開發模型
開發的原團隊
目前新成立的工作室叫黑森林
瞭解點八卦消息都知道
他們是從原先SPIRIT公司獨立出來的
又或者跳槽出來自己單幹的這麼一夥人
說到這我們簡單聊一下八卦
就有些人說之前的SD3是閹割版
然後出來以後才就是
類似於報復之前的公司也好
或者是證明自己的能力也好
來開源的這樣一個模型
其實這都是帶主觀色彩的
那麼我們之前已經知道了客觀發生的事情
但是從客觀發生的事情
至少歐陽覺得
他們不是在SD3當時發生了那樣的事情
纔出來單幹的
而是說是在SD3發佈之前
就已經發生了和上層高層管理層
發生了一些理念的不合
我們可以看到現在這個現狀
就是目前黑森林工作室的15個人
其實都是主張的社羣開源精神
那麼曾經的SPIRIT公司
其實早在SD發佈的半年前
一段時間就已經公開了
說要往商業方向發展
顯然技術團隊和高層領導的精神
或者是意識形態它並不統一
那就造成了之後的分裂
以及SD3發佈比較失敗的原因
當時肯定是這個模型已經開發完成了
只不過在放出來的時候
SPIRIT上面的高管
不讓把所有的技術
或者是所有的數據放出來
這樣的話又有誰會去調用IPA
這是我個人的一種主觀猜測
當然有人說其實之前的原公司
也不是不對
飯都喫不飽了
又如何繼續開源
來爲大家做AI生態的貢獻
其實我覺得這是兩種不一樣的發展路線
目前我們也可以看到
黑森林團隊已經順利的融資了3200萬
所以我們來反過來想
對於一個有這樣強大技術能力
有這樣抱負
或者是有自己的理想
和追求要實現的團隊
企圖推動未來社會的AI發展的一個團隊
它能沒有資金的注入嗎
它能不獲得市場巨頭的青睞嗎
這顯然已經是自然的現象
這也是一種開源所帶來的能量和能力
說到這我突然想到前兩天看到的一個短視頻
是一個美國商業哲學家隨便說的
成功是靠吸引來的
並不是靠求來的
這個道理不管用在哪
我覺得都一樣
現在有很多羣友在羣裏開玩笑
說他背後的資助方就是黃仁勳
NVIDIA 綿安好西
想把我們的所有的配置全部提高
這也是一個小笑話
具體誰知道 對不對
說到這好像跑題了
只是說在深度體驗以後
我對這個團隊又有了一些好奇
又想深入研究一下
去分析一下當中發生了什麼
爲什麼我要分析
其實是看待整個事情事態的一個發展
有這樣精神開源精神
有這樣追求的一個團隊
它能獨立出來
能做着自己喜歡的事情
有資本去注入
大家的目光都在關注着它
未來它纔有更大的動力
有更好的環境去生產
或者是去創造更多的東西
所以這也是讓我興奮的一點
也就是在今天我剛剛錄製的時候
官方已經正式的放出了flux的微調框架
包括lower訓練
模型微調以及control net訓練
那麼IPA我想也不久了
這就是我們能看到的
希望我對此興奮的原因
未來可能真的
這個地方就是一個實時性的節點
OK
那麼這一期歐陽的節餘小嘮叨就到這了
下一期的內容剛纔也說了
深入的再研究一下語言模型的文本能力
對我們flux的加持到底有多牛
OK
那麼如果這一期的內容
對大家還有所幫助和啓發的話
就千萬不要忘了
點擊系列按鍵來支持歐陽香香了
如果對AI領域感興趣的話
也可以關注歐陽一波
未來我們一同學習
一同探討
一同成長
我們下期
再見