拒絕複雜,迴歸本質!潛空間控圖操作 #AI繪畫 #comfyui教程

凯哥黑科技
9粉絲
#stablediffusion #midjourney #ai工具#midjourney #midjourneyai#midjourneytips#midjourney #midjourneyai #midjourneytips #midjourneyprompts #ai #aitools #artificialintelligence#stablediffusion #aivideo #ai绘画 #ai工具 #comfyui
工具教程都在公众号:凯哥AI黑科技
如果你看完这部影片对你有所帮助,希望你可以帮忙:
1. 订阅我的频道,给這部影片点赞,这对频道成长非常关键,谢谢
2. 如果你同意我的观点,希望你可以分享出去
3. 有什么问题可以給我留言, 我一定尽力回复
我希望可以在你实现学习AI和通往财富梦想的道路上,尽一份微薄之力。
希望你早日实现梦想!加油!
#stablediffusion #midjourney #pikalabs #texttovideo #imagtovideo #chatgpt #chatgpt4 #gpt4 #promptengineering #prompt #aivideo #aivideogenerator #aivideo #ai绘画 #ai工具 #文本转视频 #AI工具 #text2video #runwayml #gen2 #pika #人工智能
今天的內容學完了之後
大家可以對圖片有全面的優化能力
包括這樣的增加現有圖像的細節
簡單的進行這樣的風格轉換
以及這樣的局部修改等多種對圖像高階控制的手段
而且他們不需要藉助任何額外的插件和功能
今天這期內容實際上是有同學問到
我最近逆採樣圖像編輯是怎麼操作的
是一個什麼插件和什麼功能
然後我去追根溯源找了一下
找到了這個插件
最近出了一個針對flux圖像的編輯方式
能實現哪些功能
大概就是把一張圖像重新編輯
不管是轉風格也好
或者是所謂的風格遷移也好
然後以及做一些圖片混合
對圖片的進行一些修改
然後我去仔細的看了一下
節點的功能介紹以及網上相應的教程
我發現所有的功能
用我們最基礎的操作就能做得到
然後再結合工作流的複雜程度
我實在想不到學習它的目的是什麼
所以我覺得大家可能更需要一個
基礎原理和概念的普及
再說簡單點
其實就是文生圖和圖生圖的過程
搞懂了這個之後
別說是今天的內容
更多的高階操作
我們不借用插件都可以做得到
比如說最簡單的
目前大家看到的就是一個文生圖的連接流程
只不過它是flux
所以原本我們這裏用一個大模型
加載器搞定了
現在用了三個模型
其他的都沒有任何變化
空的latent clip以及採樣器
文生圖的過程其實就是
我們給了它一張空的畫布
我們只限定它的大小
爲什麼只限定大小
因爲其他的東西
我們是看不到的
進到採樣器
會通過我們所設定的參數
比如說CFG採樣器調度器
逐漸的降噪處理
把滿是噪點的畫布
通過去噪的流程
處理成一個清晰可見的圖像
但這個圖像
它是在latent的空間
也就是說淺空間裏面做處理的
即使直接得到了這一步
我們仍然是看不到它
或者是看不懂它的內容的
所以需要我們用VAE的解碼器
把淺空間的東西
轉化成像素空間
我們能讀得到的東西
也就是它的圖像
這個以前在最基礎的部分
我就講過
圖生圖是什麼呢
圖生圖就是原本就有一張
我們能看得到的圖片
但是這個圖片
計算機是看不懂的
我們想對它進行
進一步的處理
就需要把它進行VAE的編碼
處理成這種latent的
也就是計算機
能識別得到的淺空間的東西
再把它送進來
經過一系列的處理之後
再次解碼成我們能看到的東西
所以整個悲哀生圖的邏輯
就是在像素空間和淺空間進行交替
以往我們在做處理的時候
經常是無論是放大細化
局部重繪等等的
我們經常用的是
得到了圖像之後
我們把圖像
在像素空間的圖像
經過一系列的節點
再去進行處理
但是今天我們要講的部分
可能更多着重在採樣之前
也就是我們看不見摸不着的
latent淺空間的畫布
我們對它進行更多的引導和處理
所以逆採樣直觀的理解
可能就是latent的圖像引導
會更加合適一點
接下來我們拿最基本的
flux文生圖的流程
給大家做一個演示
看看用這個原理
我們能做到哪些操作
首先flux文生圖的工作流
大家如果常用的是
官方給的自定義採樣器的節點
也可以換成K採樣器的節點
按照我的連接方式
除了模型的加載
其他跟我們傳統的
都是一模一樣的
我先跑一個正常的文生圖的圖像
OK我們得到了這樣一個
flux水平的圖像
比如說
我現在想給這張圖片增加細節
說白了就是要給它增加噪聲
如果沒有新的噪聲的注入
它再次重新生成
也依然是這個結果
噪聲我們如何來控制呢
我這裏可以用一個加載圖像
然後用V1編碼
把這個圖像複製一下
粘貼到這裏
把圖像再轉回latent
然後我們再複製一份採樣器
再輸入到這裏
其他的內容我們都不變
還有一種方式
就是我們可以直接把這裏的latent
在未解碼之前
直接送入到下一個採樣器
類似於這樣的方式
把latent直接連接過來
這兩種方式有什麼區別呢
實際上兩種效果是差不了太多的
但是上面這種方式
更加適合於我們
是用現有圖像來做處理
因爲我們是現有圖像
我只能把圖像再轉成latent
但是如果我們前面的圖像
就是文生圖得來的
我更建議大家
直接從之前的採樣器的latent當中
接到下一個採樣器的latent
因爲這樣的話
我們就不需要把latent
再通過V1編碼轉成像素
像素再轉爲latent
轉換的過程當中
一定是略有損失的
這裏用哪一種都無所謂
我給大家就用上面這種
單獨加載的方式
如果我們正常再這樣連出來
進行生成的話
它其實就是一個圖生圖的流程
而且由於我們的降噪幅度是100%
也就是說跟這張原圖
基本不會有太大的一致性了
它們的變化可能就會非常大
所以正常來說
大部分同學可能調整到0.3%
這樣保持跟原圖非常接近
其實這個過程
已經是可以達到一些細化的作用了
這個過程相當於說
有了30%的噪聲
我讓它重新生成
我原有的圖像的基礎上
進行30%的重新變化
我們這個時候可以看一下
V1編碼之後的
Latent的結果是怎麼樣的
我們在節點裏面
可以找到一個Latent的預覽圖像
這個應該同類會有很多
也許有別的名字
總之就是讓我們能看得到
目前Latent得到的是一個
怎樣的畫面
如果大家沒有的話
可以安裝我這個插件
我們現在就想在這張
Latent的基礎上
我直接給它注入一些新的噪聲
同樣用到的節點也有很多
我這裏找一個Latent
我搜一下Latent的噪聲
這裏可能會有非常多
我們找Latent的加入噪波
也就是說直接把Latent
我們可以給它注入
從0%到100%的噪聲量
我們直接給它注入100%的噪聲量
然後接到這裏預覽
我們看一下它的結果
之後我們就可以看到
在原有圖像上
又給它增加了很多的噪點
有了這些新的噪點
其實就是更多新的細節
當我們把增加了噪點的Latent
給到採樣器之後
這會我們來執行一下
OK
我們可以看到這張圖像的結果
前一張圖片幾乎是一樣的
但是人物的面部
比如說嘴脣
或者是面部的紋理
包括衣服上的材質反光
都增加了更多的這些細節
當然了
這不增加噪聲
未必都是正常的
比如說我們看背景
它仍然保留了很多
沒有去幹淨的這種噪聲
這種時候我們可以
稍微降低一下
我們剛纔的噪聲注入
或者是稍微提高一些重繪幅度
讓它以更多的變化
來接納這些噪聲的融入
這個其實不管是任何的模型
前的1.5X也好
如果我們覺得以前的人物細節不夠
或者是它表面的皮膚不夠真實
那我就可以通過添加噪聲
在幾乎畫面不變的情況下
這個皮膚這塊
增加這些新的細節
如果我們只想要面部
其實可以做一個混合
然後通過遮罩
把它的面部拿出來
得到了局部細化的功能
能不能通過這種
添加噪聲的方式
給我們進行一個風格轉化
我們知道這張圖像
之所以成爲寫實圖像的原因在哪
第一個我們用的是FLUX模型
第二個我們提示詞當中
寫的就是35歲的
歐洲黑髮女子的照片
還是富士膠片
看着鏡頭
所以它就提示詞
代表了它的寫實情況
如果我們用的是傳統的模型
可能你用的
它是寫實模型
它就是真人
你用的二次元模型
它就是二次元
FLUX模型裏面有多種風格
所以我就不需要
再給它換一個二次元模型了
我只要把提示詞改成二次元
它仍然可以
把它畫成二次元
Contrast Shift
Contrast Shift的加微
我們重新給它一份新的提示詞
我們現在圖像是由這張圖像
轉化回來
並且添加了噪聲的這張圖
來把它畫成一個二次元
這個時候重回幅度
是遠遠不夠的
如果我們默認認爲
是0.3的重回幅度
我們很難把它
跟原圖畫出太大的區別
因爲它的變化幅度太小了
所以我們直接把它重回幅度
先調整到個0.65來試一下
然後這張圖就不跑完了
它肯定還是寫實
有了噪聲的引導
有了重新生成的空間
我們可以注意到
這裏已經變成了
二次元的圖像
如果我們把重回幅度
再開高一點開到0.7
這個地方其實
如果我們用傳統模型
直接用這個圖像引導
重回幅度給到這麼高的話
它們未必構圖能這麼接近
但是因爲FLUX的
這個模型的特殊性
它的控制力是非常強的
我這裏0.7的重回幅度
有這樣一個latent的引導
它仍然給我出了一個
幾乎一致的構圖
但是它風格
按照我的提示詞進行了轉換
所以說轉換風格這個東西
根本就不需要
藉助其他的插件
對於FLUX來說
我們只要更換一下
它的提示詞
同時有一定的重回幅度
甚至於這裏我要不要
加入這個噪波
影響都不是很大
因爲在0.7的
重回幅度的基礎上
70%的噪聲
它都可以重新產生變化
這個時候是足夠把它
重新轉換一個風格的
所以說不要看到新的插件
就覺得它很奇特
其實我們最基礎的功能
直接改提示詞
就完全可以做得到
到這好像還沒有
講到什麼逆採樣
沒有講到圖像的引導
全都是在現有圖像上
增加細節
那不要着急
馬上就來了
用這種方式
我們既然可以把這張圖像
直接改成別的風格
那我能不能把
這個人物的頭髮
給它做一個顏色的變化
這個當然也是可以的
但是我們通過
直接改的方式
大家可以來試一下
這個是原來的提示詞
35歲的歐洲黑髮女子
我給它改成綠髮
綠色頭髮
這次的重回幅度
我們還是默認0.7
給它生成一下
OK 這個時候明顯
其實這個空的
還依然是很好
人物基本沒變
但是這邊的頭髮
明顯有一些變綠的效果
其他的部分
受到提示詞
影響不是很大
這個結果其實已經不錯了
但是這個綠色
明顯變化不夠好
爲什麼
這個地方相當於
我們只是放開了70%
你可以變化
這部分的變化
你根據我的提示詞去走
但是不夠明確
我們可以直接給它
明確的綠色頭髮的圖像引導
那怎麼做
我們首先
我就要給它
再加載一張圖像
這個圖像
我就要把綠色的頭髮
給到它 怎麼給
我們仍然要用
VE的編碼器
把圖像給它傳進來
傳進來之後
我們先找一張
綠色頭髮圖像
正常來說
其實我只要在
同樣大小下
把它頭髮的位置
給它塗抹綠就可以了
那這裏爲了方便
我直接把這張原圖
保存一下
我們把它拿到PS裏面
然後大概地
選取一下頭髮的範圍
然後我們簡單地
用這個畫筆
把這個綠色
在它的頭髮範圍內
給它畫滿
這個就是
我準備給到
AI的一個引導圖像
但是圖像
不可能直接引導
我要通過
大家所謂的
逆採樣的方式
把這個圖像
再給它變成layton的
所以把剛纔
這張圖像加載
把它怎麼變成layton的呢
直接爲一遍轉換
轉換完這個時候
原來的layton的是這張
現在的
我們想給它的引導
是這張
這兩個layton的
怎麼結合到一塊
這個節點也非常多
我們搜索一個layton的
這裏首先有一個
layton的混合
它就肯定能用
layton的1
layton的2
同時他們有一個
他們的混合係數
我這裏把1輸入給它
2就是我原圖的
暫時我就不加入
這個噪聲了
剛纔我們用的是
隨機加入噪聲
現在我不用它了
我有了一個新的
直接引導的噪聲
相當於原來的噪聲
是這個
現在我給了它
一張新的噪聲的引導
把它們混合起來
混合起來
我用這個節點
給它預覽一下
現在它其實就變成了這樣
有沒有有點像
我們的這個
無壓重匯呢
其實一部分就是這個原理
在這個混合了
50%之後
我仍然給它
加入一些噪聲
把它接到
這個噪聲的上面
讓它在這個基礎上
稍微再給我們
我們看得到
一個這樣的結果
整個畫面
都有一些噪聲的譜射
而不是隻有這個部分
有變化
這樣的話
我們再來重匯一下
此時的重匯幅度
我甚至應該可以低一點
執行
OK 我們再來對比一下
這個人物
幾乎還是沒有什麼變化
但是呢
頭髮這次綠化的
會更徹底
而且其他地方
沒有什麼影響
好多同學覺得
這個跟局部重匯
有什麼區別
答案就是局部重匯
沒有這個更加自然
因爲這個
我是在Later的
淺空間的時候
就把這個部分的像素
已經給它做了
綠色的引導
所以再次
由這個模糊的
淺空間狀態下
採樣生成
這個清晰圖像的時候呢
所有的這些
細節的地方呢
都會做得更好
不像是我們直接
局部重匯去
以Flux現在
局部重匯去做的話
效果一定是沒有這個好的
甚至我們發現
面部雖然沒有變化
但是它跟這個
頭髮接觸的這些
面部光
其實也偏綠了
那這個就是
改變淺空間的一個作用
在這個基礎上
我們能做的就非常多了
通過現有的圖像
進行引導
也就是所謂
大家可能說的逆採樣
我們可以做非常多的事
改變局部
然後呢
甚至去
比如說我給它
加一個光效引導
那在這張圖的基礎上
增加一些這樣的東西
這個東西
我現在不知道是什麼
但是我的想象中
我要把它變成光
其實提示詞
我可以不變
先嚐試一下
看看AI能不能自動識別
如果AI識別得
不太好的話
那我就會可能給它
增加一些月光的描述
產生了一個非常好的變化
有沒有像我們
給它重打光了
人物幾乎沒有變化
但是呢
我們給它
面部覆蓋的區域
明顯變亮
有一個重新光照的映射
在淺空間的層面
給它增加一些
新的構圖
新的顏色
來實現
重新的內容生成
剩下的
大家就去
發揮腦洞
看看有哪些方式
可以使用
所謂的風格化
顏色引導
打光
然後局部的變化
其實都是這個原理
以上呢
其實還是圖生圖
爲什麼我要用flux來演示呢
因爲flux的控制
真的很好
我們這裏一直用的
重繪幅度
基本都是0.6 0.7
但是整個畫面
在沒有任何局部
重繪和contrast的
控制下呢
這個人物
基本沒有太大變化
這是flux的優勢
如果我們用
傳統的1.5或者XL
用我這套邏輯的話
它的變化
可能會更大一點
也就是說
我們仍然可以換綠頭髮
仍然可以加光
但是你其他的部分
也會隨之而產生
一些變化
所以呢
我們能不能把
圖生圖的模式
改成局部重繪呢
當然也是沒問題的
首先我們來把
這個基本的圖生圖
給它轉成一個局部重繪
圖生圖就是
夾載圖像
V1編碼
就是用V1編碼
再加一個
Latent的噪波遮罩
有了這個節點呢
我們就可以把
Latent的傳入
同時呢
把這個遮罩
也給它傳入
剛纔夾載的這些
所有的一系列的
遮罩變化
我們把它接到這個
設置Latent的
噪波遮罩之前
讓所有的變化
都實現在了
某一個區域範圍呢
也就達到了
我們的局部重繪的效果
那現在呢
我就給它
給大家做一個
更加直觀的展示
比如說我用
比如說我用這張圖像
我要把這張圖像的人物
比如說這個腿的部分
我讓它穿上一個褲子
或者穿上一個襪子
我們先來試試
直接用局部重繪的方式
我把它的腿畫上
大概的去畫一畫
然後呢
我們先反推一下
這個提示詞
OK 我這裏給它
反推了一下提示詞
一個年輕女子
什麼什麼什麼
我們這裏直接給它改一下
OK 我們發現
即使是0.7的重繪幅度
仍然沒有產生變化
如果我們把它
直接再拉更高一點
我相信它會產生變化的
但是整個構圖
就已經混亂了
所以說呢
我們用這種方式
顯然是進不通的
那我們需要把這個腿的部分
給它更改一下
這個噪聲的引導
同樣的方式
我們把這張圖給它放進來
簡單的選取一下這個範圍
因爲我們現在塗抹的
給的這個latent的引導
它只是一個大概的效果
所以不需要特別精細
然後呢
用這個畫筆
用這個白色
OK 我給它塗抹一下
之後呢
把它倒出
現在呢
我就給它一個這樣的引導
用0.65的重繪幅度執行
此時我們來對比一下
這個是真正的局部重繪
其他部分
完全沒有一點變化
這個腿部
被我們非常合理的
換成了我們想要的東西
OK 今天的內容呢
就是這些
以上所有的東西呢
我們都沒有用到
任何新的節點或者插件
也希望大家在學習的時候呢
更多地去掌握原理
去靈活地使用它
所有的節點都是好的
但它永遠都是會產生變化的
更新的節點
更先進的技術
會代替舊的節點
我們學節點的連接方式
是沒有用的
更多的是要掌握它的邏輯
這樣的話
在任何時候
我們都能知道
如何去使用它
