[ControlNet 1.1] AI終於會畫手了!Stable Diffusion ControlNet 1.1 震撼升級,無需本地安裝,聯網就能體驗全新功能!
2 次觀看·2024年2月3日
體驗鏈接:https://huggingface.co/spaces/hysts/ControlNet-v1-1
00:00 start
00:50 openpose
01:59 Shuffle
02:49 instruction Pix2Pix
今天,我來介紹一下 ControlNet 的最新版
ControlNet 是一種用於控制穩定擴散模型的神經網絡結構
可以通過添加額外的條件來傳遞任何姿勢或組合
它最近升級到了1.1版本,添加和更新了很多令人驚歎的功能
ControlNet 1.1 目前已經被部署到了 huggingface 中
無需經過繁瑣的下載安裝,即可體驗
首先,進入網址:https://huggingface.co 加上後面的一串字符
網址我已經放到了下面的視頻簡介中,有需要的可以直接複製
現在,你可以看到它上面有12個功能選項
我選擇3個它新增的、更新幅度比較大的來介紹一下
第一個:openpose
這個功能是這裏面最受歡迎的
以前的版本它只能簡單的識別姿勢,而且經常出現手部異常
但是這次,他可以同時識別面部、手部和身體
我現在,就來演示一下
首先點擊“Drop Image Here”上傳你喜歡的圖片
接下來,設置關鍵詞
我設置“一個女孩,在教室裏,裙子,制服,紅頭髮,書包,綠眼睛”
接下來,看右邊空白處的進度,稍等片刻
好了,生成結束
可以看到他這個已經把手部的骨骼給還原出來了
而且面部表情與五官也被清晰地識別出來
而且生成的照片中的人物也與原圖精確對應
接下來,試一下多人物效果
設置關鍵詞“在室外,聚會中,一羣帥氣的男孩”
好了,生成結束,看一下效果
不得不說,這些骨骼圖看起來非常有喜感
這個人臉識別所體現的效果非常讓人滿意
再看看成品圖片:圖片上的人也與骨骼精準對應,非常完美
第二個: Shuffle
通過內容隨機播放控制stable diffusion
這個是1.1新增的功能
這個功能,就是使用簡單的隨機流重新洗牌圖像
這可用於訓練基於樣式的 ControlNet,而不受剪輯視覺標記器的模型範圍的限制
這種方法最早是在兩階段草圖着色中提出的,用於指導圖像到圖像轉換的風格
接下來,在這裏上傳圖片並寫入關鍵詞,然後等待生成
我這裏選擇了一個公園圖片,同時填寫關鍵詞"park"
生成結束,看一下效果
在右側的兩張圖像中,左邊的一張是“隨機扭曲”的圖像。右邊的是最終輸出
圖片中的元素還是那些,但是具體的細節已經有很大的變化了
第三個:instruction Pix2Pix
使用指示 Pix2Pix 控制 stable diffusion
與官方的 Instruct Pix2Pix 不同
該模型使用 50% 的指令提示和 50% 的描述提示進行訓練
例如,“一個可愛的男孩 a cute boy”是一個描述提示
而“讓男孩可愛 make boys cute”是一個指令提示
所以,我在這裏建議大家在提示詞輸入框裏輸入以"make it"開頭的祈使句
我這裏選擇了一個房子圖片,同時填寫關鍵詞"make it winter"讓它變成冬天
然後等待生成,這個生成時間要看當時是不是處於高峯時段,如果是高峯,時間就會變長
生成結束,看一下效果
哈哈,一片白雪皚皚的景象
還有很多功能,我就不一一試了
其實會了一個,其餘的也都差不多

