為ComfyUI植入超強大腦🧠ChatGPT 讓【Flux】馬力全開🚀,精確圖生圖轉繪,| 發散式文生圖聯想創作!!! #aigc #flux #gpt4

那麼這一期我們延續上一期Flex話題
來探索一下在康VI當中
大語言模型到底應該怎麼調用
有哪些調用方式
之後讓大語言模型和我們Flex
能進行一個很好的協作
很細微很細緻的一個題詞
這就是我們這一期的主要內容
那麼話不多說
我們這就來到教程部分
我們回來先說兩個事情
第一個事情就是關於模型的事情
上一期有很多朋友說
到底什麼配置合適
到底慢不慢怎麼跑
包括結合這一期
我新出的量化的模型
也就是NF4的
總體容量的更小
而且包含了
clip以及encoder的一些編碼
所以說一個模型就可以完整的加載
佔用顯存很小
有很多朋友說用這個不錯
它也是有開發者版和用戶版
有測試過的朋友已經覺得
是不是開發者版和用戶版
差距還是挺大的
所以說上一期爲什麼
我建議大家用開發者版
那麼現在出了NF4
其實也是個不錯的格式
它的效果就是能很有效的
提高這種小顯存的生存速度
而對於大顯存來說
其實它和FP8的速度是差不多的
但是它要比FP8還要有一點點衰減
大顯存的話
我還是建議大家直接去跑FP8的
因爲這兩天config UI也更新了
對於FP8或者是FP16開發版
它的效率更高
這第一個到底選什麼樣的模型
比較合適
性價比最高
第二個我們來說
對於大語言模型的話
通常是有兩種方案
對不對
第一種方案是遠程調用API
比如說我的機器本來就不行
又跑flux
我還要本地跑語言模型
那就是雪上加霜了
所以說這個時候有朋友就會選擇用API
遠程調用只是花一點點小錢
就可以實現這樣的操作
其實算起來是很便宜的
當然本地部署
我們就需要一些顯存的餘量了
至少是16G以上
才能支持在本地部署
不會影響太多的速度
或者是爆顯存這種情況發生
那麼這一段分兩部分
第一部分就是API
我們先說API
這裏我們直接在本地來打開我們的config UI
我們直接找節點管理
然後在上面搜索LLMS
它能支持國內外這麼三四款的
大語言模型API調用
其實現在還有一個主流
有朋友還會用LLM的party
它的星數也是比較高的400星
這也是我們國人作者開發的
一個跟大語言模型類相關的這麼一個節點
但是它的實用度或者是綜合性就比較強
它使用起來
其實更多的有點像那種玩智能體了
或者是相當於在我們config UI
玩大語言模型的這種感覺
就讓語言模型對話
讓語言模型邏輯
或者儲存語言模型的智能體的一些前置prompt
把它更專業一些
但是我們要設計比較簡單的調用
豐富提示詞
又或者是反推我們的圖像提示詞的話
這裏我還是打算把它分開講
分開兩個插件都比較簡單來使用
之後如果想深入研究的話
我們可以再來說LLM的party
那麼我們對於第一個遠程調用
我們就用config UI的LLMS
在Github這裏我們可以看到它支持圖像反推
那麼同時我們可以看到下面它支持哪幾類模型
第一類不用多說了
就是我們GPT 3.5
4一系列的
第二類就是我們國產的GLM
也就是質樸
第三類同樣也被大家說成是國產之光的通譯籤問
一共我們能調用的就是這三類的大語言模型
那麼結合它每種不同的型號
我們就可以有很多的變化的使用方法
當然了可以看到這裏還有一個谷歌的Gemini
但是這個我們申請API比較麻煩
尤其是國外你付費什麼的
國外接口還是比較麻煩
所以說我就忽略Gemini了
下面我們可以看到一些配置的方法
等會我們詳細來說
這個時候我們按了它的插件以後
我們先大概看一下它的插件節點
兩三個很簡單
我們可以看到LLMS猴頭
monkey的一個圖標
一共就4個節點
第一個就是chat
可以幫我們發散思維
我們可以跟它聊天
讓它幫我們想一些提示詞
那麼下面三個可以看到前面都有一個畫框
自然這三個都是version
也就是實圖的功能
所以我們挨個的把它們點出來
我們看一下
第一個chat節點
第二個阿里的
也就是我們同意籤問的一個圖像反推
第三個是谷歌的Gemini
第四個就是我們 GLM的制服的圖像反推
在這個地方我們之前說了Gemini是不會用的
我們調用API比較費勁
給它pass掉
那麼這兩個其實當中還有一個侷限性
我們可以看到阿里的version
還是比較好操作的
它默認就是描述這個圖像
那麼我們可以在這個圖像接口裏
直接烙的一個頁面去
之後我們這邊直接text出來一個穩穩預覽
就很簡單
這個制服它有一點點不太實用
我覺得這個節點
我們沒有辦法直接傳入圖片可以看到
我們是需要單獨給它一個URL
所以說我們這個圖片它必須得有圖牀
必須傳到一個圖牀上
把URL返發回來
然後才能讓它去解釋
在圖牀上網址的圖片的內容
所以說這個東西我覺得不是特別的實用
如果大家有玩的6的
用什麼方法能很快的搞到圖牀上
或者是轉接一下的話
大家也可以留言交流一下
看看怎麼的能夠好用
因爲我其實比較喜歡用質譜
包括上上期flex的評測
我也是用的質譜
進行十大類的提示詞的輸出的
所以說這個是個問題
OK 把這兩類刨去以後
其實剩下就這兩個節點
說到這我們就來看一下它的如何配置
在它這裏有一個大概的配置文件
按這種方法進行一個配置
當然了其實我已經配置好了一份
到時候可以發給大家
上面是有一個API的base
就是我們的轉接接口也好
還直接訪問的一個API接口
下面是我們申請的key
那麼在下面是我們可以選用的模型
有哪類模型
那麼這幾個version
就是對應的三個節點
我們來到本地
在我們ConfigUI的CustomNodes裏
然後找到我們的LLMS插件
這個插件最下面可以看到有個YAML的settings
把這個配置文件
我們直接用一種筆記本方式打開也好
還是用文本方式打開也好
我們來看一下它的格式
就是剛纔所看到的
明白這個以後
我們邊來去搞一下IPA
邊來把這個配置給它完成了
我們先放到一邊
首先說GPT的
還是像之前部署在線項目一樣
我跟大家推薦的就是OpenAI
HongKong集成API
它有GPT的也好
繪畫的也好
音樂的也好
還有Cloud也好
它集成了很多
如果我們想增加其他的也沒有問題
我們是可以把這裏邊支持的模型
全部輸入到我們對應列表裏的
在獲取key這個地方
我們就可以把密鑰給它複製一下了
如果還沒有用過中轉key的朋友
可以通過我在評論下方的連接
然後註冊使用
使用起來很方便
只要微信掃一下就可以登錄
這裏的費用都有明細
而且對於提示詞反推
你可以看到積分消耗特別的少
複製好以後
我們就把它粘貼到我們這個地方就可以
接下來接口的請求地址也放進來
可以看到OpenAI HongKong的接口
一樣粘貼到上面來
但是這裏要注意一下
把後面-V1給它留下來
這纔是它的接口訪問地址
我們之前只是個網關
這樣的話我們聊天的配置就配置好了
下面就有GPT-4各種模型了
當然在這裏我們就可以加一些模型
比如說最新的是4歐
我們就可以把4歐給它加進來
粘貼到這裏
大概就是這樣的一種方式來添加模型
只要我們接口支持的模型名稱
都可以放到這裏面來
之後我們再說同意籤問的
來到愛裏雲以後
先要登錄
右上角我們先登錄了我們的賬號
我們在左上角的產品服務這邊
我們搜索模型
在下面我們會看到有一個模型服務靈機
我也不知道是什麼意思
反正挺拗嘴的
那麼點進來以後
這就是我們的模型管理
可以看到我們這邊的調用記錄
以及使用詳情
這個時候找到我們的API Key管理
可以看到我這裏創建了一個
沒有的話我們創建一個新的API
點擊創建
看見沒有
這時候就有一個API
然後我們直接複製這個API
先把它記錄一下
我們先記錄在下面
因爲它這是一個統一的配置
我們需要配置不一樣的API
是需要在下面加一個
默認的我們重新複製一下
因爲這裏我們是單獨設置一個
阿里API的一個配置
然後在這個地方粘貼
我們這裏大概弄一下演示一下
之後我會給大家一個我整理好的
我們就可以把我們剛纔這個API
放在新的配置裏
當然這裏我們要記得
把前後兩邊擴起來
我們阿里的API就配置好了
還有一個API的訪問接口
這個接口就不是我們之前的OpenAI的了
而是我在阿里通一千問
它的後臺查了一下
查到的請求接口
然後第三個配置
我們配置我們質樸的
我們這裏重新粘貼一份GLM
之後我們找它的API
來到質樸的開發者中心
一樣用電話註冊一下
短信接收一下注冊碼
我們就登錄了
這裏要說的這兩個平臺註冊以後
不管是阿里也好
還是我們質樸也好
都會送一個月的免費使用
很多市場
你基本上是使用不完的API
積分也好
或者是他們的token也好
之後我們點擊右上方
API密鑰
我們可以直接右上角
點擊添加一個API
比如說我們叫config-ui
它就會產生一個API
然後我們複製這個API
這裏就放到我們下面
GLM的API這裏
同樣後面也有一個API的接口
這個接口地址
我也是在質樸文檔裏查到的
我們把它複製粘貼到這裏面來
這樣的話
我們三個配置就配置好了
當然了
對於圖形這個地方
我們還是要填一下
我們剛纔說了只用阿里的
所以說我們就可以只填阿里的
把剛纔阿里的API給複製一下
然後粘貼到我們上面version阿里
當然如果有Gemini的話
我們也可以配Gemini
質樸我們也可以配一下
直接複製一下
API一樣放進來
當然對於模型列表
可以看到現在都是GPT的
然後這裏有一個GLM-4
同一前文的tombo
這些模型型號
我們都可以往裏加
官網去查一下
比如說我們質樸的
我們來到控制檯
這邊有一個模型中心
在這裏可以看到它的模型型號
比如說我喜歡這個
或者是這個比較快
flash比較快的
很便宜的這樣一個模型
比較適合我聊天
比較適合給我出提示詞
然後我們就可以複製一下它
加到我們這邊的列表裏面了
這樣的話我們就多了一個
質樸的flash模型可以調用
基本上就這麼回事
對於阿里也一樣
阿里這邊我們也可以看到
有各種各樣的模型
OK
那麼這就是我們配置的過程
這個時候我們現在試一下
來到我們本地刷新頁面以後
我們再刷新一下整體頁面
我們先來試一下圖片識別
我們用的是哪個阿里的同一前文
然後我們選擇一個模型
圖像識別我們運行
OK那麼就可以看到
它已經反推出來了
那麼第二個來看一下
我們的聊天識別
這個提示詞
基本上它就是一個prompt生成器
根據我們的題詞
給我們生成一些詳細的題詞
然後如果我們輸入的是中文
希望它最終輸出的是一個英文
比如說我們默認先看一下GPT
show text 文本
然後記得這裏是配API的
我們剛纔是不是配了三個
第一個是chat GPT的
第二個是阿里同一前文
第三個是質樸的
對吧
我們挨個試一下
選擇第一個默認
我們選擇一個GPT的模型
來進行運行
在這裏隨便給它一個題詞
我們繼續來運行
這裏它又重新運行了
我們儘量把這個種子給它固定了
要不然每次重新運行
是多跑API的費用的
可以看到這邊很快
chat GPT 3.5
TEMPO就出來了
之後我們來換一下API
換阿里的API
同時我們這邊換阿里的
TEMPO的模型
同一前文的模型
我們來生成一下
OK也沒有問題
只是說它好像不太明白
我們給它的
讓它輸入英文
我們需要調教一下
之後我們也可以換一些
我們上面實圖的一些模型
或者是Max等等的模型
之後我們再換API
一樣換質樸的
這邊我們找到GPT 4
或者Flash也行
這個Flash是我們剛纔加的
我們先試一下這個4
OK沒有問題
也是同樣的能跑出來
那麼這就是我們如何遠程調用API
以及如何申請這些
不同模型的API接口的一個方式
之後我們來到結合工作流說一下
這一階我們還是結合
我們端腦雲的服務器這邊
來進行工作流的搭建和部署
端腦雲這邊歐陽之前
沒有做過鏡像
這一期歐陽也把鏡像做一個打包
也就是之前教學內容的
所有的鏡像放在這個地方
當中就包含了Flex 8bit
或者16bit的
所以我們直接就可以來到鏡像這一邊
我們首先要說的
就是基礎Flex的流程
因爲上一期我們使用了
Impact Detailer對吧
我們也瞭解過它的KSampler更新了
所以說我們就不希望
再用這樣的一個工作流
因爲看起來非常的臃腫
這一期我們把它直接轉成
Impact的KSampler
在Impact當中可以看到採樣的選項
通常用的就是這個節點數
有了基礎節點數
我們就需要打包一個節點數了
對吧
應該是一個toBasePipe
而不是fromBasePipe
可以看到這個toBasePipe
之後我們把這些管道
就可以挨個輸入給它
這裏我們就做一個簡單的測試
對工作流
然後這個Clip Unite VAE
對吧
正向提示詞
我們可以直接給到這一邊
那麼負向提示詞
我們可以給空
也可以更簡練一些
我們這裏可以給它一個站位符
同樣在Impact裏面
有一個Negative的負面站位符
還是採樣這裏面的第一個
Negative的一個空的負面
這樣的話
我們就可以很簡潔的
把它傳給我們的
這邊的K採樣器了
有人說這兩個效果一不一樣
我們可以直接試一下
我們把整個的一個種子
輸入給它倆
後面我們給一個預覽圖像
步數都是20步
然後都是Simple的一個採樣器
對吧
現在我們用這個題詞
我這裏寫了一個題詞
就是一個男士
向一位女士求婚的這麼一個題詞
好的
那麼現在我們可以看到
這兩張圖像是一模一樣
你看花瓣的細節就能看出來
所以之後我們完全就可以用
Impact節點當中
給Simple來省略
我們原先的這種傳統的流程步驟
你可以看到這邊
這叫什麼
長的堵的拖了一大堆
所以我們Impact的作者還是很強
很快就把支持更新了
所以這個時候
我們就不需要
這一系列的沒用的東西
這就是第一個
用我們Impact的節點
直接給它簡化流程
之後我們就把節點挪出來
這裏我們簡單來做兩個流程
第一個是圖生圖
第二個是文生圖
這裏我們來個API的圖像反推
可以看到生圖和反推的
兩個流程給它合到一起
怎麼搭建
首先我們要來一個load image
有了圖像以後
按照我們之前的方式
給它來一個縮放
把它限定到1024
然後讓它保持寬高比
有了圖像以後
再輸出給我們的圖像識別
對吧
LLMS當中的圖像識別
就用我們阿里的同意籤問
這邊的題詞
我們就可以直接串到這邊
因爲我們現在出來的是英文是吧
我們給它預覽一下
也沒有什麼問題
我們還可以玩一個花一點
如果不怕費用的話
我們直接給它一個chat
然後chat這個地方
我們讓它翻譯
你是一個優秀的翻譯官什麼的
然後把這個輸入到
我們下面的prompt
給它提升了
然後輸入到我們這邊來
這樣的話它就是一個翻譯官了
然後這邊我們修text就可以
這個題詞
我們直接就輸到這邊來
這就是我們的一個流程
反推圖像的一個方式
有了反推以後
我們是不是需要給它一個圖像
就圖生圖和反推是搭配
而不是說分開的
現在我們先試一下
現在我們直接來運行
讓它翻譯一下
第一個先識圖
有了反推的描述詞以後
第二個我們在翻譯上面反推的內容
然後反推了以後
我們直接輸入給
clip encoder編碼以後來進行採樣
這就是簡單的走API的一個過程
現在我們看一下這邊生成的
有一些類似
就看noise就可以看出來
但是還是差一點構圖
以及我們畫幅不對
所以我們反對題詞
我是建議給一個圖
就把我們的圖和反推的題詞都給進去
這樣的話它的比例也對
它的構圖也對
就基本上能達到很相似
我們只需要換個風格
就可以達到很好的一個轉換
我們直接編一個laten
這邊進來以後來個編碼
vae我們這邊直接連過來一個vae
然後laten我們直接就給到上面去
這樣的話就是一個圖生圖的過程了
而且它的分辨率和我們這邊
也是保持高度一致的
我們可以再稍微把它降噪給到0.9
很小一點就夠
這樣的話我們直接再來生成
這種就可以很方便的魔改
我們來看一下我們的原圖和反推出來
以及給了一點點圖生圖的搭配的這種方式
你可以看到它的相似程度就很高了
只是本身它模型帶了一些些風格
對不對
很快就我們用API大語言模型的能力給搞起來了
除了反推我們還差一個題詞生成
就是我們的chat功能
我們可以再加一個線路
加一個chat
這裏chat我們可以一樣用3.5的稱謀模型
然後這裏我們就需要給它一個好一點點的身份標識
這個身份標識其實也可以
作爲提示詞生成
我給你一段文字
你描述一段詳細的什麼的
但這裏我給它進行了一點點的規範和加工
尤其是對於我們flex需要更多的細節的話
它的身份標識應該是有一個規則
有些朋友說不會調試GPT
這個大語言都出來多長時間了
對吧
你跟他聊一聊
給他規範一下
就能出一個這樣的規範
很早之前GPT出來的時候
我就出過一個教程
算是一個聊天
告訴大家如何去合理的跟語言模型進行調整
調整語言模型的方向
提詞的方向
以及它的標準
下面只是給他加了一些要求
比如說一要有角色的描述
如果有配角的話
不能說配角
就是輔助角色次要角色的話
我們需要有次要角色的描述
然後背景的描述以及風格的描述
給他舉了一些例子
他就明白了
我們要很明確的告訴他我們要什麼
他才能夠我們出出來
最後一樣
用中文跟你交流
你就要用英文回答
然後接下來我們這邊就可以美麗女子的照片
寫實照片等等的這些提詞
我們隨便寫
反正現在已經是中文
因爲它會自動翻譯了
這已經是大語言模型的威力了
然後這邊我們就可以編碼進去了
這裏我們因爲要走兩條線
所以我們這個地方可以把這個Lib
給他單獨的走一根出來
一個是我們聊天的Clip
文生圖的Clip
一個是圖生圖的Clip
這兩個Clip我們可以選擇一下再傳進去
這樣我們就形成了一個兩種不同工作流的切換
切換這一期順便跟大家分享一個工作流的小技巧
就是Switch
我們在組織工作流當中經常會切換不同的流程
如果不停的連線會很煩
這也是個工作流組織的小技巧
而我們常用的就是Impact的Switch
Switch有正的有反的
這裏我們講的是一個正常的Switch
然後我們可以看到下面有個Impact的Switch切換
切換它就可以輸入很多的內容
有三個有四個有五個都可以
這裏只需要一個Select Number
只需要選擇讓它走哪條路線
它就會自動的把我們這個路線走進去了
那麼現在這樣的話我們其實選的是第一個路線
也就是走到我們下面的反推圖的題詞
所以現在我們走第二個來進行生成
但是還有一個問題是Latent的對吧
我們如果要走這個路線的話
Latent的是不是就不能用這個
一樣是用我們這個對不對
這個地方我們一樣可以用Switch進行Latent的切換
我們直接來Switch
一模一樣的節點
我們把Latent輸入給它
因爲Switch它也接受任何類型的
你輸入一個類型的話
它就會判斷爲另一個類型
然後這樣的話我們就有了一個第二個切換
所以說我們可以把這兩個Select Number提升一下
直接統一了就OK了
這邊的選擇我們也提升
然後直接出來一個原節點
然後給到這兩個Select
一步的控制就可以控制我們到底要走哪個流程了
現在我們直接文生圖
這邊其實我們還少一個翻譯
如果要的話其實我們可以通用這一個節點
就不需要再拖一個節點了
一樣我們輸入進來也可以做一個Select
一個切換這邊這邊以及這邊都會切換
這就是我們工作流大概的一個組件的一個方式
當然這麼走有個弊端
就是即便我不做圖層圖
它這邊還會生成
而且有時候我這邊要是空圖的話
可能這邊它就會爆粗
我們這個地方看看能不能用分組開關
給它進行另一種構建也可以
現在可以看到即便已經翻譯出來了
美麗的女人長髮綠色的秀髮等等
我們說是逼真的
但是你可以看到它是動漫風格
有點像手繪等等的
這張圖片爲什麼它有這種手繪的風格
我們要檢查一下提示詞在風格這一邊
仔細看一下本來是攝影的風格
它後面又加了很多這種描述
最關鍵的有一個是被精心的描繪
一說描繪就有一種畫手繪的風格對不對
所以我們這邊來調試一下我們的提示詞
給它一個照片簡單一點點
寫實照片美麗的女子的照片就是這樣
然後我們再來試試它出的題詞
周圍的鮮花照片清晰而鮮明
這個應該就不會跑偏了
OK這裏我們就基本說完了
API如何調用以及工作流如何構建
這一套API的工作流
到時候我也會分享給大家
之後我們來說本地部署
目前在插件裏面
或者是我們本地能用的模型裏面
現在config UI主流的兩個插件
或者是主流調用的兩個模型
就是這兩個一個是llama
我們找一下olama
這個meta公司開源的這一系列模型對吧
那我用的是269星的這一個
那麼第二個我們用的本地模型
Forensic 2
可以看到我一樣用的是第二個
459星最多的這一個
這個本地模型是微軟開發的
因爲考慮到我們本地又要跑config UI
又要跑這個
所以說我們儘量用一些輕量化的
而目前爲我們提供題詞
或者是反推
或者是有視覺能力的
基本上就是這兩個
所以就這兩個我們來說一下
它如何安裝
因爲這個東西我們就要部署了
Mark電腦可能有些不太相同
但是還好olama它官方是有一個安裝方式的
有windows安裝
就需要下載一個客戶端
如果是mark一樣
這邊也download一個mark客戶端
如果是服務器我們就linux
直接用這個命令安裝就可以
我配置服務器就這麼安裝
我們來到本地
可以看一下我下載了
olama的已經下載下來了
我們就先安一下
現在我這個電腦也沒有
我們只需要安裝它
就可以爲我們的電腦增加olama的一個服務
它其實這是一個大語言模型
也就是它這一系列大語言模型
運行的一個框架
在這裏安裝我們就直接安裝就OK
什麼都不用管
這個倒是比較簡單
安裝完以後可以看到沒什麼變化
我們看一下右下角點開助流程序這裏
可以看到olama的客戶端
這是它的服務已經啓動了
之後我們就直接通過CMD隨便打開
然後這邊我們直接搜CMD
或者下邊運行也行
然後我們直接輸入olama
可以看到以下這個信息的時候
我們就安裝成功了
安裝成功以後
我們就直接來下載模型
來進行本地運行
olama的官網這裏
我們直接找models
我們要運行什麼模型
我們就下載什麼模型
在這裏歐陽也是在羣裏
跟大家探討交流一下
然後有一些朋友推薦了一個模型
比較好的一個小模型
PHI3這樣一個後綴模型
然後下面是這個
LAVA還叫什麼
可以看到它有version的一個能力
識別圖像的能力
所以我們要安這個模型
它是3B的一個數據量
相對來說很小
而且它的體量也是很小
不會佔用我們特別多的內存
你可以看到只有兩個G
這是適合我們configur3推的
當然了還有其他的模型
大家如果感興趣
可以看一下這個模型列表裏
有很多
那麼在olama這裏
找到我們的模型列表
以及我們心儀的模型以後
然後這邊我們就可以直接來運行指令了
可以看到run a model
就是我們的模型名稱
所以這個時候我們就可以
olama
然後後面是run
然後模型名稱
就是我們要運行這個模型
這樣的話它就會自動下載
如果有的話就會運行
沒有的話就會自動下載
現在我們直接回車
可以看到它就開始檢測
我們的環境
之後就可以看到它在下載
一共是2.3G
對不對
就是我們剛纔所看到的模型的大小
下載也是很快
這就OK了
可以看到下載成功
現在當我們看到這一行
就已經成功了
我們現在hello
你可以看到
我們在後臺已經把它運行起來了
而且我現在這個機器
10系戰神生存速度還是很快的
我們再問它中文
你會說中文嗎
它一樣也會以中文的方式回答我
現在我們把它運行在後臺以後
就不需要管了
就把它縮下去
這裏我是在本地運行
我們需要來到我們本地的Kafui
找到olama
我們之前安裝的插件
olama
也可以看到一共就三個節點
剩下兩個就是一個save一個load
這三個我們自然也可以看到
一個是version的
就是識別圖像的
一個是generator生成的
還有一個是generator advanced的
高級的
我們直接用高級的就行
這裏我們三個先都點出來
給大家看一下
OK
圖像這個不用說了
一樣我們load一個image
然後這邊我們就可以直接出了
因爲我們olama部署的時候
它默認的一個端口
就是這個端口
001
然後端口是11434
所以到我們本地運行
啓動起來以後
基本上這什麼都不用管
然後模型它也會自動的去識別
我們現在已經有的一個模型
它會自動識別的
讓它描述一下
看看怎麼樣
這樣的方式
我們本地部署
就可以運用它很多的特性了
也不怕跑API的費用了
這兩邊的generator
我們可以看一下
第一個就是直接問它
不給它身份認證
沒有它的角色
這邊advanced的可以看到
我們有問題
下面也有一個身份認證
就是在這裏
它的默認給我們的
就是說它是一個藝術家
優雅的描述
您在藝術領域的知識
這邊的話
我們一樣可以把它一魚多喫
把它用於很多種途徑
這邊我們把我們第一個
prompt提升一下
我們右鍵把它提升爲輸入
把我們這邊輸過來
這邊比較有意思
就是說還可以額外給它制定一些
身份或者是環境
就是說現在的一個語境之類的
或者是環境之類的
這麼一個上下文
然後這邊我們可以告訴它
讓它成爲一個翻譯
這個小模型對中文
可能一般般不是特別的好
那麼最後我們把翻譯身份
粘貼進來
然後運行
它就把我們之前的題詞
進行了一個翻譯了
這樣本地跑的話就太舒服了
那麼最後我們說一個注意事項
就是我們這邊的後臺一定要開着
到時候直接關了這個就可以退出
包括我們右下角
歐拉瑪的圖標服務也可以quit了它
每一次我們想用它的時候
都需要先開啓我們歐拉瑪的服務
然後我們在CMD進來重新運行
在運行的過程當中
可能我們不知道怎麼運行
就其實只需要記住歐拉瑪就可以
我們就可以看到它的命令了
之前是不是run的一個模型
如果忘記模型的話
我們可以歐拉瑪一樣list
列出我們的模型列表
就可以看到我們已經部署的模型是什麼
接下來我們就歐拉瑪
然後run
把這個複製一下
一粘貼回車
是不是這樣就運行了
所以說這些命令沒什麼複雜的
只需要記住歐拉瑪這幾個字就可以了
現在我們就把它退出了之後
我們就來說我們本地部署的forums
因爲它的安裝可能需要一個什麼依賴
我們先把它刪掉
我們找到我們的管理
然後找到我們要裝的這一個
KIGAI作者開發的
然後我們直接先把它安裝了
這邊我們來到它的hack&fix
雖然說相信這個地方
我不一定這個電腦能部署得上
但是部署流程我可以跟大家說一下
很簡單
首先把我們的插件安裝以後
我們需要按一下依賴
這個依賴可以看到就這一行
如果我們是便攜版的話就是這一行
但是你要知道你現在的目錄是哪裏
一定要是按照目錄來
那麼來到我們插件的目錄下
我們看一看這邊已經有了
對吧
這個forums要確認有這個文件
這個是依賴安裝的一個文件
我們可以打開看一下這個文本
就要安這4個依賴
我覺得我們現在應該一般人用的都是便攜版
不管是秋葉也好
還是原生也好
它都是基於我們便攜版來運行的
所以說你看到這個地方
我們一定要下一級目錄是python的一個
python的一個環境
進來以後是它的便攜版
如果是秋葉的話
它可能就叫python
如果是我們原生的話
它就是便攜版
所以你找到我們現在configure的根目錄
然後在python環境之上
一定要在python環境的文件夾上一級
在這一級以後我們打開CMD
就我們的位置一定要對
我們當前的位置
所以說你現在打開以後
我們當前位置是對的
然後我們再來複制它命令
也就是運行我們剛纔所看到的依賴的文件
挨個把那些依賴安裝進來
粘貼過來以後回撤
這樣的話它就開始爲我們安裝
forums它本身要有的依賴
可以看到很快的
然後我們再重啓一下config UI
就是目錄你要弄明白
第一個地方的python.exe指定的是
我們當下config UI的虛擬環境
解釋器的python.exe的執行文件在哪裏
那麼之後要指定我們整個的插件下面的文件
來配置文件裏面的一個依賴
所以說我們的目錄就是說
在這個的上一級和這個的上一級
現在我們的結構
也就是我們在config UI的上一級
以及我們python環境的上一級
這個關係一定要弄明白
在這個地方用CMD打開這個位置纔對
要不然你指定不到這個文件
路徑就錯了
同時你這個名字也一定要改成你的這種版本
OK來到我們的前端
現在我們右鍵直接可以找到
forums的插件了
更少就三個節點
這三個節點一個是run運行
還有兩個就是download and load下載運行了
這個主要是提詞反推的
它並沒有那麼多功能
一樣我們加載一個image
這邊的models就是我們剛纔看到的兩個
其中一個是加載主模型就是model
第二個是laura
它還有一個laura的一個微條
可以在model後面把這個微條也加進來
要看大家的瞭解程度
如果比較瞭解的話
知道這些微條在哪裏
我對這個模型瞭解的其實並不多
因爲之前可能國內訓練的一些大佬用它打標
又或者是國外的一些流程會用這個
如果你知道laura的話
就可以下一些laura放到這裏
不知道的話無所謂
選擇你需要的一個模型就可以了
通常我們是base又或者是下面的一個base
prompt gene就是生成prompt
我通常用的是base和下面這個
大家可以隨便用
你選了一個模型以後
第一次運行的時候
當檢測到沒有它就會自動下載
所以說這個節點叫download and loader
然後這邊我們就可以直接來一個預覽
它這個使用方法就有一些不太一樣
我們要問的就不是在這個地方輸入
而是說在下面的ask
你要給我一些細節
或者是你給我更多細節
或者是你給我基本描述
又或者是也可以看到還有個seq
segmentation的一個方法
或者還有問答的一種方式
只有這個問答我們可以跟它互動
最多用就是這三個
比如說我們讓它中等描述
直接我們運行
因爲第一次安裝對不對
然後我們來看一下後臺
可以看到我們這邊就開始下載了
它不需要在系統外配置
你只需要稍微瞭解一下環境
把依賴給它安裝一下
在我們configurer系統內
就可以直接下載模型和運行模型
這樣的話它就會爲我們生成圖像的描述了
我們讓它去分割也比較有意思
比如說這個女性
我們這邊可以給個face
這樣的話它能對圖形進行一個分割
同時給出來一個mask
這就有點像我們bebox的
或者是sam的那種感覺
但是它畢竟還是語言模型
我們可以看到它就把人物面部標出來了
但是你會看到標的質量就不敢恭維了
對不對
它畢竟是語言模型
咱也不能強求人家非得把圖像處理的多精細
OK當我們知道了這兩種以後
我們一樣來到服務器
再次感謝端腦雲對本頻道的大力支持和贊助
對於我要求的鏡像要部署這兩個插件的時候
技術大大真的是一直在配合
全都部署在我們鏡像服務器上了
而且歐拉瑪是開機自起的
所以說一定要開高配4090
我們就不需要再去搞那些命令了
同時forense也是已經配置在這裏的
這個鏡像在一週之內差不多就能正式打包上線了
第一次打包可能稍微慢一點
也再次感謝平臺的大力配合和支持
也方便以後大家來這款直接用這個鏡像來體驗
OK那麼接下來我們就來說本地運行模型的這一套流程
工作流就以歐拉瑪爲例
因爲forense2比較簡單
小作業就交給大家自己下去部署
現在我們就在這個基礎上改一下就很好改
把version還有一個高級的generator
第一個給到圖像這邊來
同時提示詞替換掉這邊的文本展示出來
把它複製一下
很簡單的過程
我們來把它提示詞我們直接輸過來
展示提示詞也輸過來
第二個我們把它替代一下這邊翻譯的角色
把這個刪掉翻譯的stream給過來
prompt提升了給到prompt來
這樣就順利的替換了
然後這邊的翻譯我們給它加個題詞
現在我們直接來生成
然後這邊我們用的是文生圖
還是一個美麗的女子照片寫實照片
我們直接再來生成一下
服務器是順利加載歐拉瑪的
它的模型也是能讀出來的
OK可以看到歐拉瑪出的詞
它就稍微簡潔一點點
相比起來之前的API調用的大模型來說
它發揮的就很淳樸
還是中性的背景
它也沒有描述出來的效果
它就不是特別的細緻
現在我們可以看到就是這樣
真實感還是不夠
這樣它詳細的描述
請詳細描述
無像質量寫實照片
最好還是英文我覺得
因爲我們畢竟用的這個是一個小模型
它其實更適合圖片反推
OK讓我們現在來跑一下
OK這樣的話可以看到
它的文字就稍微多一些對吧
穿着時髦外套的女人
高分辨率優雅的氣質
然後背景是有神祕感的
落日黃昏拍攝
自然光柔和的陰影
這個描述就多一些
你可以看到是不是就好一些
所以說對於歐拉瑪
我們應該多給一些題詞
讓它說的儘量詳細一點
對於愛叨叨的GPT等等的
就應該少一些
儘量精簡一些
讓它自由發揮
各有各的特色
OK那麼這就是利用大猿模型
爲我們Flex進行一個加持
之後我們就可以通過這樣的方式
讓它幫你想象了
工作流都會分享給大家
這個地方還要說一下
API配置文件這裏
你可以看到這邊
我在服務器上
已經配置了各種各樣的服務器
並且用這種符號把它隔開
這樣就是上面GPT
下面是譜
在下面是空一千萬
至於配置文件
我們也可以看一下
這個配置文件
我到時候也會網盤發給大家
就是我所有的配置文件
這一期API我也懶得打碼了
到時候我把API重置了就完事了
大家只需要在這個地方
添入你對應的API
其他的API接口這別改
這改了就報錯了
只要改你API key就可以
好的
那麼這就是這一期
關於在Kafi UI中
目前來說
所有大語言模型的調用方式
基本上涵蓋了百分之七八十了
我覺得這一期
OK
那麼如果本期內容
對大家有所幫助的話
就千萬不要忘了
點擊系列按鍵來支持
歐陽AI家家了
大家的支持纔是歐陽更新的動力
如果對AI領域感興趣的朋友
也千萬不要忘了點擊一波關注
爲了我們一同學習
一同成長
我們下期再見