成本私有AI代理:Gemma 4與SearXNG完全設置指南 | 中文配音

深度大乱斗
6粉絲
7 次觀看·2026年8月10日
大家好,各位大佬。
本期視頻,我將展示如何利用全新的Gem4模型,
完全免費且100%私密地運行OpenSource。
首先,我會解釋這些模型分別是什麼,
以及為什麼它們特別適合Ocleo。
接著,我會帶你瞭解需要在電腦上安裝哪些工具。
我會演示如何下載模型,
然後直接將它們接入你的OpenCloud並開始使用。
最後,很多人問我如何實現免費的網絡搜索。
我其實找到了一種完全免費、100%私密的方法。
所有信息都不會離開你的設備。
我也會在本視頻中展示具體操作。
Gem4模型其實是谷歌推出的模型。
大家可能熟悉Gemini3,
那是谷歌的付費AI服務,性能非常出色。
谷歌還推出了NanoBernard,
一個同樣出色的圖像生成模型。
最近它們又發布了四款新的開源模型。
這意味著你可以直接將這些模型下載到電腦上,
或者手機也能運行這些輕量模型,
從而在設備上完全免費使用AI。
谷歌發布了兩款小到能在手機上運行的模型,
E2B和E4B。
這些模型能處理文本、圖像、視頻和音頻。
你可以在手機上用它拍一段視頻,
然後提問,就能獲得相關解答。
它們還發布了兩款適合電腦的大模型,
26B和31B。
這些只能處理文本和圖像,
不支持音頻和視頻。
我實際在OpenClore上試用了這款小型的E4B模型幾天,
對其工具調用能力印象深刻。
模型能否進行智能工具調用對OpenClore至關重要,
因為用戶可能會提出這樣的請求。
嘿,幫我找找最新的AI資訊,
整理成報告,然後添加到我的ClickUp,
或通過郵件發給團隊成員。
要完成這個請求,
模型必須執行網絡搜索。
總結結果,創建報告,
任務已完成。
當我運行這款超小的E4B模型時,
它本是專為手機設計的,
但實際執行這些任務的能力讓我非常驚喜。
以前如果用小型模型,
它可能中途就卡住了,
比如進行到第二步,
它就沒反應了,
我得去拍它一下問,
怎麼回事,能完成任務嗎?
所以設備再小,
我也敢試試這些小模型看看效果。
有幾種方法可以把模型下載到設備並用,
OpenCL運行。
今天我們將使用Olema,
選擇Olema是因為它非常簡單易用,
方便我們瀏覽模型下載到電腦,
並且與OpenCL有原生集成。
這意味著你不需要任何自定義編碼或複雜配置。
下載模型後,
用Atama原生集成配置。
首先我們需要在設備上下載並安裝Olema,
複製這個命令,
打開新終端,
粘貼命令按回車,
Olema卻裝好了。
接下來,我們進入模型標籤頁。
在模型標籤頁裡,
我們可以瀏覽幾乎所有可用的開源模型。
我們要進JAMA4,
往下翻一點,
就能看到所有不同的模型。
正如之前提到的,
這兩款模型是為手機設計的,
ERB和E4B這兩個是桌面版模型,
26和31B。
我在我的OpenCL實例上測試了這款,
運行的相當不錯,
128K的上下文窗口對我的OpenCL來說也很夠用,
根據我的測試,
對話從未變得過於複雜。
總之,效果很好。
現在我把這款26B模型256K上下文窗口
作為日常主力使用,
我在擁有512GB內存的MacStudio上
運行這個18dB的模型,
完全沒問題,
我的24G MacBook Pro跑起來也可流暢。
本期視頻我就用這個演示,
我們會做些測試,
看看效果。
因為如果你用的是16GB的MacBook Pro,
這個7GB版本也能運行,
包括對話過程中積累的額外上下文,
所以這款模型值得我們關注。
現在安裝JAMA4B,
我複製這個命令,
回到終端,
輸入olemapo,
然後粘貼模型名稱,
按下回車,
現在模型就開始下載到設備上了。
下載時如果你覺得設備太小,
連運行一個AI模型的內存都不夠,
或者我用的VPS根本沒法下載任何模型,
卻不可能實現。
其實,
OLAMA也提供雲服務,
每月20美元,
他們聲稱,
這足夠支撐你整個月的OpenCL使用量。
所以,
如果你每天使用,
就能用上像KimiK 2.5、
GLM5或Minimax M2.7這樣的大模型。
這些都是運行在雲端的大型模型,
每月20美元,
我覺得是個值得考慮的方案。
例如,
如果你無法在設備上安裝任何本地模型,
可以使用雲端的31B版本,
這是20G版本。
通過他們的雲實力,
就能獲得完整的256K上下文字紙。
我會演示雲端和本地兩種配置方法。
現在模型已經拉取完成,
另一個OLAMA命令OLAMA list,
可以查看電腦上的所有模型。
按下回車,
可以看到我很早之前下載的LAMA 3.2,
還有9.6GB的JAMA 14B,
以及現在7.2GB的JAMA 12B。
你可以在設備上下載多個不同的模型,
並由OLAMA統一管理。
接下來,
我假設你已經在自己的設備上運行著OpenCLoud,
現在只是想把這個開源模型直接接入現有的適應。
所以接下來,
我們直接進入OpenCLoud空間配置。
實際上,
這些步驟和你初次設置全新的OpenCLoud實力非常相似,
所以流程會很像。
我這裡選擇保持本地模式,
然後我要進入模型選項,
因為我要接入剛下載的新模型。
按回車,
一路向下選擇OLAMA,
再按回車。
如果你是第一次配置OLAMA,
由於我們已經下載好了,
模型已安裝在電腦上。
這個基礎URL會自動顯示正確值,
我直接按回車就行,
確立沒什麼特別需要設置的。
這裡你可以選擇雲端加本地版本,
或者純本地版本,
雲賬戶每月20美元。
如果你有VPS,
又想用便宜的好模型,
可以走雲端加本地配置。
到我們這裡繼續用本地模式,
現在能看到所有可以接入OpenCLoud的模型了。
我已經接入了E4B,
它顯示為綠色高亮,
我按上箭頭按空格鍵,
把ERB模型也選上。
現在按回車,
其他配置我都不需要改,
所以直接一路到底,
點繼續邊按回車,
模型就接入好了。
作為最佳實踐,
我接著選OpenCLoud,
網關,重啟,按回車。
這樣網關就重啟了。
我習慣每次展覽設置都重啟一下,
確保設置能完全生效,
並應用到系統。
然後回到OpenCLoud室裡,
能看到模型下拉菜單,
或我們剛下載並接入的E4B和ERB都在裡面了。
現在我來發第一條消息。
注意,
如果你很久沒和OpenCLoud聊天,
發第一條消息時可能需要10到20秒。
硬件決定首次回復速度,
這是因為我們需要把模型加載到內存裡,
才能生成回復。
不過通常在第一輪回復之後,
如果你保持對話熱度,
後期回復應該會快一些。
我們來試試你好嗎?
好了,
你看第一條消息大概花了10到20秒。
第二條,
因為它已經在運行了,
對我們來說就快了一點。
現階段,
我建議你去測試這個模型,
讓它讀文件,
編輯文件,
進行網絡搜索,
幫你構建東西,
看看它的功能怎麼樣。
最新版OpenCLoud其實越做越好了。
後端提示詞和工具料用的底層結構優化了很多,
所以這些小模型運行起來更順暢了。
但接下來,
我們要設置網絡搜索。
現在如果我說給我找最新的AI新聞,
我們會收到錯誤提示,
因為沒有網絡搜索工具。
我們確實什麼都沒配置,
我還沒接入網絡搜索工具,
無論是付費服務還是免費的。
為了堅持我們100%穩的託管和100%私密性的設置,
我不想用付費服務,
因為我將把所有信息都完全保留在本地設備上。
最近有個新的網絡搜索提供商叫Search或SeerXNG,
這是一個可以完全在電腦上自託管的網絡搜索工具,
而且它原生集成,
直接就能接入OpenCLoud。
要設置它,
你首先需要安裝Docker,
為你的桌面系統下載安裝,
我用的是蘋果芯片,
就下載這個版本,
你按需下載就行。
下載完後,
把它安裝到電腦上,
回到OpenCLoud文檔來設置這個。
既然我們已經裝了Docker,
現在可以直接複製這條命令,
我們回到終端,
把命令粘貼到這裡,
它就會自動下載,
並在Docker裡安裝SearchXNG。
因為我已經裝好了,
所以終端上沒顯示安裝過程。
接下來,
我們要麼像之前配置Orlama那樣,
進入OpenCLoud配置,
在那裡設置,
要麼直接複製這條命令,
回到終端按回車,
這樣就在後端
為OpenCLoud設置好了SearchXNG。
最後還有一點需要注意,
當我們設置SearchXNG時,
默認情況下,
它很可能顯示
使用HTML格式來抓取網站,
但OpenCLoud用的是JSON格式。
我有個小技巧,
如果不像自己配置設置,
比如在OpenCLoud或Docker裡,
我會在終端裡
啟動一個Cloud的代碼實例,
我會說,
奪取我的OpenCL和Docker配置,
粘貼URL,
然後問,
你能安裝並配置好它,
測試確保運行正常嗎?
這確實是一個
非常方便快捷的設置方法,
但如果你不用Cloud或Codex,
我也會展示手動方法。
我們打開Docker,
找到剛安裝的SearchXNG鏡像,
點擊這邊的三個按鈕,
進入查看文件。
進入查看文件後,
找到名為ETC的文件夾,
小拉,
找到SearchXN振文振家,
進入Settings,
Yml,
點擊它,
右鍵,
選擇編輯文件。
現在在底部這裡,
我按Controller,
輸入單詞format,
test,
點下一個,
這裡能看到SearchXNG
可以使用的不同格式。
之前提過,
這裡設為HTML,
我們還需添加JSON,
另起一行,
加橫槓,
寫JSON。
完成後,
我在這裡點擊保存。
現在我們需要重啟這個容器,
讓設置在整個系統中生效。
現在咱們回到OpenCL,
希望之前的設置都沒問題。
我再問一次,
幫我找找今天最新的AI新聞。
一開始,
它沒調用網絡搜索工具,
可能是我重啟Docker容器後
操作太快了。
所以我多問了幾次,
確保能獲取到當天真實的網絡新聞。
我問了Cloud Code的情況,
這裡顯示
它已禁止在OpenCL等第三方工具中使用。
來,
我們看看這個。
現在可以看到
我們已經在OpenCL上
本地運行了模型和網絡搜索工具。
這一切完全免費,
沒有使用限制,
所有數據都不會離開你的設備。
好了各位,
非常感謝觀看。
如果想看更多
關於本地運行開源模型或編程的視頻,
請訂閱頻道並留言。
我用的512J MacBook Studio
可以做很多實驗並製作相關視頻。
想看什麼告訴我。
謝謝,
下期見。
