零代碼創建本地知識庫,與任意文檔本地對話;一站式本地大模型+RAG工具,數據不洩露!

你好歡迎來到AI學長的頻道
我是小林
我們在用車具的大部分時候
可能都要用到知識庫
來提高回答質量
或者說給出針對性的答案
這樣做雖然很好用
但是也存在一些問題
比如說一些重要的內部文件不能外泄
這種情況下呢
就沒有辦法用線上的大模型
和知識庫來處理文件
所以今天這期視頻
我們就來分享一個非常簡單的
利用本地大模型
和本地知識庫對話的方法
讓你可以安心的在本地處理各種文件
如果你喜歡今天這個話題
麻煩咚咚你的小手轉一轉
今天這套方案呢
所用到的工具叫 Anisim LLM
它是一個桌面版的客戶端應用啊
下載下來呢就是這樣的啊
和我們常規的大模型對話界面呢
其實沒有太大的區別啊
並且呢
它是支持蘋果電腦的
Windows電腦的
還有Linux操作系統啊
它都是支持的
那麼整個操作過程當中呢
都是可視化的哈
不用我們去敲任何一行代碼
所以它的使用上手是沒有任何門檻的
然後大家可以看一下這裏啊
它是可以對接
不管是線上的
還是本地的大模型都是支持的啊
像這裏我們常規看到的有OpenAI的
啊
是Rubik的
包括微軟的一些在線大模型
又或者說是這個Lock AI
還有LM studio
包括歐拉瑪我們部署的本地模型啊
它都是可以自此一鍵接入的
那最重要的是啊
它是集合了本地的項鍊數據庫
像我們電腦裏面的文件啊
是可以進行離線處理和問答的
不用擔心數據泄露的問題
比如說這邊可以看到它支持 pdf 的
txt 的 md 的
ott 的等不同格式的本地文件
好接下來呢
我來給大家演示一下使用啊
這裏呢
我已經是新建了一個AI0的工作空間啊
其實這款軟件它有一個非常好的設計
就是我們可以添加n個工作空間
然後針對每一個工作空間啊
我們可以去設置不同的大約模型
以及不同的對話文件啊
可以做到這樣一個區分的作用
那麼在這裏大家可以看到啊
我這裏呢是通過 orama
安裝了同意切問
二代版本的這個71參數的本地模型啊
這是關於模型的設置
呃然後呢
這裏我是上傳了兩個本地文件啊
上傳到這個項鍊數據庫當中
可以看一下第一個是小林的簡介啊
這是我自己的一個自我介紹
然後第二個的話
是我 youtube 頻道里面的一個視頻列表啊
包含所有的標題啊
以及視頻鏈接
就是對應的這個列表啊
把所有內容都採集下來了
那麼現在的話我就完成了一個基本設置啊
然後現在呢我們新建一個對話窗口
首先呢我來問他一下
ai 學長小林是誰
已經回答了
ai 學長小林是一位
專注於分享
chp 人工智能等前沿科技
使用技巧和落地方案的專業人士啊
然後下面的話還會有一些更詳細的介紹
包括在 youtube 裏面呀
啊還有我在課程裏面介紹的一些內容啊
搭建自動化流程啊等等啊
這個回答是沒有問題的
我們再來問一個
關於我頻道里面視頻推薦的問題啊
我讓他給我推薦一下
車機版微信方面的學習視頻
好推薦您觀看零代碼製作車機版微信啊
自由對接智庫和角色
人人可想 ai 分身
包括下面呢
也把這個視頻的鏈接放出來了哈
我們可以點擊看一下
ok 沒有問題啊
零代碼製作車機版微信啊
這個說明都是對的回答也是正確的
接下來呢就給大家講一下如何安裝啊
以及如何設置有哪些注意事項
當我們把這個軟件在電腦安裝完成以後啊
我們首先呢是要完成一些基本設置啊
點擊這個應用的左下角
這邊是有一個設置按鈕啊
我們從第一個菜單欄簡單的給大家過一下啊
那第一個是 api keys
如果是說當你把這個軟件安裝
部署完成以後
並且配置好之後呢
你是想在第三方軟件去使用的啊
那我們這邊的話是可以通過創建 api keys
然後在第三方的這個軟件裏面去調用
然後第二的話是對話的歷史記錄啊
在這裏的話你可以看到所有的用戶啊
然後所有的這個工作中間
他的不同問題以及他的答案是什麼樣的
好接下來呢
是這個工具的一個大模型預設啊
我們在這邊可以設置默認的本地大模型
那麼後續我們所創作的工作空間啊
他就會調用這個本地大模型
而首先我們可以看一下啊
他是自帶了一個本地大模型的工具包
啊在這裏呢
是可以下載這些開源的大模型啊
並且呢是由歐拉瑪提供技術支持的啊
那除了這個自帶的以外啊
還有很多線上的大型模型
比如說OpenAI的微軟的
啊阿斯洛皮克的
還有谷歌Gemini的啊
包括像我在原來視頻裏面講過
我們直接用歐拉瑪
或者說用愛的麥斯丟丟啊
去部署本地開源大模型
在這裏呢都是可以支持調用的
那這裏呢我是在本地通過歐拉瑪啊
已經部署好的這個大模型
那我們就選擇歐拉瑪
他會自動把這個參數索引進來啊
這個是訪問的 api 地址
然後這邊呢是模型的版本啊
我是安裝了兩個版本
一個是1.5b 的
然後一個是7b 的啊
70億參數的
那我們就選擇這個7b 的
如果說你不知道怎麼樣通過歐拉瑪
或者愛的麥斯丟丟部署本地大模型啊
你可以看一下
我頻道里面原來講過的兩期視頻
第一期是這個啊一鍵部署開源模型
這期視頻講的就是如何通過歐拉瑪啊
部署各種開源的本地大模型
然後還有這期視頻啊
一鍵安裝開源模型
可以安裝拉瑪山
拍山加馬等任意大模型啊
這期視頻呢
講的是通過愛的麥斯丟丟啊
去部署本地大模型
這兩種方式都可以通過
咱們今天要講的這個工具啊
進行一鍵調用
好接下來呢是文本轉語音啊
他其實這裏呢
已經是提供了本地文本轉語音的
這個模型啊
我們默認可以不修改
那如果是說你對這個文本轉語音
的要求比較高啊
其實也可以像用這個第三方的
OpenEye的
還有這個111lab的
他們是通過api接口的方式啊
去把文本轉語音
那對應的話就是當他生成答案之後啊
我們可以點擊這個音頻播放啊
好接下來呢是轉錄啊
假如說是你要在文件當中去
上傳一些音頻或者視頻文件啊
他就會調用這裏的模型啊
把它轉換成文本
然後供我們後續在對話當中使用
接下來呢是文本嵌入啊
就是把你本地的這些文件啊
進行分段
並且嵌入到這個線欄數據庫當中
同樣呢他這邊是提供了工具自帶的啊
還提供了第三方
那如果是說你對這個嵌入的要求比較高
也可以用第三方的
比如說我們選擇OpenEye的啊
那這樣的話對應就要去輸入OpenEye的
key啊
會產生相應的一些費用啊
這邊可以選擇一些嵌入模型
那這裏的話我就默認選擇這個
工具自帶的
設置完這個嵌入的模型之後呢
我們還可以設置一下
這個分段的一些參數啊
首先他會要求我們選擇這個分段的
最大token啊
建議呢是用512是比較合適的啊
最大是1000
這裏的話我們設置512
然後下面的話是有一個重疊參數啊
默認20就可以了
最後呢就是線欄數據庫啊
在這邊選擇你想要保存的線欄數據庫類型
同樣他給我們提供了本地的啊
這款工具自帶的
還給我們提供了一些第三方的
一些主流的線欄數據庫啊
這裏的話我們也默認選擇本地的就可以了
啊接下來這兩個不太重要
我們就不去講了
當完成基本設置以後呢
我們就可以在這邊去創建一個
新的工作空間啊
比如說我創建一個tash的工作空間
創建完成之後呢
啊我們點開工作空間的設置
首先可以在這邊看到啊
我們這個工作空間
他所選擇的這個對話模型是默認的
那如果是說你想針對這個工作空間啊
進行這個模型的切換
也可以在這裏進行更改啊
比如說我給他換成奧拉瑪的啊
對應的話選擇這個70億參數的模型
接下來呢是工作空間的對話類型
有兩個選項呢
一個是chat一個是查詢
這兩個的區別呢是chat啊
他是會結合
你本地部署好的大模型的一些通用知識
啊還有會結合我們智庫裏面
查詢到的這些上下文啊
來綜合起來回答我們的問題
那查詢呢
他只會結合我們
知識庫裏面的文檔來回答我們的問題
那如果說你的工作空間
主要是爲了查詢本地文件對話的話
建議是選擇這個查詢
ok 下面的話是設置對話的歷史條數啊
這個不建議太多啊
控制在10以內就可以了
然後預設的pron
這裏的話我就改成這樣的
當你收到用戶的消息以後
從知識庫當中查找資料
然後回答用戶的問題
如果知識庫找不到答案
就回答很抱歉這個問題我還不會
那這邊的話是當我們在知識庫當中
查詢不到內容的時候啊
他的一個默認回覆
最後的話是大模型的一個溫度參數啊
默認0.7
這個參數越高
他的回答發散性也就越高
當我們把這些參數設置完成以後
點擊一下更新這個工作空間
他就會保存
當我們設置完工作空間的對話模型以後呢
然後我們還要把
將來數據庫的一個參數設置一下
就是兩個參數啊非常的簡單
首先呢是設置最大的引用條數
因爲每次提問啊
他會去這個知識庫裏面
檢索相應的這個模塊
這個參數所設置呢
就是你每次最大調用的模塊數量啊
這裏我們默認填4條
然後第二個參數呢是相似度啊
就是下輛數據庫檢索的時候
他最低的匹配度達到多少以後
纔會把這個模塊
用來作爲回答的一個參考資料
因爲我們這邊用的是本地大模型啊
並不是特別的智能
所以這裏呢啊爲了起到更好的效果
建議呢是把相似度啊調低一點啊
我們調到最低的等級
只要他的相似度大於等於0.25啊
我們就可以把它作爲參考資料
ok 然後點擊一下保存就可以了
主要就是完成這兩個設置啊
那最後這個菜單
是一個愛君的代理的設置
目前功能還不太完善啊
這裏我們就不講
完成這兩個設置之後呢
然後我們就可以針對工作區啊
去上傳我們相應的一些本地知識庫
點擊這個上傳的按鈕
然後點擊這裏進行上傳
那除了上傳本地文件以外啊
他其實還可以去獲取網頁鏈接
你在這裏去輸入一個相應的鏈接內容啊
點擊這個獲取啊
他也會把頁面內容爬下來
作爲你本地的一個知識庫
另外的話
這邊還可以上傳一些常用的
平臺的一些鏈接
比如說YouTube的
GitHub的一些鏈接啊
他也是可以獲取下來
存到本地
作爲你工作空間的一個參考資料
文檔上傳完成以後呢
我們還要把對應的文檔
移到我們對應的工作空間啊
tash的我們剛剛所創建的
最後呢我們點擊一下這個保存和嵌入啊
那麼他就可以在我們這個工作空間裏面
正常運作了
好現在我們來新建一個對話窗口
在新的這個對話窗口當中可以看到哈
除了剛纔我們在這裏上傳文件以外
好這裏也可以去上傳文件啊
然後我們讓他來推薦一下
我頻道里面關於plum的技巧方面的視頻
ok 解鎖出來這三條視頻哈
是關於講plum的的
然後下面是他引用的這個模塊啊
他對應的一個匹配度
我設置呢是最大引用4個快啊
然後快的最小匹配度是大於25%啊
那根據這些解鎖出來的快啊
已經回答了我的第一個問題啊
我們再來問一個問題
我讓他推薦一些
關於升級trash會員方面的視頻
好根據提供的上講文當中哈
有這樣一個鏈接是關於open eye新手救星
已經升級trash會員
這個鏈接呢也給我們放出來
可以點擊看一下
好可以看到也是沒有問題的啊
到這裏呢這樣一個最基礎的啊
部署本地大模型
和本地文件對話的一套方案呢
已經是實現了
最後呢再強調幾個注意事項啊
因爲在你實際的使用過程當中會發現啊
我們部署本地大模型
然後上傳本地的這個文件
他在使用的過程當中
其實表現並沒有那麼好啊
那這個呢主要和幾個因素有關係
第一個呢是你自己的文件的質量怎麼樣
然後第二的話是和我們剛纔這裏所講的
這個對話的類型有關係啊
比如說你是選擇這個chat類型
還是查詢類型
如果是說你要用來檢索文件啊
建議是選擇這個查詢類型
然後第三個的話是比較重要的哈
就是你選擇的模型
因爲這裏我們選擇的是本地的大模型
通常來講他的質量並沒有那麼高啊
所以有時候完成任務的一些程度啊
其實是不太高的
如果你的任務比較複雜
像用這種本地部署的大模型啊
不一定能完成
那這種情況下
其實你也可以去選擇這個在線大模型啊
通過這個 api 的方式啊
去進行調用也是可以的
這裏你可能會講
如果是這樣
我爲什麼不直接用在線版的 chat gpt 啊
因爲用在線版的 chat gpt
你要把所有的文件啊
完整的去上傳到 gpt 的空間裏面去
那通過這個工具這種方式啊
他只是會把項鍊數據庫裏面
檢索出來的部分
幾個模塊丟給 gpt 來進行問答
等於你的文件還是在本地啊
只是把要完成這個問題的
幾個檢索出來的快啊
上傳給 openai
所以相對來說還是會安全很多的啊
這是第三個影響問答質量的因素
最後還有一個影響因素呢
就是項鍊數據庫啊
它裏面的一些參數設置還有嵌入類型
首先是項鍊數據庫的一些參數設置啊
它的檢索的模塊數量
以及它的監視度啊
這個參數如果設置的越高
它所檢索出來的模塊數量就越少
那麼找到正確答案的概率也越低啊
那其次的話就是
在項鍊數據庫的這個嵌入類型啊
因爲我們這裏呢用的是本地嵌入
相對來說它的質量並沒有那麼高
如果是說你
希望你的文本得到更好的分段啊
建議呢也可以用這種在線的
這裏大家不用擔心數據泄漏的問題啊
它最後保存的數據啊
還是在你本地的項鍊數據庫裏面啊
這裏只是調用了一個
openai 的嵌入模型而已啊
不會泄露你的數據
以上呢
就是關於幾個影響大模型
做大質量的關鍵因素啊
這方面大家稍微注意一下
如果你在本地使用
發現它的問答質量並沒有那麼高
那可以按照我剛纔所講的這幾個參數啊
去進行一下微調
這樣呢可以讓你在本地更好的完成任務
ok 以上就是關於利用本地大模型
和本地文件對話的操作方法
那如果你還想更深入
更系統性的學習ai 的應用和落地
想隨時跟我溝通
可以加入我的課程
QGP實戰指南創新應用與性能提升
課程涵蓋QGP入門提示詞工程
GPS定製
打造 ai 自動化流程
在工作當中的實戰等系列
能夠讓你快速掌握 gpt 如何對接微信
如何打造行業信息自動收集
以及羣發機器人
如何結合自身的工作場景
設計 ai 工作流等高級玩法
同時如果在學習的過程當中遇到問題
我也會爲您提供針對性的解答
課程先已更新超過30個站解
根據行業的發展還會持續加餐
報名以後
一年內更新的課程全部都可以觀看
有興趣的同學
可以在視頻簡介當中找到報名方式
ok 以上呢就是本期視頻的全部內容
感謝觀看
如果你喜歡我的視頻內容
歡迎訂閱我的頻道
每週都會更新最接地氣的 ai 落地方案
和 QGP 使用技巧