Obs157|用Copilot外掛使用本地AI模型服務-使用Ollama與LM Studio | GitHub開源、免費、強大、便利

大家好,Copilot for Obsidian這個外掛
提供了11種的大型語言模型的整合
透過這11種語言模型,我們就可以在Obsidian裏面
來對筆記做Q&A的一些操作了
其中更需要大家注意的是,它也提供了兩種的本地大型語言模型
也就是Ollama跟LM Studio
這兩個語言模型是可以安裝在本機的
因此我們就不需要把可能具備有
機密性或者是個人隱私的筆記上傳到雲端
讓類似OpenAI ChatGPT這樣子的語言模型來幫我們做分析了
現在我們就可以直接在Obsidian裏面
透過Ollama或者是LM Studio
就可以在本地端直接做AI的操作
以下我們先來介紹一下這兩個
本地端的大型語言模型要怎麼安裝、使用
這兩種語言模型的安裝設定講解完以後
我們再回頭來看一下Copilot要怎麼設定
然後它的一些基本的操作的方法
這樣子可以讓我們更加妥善的來使用AI這一種先進的技術
LM Studio非常容易安裝
只要到指定的下載位置去下載它的安裝檔
就可以直接執行了
提醒大家幾個重點
第一個 如果你本機端的C磁碟機的硬碟空間比較少的話
記得要先把模型下載的位置變更到其他的磁碟機
它的變更的方法就是在最左邊的側邊欄裏面的
最後面這一個資料夾的圖示
點擊進去以後就可以去變更模型的存放位置了
下載好並且安裝LM Studio以後,要先去下載模型
下載模型的方法就是點擊第二個圖示再輸入模型的名稱去做搜尋
搜尋到以後再從右邊來下載
這樣子就可以把需要的模型給下載下來了
來看一下實際執行的狀況
由第二個搜尋這裏
在這一邊輸入需要搜尋的模型
比如說llama2
llama2是Meta推出的開源的大型語言模型
我們輸入好llama2以後再點擊 Go
它就會做搜尋
搜尋出來結果可以從右邊找到可以下載的內容
只要找到一個你想要下載的模型以後點擊右側的Download
它就會下載到LM Studio指定的路徑
模型存放位置剛剛有講過就是可以從這邊去做變更
點擊了以後再點擊這個Change
就可以去變更模型的存放位置了
接着可以直接使用它的Chat功能
來驗證一下它是不是可以正確的運行
因爲現在我的Local Server有開啓
我先把它給結束, 再來做聊天
在這個聊天的最下面這裏
User這個輸入框就可以輸入你的任何問題
我現在隨便輸入一串問題
然後直接按下[Enter]
因爲剛剛停止了Server
它的模型要重新載入
它目前是在重新載入模型
因此我們要稍等一下
模型載入完成了, 它就會立即開始處理了
現在問題它已經回答完畢了
這個就是直接使用LM Studio的Chat的功能
接着我們再來啓動它的Server
就是點擊第四個圖示
然後在這個地方 指定好Server的Port
如果預設的1234 Port沒有辦法啓動的話
就把它改成用51234
然後因爲我們有可能要從外部來送API給這個Server
因此這個CORS選項 記得把它給啓動起來
然後接着我們來Start Server
這樣子就已經把Server啓動起來了
來送一些命令給它來執行看看
在我的解說文章裏面有它的測試用的指令
它使用的是CURL這個執行檔
如果你沒有CURL的話
請自行去Google搜尋並且下載、安裝
我把這個指令給複製到系統剪貼簿
再進入Terminal, 進入命令提示字元以後
把剛剛複製的內容給整個貼出來
就是讓它直接用CURL這個指令來執行
指令已經送出去了
來看一下LM Studio的畫面
可以看到它這時候已經接收到我們送進來的Request了
而且它馬上就有Response了
這個就是使用JSON格式迴應的一個內容
這樣子就表示我們的API的呼叫已經成功了
也就是到時候從Obsidian
也可以使用相同的API呼叫的方法來調用它的功能了
接着再來看一下Ollama的安裝方法
首先在安裝Ollama之前
最好先去設定好三個環境變數
也就是OLLAMA_HOST、OLLAMA_MODELS跟OLLAMA_ORIGINS
這個OLLAMA_HOST就是本機的IP
所以你可以把它設定成127.0.0.1
這個OLLAMA_MODELS 可以設也可以不設
主要就是看你的C磁碟機的空間是不是夠大
如果你的C磁碟機的空間比較少的話
就可以透過這個變數
把模型下載的資料夾給變更到空間比較大的磁碟機去
這個OLLAMA_ORIGINS是來設定
我們要從Obsidian調用Ollama Server的服務
通常會碰到這個CORS的問題
也就是跨來源資料共享的這個問題
必須要加上這個設定
纔有辦法讓Obsidian的指令調用Ollama的服務
因此請大家要把這個OLLAMA_ORIGINS也設定到環境變數裏面
它設定的方法很簡單
就是隻要進入Windows的設定
再找到這個系統
然後系統的最下面會有一個系統資訊
進入系統資訊以後再點擊進階系統設定
在這個裏面來設定環境變數
我是直接把它設定成是系統變數
分別設定了這三個變數
就是可以直接點擊新增
來新增這個內容就好
因爲我已經新增好了, 我們直接用編輯來看
上面就是變數的名稱,下面就是變數的值
OLLAMA_ORIGINS根據Obsidian Copilot它的設定的說明
它後面還有ollma serve這個字串
但是我這樣設定以後沒有辦法正確的連接Ollama
因此就是直接輸入到這個星號爲止
這樣子就可以正確的啓動了
執行好以後
到時候你在終端機要去執行這個ollama指令的時候
記得要重啓一個新的命令提示字元
這樣子剛剛設定好的環境變數纔會生效
然後就直接用 ollama run llma2
就可以把llama2模型給載入進來
剛剛的這三個變數如果都已經設定好了以後
就可以直接使用OllamaSetup.exe
相關鏈接裏面也有附上它的下載的網址
它預設的執行檔會放在AppData/Local/Programs/裏面
如果各位要找執行檔的話
就是到這個資料夾來找執行檔
安裝完以後 它其實會彈出一個PowerShell的視窗
並且會自動下載llama2這一個模型
最後再去執行它
如果你的PowerShell這一個視窗沒有啓動的話
我們可以直接用下面這個指令 自己來做後面的安裝
就是你只要啓動了Terminal,進入命令提示字元
然後用ollama pull這個指令 去下載你需要的模型
預設的是用llama2
這樣子就可以把這個llama2給下載下來
並且安裝到我們剛剛這個指定的資料夾裏面
下載完以後 就可以直接來執行它了
就是ollama run llama2
從這個指令大家就可以大概瞭解
Ollama其實是一個提供安裝、 並且啓動模型的一個整合的工具
它比較像是Docker這樣子的一個角色
llama2就是類似一個Image的Instance
就是一個大型模型
我們可以載入非常多的模型
然後有需要載入使用的時候 就直接用run去啓動它
因此這個llama2 我們也可以把它改變成是llama2-chinese
這一個針對中文有調整過的模型
下載並且安裝起來以後
就可以看到它會出現這一個畫面
就是正常啓動完以後它就會是 >>> 這個符號
在這個下面可以用 /? 來看一下有哪一些指令可以來操作
它就是有這些指令可以來操作
可以用這個 /show 來看一下模型安裝在哪個地方
可以看到這邊就有一個 /show modelfile
可以來看我們模型的安裝位置
我們就來執行這個指令
在這邊就可以看到我的模型 是安裝在這個位置
這個就是我的模型的檔名
Ollama啓動成功以後
就可以在Obsidian裏面 來對Ollama做Q&A的操作了
補充一下,如果你在Obsidian裏面調用LM Studio或者是Ollama
但是卻沒有正常回應的話
可以按下[Ctrl+Shift+I] 看一下這個Console (主控臺)
是不是有這個CORS的錯誤
如果有這個CORS的錯誤的話
以Ollama來講 就是OLLAMA_ORIGINS
這個變數沒有設定正確
因此Ollama的API的這個Server 沒有辦法接受
這個時候就請大家 根據上面講的OLLAMA_ORIGINS的設定
還有LM Studio裏面的那個CORS啓用 都去執行
這樣子應該就可以正確的連接了
最後我們來看一下 Copilot的相關的設定
目前Copilot提供了三種的交互模式
就是Chat, 這個是最標準的聊天的模式
還有它也提供了Long Note QA跟Vault QA
第二跟第三種 在切換模式的時候
它都會針對你選擇的對象自己會做索引
然後方便讓我們做QA的操作
實際的運作其實很簡單
請各位可以自己嘗試幾次就曉得了
我們要特別再提的就是 這個Chat的模式裏面
可以在Copilot的面板裏面 輸入兩個中括號 [[
這個時候它會彈出一個視窗 要求你去指定你要選擇的筆記
它接着就可以針對這個筆記的內容
做特別的聊天的處理
下面我們來看一下
這兩個Local的大型模型 要怎麼來做設定
先進入Copilot的設定畫面
在Copilot Settings的最下面 可以找到Local Model
這個就是Local Copilot
在這個地方 首先先來設定LM Studio
這個地方就是這個Port
如果當初啓用LM Studio的時候 是用51234這個Port
這個地方就要改成對應的Port
這樣子纔有辦法連接成功
Ollama有兩個參數要設定
第一個就是你使用的預設的模型
如果你使用的是llama2-chinese
這個地方你最好把它換成是llama2-chinese
或者是其他的模型 你就是可以把它給變更
後面這個Ollama URL
通常就是使用這個 11434 Port
通常這個地方是不必做修改的
如果你有變更內容的話
一定記得要到上面點擊這個Save & Reload
讓它的這個設定重新載入
載入成功了以後
在Copilot的畫面裏面 纔會啓用新的設定
我們來試一下
我來使用這個 OLLAMA (LOCAL)
然後我們輸入一個查詢的內容
發送
如果在它迴應的右側出現了複製的圖示
表示它的回答已經完成了
這個時候就可以使用Copilot的Save as Note
將它的回答完整的儲存成獨立的筆記
它會自動存成一個 .md 檔
回來這邊來試一下中文看看
Ollama已經回答完畢了
以上就是今天介紹的使用Copilot跟兩個大型語言模型
整合的一個功能
希望對大家在使用新的AI技術上
能夠有一些幫助
如果你覺得我介紹的Obsidian技巧
對於你在使用Obsidian上有幫助的話
請各位記得訂閱、按贊、分享
並且可以透過超級感謝
來支持我做好接着的每一部影片
今天介紹到這邊, 謝謝各位!