Obs157|用Copilot外掛使用本地AI模型服務-使用Ollama與LM Studio | GitHub開源、免費、強大、便利

Obs157|用Copilot外掛使用本地AI模型服務-使用Ollama與LM Studio | GitHub開源、免費、強大、便利

簡睿學堂
簡睿學堂
3 影片觀看·2024年3月18日

Copilot外掛提供了下列 11 種 LLMs(Large Language Model,大型語言模型)的整合:

1. GPT-3.5
2. GPT-3.5 16K
3. GPT-4
4. GPT-4 TURBO (預設)
5. GPT-4 32K
6. Azure OpenAI
7. Claude 3
8. Gemini Pro
9. OpenRouter.AI
10. OLLMA (Local)
11. LM Studio (Local)

其中的OLLMA與LM Studio都是能安裝在本機的本地模型應用程式,很適合本地導向的Obsidian使用。

試想:具有機密性或個人隱私的筆記,存放在安全可靠、他人無法觸及的本地,但為了使用AI的彙總摘要、整理綜述或分析學習等功能,而必須上傳給雲端的AI模型,不是和本地優先的概念背道而馳嗎?

幸好Copilot整合了兩個開源、可免費使用的LLMs,讓我們可以在Obsidian裡透過OLLAMA或LM Studio能對筆記或整個儲存庫做Q&A的操作。

🔔注意
因為LLMs的環境和模型檔案都是安裝在本機,它們的執行效能受電腦硬體制約,因此建議你的電腦要有較好的執行功率,最好有多一點的記憶體和GPU。

══════════ ⌚ Timeline ══════════
00:00 開場白
01:05 LM Studio Install & Setup
02:33 LM Studio Chat
03:15 LM Studio Local Server
04:30 Ollama Install & Setup
08:27 CORS Problem
09:05 Copilot Mode Selection
09:53 Copilot Settings
10:53 Copilot Chat
11:30 結語 / Outro
══════════ ⌚ Timeline ══════════

💡 解說文章: https://jdev.tw/blog/8385/
💡 相關鏈接
✅ Download Ollama: https://ollama.com/download
✅ Ollama GitHub : https://github.com/ollama/ollama
✅ Ollama FAQ: https://github.com/ollama/ollama/blob/main/docs/faq.md#faq
✅ LM Studio: https://lmstudio.ai/
✅ 教學分享 【LM Studio】執行語言模型的最好程式介面 無需特別設定便可以使用語言模型|方便管理與使用多種模型 可快速架設與OpenAI相容的伺服器 https://the-walking-fish.com/p/lmstudio/