超簡單-眾多開源模型-本地部署-大語言模型,LM Studio

軟件開發 阿倫
10粉絲
1 次觀看·2024年10月14日
視頻中的鏈接:
https://lmstudio.ai/
個人介紹:
朋友們好,歡迎來到我的頻道,本人自2015年開始從事Android開發崗位,見證了移動互聯網 如日中天 的時期,目前也面臨著其,日薄西山的 境地。開創頻道的目的是
1:想要分享一些我在本行業所學到的互聯網知識,當然了都是對朋友們日常使用電腦,和互聯網有所幫助的內容,非編程知識。
2:想要嘗試做一做youtuber,使自己的收入分散化。
3:telegram群組,【不方便貼出來的內容】 會上傳至群組,如果朋友們不想自己搜索,可以在群組提取:
https://t.me/+fY7KycQlQXYwMzU1
個人博客:
https://ruanjianlun.xyz
個人小工具: pdf word轉換:pdf合併
https://alunpdf.com
嗨,大家好啊,歡迎回到阿倫的頻道
如果你想在本地運行大語言模型
那麼 LMStudio 將會是一個不錯的選擇
它的功能類似於 Olama
但是它的 UI 界面更美觀一些
更加的適合新手
下面我們就來演示一下
在我們 Windows 本地來使用我們這個 LMStudio
這個軟件它的許可證是
如果我們個人使用的
它是免費的
它下面有這個聲明
你的操作都在本地
然後個人使用免費
如果是商業用途
那麼就需要收費的
像這種軟件
如果我就是用商業用途
我又不聯繫它會怎麼樣呢
這個可能初期你不會有什麼問題
但是一旦你做到了
那麼他們會找到你
這個是基本操作
OK 看完它的許可證
我們就來下載我們的版本
我們的演示在 Windows 上一行
下載一個安裝包
這邊有一個問題
就是說如果我們使用的是蘋果筆記本
那麼它是需要 M 系列的芯片纔可以
這個操作有點牛逼
那些大量的英特爾版本
甚至就沒有資格用這些軟件了
看來他們以後出的這些軟件
適配的話只會適配新的蘋果電腦
OK 我們下載以後安裝一下
這個安裝同樣
它是不支持讓我們選擇文件夾的
它直接會在 C 盤裏面裝
但是它的大小也不是很大
大概佔個幾百兆
到時候我們把那個配置的話
都額外的選擇一下位置就行了
然後進來以後
我們首先就去右下角設置
點一下
然後把這個語言選一下
我們就選這個簡體中文
然後它這些語言都是 beta 版
它這個說明是在測試這些功能
選了以後
其實它很多語言還是會顯示英文這些菜單
這個翻譯的話可能沒有更好的翻譯
也有可能他們這個軟件還在製作當中
就是這種功能 beta 版本
OK 選了語言
我們上面還有個按鈕
這個我們會用到就是更新
如果你想更新的話
就是在這邊確認更新
如果有新的版本
現在是 0.3.2
當然我們也不清楚
它是不是會有這種更新的彈窗
因爲我下載的就是最新版本
現在還不知道
設置完語言以後
我們就挨個來就是使用了
第一個是我們這個 chat
就是我們的聊天
然後第二個是下載模型的地方
第三個是開發者在這邊看一些命令參數
然後第四個模塊就是我們的模型會下載到哪裏
這個位置我們一定要改一下
這個軟件它其實是裝到哪了
它是裝到 c 盤了
這個路徑我們複製一下
直接打開這個路徑
這個就是這個軟件它安裝的地方
它安裝到這裏邊了
我們的用戶下的這個路徑
然後卡只下的這個
如果我們不管它
你下載的模型會往這個 Models 這邊下
對吧
它在你的 c 盤
這樣的話是不能接受的
我們把這個路徑改一下
更改
這些模型的都是非常佔用空間的
比如我們把它改成這個地方
對吧
OK
就這個路徑
這樣就可以了
也就是這兩個設置
一個是語言
一個是我們的模型路徑
OK
設置完這個路徑
我們先下來去下載模型
然後點這個搜索框
然後隨便選一個
我們選這個最小的
1.32GB
這是 Lama 3.21B 的模型
然後直接download
馬上它就開始下載了
可以看到我這邊的下載速度還是很快的
像這種的話
它的服務端是不會有任何的下載限制的
就是會把你的寬帶直接跑滿
它不像那種
比如說我們常見的那種網盤
對吧
百度網盤
它那個下載速度跟這個沒法比
它那個是服務端
它做了一些限制
要不人家怎麼買會員對吧
然後我們下載下來以後
就可以加載這個模型了
比如我們直接點這個load
上面的進度條走完
我們就是模型加載完畢了
方便演示
我們就是多下載幾個
我們再選擇這個
Lama 3.1這個8B的模型
OK
這個模型也下載完畢了
然後我們現在就有兩個模型了
下面我們就來使用它一下
因爲現在我們已經加載了這個3.21B的模型
現在我們可以這樣
點擊右上角這個load setting
把設置點出來
然後
我們在這邊可以
新建一個預設
下次有一些參數
我們可以直接把它保存到這裏
然後點save
然後底下就可以自己來進行設置了
然後底下這些參數配置
這個看起來一頭霧水
其實我也搞不懂
然後我們重要的參數
其實是在這
系統提示詞
我們只需要知道這個就行了
這個系統提示詞的意思
就是說它每次
我們在這填了以後
它每次發消息的時候都會把它發過去
比如我們現在操作一下
我們比如這樣
所有的內容
回覆我簡體中文
因爲這些小模型
它有的不太智能
就是說你比如
你給它說這種中文語言
它可能會給你回英文
因爲這些東西說白了
還是最開始是用英文來訓練的
所以說它就是這樣
我們需要給它一個預設
OK
我們創建一個聊天
然後
在這邊我們就可以使用這個功能了
我們選擇加載模型
選擇我們剛剛下載的這兩個對吧
我們選擇一個1B的
因爲這個比較快
然後它下面還有一個配置就是GPU卸載
這個東西它翻譯的
感覺有點問題
這個東西是幹嘛的
它是說
你把所有的工作都交給你的GPU來做
還是說就是交給它一部分
比如我們現在交給它
它總共是16份
我們可以這樣理解
就是16份
我們分14份給這個GPU
然後剩下的兩份
就是讓CPU來承擔
這樣的話
不會導致所有的壓力都給到了GPU
當然如果你的GPU就是運行它足夠強勁
那就無所謂
這個調也可以不調
這都無所謂
我們加載完以後
就可以回覆了
我們就直接問它
Hello對吧
Hello
好
這個模型有點問題
可以看到我這邊
我們選擇developer底下
然後點這個地方
可以看到我所有內容回覆我
加上一種value
我是已經發給它的
就是我這邊系統提示詞
它每次都會作爲一個字段傳給它
但是它確實沒有搞定
它回覆我的還是英文
這個模型的問題
然後我們再選一個
我們這個3.18bit的Meta
好
這邊可以看到它這邊是有預設的
這些東西如果默認的話
我們是不需要管它的
直接加載就行了
因爲它默認已經配置好了
我們就沒必要動它
當然如果你有這種求知慾
你也可以自己看一下
OK
那麼現在可以看到我
它是已經回覆我這個簡體中文了
還是那個地方
我們先來問它一個問題
這Lamababi的模型
一般
就是這種小模型
就是一個字
傳出就是本地使用比較快
這邊也有提示
就是說我們這個確實是傳遞給它了
OK
那麼這樣的這個模型
它就可以用了
當然它還支持很多模型
比如像這種對吧
就是HackinFace那些開源模型
它就是基本上都支持
然後它的模型我們下載到哪裏了呢
是這個路徑對吧
我們可以去看一下
我們直接點這
然後打開這個路徑
然後它的模型這個後綴是GGUF
這個東西呢
然後有4.58個GB
然後這個東西呢
它是一種模型的文件
GGUF是就是這個文件擴展面
專門是爲了這個高效存儲
部署大模型的
然後GGUF它的優點呢
有這些高效存儲
快速加載
兼容啊
擴展啊
還有這兒
這個就是很關鍵啊
它是單文件部署
就是說GGUF
它是一個單個二進制文件
就可以很方便啊
它便於分發和加載
就是不需要在什麼cofig啊
什麼json啊
就是那一堆的配置文件
根本就沒有
它只有一個文件
加載上就能用
這一點還是非常方便的
它不像有的模型
它下載下來是個那個壓縮包
然後一解壓裏邊一堆文件
對吧
非常清爽
我們現在是下載兩個
對吧
都是單個的文件
其次呢
它還支持上傳文件啊
它不僅是這種聊天
如果單單是這種
這種的話
那太沒意思了
然後這個功能呢
它還是
它挺那什麼啊
它這是一個測試的功能
然後它這邊呢
只能傳的文件呢
是PDF
然後是這種word的
還有txt
和這種csv的這種格式
支持的格式還是比較少的
它不能上傳圖片
然後呢
它還讓我們
提供這個更多的細節
然後我們就隨便找一個
這個文件夾
這個是什麼呢
這是一個代碼的文件
那就讓它分析一下這個日誌吧
j.log這個是txt文件
然後分析一下這些日誌
用各種解釋
用點擊發送
然後呢
它就會做出這個分析啊
我這個日誌呢
就是ping了一些這個DNS
哪個DNS快啊
在我的這個位置
我取哪個DNS這個回應最快
ping的結果
它確實是對這幾個DNS做了這個
一些分析
它的回覆還可以啊
它這個網絡連接出現問題超時
然後這個呢
不可用沒有反應
是吧
它回覆的還可以的
我們在它回覆的還是可以的啊
那我們再點開這個看一下
是吧
就是ping的這些DNS
的這個日誌
不過它好像是隻加載了一部分
並沒有全部顯示出來
那我們呢
在這邊看一下對吧
它回覆了總結
我ping的呢
確實是這幾個DNS
然後是哪一個最快
這個是一個腳本生成的日誌文件
它的回覆還可以
ok
那我們這個演示呢
也就這樣好吧
大家可以儘可能的去下載
就是多下載幾個模型
多體驗一下
因爲這個功能呢
還是比較爽的啊
然後這邊呢
它還支持什麼呢
除了我們這個搜索
還有這個chart
這個是什麼呀
開啓一個服務器
對吧
看這個意思
start
code
這個就是類似於olama那種
就是可以用這種接口的方式
來請求啊
比如說在在碼裏邊
當然這個我們一般的話
這個程序員用這個啊
一般的話我們也用不上
然後呢
因爲是在我們本地使用的
我這邊呢
會有一個注意事項啊
因爲我本地使用的4060ti的顯卡
顯存呢是8G
一般這種模型的話
我們來這邊看一下
呃就是說我
需要下載什麼樣的模型呢
我們是心裏需要有個數的啊
像這種27B的話
我就不建議
大家使用了
除非你有16Gb的顯存
像我這種8G的
也就是下個這種8B的模型啊
8B 9B可以玩一玩
然後4Gb的話就是像這種啊
2B的模型
然後剩下的就是像這種1624啊
那麼就可以玩更大的模型了
呃但是現在呢
就這樣啊
像這種的話
一般的土豪就可以搞這種
ok 那麼這個軟件呢
我們就簡單的說到這
那麼本期的視頻呢就到此結束了
最後呢如果視頻對你有用的
那麼麻煩按贊訂閱來支持一下這個頻道吧
那我們就下期再見了
拜拜
