47 Ollama + LangChain 實現本地運行 Llama 2.

学习与实践
173粉絲
13 次觀看·2023年11月5日
LLama 2 是由Meta 開發的一款的AI語言模型,利用了龐大的參數配置。它的運行對計算資源的需求也是很高的,特別是GPU。
Ollama 是一個提供了在本地運行Llama 2等大語言模型解決方案的開源項目。它支持的模型包括:
- Llama2
- Llama2 13B
- Llama2 70B
- Llama2 Uncensored
- Orca Mini
- Vicuna
- Nous-Hermes
- Wizard Vicuna Uncensored
LangChain則提供了對Ollama的集成。通過一個Ollama包裝類,輕鬆地基於Ollama的API實現 Llama 2 的集成。
大家好,我是小木頭
歡迎大家再次來到我的視頻頻道
今天爲大家帶來一樣好東西
叫OLAMA
也就是現在我在屏幕上所分享的這個可愛的小動物
什麼是OLAMA呢
那得先從LAMA2說起
LAMA2是由Meta開發的一款AI語言模型
它的運行是需要相當可觀的計算資源的
包括了GPU
而OLAMA
也就是現在我所分享的這個項目
它是在GitHub上的一個開源項目
那今天我們就通過這期視頻的分享
來介紹如何利用OLAMA
來在本地環境運行LAMA2
OLAMA做了些什麼呢
它爲開發人員提供了在本地運行LAMA2等大語言模型的方案
它通過Modifier也是模型文件
OLAMA打包模型權重配置等數據爲單一的一個包
並對安裝和配置
包括GPU的使用做了優化
另外也非常重要的一點是Lancheon也對其做了集成
在Lancheon的官方文檔在這裏呢
我們會看到它有一部分是對OLAMA的集成
這樣我們就能通過幾行代碼
再加上簡單的安裝配置
就能夠在本地環境運行LAMA2
當然了
這是OLAMA爲我們做了優化的LAMA2模型的運行
那今天我們就通過這期視頻來分享一下如何安裝配置
如何運行
同時如何使用Lancheon框架來實現與LAMA2模型的交互
一切都會在我的演示環境中完成
演示環境的是老版本的MacBook Pro
並且沒有GPU
可能後續的代碼執行
大家會聽到一些風扇的轟鳴聲
那還請大家見諒
好了
對LAMA2和OLAMA做了簡單介紹後
那我們就進入今天分享
來看看如何在本地環境完成LAMA2模型的部署安裝和執行
首先要提示一下
OLAMA這個項目還是處於早期
因此呢
大家可能在使用過程中會遇到各種各樣的問題
同時安裝包僅限於MacOS
對Windows和Linux來講呢
大家還需要從原代碼來進行編譯
編譯步驟在這個GitHub上的項目主頁上也有非常清晰的介紹
大家可以按照Building Step步驟來完成就好
我們使用的是Mac
那就通過下載安裝包來安裝
那他所支持的模型呢
在這裏也有列出
通過OLAMA的命令行接口可以進行模型的下載
我們今天所演示呢
就使用最基本的這一款LAMA2這個模型
大小是3.8G
下載是第一步
首先呢
進行OLAMA的安裝包的下載
在這裏通過點擊Download可以進行下載
我已經下載過了
在這裏我取消它
下載完成後呢
大家會看到一個Zip包
解壓後會得到一個現在我所高調的這個OLAMA的應用
點擊它會看到一個提示
已將這個應用移動到Applications目錄
這個呢
我們可以操作
我已經移動過了
我就不再操作了
在這裏會歡迎來到OLAMA
在這裏呢
提示安裝命令行接口
也就是命令行工具OLAMA
我已經裝過了
那我就跳過這一步
大家有興趣的同學呢
可以去跟隨他的指令完成
那完成以後呢
我想想我怎麼把它給退出呢
安裝完成以後
當在應用中啓動這個OLAMA的時候
會在頂端的菜單欄看到一個OLAMA的圖標
這表示它已經啓動了
那我們來到回到這個GitHub代碼倉庫
在文檔中
如果要基於LAMA2模型進行聊天
可以通過命令行工具OLAMA
run LAMA2這個命令
在安裝包的運行過程中
就會完成這個OLAMA這個命令行工具的安裝
那在命令行就會有這個工具可用
那當在Mac系統上安裝和配置了OLAMA以後呢
如果我們用PS來查看進程
是會看到這麼一個進程
它監聽在111434Git端口上
這個端口後面我們在這裏也會看到
我們在Luncheon文檔中也可以看到
這裏會指定一個端口11434
這正是OLAMA的監聽端口
那我們現在就通過命令行工具OLAMA
來運行LAMA2模型
在這裏因爲我已經運行過同時模型的文件
配置這些數據都已經下載
所以這裏直接進入了交互界面
第一次運行的時候
會花一些時間下載這些模型文件
那我現在可以給它打個招呼
Hello
這是一個交互式的流式的輸出體驗
大家在這裏會發現好像它還挺慢的
那主要還是因爲我的整個運行環境配置
相對還是比較粗糙
那麼在這裏就無法
我猜想它就無法非常高性能的與我進行交互
那咱們就稍等一下
在這裏等待過程中
我們回到GitHub代碼倉庫
會看到這裏命令行工具
還有一個OLAMA SERVE這個命令
這是啓動它的服務器
服務器提供了一系列API
供我們使用REST API
在MAC上當啓動了OLAMA應用後
整個服務器就已經啓動了
那麼API就已經可用了
剛纔我們也看到了
在進程中有一個OLAMA的進程
在這裏已經看到它開始輸出內容
說話有點緩慢
我們就讓它慢慢的輸出
我的筆記本的風扇已經開始轟鳴了
我們可以在另外一個窗口中
來嘗試一下這個API
這個API就是簡單的交互
非常簡單的API接口
通過POST請求調用API Slash Generate
提供模型和Prompt
模型在這裏用的是LAMA2
大家有興趣也可以去拉取
更大的模型來嘗試一下
也就是現在這個表格中所分享的這些模型
而我們這邊就用LAMA2
回到控制檯可以看到
這裏已經完成了問答
這就是最最最基本的控制檯
或者命令行中與LAMA2模型交互的一種體驗
我們可以退出這個
我們Ctrl D退出交互的窗口
或者是這個控制檯
接下來嘗試使用API來調用一下
我們可以直接拷貝就好
因爲它就是運行在本地的11434端口
我們通過curl來調用
會發現這也是一個看起來流逝的一個結果
那這個就是如何使用控制檯或者命令行
以及如何使用API
最後來分享關於Lantern框架的集成
在Lantern中既然爲我們提供了它的集成
那我們就來試一試
在這裏非常非常簡單的幾行代碼就可以完成這個工作
Lantern框架提供了OLAMA的封裝類
提供我們只需要輸入幾個參數
一個是OLAMA服務器的http URL
以及提供模型的名稱
那在這裏我已經簡單的準備了這份文件
稍稍做了一些調整
抽取出了一些參數
OLAMA的host
OLAMA的端口port
OLAMA的模型
這幾個小小的參數提取出來
同時通過一個循環以及命令行的輸入
獲取來進行簡單的交互
這樣就可以通過Lantern框架
來集成OLAMA的端口
實現問答
輸出利用的是Lantern框架所提供的流失輸出的
這個handler
這個輸出是直接輸出在標準輸出上的
standard output
那我們可以來試用一下這個腳本
可以看到這API的調用已經結束
那我們就來試用一下這個腳本
我們換一個窗口
在這裏我通過Virtual Environment來管理的依賴
有興趣的同學可以參考一下這個requirements
當然了這個不要也不要緊
安裝來講就只是需要安裝Lantern最新版本就可以了
我們來執行這個get started
在這裏通過
OK來執行
現在就進入了這個問答窗口
我們可以來問他一下
What is OLAMA2
這個交互就是與我在自己的電腦上本地運行的
OLAMA服務器在進行交互
那這個回答看起來是流逝的
但是似乎有些慢
大家可以去在自己的環境中嘗試更
計算資源更豐富的環境中看看是否能夠看到更流暢的問答
當然了這是一個非常非常簡單的一個演示一個demo
既然他已經提供了API接口
我們也可以將其集成到其他的web應用當中
實現基於Lantern2或者更大的模型的AI功能
那在這裏咱們就稍等他一會兒等他完成
接下來會嘗試提一個問題
看看他能不能夠爲我們在編碼方面提供一些支持
接下來我來嘗試詢問一下
我隨便問了一個問題
我也不確定這樣問是否能夠得到一些比較好的結果
我想是要給我一個先進先出對立的簡單實現
通過Python來實現
他似乎在一點一點的嘗試爲我生成
倒也還是不錯
他的生成可以看到
從編碼的格式上他也有正確的顯示
那也可以幫助我們在輸出的信息中
很好的做數據提取工作
我們可以將代碼提取出來
甚至可以直接使用
我想這個輸出是會要花一些時間的
那麼咱們就稍等一會兒
好了
大家可能還是等的有點久了
這裏Lemma2終於回答完了我的問題
也給到了兩個不錯的實現
那這就是如何在本地環境
利用OLAMA來運行Lemma2的大躍遠模型
當然了
今天我也使用的是最小的模型來做的演示
有興趣的同學可以選擇更大的模型來試一試
當然了不光是簡單的模型的運行
大家還是可以來到代碼倉庫
也就是OLAMA的項目主頁
來了解他們更多的技術細節包括功能
我們還可以基於OLAMA2來定義自己的模型
Custom model
可以看到它非常類似於Dockerfile的使用
基於一個模型的作爲
或者是使用一個模型作爲基礎
來設置它自定義的一些參數
來構建一個自定義的模型
比如可以對Temperature參數進行設置
甚至還可以對系統提示者System Prompt進行指定
這就是這個項目OLAMA
有興趣的同學也可以關注
跟進一下新的開源項目
他們現在還是處於早期的階段
Early preview
當然問題肯定還是會有的
好吧
今天分享就到這裏
有興趣的同學請持續關注我們頻道
同時同學們有什麼問題
也可以在評論區跟我們交流
好吧
話不多說
咱們就下期再見
同學們拜拜
