教主技術進化論2024第21期 Llama Stack 開源AI開發平台

现任明教教主
1粉絲
1 次觀看·2024年10月15日
教主技術進化論2024第21期 Llama Stack 開源AI開發平台
歡迎大家來到2024年的第21期的教主技術進化論
我們講Lama Stack
最近出了Lama 3.2
但是我覺得3.2提升我感覺一般
但是我覺得Lama Stack確實是一個比較好的東西
那麼它爲開源平臺提供了一個統一的平臺
來構建智能AI生態
這個廣告依然是GDP給我出的
我來說一下這是什麼玩意
那麼我們如果說你用OpenAI
那麼OpenAI除了給你提供了模型
這是一個
而且也給你提供了其他的很多東西
比如說幫你提供了一些微調
幫你提供了一些記憶上下文
各種各樣的功能
它給你都提供了
不僅僅是模型
就是說除了模型以外
我們也可以給你提供一些助理
然後給你提供一些上下文的記憶
幫你提供一些IG的解決方案
幫你提供微調
它是一個完整體
當然了它肯定還會有
它自身還會有一些
比如說安全
然後還有一些對齊
它其實提供了一個比較完整的全套的解決方案
不僅僅是模型
那麼以前我們玩開源模型的時候
它基本上就只有模型
好吧
但是
這個LAMASTACK相當於
它不僅給你提供了
LAMA3.1
LAMA3.2
而且給你提供了大源模型相關的所有的解決方案
在一個東西里面給你整合了
並且對外提供了一個統一的API
那麼這應該是沒有任何一個開源模型幫你提供的
那麼開源模型基本上就是模型
沒有其他方案
好吧
但是它給你提供了一個整體方案
好吧
OK
我們看一下
它提供了一個統一的API的框架
然後給你提供了
你看涵蓋AI開發生命週期中的多個環節
比如說
訓練
微調
安全
記憶
代理系統
智能體
評估
然後
這就是微調
然後還有對齊
等等
它是一整套解決方案
通過一個Lamastack給你
統一的對外提供了
提供了一個統一的API
那麼這應該是這次更新
雖然說Lamastack 3.2
我感覺它有視覺模型
對吧
但是視覺模型現在還沒有
我都還沒有申請到
Hugging Face沒有給我批下來
好吧
所以這次我用的是Lamastack 3.2的3B模型
好吧
但是那個模型不是很重要
這個東西只支持他們家的模型
那麼其他的模型不支持
只能夠支持他們家的模型
一會我可以給大家看一下
到底它能夠支持哪些模型
那當然全部他們家的
好吧
簡單說
Lamastack提供了一個
統一的一個API的框架
對外提供了統一的API
然後提供了你要做AI開發生命週期的所有環節
它應該都包含了
特別是簡單的推理
再說一下
安全
好吧
然後記憶
就類似於上下文
RIG這種東西
然後訓練
然後代理
就是function call那種東西
然後還能夠幫你生成核神數據
生成就是用來訓練的數據
它可以幫你生成
然後還有獎勵模型
就是給你對齊用的
好吧
全套解決方案
這個確實是比較牛的
用了它就基本上全部都搞定了
好吧
好
看一下它的API可以通過什麼提供
我今天就用他們家自己的方案
就全部由他們家自己的方案來提供
OK
因爲他們家的功能是最全的
那麼當然了
你也可以把它託管到其他的平臺
甚至歐拉
甚至AWS來提供也是可以的
好吧
OK
我現在就給他來介紹一下
怎麼來安裝它
首先這有一個GitHub
說實在的安裝功能
浪費了我很多時間
這個確實是差不多我用了6到7個小時
那麼而且也只是測試到
推理
然後記憶
然後一個簡單的agent
一個簡單的function call
也就做了這些
好吧
安裝費了我很多時間
好吧
那麼首先前面這些東西
我這個機器現在的狀態
就是模型是下載了的
首先
你需要有python
那我這個python有區域環境
OK
我先進到我的區域環境
我說一下我提前做了些什麼
區域環境
OK
好
然後去安裝這個LamaStack和LamaStack的client
這個我都裝過了
我暫時給你貼一遍
這應該是裝過的
OK
這個裝過了的
好吧
好
然後你可以看一下它支持的模型
這個安裝完了之後
就支持Lama這個命令
然後你就能夠看一下它支持的模型
OK
而不僅是標準的這些Lama3.1的模型
而且也有它的安全模型
就是提示詞安全
還有它Lama自身的保護相關的東西
就是說
那麼這些模型它也是有提供的
好吧
好
然後你需要有hackingface的這個硬盤
好
然後你就可以直接去下載
下載的時候注意
就是這個名字
這個ID
就是這個模型ID
當時我認爲你既然是hackingface下載
那可能就應該貼這個hackingface的ID
不對
你就應該直接貼這個ID
就貼這個ID去下載
hackingface
當然了
可以直接從meta下載也可以
好吧
那麼
然後你去貼相應的這個模型
我現在下載了這個Lama3.2的3B
還有一個它的guard
guard
8B
還還有一個騎士的保護
OK
那這都下載好了
我看應該在它默認應該在這個位置
好
都有了
都下載好了
好
然後一定要設置一下這個環境變量
這個很多坑
別看我現在一貼就過
但是很多坑
然後去get它這個項目
然後去把它的requirements.txt
給那些模塊給安裝了
安裝了
好
安裝完了之後
你要再回到你的根目錄
你要回來回到你的根目錄
好吧
就這個老多坑
然後要去登錄一下Docker
因爲要拉一些Docker的鏡像
好
你貼它這個鏈接
好吧
然後貼這個碼
當然了
你肯定要登錄你的
Docker.com
那個賬號
怎麼辦
然後我會斷開這個
確認
好
授權了
等會登錄成功
登錄成功之後
緊接着看一下
它有這個template
我看看怎麼去給你看看
那個template
它有個template
stock
它有一個模板
它有好幾種模板
不對
是這個
它有好幾種模板
應該有一個地方能夠查
它有些什麼樣的模板
我再想想
應該有一個模板
和諧模板
stock
有幫助嗎
對
就這個
叫做列出template
那麼這大概就是說
剛纔其實在這個地方也看到了
就說可以由它自己全部都提供
當然你需要有本地提供
全部都是本地的
你需要有GPU
好吧
當然你也可以在託管到其他地方去
可以的
有很多模板
好
那麼當然我就是全部的local
本地
我本地有一塊1090的顯卡
所以說我全部本地就可以了
所以說這個叫
模板叫local
OK
好
然後進向類型是Docker
構建Docker進向
然後給它起個名字
好
緊接着就是哪個推理模型
我的推理模型應該是
應該是這個3.2
3.2
3B
這麼一個模型
好
量化可以激活
16的量化
其他暫時不用管
好
它的memory
限量數據庫
好
這個蓋的
就是說拉瑪的蓋的
你可以激活
那麼我這兒就下載過
提前需要下載
提前這些需要下載
好吧
下面就激活了
其實是可以暫時不用管
好
這相應的數據庫
19存儲的數據庫
給它起個名字
好
它就開始build這個鏡像
先要build鏡像
有了鏡像之後
你還需要做一個config
OK
這個可能會有點久
我們可以稍微再等會
這個可能要兩分鐘左右
稍微等會
好
馬上應該就要完了
對
差不多兩分鐘
好
完了之後
你還需要再配一下
配一下
跟剛纔的回答差不多
開始用來做鏡像
然後有了鏡像之後
你需要配置一下
然後才能夠運行
跟剛纔的初始化
基本上你做一樣就可以
一樣的操作
好
然後你就可以運行
好
運行起來之後
我們就可以測一下
我三個代碼
這是用來推理的
首先你需要去連接到
先把它傳一下
傳到我的link這邊去
然後是鏈接
默認的樁口
其實沒有默認的樁口
因爲我這指定了樁口
樁口號
OK
它是本地的
然後用的哪個模型
然後這就是一個簡單的問題
注意拉瑪302
我這是用的原版的拉瑪302
最終的不支持中文
最終我只能拿英文來測
好
這個沒問題
天空爲什麼是藍色的
它這個速度還是很快的
當然是個3B模型
OK
拉瑪302
3B模型
好
這個很簡單
一個簡單的推理
然後下面我做了一個memory
看一下
它可以去創建一個memory
叫memory bank
其實也就是一個
向量存儲的這麼一個collection
類似於這樣的東西
好吧
創建這麼一個memory bank
好
創建了之後
你就可以往裏面去插入
裏相應的這些記憶的數據
這就類似於向量數據庫
好吧
好
然後去查詢相應的memory
好
然後我做了一個代碼
就是用來交互的
就是讓我輸問題
然後它不僅回答我問題
而且把我的內容
加入到它的memory裏面去
然後後續我再問問題的時候
它從memory裏面提取出來
跟我這個問題相關的內容
就類似於向量數據庫
好吧
提取出來相類似的內容
然後作爲一個提示詞
上下文放到這個問題的前面
OK
我們來看一下
我的名字
好
這樣第一次的用的時候
它會去下載相應的這些
向量算法
這個你直接
它是直接從hudden face上面去下載的
所以說這些算法
都可以用hudden face上面的這些算法
是可以的
hudden face上面的算法
好吧
都可以的
然後你第一次的時候
它會去後臺
自動去幫你下載
下載完了之後
會加到memory裏面去
OK
當然了
第一個問題
肯定是沒有找到任何memory的
好
然後我就問他
who am I
可以的
who am I
好像還是有點理解不了
好吧
OK
它就能夠知道
以前我說過我的名字是什麼
這個memory
簡單的
我就簡單做了一些測試
好吧
就是說如何創建一個memory bank
然後如何去插入memory
如何去搜索memory
然後如何做一個問答
然後把我的memory寫進去
然後在回答問題的時候
提取相關的
前期的一些問題
它會去搜索
加到上下文
然後做一個回答
好吧
然後我又做了一個簡單的agent
這個agent也比較簡單
就是做一個簡單的函數
那麼我們公司就是有一個查詢函數
那麼當你執行查詢函數的時候
就可以返回我們公司的
有些什麼樣的設備的名稱
那我就簡單做了一個函數
沒有做太複雜的
好
然後這就是你要定義這麼一個agent
定義這麼一個agent
這個agent幹嘛的
就是用來查詢相應的
這些設備的
OK
好
那麼我們就可以去創建這麼一個設計
好
那麼我們就可以問這麼一個問題
就問這個問題
我問題是
看一下
就是
用戶提示詞
查詢設備名稱
好
然後他就去執行了
然後他就能知道
我們公司有兩臺設備
OK
當然了
我沒有搞特別複雜的函數
今天我的時間比較有限
一會我要出去旅遊了
哈哈哈
好吧
今天比較着急
就簡單做了這麼一個測試
就是說函數是可以被執行的
執行完了之後
把這些消息再推給大模型
大模型給我反饋的這麼一個消息
好吧
那麼簡單的測試了一下
他的agent
那麼當然了
他有相當於我測試了
安裝
然後推理
然後memory
然後agent
然後其實他也有安全
安全也做了
加載了
他在安裝的時候
我就加載了安全
OK
後續我有時間再研究一下
他的微調和對齊相關的東西
好吧
那麼這一期進化論就講到這
