教主技術進化論2024 12 Llama3 ChatOllama實戰

现任明教教主
1粉絲
3 次觀看·2024年10月15日
教主技術進化論2024.12.Llama3_ChatOllama實戰
歡迎大家來到2024年的第12期的教主技術進化論
我們來講這個拉瑪三的一個實戰
最近在AI這塊比較火的應該就是開源大模型拉瑪三
而且網站有很多測評
你們看他們去聊吧
我就做一個實戰
就怎麼從無到有給他拉起來
他會給你提供一個網頁的這麼一個交互的界面
就跟ChatterGP一樣
然後呢
直接在聊就可以了
看一下怎麼拉起來
還有一個呢
就是今天下午研究的時候呢
開源模型啊
像以前我玩OpenAI
那麼基本上給錢
然後呢
有個API Key
那麼就運算的都在OpenAI這邊做就可以了
開源模型呢
我就希望自己來把它拉起來
好吧
我嘗試過用我的電腦
我的電腦實在是太不行了
我的電腦確實是太不行了
實在是跑不了
所以說呢
我今天又研究了一下AWS
看看AWS EC2的哪個實例呢
是能夠去把它拉起來的
而且比較便宜一點
我又研究了一下
好吧
那麼
所以說呢
我們會從頭開始啊
我們會在AWS上面
我們看AWS
我們現在AWS剛纔那個實例應該是刪掉了
AWS實例
好吧
這個沒有
沒有東西啊
現在呢
我再
我把它拉起來
這是CloudFormation
VPC拿起來了
這是CloudFormation
稍微注意幾個點吧
我先運行啊
先運行運行
這樣
我這樣
我把這個稍微放大一點
這個硬盤
我再放大一點
這一會兒我再嘗試一下
拉它的70B
好吧
200G
我看應該差不多了
好吧
呃
我先運行
先運行
呃
就是
我們來看一下
那個實例類型呢
叫做G4DN-XLAG
這個我查了一下
是有一顆GPU
應該是
特斯拉的T4吧
這塊卡
好吧
呃
服務器的一個獨立的一個GPU
那麼
反正比我個人電腦強太多了
好吧
呃
大概的價格呢
是一個小時
不到0.6美金
0.58左右
或是美冬
美冬的
美冬的價格
好吧
那也就是說呢
差不多一個小時
4塊錢
差不多4塊錢左右
好吧
呃
反正做實驗吧也無所謂
我也用不了幾個小時
那麼所以說呢
我現在覺得這個還挺合適的
我要自己架設一個的話
都很麻煩
我個人電腦也跑不了
好吧
所以說呢
我現在在AWS上面去拉這個東西
而且AWS的速度會比較快
拉各種條件都比較快
做實驗還比較快
我是個人電腦的話
拉東西也慢
太麻煩
好吧
所以說可能未來做一些實驗的話
我就用這種實力
在美冬上
美冬
美冬1吧
去拉
好吧
OK
現在呢
應該看看
有沒有起來
好
這個起來之後呢
第一個要做的呢
就是裝驅動程序
我們可以看一下
安裝驅動程序
我官方的文檔都會給大家進行一些介紹
安裝一下驅動
因爲不裝驅動
直接去安裝那個AURAMA的話
報錯
安裝不了
好吧
GCDN
我是特斯拉的觀衆
特斯拉這個觀衆
OK
然後呢
應該是他
AWS
再安裝
基本上你照着貼就可以了
OK
照着貼
就這些
照着貼就可以了
好吧
那文檔也介紹了
那這個我們看服務器有沒有起來
沒有
他就要給個權限
他需要給一個S3的權限
因爲他
他要下載S3那些東西
雖然說不是我的吧
但是你也需要給他這一個權限
我給個比較粗獷
稍等一下
還沒
還
還在創建那個
圖片
好
好了
我們來看一下
我們改改VD子
好
這就上來了
好吧
那就貼
這個其實我測了
其實不用重啓
把GCC和MAC裝一下
由於剛剛纔拉的
所以說什麼update這些不存在
其實沒有什麼可以update的
好
OK
然後呢
緊接着就開始
裝驅動
那就要下載一下他的驅動
然後開始裝
好
基本上一路回車就可以了
搞定啊
搞定搞定
好
看一下
看一下顯卡的狀態
然後關掉一個功能
都是文檔上貼的
你看特斯拉T4一個GPU
OK
然後這個要reboot一下
好
差不多
那麼基本上服務器就就位了
顯卡是有的
然後驅動也裝了
下面呢
我們就裝這個AURAMA
那麼首先呢
LAMA3呢
是一個開源的模型
那麼你需要一個服務器呢
來把它拉起來
那麼這個就叫做AURAMA
當然了有很多種辦法
AURAMA只是其中的一個
OK
那麼有MAC
有Linux
有Windows都有
OK
那麼我們這是Linux的
比如說我複製一下它
那麼就能把它拉起來
把它拉起來
這是服務器
服務器
好
裝這個AURAMA
好
就裝完了
好吧
裝完了之後呢
它默認運行的這個端口呢
是127.0
什麼127.0.1
特別討厭
它是127.0.1
它的默認端口號呢
是11134
那這個需要稍微改一改
改它的服務文件
插一句話
就運行在這個4個0
的11134端口
保持默認端口不要改
OK
這個好了
好
然後呢就是重啓一下服務
重啓一下服務
好
然後呢
我們就可以測一下
對
沒關係
我們先把這個
Lamma3拉起來
我們來看一下
它能夠支持的模型很多
最新的呢
就是這個Lamma3
當然包含其他的
比如說什麼
開源模型基本都可以
比如說
Lamma3
還有最近我們在研究的
可能近期會做一些進化論
就是這個Mistral
OK
Gemini
這個好像我們上次還用過
這幾個比較有名的吧
Lamma
然後Mistral
和Gemini
那應該是這幾個
比較有名的
開源的模型
好吧
然後點它之後呢
可以看一下這個標籤
標籤呢
有8B的和70B的
那70B
我一會兒挑戰一下
好吧
但是這個直播呢
我們講8B的
好
這樣的話
我們就可以直接讓它Run
這個模型
Run一下
好
它拉要花點時間
這樣的話
我再獲取它的公網地址
這樣的話
一會兒我們就可以直接測
公網地址
好
然後直接
就是通過它的API
然後呢
就是Lamma3的8B
然後問它
天空爲什麼是藍色的
好了
這個時候呢
你就運行一下
主要是對的
爲什麼會
它是那種Stream的
就是一個字一個字
你看正常聊天
就一個字一個字蹦嘛
它現在就在一個字
一個字給你蹦
好吧
這個速度快多了
好吧
我的個人電腦
我再測一下
這是拿我的電腦去Curl一下
我的個人電腦的話
就是這個
你看啊
它其實就是跟你聊天嘛
一個字一個字給你打印出來
還記得嗎
那個聊天界面
就是Stream的
一個字一個字給你打印出來
我的個人電腦吧
基本上這個
兩秒打一個字
基本上沒得玩
好吧
OK那沒問題
那這個也拉起來了
然後呢
我們還要去拉一個
它的嵌入式模型
嵌入式模型
這樣的話
所有的都是開源的
Lama3也開源的
然後呢
一會兒它也可以做一個
內部知識庫
那麼這個知識庫的
嵌入式模型也是開源的
當然了
它也可以用OpenAI的
那既然是開源的
都應該用開源的
當然了
也不是說不給錢
我的服務器還得給錢呢
好吧
OK
這個也要Pull一下
這是一個開源的
嵌入式的原模型
嵌入式的模型
就做知識庫用的
好
那這個也好了
沒問題啊
然後緊接着呢
相當於我們的
Lama
服務器就起來了
並且呢
在上面運行的
這個Lama3
然後呢
我們也測了
但是呢
它只是都要提供API
那麼怎麼能提供一個
圖形化界面呢
我們需要Chat Lama
看看這個
好
它這個Github的
官方文檔裏面呢
會有介紹怎麼裝
我用Docker裝
Docker不簡單
Docker最簡單
好吧
你們可以自己去看看
那我們這兒呢
基本上我們要
我們沒有Docker
所以要把Docker裝一下
我這個是完全空的機器
完全空的
沒有Docker
就需要Docker先裝一下
Docker裝完之後呢
裝一下Git
然後呢就把它的
這個Chat Lama的
這個代碼
代碼
給它Git下來
Git
然後就把它這個代碼
給拉下來
Git
然後呢
把代碼給拉下來
代碼拉下來
好
代碼也拉下來了
然後緊接着呢
你就用它裏面的這個
Chat Lama的Docker Compose
給它拉起來
拉起來
它應該有三個容器
三個容器
拉這個
拉完了之後
你需要對它的這個Chat Lama
做一個數據庫的一個初始化
這是一個數據庫的初始化
它的CircleLight的數據庫
要做一個初始化
好了
做一個初始化
好
這也初始化完了
那基本上就可以用了啊
然後我們就可以去看一下
它的這個圖形界面
它的默認Logo呢
是3000號默認Logo
3000號默認Logo
好
OK沒問題
首先呢
它說你要有這個
奧拉馬的生活
已經運行了
運行了的
好吧
然後呢
緊接着就要去做設置
就這兒
好吧
然後呢
它的主機在哪呢
剛纔你不是測過嗎
測過
就是奧拉馬的服務器在哪
你需要去設置一下
設置一下
好
怎麼確認你的設置
沒有問題
當然了
如果說你要用OpenAI啊
你可能要相應的Key
要去輸進去
OK
那這就是收費的
那比如說這個開源的
好
沒問題
點它
看到了
表示你的設置是好的
好吧
好
然後呢
我們做這個Instruction
然後
前一行
Instruction
好
然後呢
大概就是
給它
給它介紹
說你是什麼
一個通用機的人
回答各種問題
如果前一行相關的
你要去查知識庫
比如我們會做知識庫的
好
然後呢
做知識庫
創建一個知識庫
這個
先把這個小前一行
KB
開始讓我比較困惑的地方
就在於
它好像
不能選我的那個
開源的那個
那個
嵌入式的模型
但是其實是可以手寫的
我天
我開始一直在想
怎麼選得了
後來發現
其實可以直接手寫
你看
就是這個
這個模型
好
上傳文件
甚至可以URL都可以
這是我們前一行內部的一個
知識庫的一個PDF
就把前一行
公司
然後通過一個PDF呢
簡單的給你
介紹了一下
好吧
這是比較簡單的知識庫
好
打開它
保存
甚至URL都可以
好
知識庫也有了
好
然後呢
現在呢
你就可以聊天
新建一個聊天
叫Test1
用哪個模型
用哪個KB
用哪個Instruction
保存
好
最好提醒啊
它
沒問題吧
完全就是我們知識庫的東西
比如說
還是官方的
天空衛生組成的
OK
其實就這個
當然了
因爲我提醒他
你是一個前一行內部的
這麼一個機器人
所以他會告訴你
這個事兒
其實跟前一行沒有關係
但是呢
依然還是會給你正常回答的
好吧
好
那麼這個實戰呢
基本上就做到這
其實呢
還可以去下載
更多的這個
這個模型
好吧
可能下週
我們還會把mystery
再測試一下
然後呢
再把這個Aolama的
這個API
再介紹一下
反正下週
可能還會有一些
進化論文出來
好吧
那這一個實戰呢
咱們就先說到這
基本上
我從無道路給你走了一遍
把他拉起來了
然後呢
知識庫也做了
然後呢
聊天也測了
那麼既能問知識庫的
也能夠問一些通用問題
也是可以的
好吧
我就是完全是實戰
好吧
有些人會給你介紹
拉瑪山的
有什麼好
好不好
你自己看他們的
好吧
OK
