Llama-3.3-70B震撼登場!70b參數128k上下文性能接近gpt4!最強開源大模型,支持簡體中文和繁體中文!Cline+Aider實現全自動編程!AutoGen實現最強AI智能體! #llm

歡迎來到AI超源域
Meta發佈了最新的開源模型Lama 3.3
這是一款支持多語言的大語言模型
而且經過我的測試
發現這款模型對指令微調的遵循能力也比較好
並且這款模型在編程能力方面也是比較不錯的
可以用於輔助編程
而且對中文的支持也比較理想
支持簡體中文還有繁體中文
Lama 3.3採用70B參數規模的域訓練與指令微調技術
支持128K的上下文長度
它支持包括英語 中文 德語 法語在內的多種語言
能爲用戶提供高水平的多語言對話能力
而且Lama 3.3在多項基準測試中表現優異
在某些方面的能力甚至能達到GPT-4O的水平
好 本期視頻除了爲大家測試Lama 3.3在多方面的能力
還會爲大家測試我們在VSCode中通過編程插件
來使用Lama 3.3
並且還會爲大家演示我們在微軟發佈的開源智能體框架
來調用Lama 3.3來完成複雜的任務
好 視頻的開始我們先看一下Lama 3.3 70P Instruct
這款模型的詳細介紹
它是一款功能強大的多語言模型
在性能方面可與體量更大的Lama 3.1 405B模型相媲美
它採用優化的Transform架構 擁有700E參數
並且支持128K的上下文長度
而且它的主要特性包括用於函數調用的JSON輸出生成
分佈推理提供準確的響應
改進了代碼反饋與錯誤處理
還有高級工具集成與調用
它的訓練數據是基於新的混合公開在線數據進行的訓練
而且標記數量超過了15萬億
而且它的制式庫截止日期是2023年12月
這個制式庫還是比較新的
好 想在本地使用Lama 3.3非常簡單
我們只需要在olama中用這條命令來下載和運行Lama 3.3就可以
但是Lama 3.3它的參數比較大
經過量化後的Lama 3.3它的體積也有43G
對硬件的要求比較高
如果我們在本地無法運行Lama 3.3的話
我們可以使用在線的API
我們可以使用英偉達提供的在線API
通過這個API我們就可以調用Lama 3.3 70B這個模型
好 下面我們先測試下Lama 3.3 70B這款模型
它在各方面的能力表現怎樣
首先我們先測試下這款模型對中文的支持度怎樣
我們讓它寫一篇200字左右的客戶小說
好 可以看到這個推理速度還是比較快的
然後它寫的這個客戶小說將時間定位在了2154年
它構思的這個小說還是比較不錯的
下面我們測試一下它能否輸出繁體字
然後我們這裏用繁體字提問讓它講個故事
我們看一下它能否用繁體字來輸出
這是它用繁體字寫的一個故事
在很久以前在德國一個叫做漢勞的小鎮上
有一個叫約翰尼斯的男孩
他住在一個舒適的小房子裏
約翰尼斯的願望就是尋遊世界 見識風土人物
他輸出了這些繁體字也是沒問題的
說明他對中文的支持還是比較不錯的
下面我們再測試一下
問他草莓這個單詞中有幾個r
我們直接發送
可以看到它這裏給出了錯誤的回答
那我們給它更改一下提示詞
讓它用更復雜的推理來測試這個單詞中有幾個r
我們直接使用這個提示詞
然後這個提示詞是思維鏈提示詞
爲了增加難度
我在提問的這個問題這裏將草莓這個單詞
給它多增加了幾個r
這樣的話我們就能測試出來
這款模型在思維鏈提示詞方面的遵循能力
看一下它能否通過思維鏈提示詞
來準確計算出這個單詞中有幾個r
我們直接將提示詞粘貼
然後發送
好這樣的話它就會按照提示詞進行逐步的推理
可以看到這個推理速度是非常快的
可以看到到最後一步
它這裏給出了最終的回答
我們看一下它給出的這個最終的回答中
是否計算出這個單詞中有幾個r
可以看到這裏它準確計算出了這個單詞中有5個r
因爲這裏我額外給它增加了幾個r
下面我們再使用一個複雜的推理題
來測試一下這個模型它的複雜推理能力如何
這個推理題是三位傳教士和三個食人族需要過河
他們只有一艘船每次最多可以載兩人
在任何時候食人族的數量超過傳教士
食人族就會喫掉傳教士
這個問題就是如何讓這六個人安全過河
並且要提供分佈解決方案
我們直接將這個問題發送給那麼3.3
看一下它能否給出分佈解決方案
這是它正在輸出的這個步驟
這是它給出的完整的傳教士和食人族過河的這個步驟
然後爲了節省時間這裏我們就不再具體去看了
然後大家可以自行去測試
下面我們再找幾道比較有難度的算法題
來測試一下那麼3.3它的算法能力
我們複製這個算法題
然後發送
我們直接複製代碼
然後粘貼
然後運行
這個代碼通過測試
我們再複製這個算法題
然後粘貼
然後發送
我們直接複製這個代碼
然後粘貼
然後測試
好這個代碼也通過測試
下面我們再選一個算法題
然後直接粘貼
直接發送
直接複製
然後粘貼
然後運行
好這個代碼也通過測試
好我們使用了這三道難度爲hard的算法題
它都通過了測試
這說明那麼3.3在編程
還有算法能力方面是有很大提升的
下面我們在VSCode的編程插件Client中
來測試一下那麼3.3能否在Client中實現自動化編程
在Client中我這裏調用的是OpenRoot
它提供的API
在BaseURL這裏
我們要填OpenRoot的BaseURL
在模型ID這裏
在API提供者這裏
我選的就是OpenAI兼容的這個API
好這些設置好之後
我們直接點這個藍色的按鈕
下面我們就可以在最底部的這個輸入框
來描述我們的任務了
我這裏輸入的任務是用Python開發一個貪喫蛇遊戲
然後我們直接發送
好這裏它正在請求API正在輸出內容
可以看到這個速度還是非常快的
可以看到它這裏正在請求這個API
好這裏它開始創建這個文件
正在往這個文件中寫入貪喫蛇遊戲的代碼
這裏它提示要保存
直接點擊保存
好這樣的話它就將這個貪喫蛇遊戲的代碼寫入了
然後這裏我們再點擊這個運行
看一下它能否正常運行
好可以看到這個貪喫蛇遊戲正常運行了
我們測試一下
好我們控制這個蛇去喫這個食物
好這裏又喫到了
這個蛇在變大
這樣的話這個遊戲是沒有任何問題的
通過在client中調用lm3.3
成功爲我們實現了一個貪喫蛇遊戲
這說明lm3.3它能很好的遵循client的提示詞
因爲client的提示詞是非常複雜的
下面我們再測試一下
lm3.3在A等變稱智能體中能否實現自動變稱
我們直接用這條命令來運行A等
然後這裏設置的模型就是lm3.3 70B
我們這裏輸入的提示詞是
用passing開發一個貪喫蛇遊戲
我們直接發送
好這裏它正在爲我們實現這個貪喫蛇遊戲
好它這裏提示創建這個文件
我們直接輸入是
好這裏它提示在命令中運行這個文件
我們直接輸入是
這裏它開始運行這個教本
好這裏它成功運行了這個教本
可以看到這個貪喫蛇和剛纔我們用client開發的貪喫蛇
還是有一定的區別的
這個貪喫蛇也比較可以
這樣的話我們在A等這個變稱智能體中
也能成功調用lm3.3 70B這個模型
這說明lm3.3 70B這個模型
它在變稱方面的能力
確實比lm3.1有着非常大的提升
下面我們在測試下
我們在微軟開源的AI智能體框架
R2CH中來調用lm3.3
來實現一個多智能體協作聊天系統
然後這個代碼實現的是
通過多個角色對輸入的問題進行處理和回答
並且這個代碼的核心邏輯是
通過group chat和group chat manager
將多個智能體協調起來
以分佈解決問題
並且生成一個最終的整合後的報告
我們可以詳細看一下這個代碼
然後這裏就是導入所需的這些庫
下面這裏就是來設置調用的API
這裏就是lm3.3
然後這裏我們定義了一個函數
這裏是使用group chat來處理問題
在參數這裏就是接受要處理的問題或者任務
它的返回值就是返回處理的最終回答
然後這裏我們創建了一個用戶的代理
它作爲用戶與其他代理的橋樑
然後這裏我們創建了一個分析專家代理
然後這是我們給他命的名字
然後這裏就是給他設置的提示詞
然後這裏就是設置模型的配置
它的功能就是負責問題分析
識別關鍵組件還有挑戰
我們再接着看
然後這裏我們創建了一個解決方案的專家代理
它的功能就是分析結果
並且提出具體的解決方案
這裏我們創建了一個技術文檔轉協代理
它負責整合分析解決方案
生成最終報告
然後下面這裏我們創建了一個羣聊
將所有代理添加到這個羣聊中
這個羣聊中包含用戶的代理
還有分析專家
還有解決方案專家
還有技術文檔整合代理
下面這裏就是創建這個羣聊管理器
控制對話流程
然後這裏我們就構建了一個初始問題的提示詞
它的功能就是定義明確的處理流程
還有每個代理的任務
這裏就是我們發起這個對話
然後下面這裏就是從對話歷史中獲取最終的結果
然後下面這裏就是這個主函數
我們直接在pycharm中來運行一下這個代碼
然後這裏我們給它設置了這個問題
也就是讓它要解決的任務就是
如何實現安全的身份驗證系統
這是一個在編程開發方面的一個問題
當這個問題設置好之後
我們就可以來運行這個代碼了
我們直接在終端用pyc命令來運行這個代碼
運行之後這是輸出結果
我們可以看一下這個流程
首先就是用戶代理告訴這個羣組代理
要完成的這個任務
這是分析專家代理向chain manager給出的解決方案
好 我們再繼續看
這個解決方案還是非常長且詳細的
下面這裏就是這個解決方案專家
向chain manager給出的解決方案
下面這裏就到了這個技術文檔整合的這個代理
然後這個代理向這個chain manager
給出了最終的文檔整合
我們看一下
這是他給出的最終的關於我們這個問題的解決方案
這樣的話我們就輕鬆在autogen中
調用了lum3.3來實現了一個多智能體
分佈解決問題的一個智能體工作流
通過我們在多方面的測試
發現lum3.370b這個模型
它的綜合能力還是非常強的
尤其是在指令遵循
還有編程能力方面都是非常不錯的
我們甚至可以使用lum3.3來進行輔助編程
好 視頻中所用到的代碼和指令
我都會放在視頻下方的描述欄或者評論區
如果你在視頻下方無法找到的話
說明這不是我的首發平臺
好 本期視頻就做到這裏
歡迎大家點贊關注和轉發
謝謝大家觀看