最強Llama3.1 405B開源大模型震撼發布!挑戰Claude3.5和GPT-4o!Llama3.1 8B模型+GraphRAG搭建本地知識庫!api調用和微調Llama3.1 8b模型 #ai

9 次觀看·2024年10月14日
🔥🔥🔥本期视频详细演示了Meta最新发布的Llama 3.1开源大模型系列,包括405B、70B和8B三个参数版本。视频内容涵盖了以下几个主要方面:
1️⃣. Llama 3.1模型介绍:
- 采用标准的解码器transformer架构
- 上下文长度提升至128K
- 使用超过15万亿个TOKEN进行训练
- 在16,000多个H100 GPU上进行大规模训练
- 采用迭代训练程序,结合监督微调和直接偏好优化
2️⃣. 性能测试:
- 展示了模型在复杂代码生成和算法问题上的能力
- 进行了复杂的空间和时间逻辑推理测试
- 与GPT-4和Claude 3.5 Sonnet等顶级模型进行比较
3️⃣. 使用方法:
- 通过together AI的API调用Llama3.1 405B参数版本
- 使用Groq的API调用Llama3.1 70B参数版本
- 在本地使用ollama和LM studio运行Llama3.1 8B版本
4️⃣. GraphRAG知识库构建:
- 使用本地Llama 3.1 8B模型
- 结合nomic AI的嵌入模型
- 演示了文档索引创建和检索功能
5️⃣. 模型微调:
- 使用unsloth框架在Google Colab上进行微调
- 采用T4 GPU进行训练
- 使用自定义的alpaca格式数据集
- 展示了Lora模型的保存、加载和合并过程
- 介绍了模型的8位、16位和4位量化方法
- 说明了如何将模型上传到Hugging Face
视频还包括了对模型在各种任务中表现的评估,以及如何在实际应用中使用这些模型的详细说明。通过这个全面的介绍,大家可以深入了解Llama 3.1模型的特性、性能和应用方法,为进一步探索和使用这一强大的开源大模型提供了宝贵的指导。
👉👉👉视频中所用到的代码 https://blog.stoeng.site/20240724.html
👉👉👉我的开源项目 https://github.com/win4r/AISuperDomain
👉👉👉我的开源项目 https://github.com/win4r/GraphRAG4OpenWebUI
👉👉👉赞赏一下 https://ko-fi.com/aila
🔥🔥🔥YouTube时间戳:
0:00 介绍:Meta发布Llama 3.1开源大模型
0:37 Llama 3.1模型介绍(参数版本、架构等)
1:59 Llama 3.1性能与能力
2:29 如何使用Llama 3.1模型(本地和API)
3:23 测试Llama 3.1 405B模型的代码能力
4:29 复杂逻辑推理测试
5:57 通过API调用Llama 3.1 405B模型
6:52 使用Groq API调用Llama 3.1 70B模型
7:15 使用本地Llama 3.1构建GraphRAG知识库
9:15 微调Llama 3.1 8B模型
10:19 测试微调后的模型效果
11:34 总结和结束语
歡迎來到am超元域 麥塔發佈了拉瑪3.11開源大模型
這個大模型包含三個參數的版本 最大的參數是405b的參數
還發布了70b參數的版本以及8b參數的版本
本期視頻爲大家講解的內容會比較多 我們會測試拉瑪3.11 405b參數的推理能力等方面
並且爲大家演示如何本地部署拉瑪3.18b模型 並且爲大家演示使用拉瑪3.11作爲國外flag的語言模型
用國外flag構建一個簡單的知識庫 並且會爲大家演示我們如何微調拉瑪3.118b模型 我們先看一下拉瑪3.11405b這個模型
它是麥塔公司最新發布的大型語言模型 也是目前全球最強的開源大模型之一
那麼3.1405b它擁有4050億參數 是麥塔迄今爲止最大的模型
它採用標準的建碼器transform架構以提高訓練的穩定性 並且它的上下文長度提升至128k
大幅度增強了處理長文美的能力 使用超過15萬一個token進行訓練
在超過16000個h100gpu上進行大規模訓練 是首個在如此規模上訓練的拉瑪模型
而且採用迭代訓練程序 結合監督微調和直接偏好優化 以提升各項功能的性能
並且改進了預訓練和後訓練數據的數量和質量 包括更嚴格的數據處理和過濾方法 我們再看一下它的性能與能力
在常識 可以腦性 數學 工具使用和多語言翻譯等任務中
可與gpd4 gpd4o cloud3.5 sonnet等領先的幣源模型相媲美
具備複雜的推理能力和工具使用技巧 改善了處理複雜數學問題的能力
甚至可以及時合成一整本書 並且它的代碼生成性能優秀 支持多語言
我們再看一下它的其他功能和參數 它支持函數調用和工具使用
這個功能在拉瑪三和拉瑪二版本中是不具備的 因爲這是一個非常重要的功能
工具使用和函數調用我在上期視頻也有爲大家演示
大家如果不瞭解的話可以看我上期視頻 而且還支持實時和批量推理
並且在中文處理方面表現出色
像上個版本的拉瑪三 無論是8B模型還是70B模型 它在中文方面的表現都非常不佳
但拉瑪3.1三個參數的版本在中文處理方面都表現非常出色
而且它的支持庫截止日期是2022年12月31日 但在實際測試中 它的支持庫應該是在2023年3月
拉瑪3.1它具備三個版本
像我們在北地使用的話可以使用8B版本或者70B版本
我們可以直接在歐拉瑪中用歐拉瑪軟拉瑪3.1
來下載和運行拉瑪3.1的8B版本
除了歐拉瑪之外 我們還可以在lm studio中來使用拉瑪3.18b這個模型
我們直接點擊這個下載就可以下載拉瑪3.18binstruct這個版本
這個版本是經過指令微調的 它比預訓的模型的效果會更好
如果想使用405B這個版本的模型的話 我們可以在togetherai中去使用
我們既可以用它的網頁版 也可以用它的api
而且它提供了405B的api 我們就可以輕鬆去調用這個開源的最強模型了
在togetherai的界面 我們只需要在右側點擊下拉
找到這個麥塔拉瑪3.1405b這個版本就可以 而且它是經過指令微調的增強版
然後下面的參數大家可以根據自己的需求去設置
下面我們先用三道算法題來測試一下405B這個模型的代碼能力和算法能力
我們先測試第一道算法題 我們直接將這個算法題粘貼在輸入框 然後直接發送
看一下它能否給出可用的代碼 這裏它給出了這個代碼 我們直接複製 然後粘貼 然後再運行
這裏測試通過
這個算法題的難度爲hard 我們再測試第二道難度爲hard的算法題 我們輸入好之後這點發送
我們可以看到這個推理速度還是非常快的 然後這裏已經給出了代碼 我們直接複製 然後粘貼 然後運行
這個也測試通過 我們再測試第三道難度爲hard的算法題
粘貼併發送 這裏它給出了代碼 我們複製 然後粘貼 然後來運行 這裏它給出了錯誤的代碼 這個沒有通過
我們將這個算法題發給cloud試一下 這是cloud305sonet給出的代碼 我們直接複製
然後粘貼 我們測試一下cloud能否通過
看來這個算法還是很有難度的 而cloud305sonet也被攔住了
下面我們再用一個對ai來說
非常複雜又非常具有挑戰性的一個推理題 這個邏輯推理題包含空間推理 還有時間推理
所以這對ai來說是非常有難度的 我們先看一下我設計的這個推理題 在一個立方體房間裏
四面牆分別朝向東南西北 每面牆都有一扇門
房間中央有一個正方形轉盤 斷盤的四個角放置着四個不同顏色的立方體積木
這四個積木的顏色爲紅 藍 綠 黃
此時紅色立方體對着東門 藍色立方體對着南門 綠色立方體對着西門 黃色立方體對着北門
然後現在開始計時 正方形轉盤開始轉動 每過五分鐘 正方形轉盤轉動一週
當正方形轉盤轉動一週時 紅色立方體和綠色立方體交換位置
藍色立方體和黃色立方體交換位置 每過15分鐘 時間就會倒流五分鐘
在時間到了第35分鐘時
紅藍綠黃
這四個立方體分別對應哪個方向的門 這個推理題就比較複雜了 我們直接複製這個題目
發送給那麼3.1405b這個模型 並且也發給cloud3.5
我們看一下這兩個模型能否給出正確的答案
這個正確答案是紅對西 藍對北 綠對東 黃對南
他給出的答案也是紅對西 藍對北 綠對東 黃對南
我們再看一下cloud給出的答案 cloud給出的答案也是正確的
這個推理題雖然很有難度 但是那麼3.1405b這個版本的模型給出了我們正確的答案
說明他在複雜推理方面的能力也是非常強的
下面爲大家演示我們如何通過接口來調用那麼3.1405b這個版本 因爲405b這個版本它對硬件的要求非常高
所以我們如果沒有非常好的顯卡的話 我們只能調用API 我們可以直接使用Together AI提供的API來使用
那麼3.1405b爲了方便演示 我這是在colab中去操作的 我們需要點擊谷歌colab的這個鑰匙
然後在這裏面設置好Together AI的API 我們直接運行這個代碼來下載這些依賴
然後我們再執行這一段代碼來獲取環境明亮中的API key
下面我們就可以執行這個代碼 通過API來使用那麼3.1405b這個模型
那我這裏設置的這個問題是告訴我Python最新版本的版本號
我們直接運行一下 他這裏給出的回答是2023年3月 Python的最新版本是3.11
通過這個問題 我們可以大體推斷出405b這個版本的支持庫大概截止到2023年3月或者4月
除了通過Together AI提供的API 我們還可以使用Grok提供的API
但Grok給提供的API 我們最大隻能使用70b的那麼3.11
這段代碼就是通過Grok提供的API來調用那麼3.11 70b這個版本
我這裏還是使用剛纔提供的這個問題 我們來運行一下 它的回答也是
截止到2023年3月 Python版本是3.11
所以說明這兩個版本的支持庫大概都是截止到2023年3月或者4月
下面爲大家演示一下 我們使用本地的那麼3.11來構建一個GraphRack的支持庫
看一下這個效果如何 我在PyCharm中創建了一個叫RackTest的文件夾
在這個文件夾下創建了一個input input中放置了一個叫book.txt的文件
這個文件裏的內容是關於構建chattgpt起始詞的一些技巧
我們直接在PyCharm的中端執行這條命令
來創建一個工作空間 這裏創建好之後 我們需要修改settings.yaml裏的配置
API base我們這裏填寫的是olama的API的模型 這裏我們就填lama3.1
API k這裏我們直接填olama
下面需要設置嵌入模型 我在之前的視頻中有爲大家講解
如何用lm studio來運行嵌入模型
但很多小夥伴在lm studio中並沒有成功運行
爲了讓大家更方便的使用嵌入模型 我這裏寫了一個腳本
這個腳本的作用就是加載和運行nomic AI的嵌入模型
並且開啓API接口 方便我們在GraphRack或者其他框架中來調用這個模型
然後運行之後它的端口是8166 這個腳本非常簡單 它只有60行代碼
我們只需要在終端用python加這個腳本的名稱 就會啓動這個腳本
我們只需要將這個API base設置成我們剛纔啓動的這個接口
這樣的話它就會自動調用我們運行的這個接口中的nomic AI的嵌入模型
這些都設置好之後 我們就可以來運行這個索引了
直接用這條命令來運行索引
這裏它是調用了我們本地的lama3.1模型 還有本地的nomic模型
所以速度會慢一些 這裏我們要稍等一下
經過漫長的等待 這個索引已經創建成功
下面我們測試一下GraphRack使用lama3.18b這個模型 它的效果是否理想
我們直接用這個本地檢索模式 檢索這個文件中關於這個提示詞公式的內容
我們直接運行 這裏是它檢索到的關於這個指令提示技術的這些內容
我們看一下原來的這個文件中是否有它檢索到的這個內容
這裏是文件中的這個內容 我們看一下它檢索到的這個內容
這個提示詞和文件中的這個提示詞是一樣的
這說明用lama3.18b模型 用於GraphRack效果也是非常不錯的
下面爲大家演示我們如何微調lama3.18b這個模型
我在谷歌的colab中爲大家演示 我們這裏使用的框架是anslus框架
在微調之前 我們先在谷歌的colab中點runtime
然後點擊change runtime type 這裏我們要選擇T4GPU
然後點擊保存 我們先執行這段代碼
來下載和安裝這些所需要的組件和模塊
第一段代碼執行完成 我們再執行第二段代碼
來加載lama3.18b這個模型 這裏我們要稍等一下
這個模型下載好之後 我們再執行這個代碼來設置這些參數
然後我們再執行這個代碼來設置alpac數據集的格式
並且加載這個數據集 這個數據集我是用了我自己的數據集
我們可以先看一下這個數據集
這個數據集的格式就是標準的alpac格式
包括指令 輸入還有輸出 我創建的是關於我的頻道
還有我創建的軟件的這些介紹
我們直接運行這個代碼來設置這個指令格式
還有加載數據集
下面我們再執行這段代碼來設置這些具體的參數
這些設置好之後 我們直接執行這段代碼來開始微調
在經過了幾分鐘的等待之後 這個微調已經完成
我們可以先測試一下效果 我這裏提了一個問題
介紹AI超言語頻道
我們看一下它能否輸出我們數據集中的內容
我們運行一下看一下 這裏他給出了輸出
他說AI超言語是一個專注於AI技術的集成和應用平臺
向廣大觀衆提供詳細的教程 案例 分析
以及AI技術的最新發展
頻道內容豐富 涵蓋從基礎教程到高級應用
輸出到這裏中斷了 因爲我們這裏設置的max token是64
我們這裏可以給它設置更大一些
我們再運行一下 運行之後 這裏就給出了完整的介紹
這裏的代碼就是保存laura model
這個代碼就是加載laura model
我們先測試一下 然後這裏我們提了一個問題
AI超言語是誰 這裏給出了這個輸出結果
我們問AI超言語是誰 然後他這裏給出了這個詳細的介紹
這裏我們就不再具體去看了
這裏的代碼就是將技術模型和laura model進行合併
下面的代碼就是對合並後的模型進行量化
這裏是8w量化 這裏是16w量化 這裏是4w量化
並且量化後的模型可以傳到hugging face
然後這裏大家可以填自己hugging face的用戶名
這裏我的是liu009 然後這裏要填hugging face的科寫token
這個量化後上傳到hugging face
這個我就不再去執行了
本期視頻爲大家講解的內容比較多
視頻中所用到的代碼我都會放在視頻下方的描述欄或者評論區
如果你在視頻下方找不到的話 說明這不是我的首發平臺
好 本期視頻就做到這裏 歡迎大家點贊關注和轉發
謝謝大家觀看