AI開發者動態:LLM毫秒級推理速度來啦

TechDL
11粉絲
1 次觀看·2024年9月1日
大家好本視頻呢
爲大家快速介紹一下
AI開發的相關熱點
以及動態
首先AI技術相關的內容
第一個是李沐在上海交大的演講
受到了很多AI開發者的關注
李沐在演講中呢
分享了關於大語言模型
以及大語言模型落地
實踐中的經驗和體會
尤其是還結合自己的經歷呢
對AI領域是打工
讀博還是創業的理解
非常的具有參考的意義
乾貨滿滿
從李沐的演講中
我們可以看到他對大語言模型的前景呢
是非常看好的
所以有志於從事AI開發的小夥伴
繼續加油
持續學習
第二點是大語言模型的推理速度
大幅提升
本週呢
Cerebras發佈了全球最快的AI推理框架
Cerebras inference
他將8B Llama模型的生成速度呢
從每秒90個 token
提升到每秒1,800個token
整整呢提升了20倍
那麼有多快呢
我們來體驗一下
左邊呢是cerebras
右邊呢是我們常用的GPU
可以看到左邊幾乎是一閃而過
而右邊呢
是我們經常見到的正常的推理速度
我們來重新播放一遍
請注意左邊
怎麼樣是不是速度特別快
從這個速度你就可以知道
你一點也不用擔心模型太大
大約模型的生成速度太慢
按照這個20倍20倍的速度提升
不出幾年
萬億參數的大模型
它也會秒出結果了
第三條open AI的估值呢
將超過千億美元
GPT5呢什麼時候出來呢
還不是很清楚
但是呢open AI的錢可能又快要
燒完了
open AI呢又開啓了新一輪的融資
這次呢預計要融資10億美元
據說呢英偉達
蘋果和微軟呢
都會聯手
投資open AI
這次融資之後呢
他的估值
可能會超過千億美元
這其中呢
我們可以看到
英偉達呢
也參與了投資
英偉達呢最近剛剛發佈了財報
自從ChatGPT發佈之後
英偉達的收入只能用暴漲來形容
市值呢更是飆升
蘋果微軟參與投資呢
更多的是希望從open AI那裏呢
獲得更好的模型
增強自身產品的競爭力
英偉達這次參投呢
可能是最最最純粹的了
就是單純的希望呢
幫助open AI趕緊把GPT5給做出來
讓Meta和谷歌等一衆追趕的公司呢
更加着急
從而呢可以多買些英偉達的GPU
所以如果這麼理解的話
英偉達的老黃
可能是最希望open ai能變好的人了
那大模型方面呢
主要有以下幾個內容
首先呢是llama模型
下載量暴增
llama模型
在開源平臺huggingface上的下載量呢
達到了3.5個億
llama模型呢
是從2023年2月首次亮相發佈的
經過多次迭代
現在最新的版本呢是llama3.1版
根據官方的介紹呢
最近模型的下載量是去年同期的十倍
而且僅在上個月
模型的下載量呢
就超過了2,000萬次
3.5億次的這個下載量着實是有點嚇人
即便是一個人下載3.5次
那麼也就是有1億人在下載過了
你是不是會很好奇
這麼一個專業的東西
下載下來
都幹什麼用去了
難道真的有這麼多的AI開發者嗎
另外一個關於大模型的動態呢
就是阿里的模型了
首先是Qwen2AUDIO發佈了
這次呢開源了兩個模型
它們是Qwen2 audio 7B
和Qwen2 audio 7B的instruct版
作爲QwenAudio的升級版呢
QwenAudio升級了encoder的部分
使用了whisper large V3的encoder
大語言模型的部分呢
也換成了Qwen2模型
相比第一版呢
性能上呢更是取得了非常大的改進
對雲相關的任務感興趣的小夥伴呢
可以去試一下
昨天我們頻道也發佈了一個視頻
就是我們估算了一下
QwenAudio這個模型
訓練時所需要的訓練時間和GPU資源
對大模型訓練感興趣的小夥伴呢
可以去看一下
再一個模型呢
也是阿里的
就是千問2的VL模型
這個模型呢也是千問VL的一個升級版
這次呢也是開源了兩個版本
分別是2B的和7B的
這次開源呢不僅有模型的參數
如何推理以及微調的代碼
最後呢
我們分享一下本頻道最近相關的內容
第一呢是我們推薦兩個工具
第一個呢是open interpreter
最近呢我們頻道
主要在分享agent的內容
前面咱們介紹了
openai 的 code interpreter的設計思路
非常呢值得大家借鑑和參考
其思路呢
就是大語言模型負責生成內容和代碼
code interpreter呢負責執行和驗證代碼
code interpreter呢可以理解爲
是大語言模型的工
具
它就像人有了工具
可以做更多的事情一樣
大語言模型有了工具呢
可以更好地完成任務
還可以處理更加複雜的任務了
那這個open interpreter呢
它就是一個
非常類似於code interpreter的一個工具
第二個工具呢就是Dify
這是最近我們共學交流羣裏
比較受關注的一個工具
這是羣裏的小夥伴呢
用Dify開發的聊天的功能
看起來還是非常的不錯的
另外呢也有小夥伴分享了
Dify的安裝和使用的相關文檔
還有小夥伴呢
對Dify coze和fastgpt呢進行過比較
推薦Dify的人呢還是比較多的
另外呢羣裏的小夥伴呢
對Multi agent呢也很感興趣
我也注意到關於這個方面的文章呢
最近也是多了不少
感興趣的小夥伴呢可以去關注一下
看看這個Multi agent是個什麼
有什麼特點
如何來製作
在下面呢是我最近關注的一些問題
這些問題呢
有的是我自己碰到的
更多的呢
是頻道里和羣裏的小夥伴提到的
一些問題
列出來呢
供大家來思考
感興趣的小夥伴呢
可以去自己調查一下
歡迎將你的調查結果呢
在交流羣裏分享
好以上就是今天的分享
感謝收看
我們下期視頻再見
