AI開發必看!OpenAI開發者日4大新功能全解析!DevDay

TechDL
11粉絲
4 次觀看·2024年10月2日
OpenAI開發者日上沒有新模型發布,但卻帶來了4個全新的實用功能:實時API、視覺模型微調、提示詞緩存和模型蒸餾。
AI開發前途無限
歡迎來到AI開發者的頻道
今天早上也就是美國時間十月一日呢
OpenAI呢舉辦了2024開發者日
今年的開發者日呢
雖然沒有帶來新模型等大的驚喜
但是呢
他介紹了一些對我們AI開發者來說
非常具有實用價值的一些功能
下面呢我們就來介紹一下
今年的開發者日呢一共有四項內容
也就是呢這個real time API
實時API vision fine tuning
也就是針對視覺的模型微調
promote cashing提示詞緩存
以及distillation模型蒸餾
首先咱們先來看一下實時API
實時API呢
它是一個用來構建
低延遲的語音對話功能的API服務
簡單來說呢就是語音輸入語音輸出
並且呢延遲非常的低
這個功能呢
其實就是上週呢
剛發佈的chat GPT的高級語音模式
如果你是chat GPT訂閱用戶的話呢
在手機端chat GPT的APP上
就可以去使用它
使用這個功能呢
你也可以開發與機器人的交互功能
以及呢
可以用於改進家裏用的智能音箱等等
如果你對這個實時性
要求不高的話呢
OpenAI呢還更新的CHAT completions API的功能
這次更新呢
也增加了音頻輸入和音頻輸出的功能
那使用這個功能呢
它允許開發者呢
將文本和音頻傳遞給GPT-4o模型
模型呢會返回文本和音頻
支持API功能呢還支持function calling的
也就是呢可以調用外部
的工具通過外部工具呢
你就可以完成了更多的
個性化的事情了
比如說
我們可以開發一個飯店點餐的機器人
個人與機器人進行對話
機器人呢
就可以通過調用function calling的功能
直接呢在飯店的系統中
完成下單的操作
那這個實時API的費用怎麼樣呢
如果是文本的話
一兆的輸入呢是5美金
輸出呢是20美金
而語音呢就更貴了
他這裏呢給了一個例子
如果你的對話是一分鐘的輸入
加一分鐘輸出的話
那麼就是0.3美金
也就是那兩塊多錢
一分鐘的輸入一分鐘的輸出
也就是聊個幾個來回
就差不多兩塊錢了
這麼看的話呢
這個價格還真是挺不便宜的
那第二個功能呢
就是針對視覺的模型微調
這個功能呢
它允許開發者用自己的圖像數據
對GPT 4o模型呢進行微調
從而改善模型在自己任務上的表現
他的做法呢就是
開發者呢
要將他們的數據
按照一定的格式進行準備
然後呢
將這個數據集上傳到OpenAI的平臺上
他這裏給了一個例子
比如說這個叫Grab的網約車公司
他會利用汽車收集的視頻呢
來整理地圖數據
這裏他提到呢
他僅僅使用了100個實例呢
進行視覺微調
他將GPT 4o車道計數的準確率呢
提升了20%
將限速標誌識別的準確率呢提升了13%
第三個功能呢是提示詞緩存
在我們構建AI應用程序時呢
會經常重複使用
相同或者非常相似的上
下文提示詞緩存功能呢
就是可以幫助開發者
減少這種成本和延遲
如果你的提示詞很長
用戶量比較大的情況下
這種節省就會更加明顯
那麼他是如何工作的呢
我們也可以看看這張圖
上面這個例子呢是緩存命中的情況
下面呢是緩存沒有命中的情況下
緩存命中呢
只有在提示詞中
出現完全相同的前綴匹配時
纔有可能
所以他這邊建議呢
爲了有效的利用緩存
建議將靜態內容
比如說指令或者實例
放在提示詞的開頭
將變量的內容
比如說用戶的特定信息放在這個末尾
這樣呢就可以提高緩存的命中率
也就可以更加省錢了
如果緩存命中的話呢
他的費用就會便宜50%
最後一點呢就是模型蒸餾
模型蒸餾呢
它是一種利用高性能的大模型呢
來訓練小模型的技術
這種方法訓練出來的小模型
不僅有推理速度的優勢
性能上也比直接訓練的小模型
也會有很大的改進
OpenAI的模型蒸餾服務呢
它允許開發者呢
直接在OpenAI平臺上
管理整個蒸餾的流程
開發者呢
可以非常方便地利用o1或者GPT 4o
等最強的大模型的輸出
來對GPT 4o mini
等這種小模型的進行微調
和性能改進
要用這個技術進行模型微調呢
一共可以分爲三步
第一個呢
就是創建一個評價用的測試集
第二呢是創建模型微調用的數據集
這個數據呢最好是你真實場景中
的數據
那第三呢就是對模型進行微調
並使用測試集呢對它進行評價
好以上呢
就是OpenAI這次開發者日活動
所介紹的內容
最後呢我們來總結一下
這次最新發布的這個實時API呢
它呢算是GPT 4o的功能
正式開放給開發者訪問了
可以訪問open I API的小夥伴呢
可以去試一下
做一些演示
呆帽呢來體驗一下這個功能
提示此緩存呢屬於降低費用
提高響應速度的一種技術
視覺微調和蒸餾呢
都是針對應用場景進行微調
改善性能的方法
AI產品的落地微調呢
它是一個非常重要的技術
OpenAI的微調呢
他都是在他的平臺上進行的
對於我們更多的小夥伴們來說呢
可以參考OpenAI的做法
在我們本地的開源模型上
來嘗試微調的工作
好了以上呢
就是今天的分享
如果你覺得本視頻對你有幫助
記得一鍵3連
感謝收看
我們下期視頻再見
