最新!OpenAI Dev Day開發者大會重磅更新:實時語音、圖像微調模型、提示緩存、模型蒸餾。

AI进化论-花生
2粉絲
2024年10月16日
視頻中的PPT生成工具:https://www.img2046.com/ppt-generator
在本視頻中,我們將深入探討OpenAI在2024年開發者日(DevDay)上發布的重大更新,包括實時API、提示緩存、模型蒸餾和視覺微調等新功能。我還會演示如何利用AI快速將文章轉換為PPT幻燈片。
時間戳:
0:00 介紹
0:22 實時API
3:04 提示緩存
5:13 模型蒸餾
7:10 視覺微調
11:47 AI生成PPT演示
🌐 實用資源:
💳 境外虛擬卡推薦 (WildCard): https://bewildcard.com/i/AIHS (優惠碼: AIHS)
🚀 ChatGPT/Claude Pro會員購買渠道: https://nf.video/rmb4re (優惠碼: huasheng)
📚 ChatGPT進階課程: https://xiaobot.net/p/AIclass
🔗 我的AI產品矩陣:
1️⃣ 🖼️ AI圖像編輯 - img2046: https://www.img2046.com/
2️⃣ 💻 AI編程教程 - CoderWithAI: https://www.coderwithai.top/
3️⃣ ✍️ AI文本改寫 - Humanize AI: https://www.humanize-ai.top/
4️⃣ 📚 AI知識庫 - BookAI: https://www.bookai.top/docs/intro
OpenAI 繼上週發佈實時語音功能之後
在今天OpenAI又舉行了一個DevDay
叫開發者大會
他們在開發者大會上又做了一些
就是對開發者很有利的這種更新
我覺得上週的那個實時語音能力的更新
還是挺讓我震驚的
不管是從模仿各種地方不同的口音
還是說從語音對話的實時性
以及語音所表現出來的情緒看
都讓人有很震驚的這種體驗
以及認爲它會有非常多的新穎的這種應用的場景
所以就是在這個開發者大會上
核心就是OpenAI做的一件事情
就是他們新的這些能力進行了開放
然後這些能力開放之後的話
我預計我們可以看到很多新穎的
不同的這種應用的工具出現
然後簡單來說的話
其實這次更新主要是有四個不同的模塊
一個是他們引入了這種所謂實時的API
Real Time API
然後還有一個就是引入了視覺微調的能力
然後第三個的話
就是它的API可以去進行提示詞的這種緩存了
另外一個就是
他們還提供了這種模型幀流的這種API的能力
然後這四個能力的話
有一個方式是我可以直接看這些文章
然後給你做介紹
但是我覺得這樣有點沒意思
所以我今天花了一個小時左右的時間
去做了一個新的小工具
讓我可以更好的給你介紹這些新功能
然後這個能力的話
其實就是把文章變成一個幻燈片PPT
然後我通過PPT的方式去給你介紹這個重點
我先給你介紹就是OpenAI今天的一些變化
然後接下來的話
我會告訴你怎麼實現
就是把一個文章快速的變成一些
大概還可以看一看的這種PPT
首先的話是實時API的這個能力
它的核心優勢其實主要兩個點
一個是就是低延遲多模態的體驗
這個你可以通過看我之前就是9月25號
發的那個視頻去了解
然後它是單一API的調用
對開發者來說會比較方便
然後從技術原理來說的話
就是什麼websocket
然後流逝音頻的輸入輸出
其實就是他們通過一些技術能力
能讓這個實時的語音對話功能
可以讓第三方的這種廠商去進行調用
我們就不說這種技術的這個細節了
這個細節能力
其實是跟我們現在看到的語音體驗是類似的
然後應用場景的話
這裏他們先提到了三個
我覺得實際應用場景會多得多
就是一個是智能客服的這種支持
然後還有一個就是語言學習的應用
對確實
你現在真的完全沒有必要去請外教去學語言了
就是有一個GPT這樣的角色
去跟你實時對話實時糾正
他永遠不知疲憊
而且他永遠可以給你提供最好的幫助
我覺得這個真的很好
然後第三個的話就是個性化的健康指導
我覺得就是比方說心理的指導
或者一些就是心理的一些安撫的幫助
或者實時的導遊
其實這一塊的想象空間確實還是非常巨大的
然後安全和隱私方面
這裏說了他們做了一些什麼樣的承諾
就比方說不進行未授權的數據訓練
然後他們會有自動的監控和人工審覈
以及多層的安全保護
我覺得這裏安全保護防止讓用的關鍵
就是他不能讓緬北去用上這個功能去進行詐騙
不然確實是有點太可怕了
對於中老年人來說
要分清這個語音
他不是一個真人
我覺得困難程度是非常高的
未來的展望就是他們提到了
又畫了幾個餅吧
就是這種視覺和視頻的能力
他們也即將推出
然後併發的這個限制
他們也會去做對應的提升
還有一個就是有提示緩存的能力
這個我們接下來還會再介紹到
然後除了實時語音之外的話
另外一個就是提示緩存
然後提示緩存的話
他其實就是優化了API的性能
然後提示緩存也不是一個特別新的東西
簡單來說的話
就是如果你的提示在最近的提示中出現過
他可以去降低你的成本提高性能
以及這個提示緩存是自動應用的
但是他這個50%的折扣
其實不太夠看
就比方說比較早推出提示緩存功能的
就是如果你的提示詞命中緩存的話
他是有90%的這種折扣的
然後這個提示緩存支持的模型的話
就是最新的這麼幾種模型都是支持的
以及這些模型的微調版本也是支持的
從定價來說的話
就是你可以看出就是未命中的情況下
GBT 4歐的價格是2塊5
4歐mini是1毛5
然後如果命中這種輸入的緩存的話
都是能降低一半的這個價格
然後輸出的這個價格
他是不變的
因爲即使你輸入命中緩存了
他的輸出也是完全重新給你去生成的
所以並沒有命中緩存這麼一個概念
所以他的輸出價格還是相當昂貴的
現在只有4歐mini是你可以比較無痛的去用
像4歐和OE preview就是有點太貴了
然後緩存使用的監控
對這個技術細節我們就不需要管了
緩存的清理機制
緩存的這個機制的話
是5到10分鐘不活動之後就清除
最長保留一個小時
所以他其實是會比較適合
就是你有非常大規模的應用
並且你這種大規模的應用
在使用上有一些相似性的時候
就比方說在一個企業內
很多人去問一個類似的這個問題
這個對於價格的降低會比較明顯
就是如果你只是個人用
並且如果你使用的頻率沒有那麼高的話
那這個提示緩存機制
對你的價值就不會有那麼的大
這個提示緩存的應用
對於開發者來說
就是你不需要做任何的設置和修改
他都是自動去進行應用的
然後還有第4個就是模型徵流
模型徵流
API中的革新
我們看一下究竟是有哪些東西
首先是提供了一體化的工作流
然後第2個的話就是性能的提升
用小模型去匹配大模型的性能
然後成本效益
因爲模型更小的話
它價格肯定是會更低的
所以就是性價比來說會有一定的提升
模型徵流的這個套件
就是會包括存儲
評估以及微調
如何使用徵流模型
就是首先是你去創建這種評估
然後使用存儲的那個東西去創建訓練的數據集
然後進行微調
微調之後應該就可以進行實現徵流了
然後這部分的話就是屬於立即可用的
對於發者來說
就是你現在是有GPT-4O
每天是有200萬免費的訓練額度
GPT-4O mini是200萬
GPT-4O是每天100萬
然後超出之後的話
它會按標準的微調價格去進行收費定價
OK
我這裏沒了
然後我發現就是我們這裏介紹的功能
其實還少了一個
就是Vision
這裏我們在PPT裏有點遺漏了
所以我正好給大家演示一下
就是那個PPT究竟是怎麼做成的
對
我們可以把這個複製過來
我重新在這裏粘貼
就是你會發現
就是這裏粘貼之後
其實是一篇文章
那我們怎麼把這篇文章變成一個slide
對
你看這裏複製之後就只是個文章
然後我們可以全選這裏
並且command k調出這個東西
然後去輸入我們的提示詞
就是讓它把我們的文章轉化爲slide
它幫我把每一頁變成PPT之後的話
我給了它一個圖片作爲參考
就是這個是OpenAI DevDay的
然後讓它參考這個文章
去幫我生成額外的色塊
去調節它的視覺表現
這部分工作流理論上
我也可以把它變得更自動化
但是我們爲了讓今天這個視頻快點出來
我們先用這個方式去處理了
也讓你能夠理解
我們是怎麼一步步做到
把文章變成一個稍微有點動態效果的PPT的這種形式的
好的
然後我們得到這部分代碼之後的話
我們就可以這樣全選去進行復制
然後再粘貼到我這個網頁裏
這個網頁的話
完全是爲了今天的視頻而新做的
然後我們可以看一下
這次得到的效果跟之前的還挺不一樣的
但是效果也還不錯
就是這個視覺微調的API的話
其實就是爲GPD 4 OG引入了圖像和文本微調
然後提升視覺能力
主要特點有幾個
第一個是支持圖像和文本的微調
第二個是增強了圖像的理解能力
它適用於多種應用場景
以及它僅需100張圖像即可改善它的理解的性能
所以我感覺在醫療領域
或者在一些特定的圖像識別
就比方說導遊
或者在一些工廠機器人之類的這種場景下
我覺得應該會有非常有用的一些幫助
這裏提到了一個應用
就是圖像分類和識別
物體檢測和定位
圖像描述生成
視覺問答系統
以及圖像編輯和生成
視覺微調的工作原理
微調的流程的話
就是準備圖像的數據集
按照指定格式上傳這個信息
看起來就是隻需要100張圖片的話
微調這個工作也會變得非常的簡單
現在我們有Cursor幫助
可以去做開發的情況下
這種模型微調的能力又下降了很多
其實對於我們這種不太有經驗的開發者來說
其實是非常有利的這種事
實際應用案例的話
就是OpenAI也舉了幾條
一個是Grab的
就是他們改上了道路的這種識別系統
只是Grab這麼大的公司
他們也只使用了100個的示例
然後車道數量的準確率提升了20%
線數標誌的定位提升13%
然後甚至還實現了地圖繪製的自動化
然後像這個就是Automate
他們是提升了桌面機器人的效率
RPA的代理成功率從16%到61.67%
這個其實說明
我們到時候去完成一些自動化的這種工作
會變得更簡單
就比方說去填寫一些表單
或者我們需要在網頁上的操作
把它變得更自動化的話
有這個圖像識別能力的加持的情況下
它的成功率會有大幅的提升
還有一個就是提升數字內容創作的質量
後面在安全性和隱私方面
這裏也提到了
就是微調的模型的話
是你可以自己去進行控制的
然後你如果不許可的話
它不會使用你的數據去訓練OpenAI自己的模型
可用性和定價
就是每天可以有100萬的訓練的token之後的話
我感覺這裏可能是描述有誤
應該是10月31號之前
開發者可以擁有100萬的訓練的token
然後之後的訓練的話
就是100萬token要25美元
然後推理的費用的話
分別是輸入3.75美元和輸出15美元
就是微調後的成本
應該還是要比你使用它常規的模型要更高一些的
這個也很正常
好的
視覺微調這塊我也就介紹到這
然後我們剛纔也演示了
就是怎麼把文章變成一個slide
現在其實還是一個比較簡化的模型
你可以自己根據我剛纔的流程去做一些演示
然後我預計後面也會把這個工作流變得更加的自動化
有可能你輸入一個文章
或者輸入一個文章的鏈接
我就自動來幫你生成這個PPT
你覺得怎麼樣
對生成的這些東西你都是可以導出的
你可以導出爲PPT導出爲圖片
或者導出爲長圖都完全可以
好的
今天的視頻就先到這
拜拜
