GPT-4o發布,AGI近在咫尺,OpenAI春季更新匯總

魏岚Levi
1粉絲
2 次觀看·2024年5月15日
· OpenAI發布最新旗艦級模型GPT-4o
· ChatGPT更強大的語音交互功能
· 全新升級的視覺模型實現實時視頻交互
· 與操作系統無縫銜接的ChatGPT桌面App
發布公告: https://openai.com/index/gpt-4o-and-more-tools-to-chatgpt-free/
模型細節: https://openai.com/index/hello-gpt-4o/
我的YouTube頻道: https://www.youtube.com/@another_elysium
我的bilibili頻道: https://space.bilibili.com/20035050
我的Discord頻道: https://discord.com/invite/sPgGC8UwqF
00:00 序
00:32 旗艦級模型GPT-4o
03:09 語音交互演示
06:52 視頻交互演示
10:18 ChatGPT桌面版App
12:36 額外演示
OpenAI的首席技術官(CTO)米拉·穆拉蒂(Mira Murati)
在本次現場直播中帶來了4個ChatGPT的重要更新
第一個更新,發佈了最新的旗艦級多模態模型GPT-4o
o指的是“omni”,全方位,全能的意思
舉個例子,Dota2中全能騎士的名字就叫“OmniKnight”
根據傳統基準測試結果
GPT-4o在文本、推理和編碼方面的6項測試中
有4項都優於目前最先進的模型
參與測試的包括GPT-4 Turbo
初始版本的GPT-4
Claude 3的旗艦模型Opus
Google的Gemini Ultra
以及Meta的開源模型Llama3
而在音頻識別、音頻翻譯、多語言和視覺理解測試中
GPT-4o全面領先於現有其他模型
得益於新的分詞器壓縮技術
GPT-4o在不同語言中的響應速度都得到了顯著提高
比如這一段中文文本消耗的令牌數(tokens)從34個減少到了24個
另一方面,API調用成本也比以前更低
總體來說,相較於GPT-4 Turbo
GPT-4o的響應速度是以前的2倍
成本降低50%
速率限制是以前的5倍
最大的利好消息是,GPT-4o會免費開放給所有用戶使用
包括目前所有的付費功能
Plus用戶的優勢是5倍的使用限制
能夠與ChatGPT進行更多的對話輪次
參考微軟的Copilot Pro方案
需要注意的是,GPT-4o最重要的改變不是這些簡單的性能升級
OpenAI團隊跨文本、視覺和音頻端到端地訓練了一個新模型
以語音對話爲例
以往的僞多模態模型實際上要經過三個階段
首先通過語音識別將語音轉換爲文本
然後通過語言模型生成對應的回覆文本
最後再將生成的文本轉換爲語音
而在GPT-4o中,所有的輸入和輸出都由同一個神經網絡處理
一方面,極大的降低了交互延遲
GPT-4的語音對話平均延遲是5.4秒
GPT-4o是3.2秒
與人類日常對話的響應時間非常接近
另一方面,因爲不再是簡單的通過文字傳遞信息
所以GPT-4o能捕捉到對話過程中的音調、情感、背景噪音和不同的說話對象
同時模型本身也能輸出不同的語調和情感
甚至可以唱歌給你聽
下面通過OpenAI的現場演示來感受一下新模型的強大之處
也就是本次直播的第二個重要更新,更先進的語音交互功能
在這個演示中,你能看到GPT-4o能夠從對話者的語調中
全面且細膩的感受到對方目前的情緒與狀態
從而做出更貼心的迴應
在剛剛這段演示中,體現了模型的兩個新特性
首先,我們可以在對話過程中打斷它,插入新的內容
其次,新模型能夠依據不同場景,輸出情緒相當豐富的音頻,甚至還能唱歌
事實上,微軟在2023年公開的音頻克隆項目VALL-E
對於對話過程中情感還原的完成度已經相當高了
OpenAI則是在這個基礎上做得更好
話說回來,如果你不告訴我這是人工智能,我真的會以爲手機那頭是個真人
不過說實話,假如我們在生活中遇到一些羞於向他人分享的情感或心理問題
請教ChatGPT不失爲一種解決途徑
至少有那麼一個虛擬的人,願意耐心傾聽你的煩惱
同時給出合理的建議或鼓勵
第三個重要更新
視覺模型從以前的靜態圖像識別升級到了“實時視頻交互”
這段演示給我最直觀的感受就是,教育領域必然會受到極大衝擊
首先,老師在教學過程中可以藉助ChatGPT提高效率
其次,我們每個人在自學過程中
也都可以利用ChatGPT這個全科家教極大的降低學習成本
再更進一步,假如可以通過生物工程將人體中樞神經與人工智能相連接
人類是否能達成一定程度的進化?
興奮之餘又讓人覺得有點恐怖
第四個重要更新,OpenAI發佈了一個適用於蘋果macOS的桌面版App
無縫集成到系統中的ChatGPT,能夠實時看到你屏幕上的一切信息
我們可以通過語音功能與它進行討論
除了最直觀的在編寫代碼方面提供協助,顯然它還能在其他方面爲你進行實時教學
舉個例子,我們也能在打開PhotoShop之後詢問ChatGPT
爲這張圖像去除背景需要點擊哪裏?
甚至是開始一局爐石傳說遊戲
詢問ChatGPT每一回合的最優出牌順序
Plus用戶目前已經可以在蘋果macOS上使用桌面版ChatGPT
未來幾周內會逐步開放給免費用戶
今年晚些時候會推出Windows版桌面App
毫無疑問,6月份的蘋果開發者大會(WWDC 2024)上會有更多相關信息
包括ChatGPT與macOS的深度集成
iOS的Siri語音助手
大家或許有個疑問,以微軟跟OpenAI的關係
爲什麼選擇首先在mac上推出桌面App,而不是Windows?
第一個原因,蘋果之前其實有嘗試過在內部訓練自己的大模型
目前看來已經放棄了,全面轉向OpenAI的ChatGPT
很顯然,蘋果和微軟達成了戰略合作
用來對抗未來谷歌安卓系統上集成的AI功能
第二個原因,如果在擁有龐大用戶基數的Windows平臺上免費推出
必然會佔用海量資源,GPU算力跟不上
Nvidia最新的Blackwell架構計算卡的產能,或許要到年底才能支撐得起這個消耗
直播的尾聲,他們應現場觀衆的要求做了兩個額外演示
第一個是在英語和意大利語之間進行實時翻譯
第二個是在視頻實時交互中通過面部表情判斷人物的情緒
這段演示中其實存在一個小插曲
App在啓用攝像頭時默認使用的是後置攝像頭
所以最初的0.5秒左右拍到的是他們面前的桌子
但是10秒鐘後當工作人員詢問ChatGPT時
它接收的圖像內容還停留在之前那張桌子上
這就牽涉到新模型的圖像傳輸速率
是一秒刷新幾張還是幾秒刷新一張
會影響到高速運動場景中的識別準確度
以上是OpenAI本次春季更新的所有內容,感謝收看~
