我將ChatGPT做成了遊戲外掛

魏岚Levi
1粉絲
1 次觀看·2024年5月28日
ChatGPT現場教我玩遊戲?自制ChatGPT Windows桌面App | GPT-4o API。
通過調用GPT-4o API在Windows上實現ChatGPT macOS客戶端的功能,藉助這個程序,你可以和ChatGPT通過語音對話實時談論關於你目前電腦屏幕上的任何內容。
完整代碼:https://colab.research.google.com/drive/1pYuzQcUJqjQ3bs_tTXl3JCtTyJq5LPmg?usp=sharing
我的YouTube頻道: https://www.youtube.com/@another_elysium
我的bilibili頻道: https://space.bilibili.com/20035050
我的Discord頻道: https://discord.com/invite/sPgGC8UwqF
00:00 演示一,遊戲教學
01:07 演示二,英語教學
01:32 演示三,軟件教學
02:24 Python程序
03:35 實現原理及代碼解釋
05:07 微軟Copilot
ChatGPT你好,你知道我現在玩的是什麼遊戲嗎?
我目前選擇的這個英雄應該出什麼裝備?
[ChatGPT] 你正在玩的遊戲是英雄聯盟
你選擇的英雄是蠻族之王 - 泰達米爾
對於泰達米爾,以下是一些常見的出裝建議
1. 神話裝備,渴血戰斧,不朽盾弓
2. 核心裝備,是無盡之刃
幻影之舞,斯塔緹克電刃
死亡之舞 (Death's Dance)
3. 防禦裝備
守護天使,振奮盔甲
蘭頓之兆
4. 其他選擇,多米尼克領主的致意
飲血劍,破敗王者之刃
具體的出裝順序和選擇根據對手的陣容和遊戲 ?(沒聽清) 調整
希望這些建議對你有幫助,祝你遊戲愉快!
ChatGPT你好,請問這道題的正確答案是什麼?
[ChatGPT] 這道題的正確答案是 1. didn't feed the cat
題目中的句子意思是
在會議之前,我不知道我的一項職責是喂辦公室的貓
這應該有人告訴我
這表明說話者在會議之前並不知道自己有喂貓的責任
因此很可能沒有喂貓
ChatGPT你好,你知道我現在在做什麼嗎?
[ChatGPT] 你好,從截圖來看,你正在使用Adobe PhotoShop進行圖像編輯
屏幕上顯示的是一個包含兩個狗狗形象的圖像
一個是肌肉發達的狗狗,另一個是普通的狗狗
這些形象通常被稱爲”Doge“或柴犬梗圖
在網絡上非常流行
你可能正在編輯或創作一張有趣的圖片,需要任何幫助嗎?
在OpenAI 5月13號的春季發佈會中
我們都看到了ChatGPT桌面App在蘋果macOS上的驚豔表現
它能夠實時看到用戶屏幕上的一切信息
回答你的問題,協助你進行工作
相當於我們的第三隻眼
不過目前只有蘋果用戶可以搶先體驗
Windows版要等到年底纔會發佈
所以呢,我利用GPT-4o的API自己寫了一個適用於Windows的Python程序
能實現的功能和官方版幾乎沒有區別
使用方法也非常簡單
在代碼編輯器中運行腳本後,將編輯器最小化掛在後臺就行了
腳本會定期對屏幕進行截圖
我們可以基於目前屏幕上的內容,隨時通過麥克風與ChatGPT交談
所有的代碼我都會免費分享給大家
在使用之前呢,我們需要做一點小小的準備工作
請準備好一個OpenAI的API key和一個微軟Azure語音服務的Speech key
以及語音服務對應的區域代號
提前將它們寫入Windows環境變量
在OpenAI開發者平臺登陸你的賬號
點擊右上角的Dashboard,選擇左側最後一欄的API keys
再點擊右上角的綠色按鈕創建你的API key
關於微軟語音服務的密鑰獲取流程
我在之前有一期介紹ChatGPT聲音定製功能的視頻中有做過詳細講解
本期視頻就不再贅述了
如果你對視頻中這個功能的實現原理,以及代碼中各部分的作用感興趣的話
可以繼續往下聽
在此之前,我們需要明確的一點是
GPT-4o模型的視頻交互
本身就是建立在對視頻中的圖像幀進行分析,從而實現實時視頻交互的
它與我們人眼的區別就在於刷新率不同
明確了這個邏輯關係之後,接下來就簡單了
我們配合代碼部分來看會更加直觀
一個完整的運行閉環由5個主要部分組成
第一個步驟,我們創建一個在後臺定時進行屏幕截圖的腳本
第二個步驟,通過微軟語音服務進行語音識別
這是跟OpenAI官方App一個比較大的區別
因爲GPT-4o模型的API目前不支持原生音頻輸入,所以只能退而求其次
第三個步驟,語音識別成功後,截圖功能會暫停運行
選取最新的一張截圖,將它轉換爲Base64編碼的字符串
第四個步驟,將識別到的語音文本和圖像編碼發送到GPT-4o模型
並返回ChatGPT的回覆內容
第五個步驟,利用OpenAI的文本轉語音服務
將ChatGPT的回覆轉換爲語音並自動播放
這裏的音頻流會在轉換的同時進行播放,相對來說會縮短延遲時間
不過副作用就是偶爾會出現吐詞不清的情況
代碼中的關鍵部分我都做了詳細註釋,在使用過程中可以自行修改
我在視頻開頭演示的幾個應用場景都是拋磚引玉
相信大家能利用這個功能實現一些大開腦洞的玩法
視頻的最後,來看一下微軟在幾天前的開發者大會上公佈的Copilot桌面App
它可以在遊戲過程中對用戶進行實時指導
毫無疑問,微軟的Xbox和索尼的PlayStation
後續肯定會開發基於這種功能的AI輔助遊玩機器人
如果覺得視頻對你有幫助,請點贊對我進行鼓勵
下期再見嘍,拜拜~
