如何讓AI接管你的電腦(和手機)

Rogue羅格
2粉絲
2024年10月27日
這是第一期Ai調查局。今天我們來看看Claude「電腦使用」AI代替人類接管電腦的真相。
===========時間旅行=============
00:00 AI接管電腦的流言
01:29 如何用Claude Computer Use控制電腦
03:53 第1個真相:控制「電腦」?
05:01 第2個真相:你不能用?
06:07 第3個真相:華麗的外衣?
07:23 結論
08:07 還有反轉?
yo 你好嗎 這裏是Ash
最近有傳言說AI已經可以控制你的電腦了
起因是Cloud AI推出了一個叫做
Computer Use
電腦使用的新功能
所謂的電腦使用意思就是
使用電腦
在這個演示影片裏面主持人告訴AI
打開Chrome瀏覽器
前往Cloud AI的網站
然後命令Cloud AI創建一個90年代風格的個人網站
很快Cloud AI就給自己列出了計劃
然後打開瀏覽器
搜索Cloud AI
成功的來到了它自己的網站
給另外一個自己輸入了一長串的指令
然後另外一個自己根據這個自己的指令執行了任務
然後蹦一個網頁就做好了
後來我們這個懶惰的主持人又給AI下達了更多的指令
AI也勤勤懇懇的一步一步都做完了
它把網頁文件存到本地
打開VS Code
載入剛纔下好的文件
嘗試用Python啓動服務器
但是遇到了一個錯誤
然後自己意識到了這個錯誤
改用了Python3
成功的啓動了服務器
接着它還根據指令識別出了代碼裏面的錯誤
並且清除了頁面上的錯誤提示
這看起來非常牛逼
但是
經驗告訴我
當你發現一個東西是如此之好
好到幾乎不真實的時候
它要麼沒那麼好
要麼不真實
哪怕是官方公佈的演示視頻也一樣
所以今天我就親自嘗試了一下
想看看這個能控制電腦的AI
到底是個什麼貨色
在使用Cloud Computer Use之前
我們要先做一點點準備工作
不難
任何人花個大概5分鐘左右的時間就能完成
首先我們要在電腦上裝一個叫做Docker的東西
如果你不知道它是什麼的話
那你大概率跟我一樣
平時也不怎麼需要它
所以也不需要了解太多
根據自己的系統下載安裝好就行了
我自己的設備是Mac
所以我下載的就是Mac版本
在等待下載的這個時間裏面
我們可以先來到console.cloud.com
註冊一個Cloud開發者賬號
然後填寫一些基本信息
填寫好了之後
這裏有個get API keys
如果你不知道這什麼意思的話
它是獲取API密鑰的意思
點進來再點創建密鑰
然後隨便取一個名字
選擇默認工作區
然後這一串API密鑰就生成好了
但是你在做的時候
不要像我一樣把這一串密鑰展示給別人看
因爲API密鑰應該只是屬於你一個人自己用的東西
我是因爲對你們有無條件的信任
所以我可以放心的展示給你們看
還有個原因是我馬上就要把它刪掉
所以你們看了也沒啥用
生成好之後
你要趕緊把它複製保存下來
因爲就像你在這裏看到的
一旦你關閉這個小窗口
就再也沒有機會看到這一串密鑰了
所以如果你沒有及時保存的話
那你後面就得再重新生成另外一個
OK把它複製好之後
粘貼到一個記事本里面
除了這一串密鑰之外
我們在這裏還需要另外一串代碼
這串代碼我放在影片下方的描述欄了
把這一串代碼粘貼過來
然後你看到這個Anthropic API Key
等於後面這一段了嗎
把這一段替換成我們剛纔保存的那個API密鑰
記得把前面這個美元符號也要替換掉
替換掉之後把這一整段複製下來
這個時候我們的Docker也應該已經下載安裝好了
啓動Docker
然後點擊右下角這個Terminal
點擊Enable
然後把剛剛複製的那一整段粘貼進來
按下回車
這個時候系統就會自己執行跟下載一些部署的任務
然後稍微等一會之後你就能看到
系統告訴我們打開這個Localhost 8080這個地址
這個時候我們只需要點擊它
然後我的默認瀏覽器就會喚醒
並且打開了一個這樣的界面
這個時候我就意識到了這玩意兒
第一個讓人遺憾的事實
那就是儘管它看上去像是在控制電腦
但是它控制的根本就不是我自己的電腦
我們在瀏覽器打開的這個頁面其實是個虛擬桌面
他們還在這個虛擬桌面上內置了一些常用的App
點擊右上角切換這個屏幕控制的按鈕
我們就可以自主控制這個虛擬桌面
打開瀏覽器去瀏覽一些頁面
點擊一些按鈕
感覺跟普通瀏覽器其實差不多
但是體驗上最大的區別就是它很慢
而且很卡
所以這個AI實際上它不是在控制你的電腦
而是它自己構建了一個小的沙盒環境
或者換句話說它構造了一個
長得很像電腦的
擁有一些電腦的最基本功能的玩具電腦
然後它去控制這個玩具電腦
OK
退一萬步講
即使是玩具電腦
如果說它能夠根據我的指令去完成一些任務的話
那也很酷
對吧
所以我就試了試
在旁邊這個輸入框裏面隨便輸入了一個指令
比如說讓它找到我的YouTube頻道
然後隨便找一個最熱門的視頻
這個時候我就發現了第二個讓人遺憾的事實
要錢
錯誤代碼400你可以用於訪問Anthropic API的點數餘額過低
請前往計劃和賬單來升級或者購買點數
額度和賬單要開始使用Anthropic API
請購買一些點數
剩餘點數0.00
它甚至連一點試用額度都沒給我
如果你覺得付費這一點點的門檻就能攔住我的話
那你就猜對了
我的錢留着還有用
OK
而且我勸你們也不要在這裏花錢
因爲你一旦在這裏輸入了你的試用卡賬號
那你花出去的錢可就不止一兩塊了
根據我這段時間的研究
這個功能會不斷的向AI發送指令
所以它消耗AI點數餘額的速度是非常快的
甚至快到瘋狂的
沒錯
在你花了錢之後
這個AI確實可以根據你的需求
去一步一步完成一些稍微複雜一點的任務
但是當你瞭解它的運作原理之後
你就會發現
這玩意其實也不過如此
這就是我發現的第三個令人遺憾的事實
這個東西的原理其實非常樸素
這是YouTube上Fireship這個頻道的演示視頻
我覺得他在這裏講的就非常清楚
當你給AI發送一個指令的時候
AI會在這個玩具電腦
也就是它自己創建的沙盒環境上
截一張圖
它會看看屏幕上有啥
它看到有瀏覽器
它就在瀏覽器那個位置點擊一下
然後再截一張圖
再看看當前界面上有啥
這個時候它看到了地址欄
然後它就把指針移動到地址欄的位置
點一下把頁面地址輸入進去
就一直像這樣
它會做一個操作
截一張圖
去分析這張圖
然後再做下一個操作
所以按照這種邏輯
它可以在自己搭建的玩具電腦裏面的小世界裏
用它內置的任何APP去做任何它能做到的任務
比如說做一些表格
或者在畫圖APP裏面畫出幾根小線條
所以它僅僅也只是理解一張又一張的圖片而已
而且如果以這種方式來進行一些真正複雜的任務的話
它的效率應該是非常之低的
可能很多任務你在等待它理解
然後完成的這個過程當中
你作爲一個人類早就自己把這些事情處理好了
所以我覺得現在我們可以下結論了
本質上來說
這個功能其實本身並不涉及任何AI模型上
或者算法上所謂很革命性的進步
它僅僅只是把現有的AI能夠做到的事情
比如說理解圖片
比如說一些簡單的行爲推理等等
把這些已經能夠實現的事情整合起來
放到一起成爲一個系統性的項目
然後在自己搭建的這個小世界裏面
怎麼說呢
表演一個小小的魔法而已
所以我們既沒有必要爲它花錢
也沒有必要因爲它而焦慮
因爲它沒有那麼厲害
也沒有那麼可怕
所以大家可以放寬心
真正的AI革命其實還遠遠沒有那麼快到來
但是
真的是這樣嗎
這個就叫悠悠的制動駕駛
是吧
看一下
你看這個過程當中
實際上它在
如何理解屏幕相關的事情
這個做的比較牛了
它不是光對話
過去光是一個Siri對話
對吧
悠悠還得問你找誰點啊
這個地址啊
現在悠悠自己在操作美團
美團的APP
這是榮耀手機CEO趙明
他正在演示的是榮耀手機搭載的Magic OS 9.0裏面的人工智能悠悠的能力
只需要一個命令
悠悠就會自動操作手機
打開對應的APP
找到對應的產品
設置好對應的規格
然後完成下單
搭載Magic OS 9.0的榮耀Magic 7
會在2024年10月份發佈
所以我們基本上可以說
AI接管人類的設備已經成爲現實了
現在的Cloud Computer Use
或許只能依靠圖片識別和簡單的語義理解
在自己的這點小世界裏面變一些小戲法
但是AI代替人類接管智能設備
已經成爲不可避免的趨勢了
微軟的Copilot能在系統層面上理解人類的指令
Chat GPT也已經和iOS深度整合
還推出了Mac和Windows雙端的電腦桌面應用
包括現在榮耀手機的AI
已經可以自主操作手機裏面的APP
幫主人點一杯美式咖啡
現在我們可能還會嘲笑AI很慢
很笨拙 很蠢
但是未來的某一天
當AI真正不慢 不笨拙 不蠢
真正有能力接管整個電腦
甚至去管理個人賬戶 股票跟比特幣
管理你的社交網絡的時候
那我們人類又該如何自居呢
但是至少現在我不會在Cloud Computer Use上花一分錢
三分 有象徵意義
但是宣傳噱頭大於實際作用
太貴 不值 拜拜
