AI突破性進展!Anthropic Computer Use輕鬆實現AI全自動操控電腦!一個提示詞實現全自動網絡搜索、全自動安裝軟件!從AI到AGI飛速進化!讓工作效率提升10倍! #anthropic

歡迎來到AI超言語
近期有小夥伴讓我介紹一下
computer use這個項目的使用方式
自從asuopic發佈了最新的cloud 3.5 sonar的模型之後
asuopic官方也發佈了一個開源項目
這個開源項目就是asuopic computer use demo
好廢話不多說
我們就直接來演示這個computer use這個項目的使用方式
想部署這個項目非常簡單
我們直接用docker來部署就可以
首先我們要確保我們有asuopic的apk
並且確保asuopic賬戶一定要有足夠的餘額
我們直接在命令中用export命令來選擇OpenAI的apk
下面我們直接複製docker run這個命令
然後我們直接執行這條命令
這樣的話它就會下載這個docker鏡像並且來運行
它這裏提示需要權限
然後我們加入速度
然後我們再運行
這樣的話它就可以正常來下載這個鏡像並且運行了
當鏡像下載完成之後
它這裏會顯示一個鏈接localhost端口是8080
然後我們直接複製這個鏈接
打開瀏覽器
在瀏覽器中粘貼
然後打開
這樣的話我們就看到了cloud的computeruse這個界面
在左側是這個對話窗口的輸入框
在右側就是這個工作空間
我們可以先測試一下
我們在輸入框輸入了搜索並打開AI超源域的youtube頻道
直接點擊發送
看一下它能否實現搜索並打開我的頻道
好現在它開始搜索
現在它在工作空間打開了火狐瀏覽器
可以看到左側這裏它截圖到了火狐瀏覽器的這個界面
可以看到它直接在這個瀏覽器的地址欄
輸入了我的頻道的完整鏈接
它這個還是非常厲害的
它沒有直接通過搜索
而是它知道了我這個頻道的鏈接
它輸入之後
我們看一下它能否打開這個頻道
可以看到它這裏全自動打開了我的頻道
然後這裏還對我的頻道進行了截圖
並且這裏還給出了這個總結
它說現在已經成功訪問了AI超源域的youtube頻道
從頁面可以看到
這是一個擁有10.6k訂閱者的頻道
已發佈了111個視頻
頻道主要發佈AI相關技術
可以看到它對我這個頻道的總結還是非常正確的
包括10.6k的訂閱
已發佈了111個視頻
頻道主要發佈AI相關的技術
這些都是沒問題的
我們可以詳細看一下它是如何完成的這個搜索
並且對這個頻道進行的總結
第一個對話是我們讓它搜索並打開我的這個頻道
然後緊接着它說它使用firefox瀏覽器
搜索並打開AI超源域的youtube頻道
第一步它首先對工作空間進行了截圖
並且將這個截圖顯示在了這裏
第二步它找到並點擊了firefox的圖標
我們可以看到在這個工作空間這裏有這個firefox的圖標
這說明它通過截圖
然後找到了這個圖標
並且執行了點擊
可以看到這裏它執行了鼠標的左鍵點擊
這裏它是等待firefox的啓動
並且進行了截圖
這裏就是firefox啓動之後
它又進行了截圖
可以看到這個截圖上
它還沒有在這個瀏覽器的地址欄輸入網址
到這一步它開始提示
需要在這個地址欄輸入youtube的鏈接
然後它這裏又給出了一個截圖
到這一步的時候
它將這個光標定位在了瀏覽器的地址欄
好 到這一步的時候
它開始輸入了我的youtube頻道的這個鏈接
可以看到在這一步的時候
它已經找到了我的youtube的這個完整鏈接
所以在這裏它開始在這個瀏覽器的地址欄
開始輸入這個完整的鏈接
到這一步的時候
這個鏈接已經輸入完成
到這一步的時候
它開始提示等待頁面加載完成
然後再拍個截圖
到這裏的話
這個截圖就已經完成了
到最後這一步
它就是輸出了與我頻道相關的這些信息
它通過我們輸入的提示詞
然後在火狐瀏覽器中打開了我的頻道
並且對我的頻道做出了簡單的概述
它的整個操作過程不需要我們干涉
整個操作過程完全是自主進行的
我們只輸入了我們的提示詞
好
下面我們看一下整個操作步驟
它消耗了多少token
剛纔我們是11.72token
現在我們刷新這個頁面
我們看一下我們還剩多少餘額
好
可以看到我們的餘額還剩11.65
消耗的似乎並不是太多
從11.72消耗到了11.65
它只消耗了0.07美金
它消耗的這個token比我預期的要少很多
因爲我預期了它起碼應該得消耗大概1美金左右
沒想到它只消耗了0.07美金
因爲每個步驟它都要截圖
然後並且對圖像進行分析
像圖像它就比較消耗token
這樣的話它這個優化做的還是比較不錯的
下面我們再測試一下其他的問題
我們在輸入框輸入
打開chatty gpt的鏈接
並且和chatty gpt探討9.1和9.9哪個數字更大
然後我們直接點擊這個發送
看一下它能否打開這個chatty gpt的鏈接
並且跟chatty gpt進行對話
它這裏直接給出了回答
它並沒有按照我們的要求去做
它說比較這兩個數是一個簡單的需求問題
並且它說chatty gpt需要賬號
它自己不能創建賬號
這個還是比較有意思的
我們直接告訴它chatty gpt不需要創建賬號
我們在輸入框輸入提示
告訴它chatty gpt不需要創建賬號
請按照我的要求去做
然後我們直接發送
看一下這次它能否按照我們的要求去做
這裏它說chatty gpt確實需要賬號才能使用
這個它沒有按照我們的要求去做
這樣的話我們直接更改一下這個提示詞
我們直接讓它打開這個鏈接
然後我們直接點擊發送
這樣的話它應該就能正常打開這個chatty gpt的鏈接了
可以看到它現在給這個firefox接了一個圖
這樣的話它就在瀏覽器中打開了chatty gpt的鏈接
下面我們再輸入提示詞
請在輸入框中輸入問題9.1和9.9拿個大
然後點擊發送
我們看一下它能否在chatty gpt的這個輸入框
輸入這個問題並且實現發送
這裏它還是堅信chatty gpt需要賬號
這樣的話我們就不再糾結這個問題了
我們換成其他問題進行測試
這樣的話我們換個問題
我們在輸入框輸入讓它用python
編寫一個貓貓算法的腳本並且運行
我們看一下它能否在本地編寫一個腳本並且運行
這裏它開始運行這個agent
可以看到這裏它創建了這個腳本文件
這樣的話我們並沒有看到它在這個工作空間中
去運行這個腳本
我們再加一個提示詞
請在工作空間的終端命令行裏執行這個腳本
然後我們直接發送
看一下它能否在這個終端的命令行中來執行
可以看到它打開了這個終端的命令行
可以看到它確實在終端中執行了這個腳本
這個是打開的linux的終端
這個是它執行腳本後的這些結果
這個是完全沒問題了
這裏說明它在工作空間中不僅能操控瀏覽器
還能操控其他的一些應用
我們在輸入框再輸入一個提示詞
讓它在工作空間的終端命令中用戶MI查看它的角色
然後我們直接發送
看一下它能否在終端執行linux的命令
這裏它成功執行了這個戶MI的這個命令
而且可以看到它說執行戶MI之後
可以看到當前用戶
好 下面我們測試一下它能否自動下載和安裝這些應用
所以我們在輸入框輸入
請在終端命令中下載安裝歐拉瑪
並且用這個命令來下載拉瑪3.2
並且讓拉瑪3.2回答9.11和9.9哪個數字大
直接發送
看一下它能否自動安裝歐拉瑪
可以看到非常神奇的是
它在終端中直接用這條命令來安裝了歐拉瑪
這裏提示正在安裝
這裏我們要稍等一下
可以看到這裏它成功執行了這個命令
但是在左側的這個對話框這裏
它提示現在有這個速率限制
說明我們的API消耗到了一定量
一直到這個時間才能解除這個速率限制
所以後面的這些操作它就不能再繼續執行了
不過通過我們剛纔的這些演示
總體來說這個項目還算是比較不錯的
這也算是安思羅佩克的一個創新
因爲其他大模型公司都還沒有想到
直接用AI來操控電腦
我們只需要輸入提示詞
然後它就能根據我們輸入的提示詞
全自動來操控我們的電腦
除了我們剛纔讓他與ChinaGPT對話的時候
然後他一直以爲ChinaGPT需要註冊賬號
所以那一步沒有完成
但剩餘的其他操作都還是比較不錯的
包括在終端中運行它編寫的python腳本
並且在終端中執行安裝歐拉碼的操作
現在我們再看一下我們的token消耗
剛纔是11.65我們再刷新一下
現在剩下11.31
它這個token消耗還是非常少的
完全低於我的預期
因爲之前我一直以爲它得消耗幾美金才能完成這種操作
到現在它的token消耗還只是零點幾美金
根本沒有達到一美金
像這樣的話大家就可以自行去操作
自行去測試
要確保已經安裝了刀殼的桌面板
並且桌面板處於打開狀態
執行完第一條命令
再執行第二條命令就可以了
通過我們剛纔的測試
可以看到這個項目總體來說還是非常不錯的
給人眼前一亮的感覺
尤其是assopic的這個創意是非常不錯的
它直接讓AI來操控電腦
這樣的話在不久的將來
更強大的AI能夠更自主的來操控電腦
我們只需要在輸入框輸一個提示詞
然後AI就能爲我們在電腦上
全自動完成更加複雜的人物
所以在不久的將來
我們甚至不需要自己去操控電腦了
都由AI全自動完成了
好本期視頻就爲大家做到這裏
歡迎大家點贊關注和轉發
謝謝大家觀看