新版Claude 3.5震撼登場:可自主操控電腦、實測效果驚人,最強AI助手誕生!

你好,歡迎來到AI學長的頻道,我是小林
今天,曾經已久的AstroPic再次給我們帶來了驚喜
發佈了兩項重磅的更新
推出了自動控制電腦的功能
以及全新的Cloud 3.5模型
再一次更新了大模型領域的能力邊界
尤其是電腦控制功能
算得上是AI應用的一個重大創新
開闢了全新的交互方式
意味着AI能夠直接操作電腦
自動執行各種任務
從簡單的文件操作
到複雜的數據分析都可以實現
會大幅提高AI輔助人類的工作效率和範圍
OK,話不多說,我們直接上演示
這個就是Cloud控制電腦功能的一個演示Demo
官方給我們提供了一個本地部署版本
它是基於沙盒環境
也就是我們可以通過Dock去部署它
基本上也是等於一鍵部署
待會演示完效果以後
我會講一下如何部署
然後因爲它是基於Dock容器部署的
所以基本上和我們電腦的環境操作系統
也是隔離開的
大家不需要擔心安全問題
部署完以後
這個就是它的界面
左邊就是我們可以在這邊和Cloud對話的地方
也就是我們在這裏給它發送指令
那麼右邊的話就是模擬電腦的操作窗口
並且在這裏面已經安裝了幾個應用
像經常會用到的瀏覽器
還有表格、終端、PDF、計算器等等
在這裏面都已經安裝好了
接下來我們就可以通過自然語言對話的方式
讓Cloud控制這臺電腦自動去完成一些任務
我們先從簡單的再到複雜的
第一個我們先問一下
它這個桌面上有哪些應用
看一下它的一個運行流程是什麼樣的
它的原理其實就是通過截屏的方式
因爲Cloud 3.5 Shownet
它本身就是一個多模態模型
通過不斷的去截屏
一幀一幀的去截屏
然後分析電腦上有哪些操作
再根據這個識別的結果
比如說你要執行某一個操作
你要打開計算器
它會控制鼠標的X軸和Y軸移到這個位置
並且控制鼠標的點擊操作
其實和我們人爲去操作電腦上沒有太多區別
只是我們可以直接通過視覺
通過眼睛去判斷這個按鈕在哪裏
通過手去控制這個位置
然後執行這個點擊的動作
好,第一個操作已經完成了
它通過一個截屏的動作
分析了當前這個顯示屏幕上有這些應用
第一個是電子表格程序是沒有問題的
然後第二個的話是這個終端指令
第三個的話是火狐瀏覽器
第四個的話是一個圖片編輯軟件
第五的話是PDF閱讀器
第六個是文本編輯器
第七個是計算器
接下來呢我們讓它打開計算器
並且計算1加2等於多少
首先呢是通過截屏操作
去判斷這個計算器的操作在哪裏
然後是把鼠標移動到這個對應的位置
也就是這個X軸和Y軸
接下來呢是通過點擊鼠標左鍵
好,然後是截屏判斷1的位置在哪裏
再判斷這個加號鍵
再判斷這個2在哪裏
通過這個點擊操作返回結果
OK,截屏得到這個數字3
接下來呢我們再來完成一個複雜點的任務
我們要求打開蘋果官網查詢iPhone16的價格
那這個呢就要通過打開瀏覽器
然後進入蘋果的官網
並且這個網址呢我也沒有告訴他
看他是通過搜索的方式進入
還是通過這個域名的方式進入
好,現在呢瀏覽器已經打開了
接下來呢是把這個鼠標移動到輸入框的位置
它是直接輸入蘋果的官網
好,現在結果出來了
我必須告訴你
我們現在看到的是一個預期的iPhone16 Pro營銷圖片
但是這款手機尚未發佈
這個可能是Cloud3.5它訓練知識庫的原因
它的截止時間是到7月份
但是這個iPhone16 Pro
它是在2024年的9月份發佈
所以他以爲這款手機還沒有發佈
就終止了這個任務
但是他提了一個建議
就是目前市面上最新的蘋果手機是15系列
問我們想不想要了解這個15的價格
OK,那我們就讓他去查詢一下這個15的價格
看能不能得到正確的結果
首先它是在導航條找到iPhone15
然後移動鼠標去點擊
進入這個蘋果產品的選擇界面
然後通過截屏分析哪個是iPhone15的圖標
去移動鼠標去點擊
對應的話是進入到這個iPhone15的界面
OK,然後進行截圖
進入這個產品詳情頁
截圖分析它的價格
OK,最終得到這個結果
iPhone15標準版
它的結果是699美金
對應的就是這個位置是沒有問題的
然後它是支持分期付款
也就是29.12美金每個月
總共是分24個月付款
它的屏幕是6.1英寸顯示屏
對應的就是這個數值
然後下面的話還有iPhone15 Pro的價格
包括還有蘋果的一些優惠政策
都是這個界面裏面的一些信息
這個任務完成也是沒有問題的
但其實在實際執行過程當中
它這個速度還是挺慢的
因爲它是通過一屏一屏的截圖
然後一幀一幀的去分析
去控制這個鼠標的操作
可想而知
其實這個背後還是挺費token的
待會我們也可以看一下這個價格的消耗
好,最後我們再來一個稍微難一點的
就是讓它打開一張一個小表格
並且設計一張表格
裏面有這幾個字段
分別是序號、商品名、描述、價格
以及日期
看一下它能不能完成
最終的結果是隻完成了一步
它就告訴我
已經是超出我單日的這個
API請求上線了
前前後後
我今天包括試玩
以及這個視頻的演示
加起來可能不超過10個案例
但是都超過今天的這個
API請求上線
接下來我們去看一下它的價格
我在演示之前
今天總共是花費了1.9美元
大概是試玩了五六個案例
花了兩美金左右
那麼在視頻當中
應該是演示了三個案例
我們看一下現在的這個消耗是多少
OK,達到3.5美金
也就是剛纔的三個案例
總共是消耗了1.5美金
平均到每個案例的話
可能要消耗0.5美金
包括在這邊的話
也可以看一下
我今天所消耗的token
是達到了109萬個token
所以它還是非常的消耗
這個token的收入這麼多
輸出這麼多
貴是真的貴
但是這個玩也是確實非常好玩
演示的兩個案例都成功了
那麼第三個案例的話
是被這個token限制了
但是在之前
我自己試玩的過程當中
它是完成了這個任務的
新建立這樣的表格
並且這些序號也是正確填寫的
整體來說
我覺得能力還是不錯的
作爲一個初級玩家
基本上一些簡單的任務都能完成
而且就算過程當中碰到問題
它也會自動的去尋求
這個解決方案
需要安裝什麼樣的插件
或者說要變更什麼樣的環境
它是的的確確能幫我們解決問題的
自動去完成這些操作
可以說這個產品
還是非常的未來可期的
那唯一的缺點就是
的確是太貴了
當下來說
它的一個象徵性
也是大於它實際能執行的動作
它實際能創造的價值
接下來我們就來演示一下部署
首先我們去下載Dock
進入Dock的官網
然後去下載對應你電腦的版本
蘋果電腦、Windows電腦
或者說Linux的操作系統都是可以的
那麼下載完成以後
Dock就是這樣的一個界面
安裝完Dock以後
我們就可以去部署了
在Github上面
它是提供了部署的流程
就兩步
第一步的話
就是我們要註冊一個
Astrolobic的API Key
那麼關於這個API Key的註冊方式
如果大家不清楚的話
可以看我頻道里面的這期視頻
超越GPT-4
如何在國內安全使用Color 3
遠離封號煩惱
這期視頻裏面講了
如何去註冊這個Cloud的API賬戶
以及如何去申請這個API Key
那麼申請完成之後
我們就可以去執行部署的代碼指令
那這裏要注意的是
如果你是通過Windows
像我們現在Win10、Win11
它都是通過ProShare去運行了
所以這個代碼要稍微改一下
就是把這個反斜槓的換行符
改成這個反冒號的換行符
這些代碼我會放到視頻筆記裏面
也可以直接去複製
唯獨就是這一行
需要改成剛纔申請的API Key
完事我們回車執行就可以了
那麼如果是第一次安裝
它需要下載這個項目的包
並且還有一些依賴
可能需要等待個幾分鐘
好這樣的話就已經安裝成功了
然後我們按住Ctrl鍵
點擊這個Log Host的8080
就可以進入到這個控制電腦的Demo
接下來只要在這裏輸入指令
那麼Cloud會自動控制電腦
去完成我們的任務
除此以外
大家還可以看到這個界面
還有一些設置
首先是左上角
它這邊是可以選擇這個模型的提供商
是通過官方接入
還是通過這個亞馬遜去接入
這邊默認的模型
就是3.5雙熱帶
並且是10月22號這個版本
然後在這裏也可以輸入API Key
或者說你要更改API Key
在這裏也是可以的
這個是最大發送圖片的次數
總共是10次也可以去更改
如果你的任務比較複雜
那麼我們可以把這個次數改多一點
接下來是系統提示詞
這些都已經是默認設置好的
然後右上角也有幾個操作
如果任務執行失敗
通過這個按鈕
Rerun我們是可以重新去執行的
然後這邊是可以執行錄屏操作的
那麼在這個電腦界面
它是可以控制電腦的鼠標是隻讀
還是說我們人爲也可以去操作
比如說你把它勾選上
那麼我們只會讓Cloud
去控制這臺電腦的運行
正常來說我們在運行的過程當中
讓它只讀就可以了
好
這個就是關於Demo的界面
以及它部署的一個教程
想體驗的小夥伴可以自己來試一下
好
最後我們再來過一下
官方的這次其他更新
除了電腦控制功能
它還推出了最新版的
全新版的Cloud 3.5 Sonnet
還有的話就是Cloud 3.5 Hi-Q
因爲之前發佈的話
它總共是發佈了三個版本
分別的話是Hi-Q Sonnet
以及OPUS
OPUS的話目前還沒有發佈
還要等待
那麼新的Sonnet版本
相較於之前的版本比起來
它在代碼方面
以及取得了顯著的進步
並且是當前這個領域的收竊水平
然後Hi-Q版本和之前它最大的模型
也就是Cloud 3 OPUS來說
它的性能和它差不多
但是價格比它便宜非常非常的多
並且速度和上一代Hi-Q的速度是相似的
也就是說成本沒有變
速度變快
而且這個性能也變強了
接下來是這個計算機控制功能
這個剛纔我們已經演示過了
就是它可以像人類一樣
去使用計算機
通過截屏查看屏幕
移動鼠標
然後點擊這個鼠標
並且可以輸入文本
執行這樣一些自定義的操作
幫我們自動去完成任務
但是當前它其實也是一個實驗性的版本
實際在演示過程當中
在使用過程當中
可能表現的結果並沒有那麼好
而且容易出錯
但是後續也會快速的改進
來增強這個功能的一個實際使用效果
接下來是關於Cloud 3.5
Solnet的使用
現在已經是向所有用戶開放了
包括其實免費用戶
現在也是可以用的
比如說我這個賬戶
它就是一個免費賬戶
在Solnet的後面加了一個NEO的標識
這一點Cloud還是非常良心的
一視同仁
雖然是有次數上的限制
但至少可以讓免費用戶
可以去嘗試去使用
除此以外
還可以在亞馬遜的Bedrock裏面
以及谷歌的Cloud裏面
去使用最新的3.5 Solnet的版本
那麼關於3.5 Hi-Q
會在這個月的晚些時候發佈
然後我記得Hi-Q版本
它目前還是一個單模態模型
並不是多模態
可能後續的話也會改進
去增加多模態的能力
接下來就是一些基準測試
這個其實沒有太多講的
就是和當下最主流前沿的一些模型
DT的模型去做一些對比
分別是在研究生級別的
然後這邊是大學生級別的
這邊是代碼能力
這邊是數學能力
然後這邊是高中生級別的一些問題
然後這邊是視覺的
這個是代碼Agent的能力
以及工具使用Agent的能力上的一個測試
Cloud 3.5 Solnet的新版本
在這些項目當中
就只有一個是低於Gemini 1.5的
也就是數學能力上
其他方面的表現都比這些模型更好
得分更高
基本上也就是當下最厲害的模型
甚至比O1它的能力表現還要好
然後前兩天我還看到一個統計
就是當下ChatterGBT
還有Cloud的一個使用統計圖
統計圖是說
普通用戶更喜歡使用ChatterGBT
而開發者則是更喜歡用Cloud
這個其實也是非常有意思的一個現象
包括像我們前段時間
大家非常火的追捧的Culture
它用的也是Cloud 3.5 Solnet
特別是在編碼能力這一塊
絕對是大家公認效果最好的
這也就是其他工具
如果是代碼這一類的
爲什麼會選擇Cloud 3.5的原因
然後接下來簡單介紹一下
這個HiQ版本
主要是主打一個經濟實惠速度快
性價比比較高
同樣的話和其他模型去做了一些對比
這個大家感興趣可以到官方博客上
自己去了解一下
然後關於今天視頻當中
用到的這些代碼部署方式
以及這些鏈接的資源
我會放到視頻筆記裏面
整體來說給我自己的感覺
Orthopica這家公司
它是屬於人狠話不多
每次發佈新的產品
或者新的模型
沒有太多的營銷或者造勢
這個和OpenAI還是差距很大的
簡直就是有天狼之別
冷不丁的就放出新產品新模型
像這次自動控制電腦的中共
我覺得還是非常炸裂的
雖然說目前功能的使用上
它的效果不是特別好
但是開創了這種新的交互方式
這種新的使用場景
我覺得像其他的大模型廠商
可能也會快速的跟進
那麼從而這個行業
應用場景這種使用方式
它就會發展得更快
特別是對於我們普通用戶來說
如果真的是可以通過控制電腦
自動去完成一些任務
而且它的交互如此簡單
我們只要給它輸入指令
它就自動幫我們把一切任務都完成了
這個我覺得是每一個辦公人員
夢寐以求的功能
而且它有別於工作流的方式
它只能適配對應的節點
官方提供了哪些節點
我們就只能用這些功能
通過這種方式
它更像是用 RPA 的方式
就是模擬人類的點擊鍵盤的輸入
它的通用性
它的適配性會很強
那麼自然而然能完成的任務也更多
想象空間非常的巨大
那麼核心的關鍵還是在於成本和速度
最終能幫我們創造的價值
能夠形成一個正向的 ROI
如果是 ok 的話
我覺得是可以大批量去使用這個工具的
好
以上就是這期視頻的內容
希望對你有所幫助
如果你覺得內容還不錯
不妨點個贊訂閱我的頻道
每週都會爲大家帶來最新
最實用的 AI 應用技巧
那如果你想支持我的創作
想學習更多的 AI 應用和落地場景
或者遇到問題不知從何下手
希望得到幫助
那麼可以加入我的課程
其他 GPT 實戰指南創新應用與性能提升
課程包含了40節我精心設計的內容
諸如用 GPT 做微信客服
搭建信息批量收集
改編羣發機器人
直播實施 AI 換臉
根據自身的工作需求
定製 AI 智能體
以及 AI 工作流等高級玩法
此外會員還有專門的交流羣
可以獲得問題答疑
精品 AI 工具推薦
羣員互動等特權
感興趣的同學可以在視頻簡介當中找到報名方式
再次感謝各位的支持和關注
我們下期視頻再見