Devin：第一位人工智能軟件工程師，實現一鍵0到1創建軟件應用，在swe-bench能力測評有13.85和openai，替代軟件工程師的第一槍打響 #Devin #人工智能 #軟件工程師

我們今天介紹一個這兩天炒得非常熱的一個項目 應該是昨天發佈的叫Devon 它的話號稱是第一位人工智能的軟件工程師 它可以實現從0到1創建一個軟件應用 在SWE-Bench能力方面測評有13.85%的解決問題能力 然後的話它遠高於Cloud的4.8的解決問題能力 和OpenAI的解決問題能力 也是替代軟件工程師的 我認爲第一槍已經打響了 然後稍微提一下什麼是WSE-Bench 這個的話是一個測評標準 它測評的是什麼呢 測評的是就它在GitHub上有很多項目對吧 然後這些項目的話經常會有人針對這個項目提出一些問題 在Azure裏面提出問題 然後這個問題的話 就是說我用大模型去針對這個問題去給它解決答案 給它解決方案 看能不能解決這個問題 所以它的測評數據集主要是由這些東西組成的 就是由GitHub上的項目的Azure裏面的那些問題組成的 什麼意思呢 就是由這個GitHub 比如說我們打開一個GitHub GitHub裏面就是說我們隨便找一個項目吧 就剛好我一會還提到這個MetaGPT 我稍微用MetaGPT稍微說一下 就這個地方 它會從這個地方把這些問題拿出來 然後再去解決它 然後看看它能不能解決這個問題 就形成了一個數據集 然後向它做這個測評 然後做這個測評的話 就是說 它在這個測評的時候的話 就是像這個Davin 它有13.85%的一個測評 在它之前的話 最強的就是Cloud只有4.8%的一個處理能力 這是它提升相當於提升了將近三倍左右的這麼一個解決問題的能力 所以這個還是挺厲害的 你比如說 其實我們怎麼去理解它呢 就相當於說你在GitHub上 比如真的這個項目有這麼多問題 對吧 你有沒有13.85%的一個解決問題能力 我估計可能80%的程序員都不具備這個能力 可能大多人都是搜索到答案 然後粘貼複製的吧 大多都是這種情況 所以說這個東西 它其實已經超越了很多程序員能力的 然後的話 它也可以幫你一鍵實現 從0到1去創建一個軟件應用 這個還是很強的 我們一會的話 一方面介紹一下WS1 Bunch這個東西 然後另外一方面的話 先給大家看一下 看一下這個東西 它的一個能力的一個展示 好吧 我們先看下它能力好吧 Hey, I'm Scott from Cognition AI And today I'm really excited to introduce you to Devin The first AI software entrepreneur Let me show you an example of Devin in action I'm going to ask Devin to benchmark the performance of LLAMA on a couple of different API providers From now on Devin is in the driver's seat First Devin makes a step-by-step plan of how to tackle the problem 給他的一個任務 就是說讓他去針對這個 就是他想要他 我們看一下 他想讓他去 backmatch LLAMA2 在三個不同的 這個提供的像Replicate Gezer和Polypaste 這些上面吧 就三個不同的這個服務商上面 去運行它 然後的話 就是說FigOut指出這些API的這個格式 和寫一個腳本 就發送着相同的Parameter 去所有的上面 什麼意思呢 就他希望就是說 他希望去評測這個LLAMA2 在三個不同的 就是服務商平臺 比如說你在Replicate上 不是有很提供這個LLAMA2的那個API接口嗎 Gezer還有Polypaste 他們上面都提供了LLAMA2的這個接口 那麼的話 就是說這個時候 就是他需要寫一個腳本 把提示詞發給這三個接口 然後讓他返回這個結果 讓他寫這麼寫這麼一段代碼 去幹這個事情 然後緊接着我們看到 他就會第一步先去規劃這個任務了 任務規劃好了 緊接着他就跟人類的工程師一樣 去Scout和David 他們去跟這個交互 然後來解決這個問題 達成這個結果 這都完全自動化了 他自己來執行 他自己可以學習API在哪裏獲取 就是在一些技術之下 然後並且學習它 碰到問題可以自己解決 Devon actually decides to add a debugging print statement Reruns the code with the debugging print statement And then uses the error in the logs to figure out how to fix the bug Finally,Devon decides to build and deploy a website with full styling as the visualization You can see the website here 對吧 這部署成功了 All this is possible today because of the advances that we've made in both reasoning and long-term planning It's a really hard problem And we've only just started But we're super excited about the progress that we've made so far In the meantime if you'd like to try out Devon on your own real-world tasks Send us a request below and we'd be happy to forward it to Devon OK 這個還是挺厲害的 我們剛纔可以看到 他可以自己 比如你給他提一個問題 他自己去像程序員一樣去工作 比如說我們一般拿到一個任務 就首先規劃這個任務 有一個規劃任務的一個過程 規劃出來之後的話 緊接着挨個去解決 緊接着的時候 比如說有些API不知道 然後我就去搜索 他也可以自己搜索 然後碰到bug的時候 然後自己可以去調試 所以的話這個過程 跟程序員的思維是一樣的 然後的話緊接着我們看一看他 就是說重點 比如他的能力 他能力的話 就是在長期推理和規劃方面 就long term的這種推理和planning 他的話就是在這方面的話 就是也就取得了一些進步 取得了一些個進步和成長 然後他的話能夠規劃和執行復雜的 這種軟件工程項目 軟件工程的一些任務 他執行過這個數千個角色的 複雜工程的一些任務 然後他可以回憶每一步的相關背景 就是說他對於每一步的話 都可以做相關的一個observation觀察 隨着時間的推移的話 學習並修復錯誤 然後他爲他配備了常見的開發人員工具 包括沙盒計算環境shell 代碼編輯器和瀏覽器 也就是說他自己可以部署 然後自己可以打開瀏覽器去搜索 然後可以在瀏覽器裏面去執行 去看預覽效果 這個整個過程 他都可以在這個裏面去一鍵完成 就像咱們以前在用人在IDE裏面去寫項目 然後並且預覽 他在他這個裏面 就完全可以完成整個過程 就不需要人的介入 然後的話他們可以完成以下動作 我們看一下他的可以執行的 一些操作演示的一些效果 我們先看這個 這個講的是就是說軟件工程師 如何在幾分鐘內 可以從博客文章裏面去自己學習 他可以就是說學習如何使用不熟悉的技術 什麼意思呢 就是說比如說你給他一篇個博客文章 給他閱讀完這篇文章之後 比如說你一篇個解決某個特定技術問題的一篇文章 對吧 你把這篇文章扔給他 然後他的話可以幫你去閱讀這整篇的博客 比如說我們經常會搜CSD 或者這些一些個代碼事例 對吧 你可以扔給他 扔給他之後 他可以就是基於這個主題 幫你生成正確的代碼事例 因爲博客裏面提供的一些代碼事例也是有bug的 然後他也可以幫你修復 所以這個還挺有意思的 然後第二個的話 他可以端到端的構建和部署應用 比如說他這個事例裏面講的是 就是製作一個模擬生命模擬一個遊戲的一個互動網站 然後這個的話就是說 可以增加這個用戶請求的一些功能 然後我們可以 他現在把它直接部署在這個NetLit上面 我們看一下 好吧 這是一個演示 然後它會通過Netlify去安裝這個應用程序 我們來看一下 這看起來很不錯 但是我還想要添加兩個功能 所以讓我們請Devon來做這個 一步一步 我想要Devon的字寫在最初的頁面上 而不是隨意地寫 然後我想要字的大小稍微大一點 並且幅度稍微大一點 我還想要他修復一個漏洞 在三秒之後顯示屏幕冷卻 讓我們來看一下Devon的進步 我們可以看到字寫 最後的字寫顯示了Devon修復了漏洞 在三秒之後顯示屏幕冷卻 這看起來很合理 所以讓我們繼續 接下來我想要Devon增強屏幕冷卻 在三秒之後 並且讓網站回應不同的大小的屏幕 我還想要讓它互動 所以當我點擊我的滑鼠 它就會在新的博物館裏出現 讓我們來看一下Devon的進步 在三秒之後 我點擊我的滑鼠 它就會在新的博物館裏出現 我這個例子我就看着 其實就是說它本質的話 就是說你在比如說做一個程序出來之後 你也可以通過跟他對話去改這個程序 比如你希望增加一些東西的話 你跟他聊天 他就可以幫你自動去修正這個代碼 這個也是可以完成的 然後再往下面的話 他可以自主查找並修復代碼庫中的一些錯誤 比如說我們經常在運行一個代碼的時候 經常會發現bug 然後bug的話 就是有時候其實調的時候很麻煩 所以這個工作應該也是很多程序員經常會碰到的 你現在就是用Devon的話 就可以去幫你解決這個問題 它可以訓練和微調自己的人工智能模型 比如說只給出了GitHub上研究存儲庫的鏈接 就可以對這個大模型進行微調 然後再有底下可以開源庫中的 針對開源存儲庫GitHub上的這種項目 然後針對錯誤和功能需求的話 你只需要把問題鏈接扔上去 它就可以幫你去完成所有的配置和上線網收集 然後以及成熟的產品庫做出貢獻 比如說實話 就是比如針對一些個你認爲不錯的項目 比如MetaGPT或者FastGPT或者DeFi這些 你覺得你想參與 你就可以用Devon 可以去針對他們的代碼去做一個功能的優化 然後給他提交上去 提交上去的話 如果說對方他們審覈通過的話 你就相當於參與了他們的項目開發裏面 所以我認爲Devon 我認爲Devon 其實你可以理解 他是一個比較牛逼的工程師 然後底下還有upwork 提供真正的工作等等 upwork是國外的一個應該是一個什麼呢 就是說屬於一個 應該是靈活用功的一個平臺 你在上面的話 可以說白了就是做一些工作 這塊細節的話我不太瞭解 就這個活動可以查一下 然後關於最底下就是SWE Bench 我稍微說一下 SWE Bench的話 它是一個這種評測 就是相當評測大元模型 解決現實世界的這種GitHub的問題 就是解決這種 類似於這種問題的一個能力 是做這個評測的 然後我們看到它的一個結果 我先用這個 不用中文 好像很亂 比如說沒有unassistance的這種情況下 比如說cloud2 這個BMI5的這個retrieval 它是有1.96的一個表現 然後這個的話 Lambda的話13B的話 有0.7的表現等等等等 然後GB4加上這個BMI5的retrieval的話 這塊反正是零 就說白了正確的很差 然後再到這裏的話 就是說assistance這裏的話 我們看到有這個 比如cloud2的話4.8 然後SWE這塊的話 就是說這個是Lambda13B 然後這是7B的表現3.01 然後拆GB4的話 是1.74的一個解決問題的能力 這話就是說這個項目 它的解決問題能力13.86% 是非常強的 它遠高 就是cloud排名 原先cloud排名第一 它4.8 所以這個可以看到這個 就是還是在 如果他真的是說的這個真實的 那麼解決問題的能力還是非常強的 然後的話 就是說它的技術報告 應該後面會發布 到時候我們再解讀 然後這個項目 我覺得還挺有意思的 它跟以前還真的是不一樣 以前的話就是說 比如說用MetaDBT這些的話 大家覺得說 你怎麼可能一下就替代 一個軟件工程團隊 不理解對吧 那麼現在就是說 從單點替代人的角度 替代軟件工程師的角度 其實這個項目的 Devin這個項目的 它的一個出發點 就來替代軟件工程師的 我相信的話 就他未來可能在這方面 會有一些不錯的表現 這也意味着什麼呢 比如說未來咱們做軟件開發 可能就不用再僱一個人了 可能就是買這個 買這個Devin這個服務就好了 對吧 我覺得這個的話 應該是很多 就原先做很多 這個agent這種項目的話 都期待的一個方向好吧 都期待一個方向 然後的話 最後的話就說 我們針對這個項目的話 稍微再提一嘴 關於替代軟件工程師 這個事情的話 現在市面上這些像 還有一些其他等等 這種各種的這種 AI code的各種的一些工具 很多時候都起的 對我們軟件工程師人員來說 起的是一個copyright的作用 起的助手的作用 但這個項目 我覺得可能真的是 對於軟件工程人員 有70%左右的一個替代作用 當然不能說我不能說 完全把軟件工程師給替代了 但70%的工作 可以說由他來承擔 那麼的話相當於 未來可能一個軟件工程師 就是一個團隊 比如一個人 比如說作爲項目經理 他可能帶這個 就是這個什麼 以前比如說 我可能需要10個人 去開發一個團隊 可能幾十萬行代碼 可能要寫個幾個月 對吧 可能你現在的話 大概兩三個人 可能用這個工具 DAVN這個工具 可能的話你就 大概一個月 可能很快就搞定了 所以這是帶來的一個變化 我們要去擁抱這種變化 雖然現在還不完美 但是我們站在一個 長期角度來看 它必然會達到 那個效果的 只是時間問題 因爲這個東西 已經看到了可能性 好吧 OK 然後最後的話 我給大家就說一下 今天的話 就是我們發現了 一些不錯的項目 第一個是這個 這個DOMAR這個項目 這個的話 是有點 它是就是說 你輸入一個原視頻 像這樣一個視頻 它能幫你生成一個 動漫卡通形象的 這種視頻風格 相當於就是說 你 它是在Discord裏面 去完成的 這個項目的話 我記得好像是 由獵豹的那邊 他們做的 是由獵豹做的 我記得 就是那個 大家有興趣 比如說 你比如說假如說 比如你拍視頻 對吧 你可以不用 自己的真人頭像 你把你自己的真人 拍出來之後 然後再用它這個軟件 轉化成一個 就是這種卡通的 我覺得也是一種 非常好的一種 短視頻的呈現方式 好吧 然後第二個的話 是Meta2 推出了這個 BranchTreeMix 將專家LMS模型的話 混合爲 LM專家 專家組 這個也是挺好的 一個新的理念 就是說 它的話相當於 以前的話 就是把 MOE 然後現在它可以 把它混成 這種專家組 這也是一個 很有意思的 一個新方向 大家有興趣 可以自己下來看一下 就它裏面 就是說這個方法 沒有MOE的 這個微調階段 來做路由 然後的話 省去了這個 異步訓練 就是異步訓練 專家的這個階段 與其他方法相比的話 這個就是有 最佳的一個準確率 和這個效率的選好 就它要比這MOE 那種方式 要更具有 這種優勢 更具優勢 有興趣 這個的話是 這個就是今天 介紹的這個項目 就是軟件工程師 AI軟件工程師 好吧 OK這就是關於 今天的一些個 新的資訊和內容 給大家解釋一下 然後大家有興趣 可以自己下去 去針對這個項目 可以我們可以 持續關注 好吧 關鍵內容就到這裏 也希望給大家 一些啓發 如果你覺得不錯 請我們幫忙 一鍵三連 謝謝