17種智能體架構模式全景解析!全程乾貨,通俗易懂!

The Only Bamboo
243粉絲
配套教程籽料可以在我【公眾號:白白說大模型】回復關鍵詞:【2】領取
或者在我的主頁簡介上自取
#ai #artificialintelligence #learning #agent #github
AI 生成·可能包含錯誤
歡迎來到今天的深度技術分享
在過去的一年裏
我們聽到了無數關於agent
也就是智能體的討論
大家可能都有一種感覺
僅僅擁有一個強大的大語言模型
比如說GPT-4或者Cloud 3.5
並不意味着我們就擁有了
能夠解決複雜問題的能力
這就好比
我們擁有了一個智商極高的大腦
但如果這個大腦被封在罐子裏
沒有手腳
沒有記憶
不知道如何分解任務
它依然無法幫我們完成
我們來關注一下架構的演化階梯
幻燈片的標題是
從文本生成到自主解決問題
爲什麼要分層呢
面對17種架構
如果我們只是列個清單
大家很快就會暈頭轉向
所以我將這17種架構
梳理成了6個能力進階的層級
請看這張圖
這不僅僅是一個分類
它代表了AI對人類思維模式的模仿過程
接下來我們來概括的瞭解一下這6大層級
首先是基礎引導
這是起點
我們是在教模型如何說話
它對應着架構1,2和3
第二個層級是思維拓撲
在這裏我們開始教模型非線性思考
人類思考問題從來不是一條直線
我們會發散
會回溯
這部分架構就在模仿這個過程
它對應着架構4,5和6
第三個層級是規劃與分解
面對複雜任務
比如說寫一個遊戲代碼
我們不能上來就寫
必須先規劃
所以這個層級關注的是戰略能力
它對應着架構7,8和9
再來是行動與反饋
這一層是agent和chatbot的分水嶺
agent能感知環境
執行動作
並根據結果修正自己
它對應着架構10,11和12
第五個層級是知識增強
模型不是全知全能的
這一層解決的是如何優雅地通過外部知識庫來補全大腦
它對應着架構13,14和15
最後是系統機智能
當我們把操作系統OS的概念和人類組織管理的概念引入
就會誕生更復雜的系統
它對應着架構16和17
接下來的40多分鐘
我們將沿着這個階梯一步步向上爬
請大家系好安全帶
我們先從最基礎的原子單位講起
我們先來看看第三張幻燈片
它的標題是第一階基礎引導與推理
這張幻燈片的主題是基礎引導
也就是如何激發模型的潛能
首先我們來說說Zero-Shot Prompting
也就是零樣本提示
這其實就是大家平時直接問XRGPT問題的方式
它完全依賴於模型預訓鏈時學到的知識
這種方法的優點是速度快成本低
但缺點也很明顯
如果任務稍微複雜一點
它就很容易開始瞎編了
爲了解決這個問題
我們引入了Few-Shot Prompting
也就是少樣本提示
大家可別小看這一步
在提示詞里加入1到3個實例
不僅僅是給模型看個樣子
從數學原理上講
這種上下文學習
實際上是在推理的時候
臨時調整了模型的注意力機制
讓它能夠迅速適應特定的任務模式
這可以說是一種無需訓練微調的軟微調方法
接下來我們要聊聊
AI推理領域的聖盃Chain of Thought
也就是思維鏈
在2022年穀歌提出這個概念的時候
僅僅是在提示詞里加了一句
讓我們一步一步思考
爲什麼要這麼做呢
你可以想象一下
如果我問你23乘以14加15等於多少
如果你脫口而出
那大概率是錯的
但如果你在紙上寫下計算過程
一步一步來
那準確率就會達到100%
大型語言模型也是一樣的
Transformer模型是自迴歸的
也就是說
它生成下一個字是依賴於前面的字的
所以思維鏈的本質就是用更多的計算量
也就是更多的token生成量
來換取更高的準確率
這樣生成的中間步驟
就能爲最終的答案提供更強的邏輯支撐
但是思維鏈也有它的侷限性
它是線性的
如果中間某一步錯了
那後面就全錯了
我們人類在思考問題的時候
如果發現一條路走不通
會退回來走另一條路
但思維鏈目前還做不到這一點
所以我們需要更復雜的思維結構
這就是我們下一頁要講的內容
我們現在來到第四張幻燈片
講的是思維的拓撲結構
這張幻燈片的標題是
首先我們來看看自我一致性
也就是self consistency
既然copy很容易在某一步走偏
那最笨但也最有效的辦法是什麼呢
其實自我一致性告訴我們多想幾次
這就像是讓三個學生獨立的去解同一道題
如果兩個人得出的答案是A
而一個人是B
我們大概率會選擇A
這種架構會運行多次後題路徑
然後進行多數投票
它利用了大型語言模型輸出的概率性質
通過統計學的方法
消除了單次推理的隨機誤差
接下來我們聊聊思維術
也就是tree of thoughts
但有時候我們需要探索
比如說下棋或者寫小說的大綱
思維術引入了計算機科學中經典的搜索算法
比如廣度優先搜索或者深度優先搜索
它讓模型在思維的每一個節點
都生成三個可能的下一步
也就是分支
然後模型自己充當評估員
給這三個分支打分
它會保留那些高分的
減掉低分的
這使得智能體具備了前瞻和回溯的能力
最後要介紹的是思維圖
也就是graph of thoughts
這是目前最複雜的推理拓撲
思維不僅僅是豎狀發散的
它還可以是網狀聚合的
比如說寫一篇綜述文章
你可能需要先把三個不同的觀點列出來
這就像是分岔
然後提取他們的共同點
這就像是合併或者聚合
最後形成結論
思維圖允許思維節點之間任意連接
甚至可以形成循環
這在處理高度複雜的邏輯推理任務時
能夠通過合併多個上下文信息
產生最優質的洞察
我們來關注一下規劃與問題分解
戰略規劃
其實就是化繁爲簡的意思
爲什麼要規劃呢
如果我讓agent直接去創建一個
類似推特的網站
即使是像goatee這樣強大的模型
也很難直接處理
因爲這個任務實在是太大了
這時候我們就需要用到規劃類的架構了
首先要說的就是list or most prompting
它的核心思想是先分解再執行
agent會先生成一個子文題列表
比如第一設計數據庫
第二寫後端API
第三寫前端
這裏面的關鍵在於
它在解決第二個問題的時候
會把第一個問題的答案拼接到上下文裏
這就像多米諾骨牌一樣
前一步的成功是後一步的基礎
有時候模型會答錯
但是因爲它可能太鑽牛角尖了
迷失在細節裏
這時候step by prompting就非常有趣了
它會強迫模型先後退一步
舉個例子
當問物理題的時候
我們先不讓它直接算數
而是問它
這道題涉及什麼物理定律
模型檢索出定律這個抽象知識後
再帶着這個原理去解決具體問題
經過驗證
這種先抽象後具體的方法
能極大減少模型產生幻覺
最後要介紹的是plan and solve
這通常用於改善cody的一些缺陷
它的提示詞結構非常明確
先制定一個完整的計劃
然後在一個提示週期內執行它
這三種架構都告訴我們
對於agent來說
想清楚怎麼做
也就是它的處理過程
往往比直接執行更重要
我們來看看第六頁
第四個階段
行動循環與修正
這一頁的幻燈片標題是
閉環系統
行動觀察與修正
接下來我們來聊聊react
它是agent的基石
這一頁非常重要
如果今天要大家只記住一個架構
那就是react
它是現代to using agent的鼻祖
它的邏輯是一個循環
思考
行動
也就是調用工具
然後觀察工具返回的結果
舉個例子
如果你問
昨天特斯拉股價跌了多少
模型本身是不知道昨天的股價的
那麼react循環就會這樣運作
首先
它會思考
我需要查詢股價
接着
它會行動
調用google search api
然後
它會觀察api返回的數據
有了數據之後
它會再次思考
我現在有數據了
可以計算跌幅了
最後
它會再次行動進行計算
這個循環讓agent真正活了起來
但是
如果react做錯了怎麼辦呢
這時候就引入了reflection架構
它能讓agent從失敗中學習
reflection引入了強化學習的概念
但不需要重新訓練模型
當agent失敗時
它會觸發一個反思步驟
生成一段文本形式的經驗教訓
並存儲在臨時的記憶裏
在下一次嘗試時
這段經驗會被添加到提示詞中
這就像人類一樣
吃一欠長一智
我們再來看另一個常見問題
就是模型一本正經的胡說八道
chain of verification
簡稱cov
就是專門解決這個問題的
它讓模型先把答案寫出來
然後自己對自己進行質檢
模型會生成一組驗證性問題
比如檢查引用來源
檢查邏輯漏洞
然後獨立回答這些問題
最後根據驗證結果
修正原來的答案
這相當於agent自帶了一個
編輯或者審覈員
我們現在來到第五階
知識增強與檢索
這一頁的幻燈片標題是
知識增強連接外部大腦
我們都知道RAC
也就是檢索增強生成
是連接外部知識庫的標準做法
但在標準RAC之前呢
有一個很有趣的架構
叫做生成知識
有時候模型其實是知道答案的
只是沒有被激活
這個架構在回答問題之前
會先強制模型生成一段
關於該話題的背景知識
我們稱之爲知識片段
然後再來回答問題
研究發現
這能顯著提升常識推理的準確性
接下來我們再來看一下selfRAC
現在的趨勢是讓檢索變得更聰明
傳統RAC最大的問題在於
不管需不需要
它都會去檢索
不管檢索回來的東西對不對
它都會硬塞給模型
而selfRAC包括像correctiveRAC
這樣的變體
就解決了這個問題
它們引入了自我評判的機制
也就是自我反思令派
agent會先判斷
這個問題我需要檢索嗎
檢索回來之後
它會評估
這篇文檔相關嗎
生成答案後
它還會檢查
這個答案有證據支持嗎
如果發現檢索回來的內容質量很差
它甚至會出發web search
去互聯網上重新找
這讓RAC從一個呆板的查字典過程
變成了一個主動的研究過程
這些都告訴我們
不要盲目地信任向量數據庫
在管道中加入一層agent的判斷邏輯
是提升企業及知識庫應用成功率的關鍵
我們現在來到第六節
系統及智能
這一頁幻燈片的標題是
系統及智能 記憶與協作
首先我們來看看LamaGPT
也就是無線的記憶
隨着對話變得越來越長
上下文窗口總會爆滿
MemGPT的靈感來源於計算機操作系統
它把大型語言模型的有線窗口
看作是內存
把外部數據庫看作是硬盤
MemGPT賦予了agent系統調用的能力
讓它自己決定
把什麼信息留在內存裏
把什麼信息寫入硬盤
以及什麼時候
把歷史記憶從硬盤調回內存
這讓agent能夠進行
幾乎無限長度的持續對話
創造出真正的數字伴侶
接着我們再把目光
轉向多智能體系統
爲什麼我們需要多個agent呢
因爲全能往往意味着平庸
在manager worker模式中
我們有一個指揮官
負責拆解任務
然後分發給專門的編碼員
代碼審查員和測試員
agent 每個agent
可以使用不同的提示
甚至不同的底層模型
比如說寫作用quad
數學用GPT4
他們之間相互協作
甚至相互辯論
在這個層級
我們不僅是在設計提示
我們更是在設計組織架構
通過讓agent各司其職
系統的整體智力水平
會產生湧現
解決單體模型
無法解決的複雜工程問題
我們來關注一下
架構決策矩陣
我們講的架構講完了
面對實際業務
該怎麼選呢
請看屏幕上的這張矩陣圖
如果你只是做
簡單的客服問答
那麼few shot
也就是第二種
甚至zero shot
也就是第一種
就足夠了
不要過度設計
但如果你涉及到
複雜的數學或邏輯推演
cut也就是第三種
或self consistency
也就是第四種
是必須的
接下來
我們再來看看
複雜場景下的權衡
如果你需要極高的準確率
而且不在乎延遲
比如在醫療診斷輔助的場景
那麼請使用reflection
也就是第十一種
或colv
也就是第十二種
用時間來換取準確率
如果你需要處理
巨大的代碼庫
或者寫長篇小說
multi agent
也就是第十七種
和mem gpt
也就是第十六種
會是你的首選
而如果你的應用核心
在於調用API
比如訂票助手
那麼react
也就是第十種
就是標準答案
最後我們來談談成本與性能
記住
越複雜的架構
往往意味着越多的token消耗
和越高的延遲
所以架構師的工作
就是在性能成本和延遲
這個矩陣中
找到一個最佳的平衡點
因爲沒有最好的架構
只有最適合的平衡點
