Anthropic 最新分享:Claude Code 提示詞緩存的最佳實踐

The Only Bamboo
243粉絲
32 次觀看·2026年5月7日
這期視頻是基於 Anthropic 最新博客文章純 AI 製作的視頻(做個實驗,大家看看效果)。
下期教程會和大家分享如何基於 AI 全自動生成這種知識教程視頻。
原文:https://claude.com/blog/lessons-from-building-claude-code-prompt-caching-is-everything
本視頻對應代碼:https://github.com/ConardLi/easy-learn-ai
工程界有句老話叫緩存統治一切
到了AI agent的時代,這話還是對的
Anthropic的工程師最近給出了Cloud Code提示詞緩存設計的最佳實踐
但聊具體經驗之前,先用一分鐘搞懂提示詞緩存到底是什麼
每次你給大模型發消息,後臺都要把你發過來的所有文本
系統指令,歷史對話,新消息,從頭到尾編碼一遍
這個過程是延遲和花錢的大頭
問題來了,你跟他聊20輪
第20輪的請求裏,前19輪和上次一模一樣
但模型還得從第一個字重新算一遍
白白做了19輪重複勞動
提示詞緩存就是來解決這個的
原理一句話,你在請求裏標一個斷點
後臺就把從開頭到這個斷點之間的編碼結果存下來
下次前綴完全一樣,直接複用,跳過重複計算
打個比方,你每次寫論文都要重抄目錄和前幾章再接新內容
有了緩存,相當於超過的部分直接快進,只寫新的那一段
幾個關鍵數字,命中緩存的部分,價格打一折
首次寫入要1.25倍,多花25%,但後面每次省90%
默認存5分鐘,5分鐘內有請求就自動學期,不額外收錢
也可以選一小時的付費版本
不過有個門檻,內容太短緩存不上
一般至少要1024個token,新一點的模型要4096個
短prompt沒緩存的粉
舉個實在的例子,十萬字的成對話
不開緩存closed sonnet每輪要花0.30美金
開了緩存,首次0.375,之後每輪只要0.03
聊十輪,省下大約90%的輸入成本
而且不光省錢,延遲也降下來了
不用重算的部分越多,第一個字出來的越快
理解了這個,下面七條經驗就好懂了
他們都在講一件事,怎麼讓錢墜儘可能多地命中緩存
Anthropic內部,把緩存命中率當基礎設施級別的指標在看
地位跟服務器在線率差不多,命中率一掉,處罰值班告警
工程師得當線上事故處理
原文用的詞是宣佈分級事故
意思是走完整的事故響應流程,比普通告警嚴重多了
更關鍵的是,命中率高,不光省錢,還直接影響用戶體驗
它讓Anthropic能給付費用戶更寬鬆的使用額度
緩存命中率越高,你在同樣的價格下能用得越多
所以緩存對Cloud Code來說不是經商天花的優化
是整個系統能跑起來的前提
沒有緩存,就沒有Cloud Code
爲什麼?因爲Cloud Code這種AI編程助手是掌隊化的
一個繪畫幾十輪,每一輪都要把上文全帶上重新發
每次都從頭算,延遲和成本會爆炸
而緩存的核心原理,前綴匹配
下一次請求的前綴跟上次一樣,就能附庸之前的計算
最重要的那條經驗就從這個原理長出來
既然緩存靠前綴匹配
那提示詞裏東西的排列順序就至關重要了
Anthropic的最佳實踐是這樣排的
最前面,放系統指令和工具定義
這些是固定的,所有繪畫共享
第二層,放項目文檔,同一個項目內共享
第三層,放當前繪畫的上下文,只在這一次對話裏有效
最後纔是聊天消息,逐輪增長
每輪只新增最後一條
一句話,越不容易變的東西,越往前放
就好比收拾書桌
常年不動的參考書放最底層
這周要看的資料放中間
今天寫的草稿放最上面
這樣你每天坐下來,纔不用把整張桌子翻一遍
這裏有幾個特別容易踩的坑
第一個,在固定指令裏嵌了當前時間
每秒都在變,緩存直接廢掉
第二個,工具定義用無序容器來裝
每次發請求順序都不一樣,前綴對不上
第三個,工具參數改了
哪怕只動一個字段,整條前綴的緩存全失效
一個小細節沒注意,整條緩存鏈就斷了
那信息確實過時了怎麼辦
比如時間,文件狀態這些
Anthropic的做法是,別去改系統指令
把更新塞進下一輪的消息裏
具體怎麼做,在下一條用戶消息裏附上一段系統提醒
把要更新的信息夾帶進去
這樣系統指令紋絲不動,緩存完好無損
這個分法挺值得記一下
系統指令當地基,頂死不動
消息當流水,想怎麼改怎麼改
這樣一分,緩存就穩了
下一條,對很多人來說有點反直覺
你可能會想,簡單問題切到小模型省點錢
難題再切回大模型,多合理啊
但現實是,緩存是跟模型綁定的
換模型,等於之前積攢的所有緩存全部作廢,從頭重建
重建的成本往往比讓大模型直接回答那個簡單問題還要高
所以Cloud Code的策略是
主對話自始至終用同一個模型
那需要小模型幹活的時候怎麼辦
派子任務
子任務有自己獨立的上下文和緩存
不會污染主對話的緩存鏈
具體做法是
讓主模型先寫個任務交接說明
把上下文濃縮好
然後傳給子任務去執行
做完只把結果傳回主對話
Cloud Code裏的探索模式就是這樣工作的
它用小模型在獨立的上下文裏執行探索任務
打個比方
你不會爲了省事讓實習生坐到你工位上用你的電腦
而是給他分配一臺獨立的機器
把任務說明寫清楚發過去
做完把結果發回來
這裏要給搞中轉的朋友提個醒
緩存是按賬號隔離的
我看到有人想用賬號池搞中轉
賬號池一混命中率過低
錢沒賺到反而把號搞沒了
還有教你咔咔切賬號的也要留意
別聊兩句就來回切
下一條核心一樣
對話過程中工具集不要動
直覺上你可能覺得
當前任務就需要三個工具
把另外三十個移走不更乾淨嗎
但工具定義是緩存前置的一部分
加一個減一個緩存就斷了
一斷就是整個對話的緩存全部重建
代價遠遠超過多放幾個工具定義站的那點空間
看着像優化結果是添亂
Cloud Code有個規劃模式
進入後模型只思考只規劃不執行操作
按直覺的做法
進規劃模式就把執行類工具移走
退出來再加回來
但Anthropic沒這麼幹
他們的做法是保留所有工具不動
另外加了兩個特殊工具
進入規劃和退出規劃
模型調用進入規劃就切到思考模式
調用退出規劃就回來
那規劃模式下不能執行這個約束怎麼傳達
通過在對話中插入一條系統消息
告訴模型你現在在規劃
注意是在對話流裏插一條消息
不是去改系統指令
這兩個東西要分清
系統指令是固定的
在緩存前綴裏對話消息是流動的
不影響前綴
這樣工具集始終不變
緩存始終有效
而且還帶來一個額外好處
模型可以自己判斷什麼時候進規劃模式
遇到複雜任務
它自己先想清楚再動手
不用你手動切換
Cloud Code可能要接入幾十個外部工具
全部完整定義塞進去
太佔空間
按需加減
又破壞緩存
Anthropic找到的折衷方案叫延遲加載
一開始只放一個輕量的佔位符
模型看到的只是工具名字
不含完整的參數定義
等模型正要用某個工具了
再通過工具搜索功能去拉取完整定義
好處是
前綴始終只包含那些輕量佔位符
不會因爲加載了某個工具就變化
緩存穩穩的
相當於圖書館的書目索引
你先翻目錄
找到想看的書再去書架取
不用把所有書都搬到桌上
值得一提
這個工具搜索功能已經通過接口對外開放了
開發者可以直接用
簡化自己的工具管理
最後一條
關於上下紋壓縮
也是技術上最巧妙的一條
長對話跑久了
上下紋窗口會被填滿
這時候要把之前的對話壓縮成摘要
騰出空間繼續聊
但問題來了
如果你另起一個請求做壓縮
用了不同的系統指令
沒帶工具定義
那從第一個字開始
就跟主對話的緩存對不上
兩條緩存鏈互相不附有
而且你要把整段對話發過去做摘要
這時候你付的是完整的
沒有緩存摺扣的費用
對話越漲越貴
Anthropic的解決方案叫
緩存安全分叉
壓縮請求
必須用跟主對話完全一樣的系統指令
用戶上下紋
工具定義
把主對話的消息作爲歷史帶上
然後在末尾支加一條壓縮指令
作爲新的用戶消息
從後臺視角看
這個請求和上一次幾乎一模一樣
相同的前綴
相同的工具
相同的歷史
所以前綴緩存可以直接附有
新增成本只有最後那條壓縮指令本身
同時還要預留一個壓縮緩衝區
給摘要輸出留個空間
不能等窗口填滿纔開始壓縮
要提前留餘量
一個壓縮操作
能附用主對話積攢的全部緩存
幾乎不多花錢
回頭看這七條經驗
都在說同一件事
緩存就是前綴匹配
第一
前綴匹配決定一切
前綴裏任何位置的變化
都會讓其後所有內容的緩存失效
第二
用消息代替指令修改
要切換模式
要更新時間
把這些塞進對話消息
別驅動系統指令
第三
不要在對話中途切換工具或模型
用工具來表達狀態轉換
用延遲加載代替工具的增刪
第四
像監控在線率一樣監控緩存命中率
Anthropic對緩存中斷髮告警
當線上事故處理
第五
分叉操作必須共享主對話的前綴
壓縮 摘要 此任務
全部用相同的參數
所有的設計都要圍繞這一個約束來展開
別改指令
別動工具
一碰
整條緩存鏈就斷
換模型
切賬號
另起爐竈
同一個道理
這看着像緩存優化
但講的也是一種思路
先認死那條繞不開的限制
再圍着它把整個系統搭起來
