36 LangChain入門 - LangChain緩存(Cache)類型與機制詳解

学习与实践
173粉絲
3 次觀看·2023年11月5日
LangChain框架為Chat Model和其他LLM提供了緩存層,幫助開發者儘可能的降低不必要的LLM的API調用,從而提高響應效率,也實現省錢的目的。
代碼
https://github.com/sugarforever/LangChain-Tutorials/blob/main/LangChain_Caching.ipynb
相關鏈接
LangChain的cache實現
https://github.com/langchain-ai/langchain/commits/v0.0.219/langchain/cache.py
大家好
今天我們繼續Lancher框架入門知識的學習
今天所分享的話題是Cache
Caching也就是緩存
在軟件開發中
緩存也被廣泛應用於不同領域
幫助我們提高數據讀寫的效率
Lancher框架同樣也提供了Caching這個概念
我們現在所分享這個頁面是聊天模型
Chat model的Caching部分這個章節
當然了它不僅限於聊天模型Chat model
在LLM當中也有Caching這個章節
我們今天就以Chat model這部分的做參考
因爲兩邊的使用的是同樣的組件
只選取一方來做介紹就可以了
那Lancher爲什麼提供Caching
爲什麼提供緩存呢
這是因爲我們在與大語言模型的交互中
基本上都是通過API調用來完成的
更具體一點在OpenAI的使用中
我們都是通過API來調用的
那如果頻繁的提同樣的問題
那大語言模型就要回答我們同樣的答案
或者說我們只需要期望同樣的答案
那這種頻繁的調用
既會耗時又會耗錢財
那如果我們能有一個緩存
在後續的同樣問題的提問中
能夠從Caching當中快速的得到答案
回覆給用戶
這樣既能省錢
又能提高響應的速度
能夠給到用戶更好用戶體驗
這也是很好的事情
那今天我們就來看看
究竟Lancher框架提供了哪些
不同類型的緩存
在文檔中介紹了兩種
一個是內存緩存In-Memory Cache
一種是後面這裏看到Circle Light Cache
Circle Light Cache也就是基於
Circle數據庫的
傳統的關係型數據庫的緩存
好了
那我們今天通過還是一份
Python Notebook
實體代碼的形式來展示兩方面
第一緩存如何使用
第二我們更期望揭示
在緩存的使用時
究竟底層存儲是怎麼存數據的
這有助於幫助我們瞭解
緩存究竟該什麼時候用
該怎麼用
那現在就進入這個Notebook
當然這個Python Notebook
我也放到了我的代碼倉庫
也就是LanQuan Tutorials
隨着分享的這裏面
已經積累了不少
不同領域話題的一些
入門的介紹
配合了實體代碼
那有興趣的同學
可以到這個代碼倉庫
來學習相關的內容
有問題的也歡迎同學們
在視頻下方的評論區
跟我們交流
這就是今天我們所要分享的內容
關於LanQuan框架的緩存
那就進入今天的分享吧
當然了
大家需要安裝一些必要的依賴包
和配置OpenAI的API Key
接下來呢
構建一個Chat OpenAI的實例
那我們現在就來介紹
第一種緩存類型
In-Memory Cache
這就是內存級別的緩存
內存級別緩存
特點和優點就是速度快
那缺點就是進程一旦結束退出
那內存一釋放
緩存就沒有了
那實例化的方式非常簡單
要注意的點呢
是在LanQuan框架使用中
緩存的設置是通過
LanQuan.lm-cache
這個變量來複制的
復給這個變量
這變量呢其實是一個全局的
也就是說在LanQuan框架使用中
如果我們在用到了Chain鏈的時候
其實我們有多個模型
默認都會使用到同樣的cache
也就是都會啓用cache
那在模型的個別的模型中
如果我們想要禁用cache
也是有機制的
那後面我會介紹
所以這點要注意
這的這cache設置是一個
全局級別的一個緩存
那我們現在就對它進行一個實例化
並做複製
現在表示在LanQuan的這個使用場景中
我們使用內存級別的cache
接下來呢做一個提問
在做提問的時候
我們也需要去統計一下
究竟這個開銷時間開銷是有多少
這幫助我們後面來比對
cache命中的時候
究竟能夠提高多少效率
這裏呢我們使用的是
雙百分號time這個指令
在Python Notebook當中
幫助我們來統計這個時間開銷
我們提問What is OpenAI
非常簡單的一個問題
這裏呢大概會預期一個
三到五秒的響應時間
會看到大概使用了5.1秒
和Wattime 5.1
我們就不去看這個模型
究竟怎麼回答的了
那接下來我們來介紹
究竟cache是怎麼存儲數據的
在LanQuan框架的原代碼中
這裏呢我貼放了這個原代碼的鏈接
在cache.py當中實現的in-memory cache
這裏呢就可以看到
這個cache究竟是怎麼組織的
整個數據結構呢是一個字典
也就是個建制隊
這個建呢其實是一個top
一個二元組
那二元組究竟是什麼呢
我們通過下面的代碼
來把它打印出來看一下
在這裏呢因爲是個
緩存是第一次被使用
那麼在提問這個What is OpenAI以後呢
數據就進入了緩存
所以有一條記錄
我們呢就將這個緩存的
鍵打出來看看它鍵是什麼
這個鍵呢keys是鍵的宿主
我們取它第一個
我們首先需要對它做一個轉型
將它轉換成一個列表一個list
然後取第一個元素
那現在我們通過第二個索引
0和1分別打印出這個二元組中的
第一個元素和第二個元素
我們會看到它的數據形式
是這樣的一個形式
長長的字符串
第一個呢其實就是消息
提問
我們剛纔問的那個問題
What is OpenAI
它的一個數據的序列化的一個
一個結果
一個編碼後的結果
那第二個二元組第二個元素呢
其實是跟模型相關的一個數據的編碼
那至於它究竟是怎麼編碼的呢
大家也可以有興趣的同學可以
去到LanQuan框架原代碼
來了解更多技術細節
在這裏呢我們通過
代碼分享快速的看一下
我在這裏本地已經
克隆了它的代碼倉庫
因此我們來看看in-memory cache
它這個update
我們可以看到update
它究竟怎麼調用的
在這裏
模型的chart model的積累當中
這裏呢調到了這個cache update
在cache的更新時使用了prompt和LMString
這兩個東西分別就是prompt
是提問的信息
這裏呢是對message
也就是消息列表或消息
數組進行了編碼
它是通過使用Jason編碼
得到了一個字符串
那麼另外一個語言模型字符串
是通過這個函數調用構建的
它是針對這個語言模型的參數
以及這個stop這個標識符
來進行了編碼
最後呢將語言模型和參數
這個用了三個段橫槓
將它連起來
那從視覺效果上
我們再回到代碼這裏看看
也就是在這裏
前面呢就是模型的參數的信息
配合後面一個stop
結束符等參數來構建了這個標識符
總的來講
大家如果對這部分沒有意願
去了解更多細節的可以不管它
那從概念上應該瞭解到
cache的key是一個二元組
這個二元組呢是兩個長騰的字符串
那這就是如何構建的內存級別的緩存
那現在我們再問一次同樣的問題
理論上再問一次同樣的問題
那會應該是會命中緩存
也就是能夠在緩存中直接得到答案
因爲我們用的是同樣的模型
問的同樣的問題
那這些這兩個參數
第一個prompt
第二個array and string
這兩個都會相同
那這個二元構建出來的二元組也會相同
所以這個key是會命中的
那這次提問呢應該就會非常的快
我們可以看到這個wall time就只有1.31毫秒
已經快了非常多了
基本上可以確定
這是沒有進行OpenAI API調用直接得到結果
那接下來我們介紹第二種形式
SQLite
SQLite是一種文件形式的
有一張簡單的
特別適合我們平時開發測試使用的數據庫類型
當然了大家有興趣
也可以將它擴展到像MySQL
Postgres等等數據庫
前提當然是一個支持SQL的數據庫了
那在這裏呢
首先我們刪除一下.cache.db文件
確保本地沒有這麼一個SQLite的數據文件了
接下來呢
實例化一個SQLite cache
數據呢就存儲在.cache.db文件中
同樣將這個實例複製給llm__cache這個變量
那現在全局的
緩存呢就被附給了這個SQLite這個緩存
接下來我們會做同樣的測試
首先提問
還是問同樣的問題
什麼是OpenAI
那在這裏呢
因爲全局這個緩存被重置爲了一個SQLite的緩存
初始化的時候緩存當中什麼數據都沒有
因此呢
它不會命中緩存
會進行OpenAI API調用
所以這裏會非常的慢
我們可以看到花了9.42秒
那我們如果再問一次
顯然這次是會在數據庫中命中的
所以呢
速度非常快
2.5毫秒就完成了
可以預見這兩段的文字是一模一樣的
因爲它從緩存中返回的
大約模型還可能出現同樣的問題
在回覆的時候
文字上啊
內容上會不完全一致
但是內容應該是相似的
相似度是非常高的
那我們在這裏呢
就看到了SQLite這個緩存
也是生效的
接下來我們來做一個測試
在這個提問當中
添加一個空格
剛纔的問題當中
What is space
OpenAI中間就一個空格一個space
那這裏呢
我們添加一個
其實同學們應該能夠明白
在這裏呢
一定是不會命中
既然我們做這個測試
我們會發現這裏花了5.27秒
遠遠的高於剛纔
剛纔那個緩存命中的時候的速度
那接下來
我們就看看在數據庫當中
究竟存了什麼
在這裏呢
我們會用到SQL Acme這個包
用這個包去進行
SQLite數據庫的數據讀取操作
那在這裏呢
爲什麼額外的這個空格
在這個What is openAI這個問題中
額外空格會導致
Cache緩存不命中呢
同樣這裏我也貼出這份代碼
這裏介紹了
在數據庫中
數據是怎麼組成的
它跟In-memory Cache
也就是內存的緩存是非常的相似
它們存的數據呢
同樣是Prompt
也就是消息
以及LLM
LLM就是語言模型的參數的字符串
標識
我們可以認爲它的標識同樣的模型
它會有同樣的模型和同樣的參數配置
會有同樣的這個LLM字符串
接下來還有個所以
最後一個鏈呢
是Response
就是語言模型給到我們的回覆
響應
因此在這裏這張表呢
會有四個鏈
表名呢叫4LLM Cache
同時這裏大家看注意
組件呢是這三個鏈
作爲的聯合組件
這裏可能大家就需要
稍加留意了
這個聯合組件非常的複雜
因此呢
後面我們會聊一聊關於這個應用場景
究竟這種SQL的Cache
目前的實現
在哪些場景適合使用
哪些場景不適合使用
好了
我們在這裏通過簡短的一個查詢
就是從這個4LLM Cache
這個表中查詢所有列
我們來看看這一共有哪些數據
首先呢我們打印出來了列名
我們會看到有Prompt
LLM Index
Response
四列
那有多少行呢
這裏有兩行
大家看注意看在這裏呢
問題
因爲第二個問
此提問是多個空格
所以這個問題是不一樣的
這就導致了在Prompt這一列
兩次提問產生數據是不同的
那後面的內容都是非常相似的
特別是在LLM String這部分
就是第二列上是一樣的
然後語言模型的回答可能會有所不同
我們會看到這個內容是不一樣
爲什麼這裏緩存會不命中呢
這是因爲在緩存的查詢或者查找中
是基於Prompt和LLM這兩個字段
進行的查詢
做的Select SQL的查詢
我們可以從代碼這裏看到
這個lookup的實現
這是SQL Acme Cache
這個SQL數據庫做緩存的場景中
查詢的時候是用Prompt和LLM String
這兩個條件去做的查詢
因此只要任何一個不相同
就會導致緩存不命中
而查詢出來的結果
最終是通過index進行排序的
那麼回到剛纔代碼
正是因爲提的問題不相同
導致了Prompt不同
所以在查詢中緩存沒有命中
這就是爲什麼我們在剛纔的
這個提問的時候緩存是沒有命中
多了一個空格
導致了觸發了新的Openend API調用
好了
在瞭解了SQLite中的數據結構
Schema的情況下
我們就可以去考慮
在自己的產品的應用中
在技術落地時
究竟在應用場景中的數據規模
是什麼樣的
Prompt和LLM這兩個字符串
類型的列
究竟會存什麼樣規模的數據
這對緩存的讀取數據
讀寫數據的效率
都是有非常大的影響的
特別是在聯合組件的構建時
這個索引數據的規模會是什麼樣
它的效率如何
那大家一定是要去評估的
好了
那今天我們的分享就到這裏
在結束之前
我們還要回到剛纔所介紹的
這個全局的緩存這個概念上來
我們介紹了全局的緩存
也是可以做設置的
那設置在哪裏呢
我們來到這個這裏
LLM的Caching部分
這裏就有一部分介紹
Optional Caching in Chains
剛纔我們談到了這個全局的緩存
那個別的模型
我們想要禁用Cache該怎麼做呢
在這個LLM模型中
會看到有個參數Cache是false
這表示我們可以將這個模型的Cache關閉
我們就禁用Cache
那這個noCacheLLM就不會去緩存當中
嘗試獲取問題的答案
還會直接做OpenAI的API調用
那這個模型在後續的使用中
就不會用到Cache
這就是我們如何去在某個個別的模型上
或者是這個變量上
去將Cache給禁用掉
那希望這部分內容
對同學們有所幫助
那今天分享就到這裏
兩種不同類型的Cache
大家在自己的應用場景中
去評估一下
哪種是符合自己需求的
甚至有興趣的同學
也可以去探尋
更加高效
更加具有可擴展性的緩存解決方案
集成到Lancheng框架中
那今天分享就到這裏吧
咱們就下次再見
同學們有什麼問題
咱們就在評論區見
好同學們拜拜
