39 GPTCache + LangChain 實現大模型響應的緩存

学习与实践
173粉絲
2 次觀看·2023年11月5日
GPTCache易於使用,可以通過以下兩個步驟將LLM查詢的延遲降低100倍:
- 構建緩存:您需要選擇嵌入函數、相似度評估函數、數據存儲位置和驅逐策略來構建您的緩存。
- 選擇LLM:GPTCache目前支持OpenAI的ChatGPT(GPT3.5-turbo)和Langchain。Langchain支持各種LLM模型,如Anthropic、Huggingface和Cohere模型。
相關鏈接
本期分享代碼
https://github.com/sugarforever/LangChain-Tutorials/blob/main/LangChain_Caching.ipynb
GPTCache
https://gptcache.readthedocs.io/en/dev/usage.html
大家好
在最近的一期視頻分享中
我們介紹了Lancher框架的緩存機制
現在我所分享這期視頻就是當時的內容
我們學習了Lancher框架所提供的語音化緩存
它的工作機制
它的底層存儲
以及在使用語音化緩存時
我們需要注意哪些方面
如果我們來到當時的代碼分享
在這裏會看到Redis被用來作爲了底層的存儲
對這方面的內容感興趣的同學
歡迎點擊視頻上方鏈接
回到當時這期的視頻分享
瞭解更多語音化緩存的方方面面
今天我們在語音化緩存的技術上
來介紹Lancher框架所支持的另一個緩存組件
也就是GBT Cache
GBT Cache這是一個開源項目
它不僅僅支持語音化的緩存
Semantic Cache
它還支持Exact Match
也就是精確匹配的這種緩存機制
當然了
今天我們並不會介紹GBT Cache技術細節
更多的還是基於Lancher框架
看看GBT Cache該如何使用
它在應用場景中的表現如何
我們就進入今天的內容
我在當時這份Python Notebook當中
追加了一段關於GBT Cache
我也會將這些鏈接放到視頻描述中
在執行代碼前
必要的還是需要安裝Lancher OpenAI這些包
準備好OpenAI的API Key
接下來就進入今天的內容吧
來看看首先
GBT Cache的介紹
什麼是GBT Cache
它是幫助我們構建了語音化的緩存
來存儲大量模型的響應
因此在這裏就不僅僅是OpenAI了
它會對多種大量模型都有支持
GBT Cache能夠幫助我們
在兩個應用場景中發揮作用
一個是Exact Match
也就是精確的匹配這種緩存機制
另一個是Similar Match
相似性匹配
這個概念就用在了語音化緩存中
GBT Cache能夠幫助我們
解決如下幾大問題
首先是Embedding怎麼生成
它是通過Embedding Function來生成的
在OpenAI中也提供了Embedding的接口
它也是可以被我們用來
作爲Embedding Function
第二個是緩存數據
該怎麼緩存
GBT Cache有個組件叫Data Manager
它的組件中還有一個Cache Store
也就是Data Manager的Cache Store
爲我們提供了數據的緩存
可以存儲在SQLite, MySQL, Postgre
這些SQL數據庫中
將來也會增加NoSQL的支持
這裏的數據指的是
用戶的提問,Prompt
大緣模型的響應等等這些數據
第三個問題就是如何存儲和搜索這些
Vector Embedding,向量數據Embedding
它是通過Data Manager組件的
Vector Store來實現的
之前我們也介紹過向量數據的存儲
這塊就比較好理解了
其實在底層的Data Manager
也是使用了像Face和其他向量數據庫
作爲底層的存儲
將來應該是會有越來越多的
向量數據庫被接入到GPCache
第四個問題就是緩存數據的清理策略
如何決定什麼時候該做清理了
緩存中非常主流的兩大算法
LRU最近最少使用的
或者是FIFO先進先出的這種機制
都可以被用來作爲緩存清理的策略
最後就是如何判斷
緩存是否命中
這是通過GPCache中Evaluation Function
這個概念來實現的
我們後面會看到
在Seminar Match的應用場景中
我們是通過向量數據的距離
來評估是否命中
下面這個代碼是GPCache中
Cache這個類的定義
在Init函數中有一系列的參數
這個參數列表
也能幫助我們理解一部分
GPCache中的核心的概念和組件
比如Embedding Function
比如Data Manager
還有Similarity Evaluation
其中這個Similarity Evaluation
大家看到是一個
默認值是Exact Match Evaluation
就是一個精確匹配
那應該大家就知道
這個的應用場景是什麼了
那接下來呢
當然了
我們是要安裝GPCache這個包的
爲了我們正常的使用
安裝後實例化一個OpenAI的
變量
這個變量呢
我們定義模型使用的是DaVinci 0.2
有興趣的同學可以去嘗試一下
使用一下Chart Mode
比如GPT 3.5 Turbo和GPT 4
看看它的工作是否會
代碼的執行是否會有異常
首先我們來看精確匹配Exact Match
在這裏要做幾個事情
首先呢
GPCache的實例化
它的實例化需要接受一個函數
這個函數呢
是我們在這裏定義的InitGPT Cache
它的兩個參數
第一個參數呢
是Cache Object
就是Cache的實例
另一個呢是LLM字符串
有趣的是這裏我們定義了一個
GetHashName
GetHashName是做什麼呢
將輸入的LLM字符串做哈希
對於哈希概念不熟悉的同學
對SHA256不太熟悉的同學呢
都可以去搜索一下這幾個術語
來了解它們是做什麼的
這個函數的目的在於
將長度差異較大
或長短不一的隨機的LLM字符串
都能夠做哈希
這樣得到哈希值呢
也能夠提高緩存這種key的管理的效率
在這裏Cache Object
就是這個Cache緩存對象的初始化Init
它接受兩個參數
第一個是pre-embedding function
這個是對輸入數據的預處理
就是在做embedding前的處理
我們可以看到這裏用到getPrompt
getPrompt是什麼呢
這個函數的定義非常簡單
同學們可以在這裏看一下
它接受一個參數data
它的實現就一行代碼
data當中去取出prompt這個字段
data是個字典Dictionary
這就是預處理
預處理在GBT Cache的文檔中也有介紹
當然了它並沒有專門的章節介紹
這個pre-embedding
因此大家可以在這裏
通過局部的一些部分內容
瞭解它究竟做了什麼
它是預處理了輸入數據的
相應的我們可以還介紹一下
embedding function
embedding function是幫助我們
基於文本來生成embedding
最後data manager是幫助我們來管理
緩存數據cache data
similarity evaluation是拿來用來評估相似度的
這就是剛纔我們介紹的
cache的構造
初始化函數的參數中
那幾個參數的作用
那麼回到這裏
一個是pre-embedding
另一個就是manufacturing
這是數據管理器data manager的構建工廠
這個構建工廠
我們傳遞兩個參數
第一個是map
第二個是數據的目錄
數據目錄是基於
LAM的hash值來命名的
那這個manager的參數定義爲map
其實它的默認參數就是map
我們可以通過manager factory的參數
函數實現來看到它的更多細節
eviction默認參數
默認是LRU
那它就是最近最常使用的
緩存會被優先清理掉
那manager默認的是map
通過這個文檔可以看到
map是最簡單的
也就是間值的存儲
主要是我們提供了精確匹配的這種機制
這就是我們如何在這個examatch的
需求下來構建GVT cache
我們來執行一下這部分代碼
好了
現在我們就可以向大學模型進行提問
我們來嘗試提一個問題
什麼是what is cache eviction policy
什麼是緩存的清除策略
那提問的時候
我們同時也對它做一個計時
看看它花了多久
我們會看到這裏
它使用了1.69秒的watt
接下來我們再問一次同樣的問題
這次我們會發現它非常非常的快
634微秒就完成了
因此這就是在精確匹配場景下
它能夠如何非常快速的恢復我們
顯然這個數據也是通過緩存匯給我們的
它並沒有走OpenAI的API調用
如果我們現在再做一個相似的提問
但並不完全一樣
看看它會怎麼樣
比如我們將這個問題拷貝過來
追加兩個空格
what is eviction policy
多了些空格
顯然這次就不一樣了
回覆的內容不相同
速度也慢了許多
第一次的提問
就是沒有緩存命中的時候的提問
速度相似
其實還是差了0.6秒
但跟緩存命中的情況
速度還是要慢了許多
這就是精確匹配Exam Match
接下來我們來分享一下Similar Match
相似匹配
或者說語音化緩存究竟是怎麼做的
我們先執行一下這部分代碼
在這裏緩存的初始化略有不同
要注意的是
我們這裏用到了一個函數
叫Init Similar Cache
這是來自GPT Cache的代碼庫
我們可以打開它
看看究竟它做了些什麼
這是初始化相似性緩存
在這裏有幾大核心的東西
我們需要了解一下
第一個是Data Manager
Data Manager在這裏用到了SQLite和Face
這兩個分別存儲
標量數據和向量數據
標量數據也就是
用戶的提問
Prompt
大元模型的響應等等這些數據
向量數據就是Vector Embedding
文本轉換成Embedding後
就存在Face這類向量存儲中
Evaluation這裏
如果沒有定義Evaluation
默認使用的是Search Distance Evaluation
那就是基於向量數據的距離
來評估是否會命中
這就是非常重要的幾個不同的地方
既然我們用了向量存儲
用了Embedding
還基於向量之間距離
來評估向量是否命中
緩存是否命中
那麼這顯然就是一個
予以化的緩存機制了
那接下來我們同樣通過提問
來看看它的表現如何
我們這個題的問題
還是剛纔提的
什麼是緩存的差速策略
使用了2.49秒
看起來應該是走的OpenAI的API調用
那我們再執行一遍
可以看到快了不少
636毫秒
這就是在緩存中取出的數據
畢竟這個字符串完全相同
那麼速度上看起來
其實是要比精確匹配ExamMatch
要更慢一些的
這也好理解
因爲它要去做更多的計算
那接下來我們再來問一個
跟剛纔類似的問題
加一些空格
看看它的表現如何
在這種情況下
大家應該明白
這個緩存依然是會命中的
因爲相似度非常的高
雖然多了一些空格
但是這個題文和最初
已經被緩存在存儲中的題文
是非常相似的
那這就是我們如何利用GPT-Cache
來實現精確的匹配ExamMatch
和SimilarMatch
相似性匹配
這兩種場景的緩存
那之前我們在上一次的分享中
還分享非常有趣的一個問題
提兩個非常相似的問題
第一個問題
Give me a peach
第二個問題
Give me two peaches
那在GPT-Cache上
它表現如何呢
Give me two peaches
我們現在提第一個問題
Give me a peach
顯然它還沒有緩存
那就會走API
走API數據會慢一點
大家會看到這裏5.5秒
那我再問一次
Give me two peaches
會發現響應是一模一樣的
說明了這個
這兩個提問從緩存的角度來講
它們是非常相似的
是緩存命中了
那該怎麼解決這個問題呢
我們就需要用到上次視頻分享中
所提到的Threshold
Score Threshold的概念
那在GPT-Cache中
該怎麼設置這個Score Threshold
讓它能夠更精確的去匹配
讓這個相似度需要更高
才能被認爲是緩存命中呢
那今天呢
我們就將這個問題
作爲課後的一個小練習
探索的問題
分享給大家
大家課後也可以去琢磨一下
看看究竟怎麼才能夠
去設置一個Threshold
來解決我們剛纔提到這個問題
好吧
那今天分享就到這裏
我們下次再見
同學們如果有什麼問題呢
也再次歡迎大家在評論區給我們留言
那就到這裏吧
好同學們再見
拜拜
