37 全網最細講解 - 深度解析LangChain語意化緩存(Redis)

学习与实践
173粉絲
4 次觀看·2023年11月5日
LangChain框架的緩存機制支持語意化。本期視頻以框架提供的RedisSemanticCache為例介紹語意化緩存的原理和實現機制。
相關鏈接
本期分享代碼
https://github.com/sugarforever/LangChain-Tutorials/blob/main/LangChain_Caching.ipynb
LangChain - LLM - Semantic Cache
https://python.langchain.com/docs/integrations/llms/llm_caching#semantic-cache
源代碼實現
https://github.com/langchain-ai/langchain/blob/v0.0.220/langchain/vectorstores/redis.py#L256
大家好
在今天這期視頻中
我們會來繼續分享
Luncheon框架的緩存機制
當然了
今天所介紹的是語義化緩存
也就是Semantic Cache
在上一期視頻中
我們介紹了Luncheon框架
所提供的標準的
基本的緩存機制
那它是以建直的數據存儲類型
作爲的底層的存儲邏輯
那對於這部分內容還不瞭解的
同學們可以點擊視頻上方的鏈接
回到上一期視頻分享
來對Luncheon框架所提供的緩存層
有個基本的認識
那今天我們在此基礎上
進一步介紹Semantic Cache
來看看語義化緩存究竟是如何實現的
Luncheon框架用了哪些底層的存儲組件
來實現語義化的緩存
更重要的是
通過我們相對比較深入的介紹
能夠給到同學們非常清晰的認識
關於語義化緩存
它是如何實現如何運行的
那麼更重要的是
這種緩存適合應用於什麼場景
我們如何選擇究竟使用標準的緩存
還是語義化的緩存
好了
那我們就進入今天的分享
什麼是語義化緩存呢
我們先來看看文檔
Luncheon框架的Semantic Cache這部分
就對它有了介紹
這個文檔是LLM部分
所提供的Caching的基層文檔
這與ChatModel中的Cache還有
有所不同
那這裏要指出的是呢
目前根據我的測試
在這個聊天模型ChatModel上
使用Redis的語義化緩存Semantic Cache
它是不工作的
代碼執行是會產生錯誤的
所以呢
我們目前的使用還是在LLM上
那今天我們的代碼分享呢
也是以LLM
也是OpenAI的
比如DaVinci模型爲基礎來演示的
這點呢
大家可能需要先了解一下
當然有興趣的也可以自己去嘗試一下
在ChatModel上面看看語義化緩存
特別是Redis Semantic Cache是否工作
好那我們就回到剛纔介紹的語義化緩存
這是LLM部分的文檔
在這裏呢
我們先看一個例子
爲什麼我們需要語義化緩存
當提問Tell Me a Joke
告訴我一個笑話
問這個問題的時候
希望能夠接收到一個笑話
那麼模型給到一個笑話
接下來我如果再問一個問題
這次的問題呢
會略有不同
我希望是Tell Me One Joke
那語義上
這是跟剛纔的問題是同樣的問題
那麼最好的情況是緩存能夠命中
從緩存中給到我們剛纔已經得到的這個笑話
那這就是語義化的緩存
那如何實現的呢
藍權框架爲我們提供了一個組件
叫Redis Semantic Cache
它就爲我們實現了語義化的緩存
因此呢
這是一個非常簡單的使用場景
我們只需要引入這個類
在自己的運行環境中
有一個Redis的服務器
那就可以實現這個語義化緩存了
那這個使用的非常簡單
我們馬上通過Python Notebook來分享
它是如何工作的
它的效果是什麼樣的
那更重要的是
我們通過後續繼續的分享
來看看語義化緩存的參數配置上
有哪些可以使用的參數
不同參數會對這個緩存的命中
產生什麼樣的影響
最後我們來總結究竟
語義化緩存該如何使用
使用在什麼場景
那我們就現在進入今天的分享
在這裏呢
我們有我們繼續使用上一期的Notebook
在這裏我們擴展了另一個章節
叫語義化緩存Semantic Cache
希望這也是大家在目前的網絡上
能夠看到比較清楚的一個介紹
那通過這個介紹
就能夠比較清楚的掌握
語義化緩存所需要知道的方方面面的知識
那首先當然是需要一個Redis Server
在這裏呢
我也分享了一些命令
這個是來自於Redis官方文檔
它是關於如何在Google的Colab
運行Redis服務器
那做法呢非常簡單
我在這裏也引用到了官方的文檔
大家可以點擊鏈接
來了解具體的操作步驟
那運行一個Redis Server在這個Colab
那需要下載一個Redis Stack Server的包
然後安裝一個Redis客戶端
這個應該是Python的客戶端
然後呢
將這個Redis Stack Server
以Daemon的形式運行起來就好了
那它就在後臺運行
我們現在呢就來安裝運行一下
接下來就需要構建一個OpenAI的模型實例
我們用的是相對老的版本的Win7-002
這也是藍權框架文檔中所使用的
目的在於利用較老的版本能夠比對出
緩存一隻Cache在效率和速度上的差異
那越老理論上它可能會更慢一些
正是這個目的
我們看到這裏呢
Redis Server已經啓動了
這樣呢
我們在後續就可以使用Redis的語義化緩存Redis
Semantic Cache來做數據緩存操作
那接下來我們就實例化一個大元模型
接下來就是初始化這個LAM Cache
這個變量我們在上期視頻中的也有介紹
它是一個全局性的
因此呢
我們在這裏只要指定了是使用Redis Semantic Cache
全局的藍權相關的鏈相關的模型都會用到同樣的緩存
在這裏呢
提供一個Redis的URL
因爲我們運行在同一個環境當中
因此呢
就默認配置
localhost 6379
同時提供一個OpenAI Embedding
因爲這裏是語義化緩存
語義化緩存呢
其實說到底
就是基於Similarity Search做相似性的搜索
相似性的搜索呢
就要對數據做向量化
在這裏呢
就需要Embedding
我們用的就是OpenAI的Embedding的API
最後一個參數
Score Threshold
我們這一指定的是0.2
它的默認值就是0.2
我們在這指定的目的是在後續對它進行一個對比
通過構造函數可以看到
這裏默認值就是0.2
我們後續也會介紹這個值究竟是什麼意思
它的值的大和小究竟會產生什麼樣的影響
那我們先來構建這個語義化的緩存
接下來開始來提問
我們在這裏呢
使用了雙百分號Time指令
來對這個代碼快捷執行的進行一個計時
看看它花了多久
我們現在提問
要讓它翻譯
This is Monday 翻譯成中文
在這裏看到Wartime 2.19秒
花了2.19秒
完成了我們的這個提問
這是週一
翻譯的還不錯
那接下來我們再提一個問題
我們希望是翻譯
This is Tuesday into Chinese
可以看到這兩個提問是不一樣的
但是差異非常小
就只有一個單詞的差異
因此我們要注意這裏只有一個單詞的差異
所以事實上這個Cache在當前的情況下
是會造成命中的
也就是相似度上
它是認爲是非常相似的
我們馬上運行一下
來看一下效果
我們會看到這裏
它Wartime是221毫秒
非常非常的快
顯然它是從Cache當中
獲取出來的響應
並沒有做API調用
因此呢
它告訴我還是這是週一
顯然這個是不正確的
那這裏大家應該就已經意識到了
在語義化的Semantic Cache當中
Cache是否命中
是根據這個相似度來評判
那相似度就會跟這個Score Threshold相關
那究竟這個0.2的基礎上
我們要讓第二次提問不命中
究竟該讓這個Threshold更大
還是更小呢
接下來往後看
同樣道理在這裏呢
我們如果再提問Tell Me A Joke
希望有個笑話
那目前還在旋轉
看起來肯定是進行了API調用
3.88秒
那我現在再提一個訴求
Tell Me Two Jokes
我想要兩個笑話
那如果我現在再問這個問題
會發現Wartime 247毫秒
非常非常的快
因此呢
它也沒有去進行API調用
從Cache當中返回的
顯然在這個提問上
從語義化的角度來講
看起來是命中了的
那回答的
給到我們的笑話
跟剛纔也一模一樣
因此顯然這是從Cache當中
讀取出來的
那接下來我們就重新
再初始化一下Redis的
Semantic Cache
也就是語義化緩存
這次呢
我們用一個不同的Threshold
在這裏看到
我們將Threshold改爲了0.05
這樣呢
它就是一個非常小的值
來看看效果上
它會有什麼不同
我們先初始化它一下
這樣就有了一個Threshold
爲0.05的Cache
那我現在提問
Give me a peach
給我一個桃
我們會看到呢
這裏花了1.49秒的Wartime
那接下來再問一個問題
這個問題相似度
應該是比較高的
我要兩個桃子
看這個時候它會不會
我會看到它說
I can't give you anything
because there is not a real request
我們倒不需要去探究
它究竟是否是一個正確的回答
至少在看在效果上
並沒有跟剛纔要一個桃子的時候的效果
響應一樣
它給到我們不同的答案
顯然這應該是一個
API調用後的一個響應
那這個場景跟剛纔這個
Tell me a joke
Tell me two jokes
是非常相似的
區別在於
當Threshold變得非常小的時候
Cache並沒有命中
這樣
當我提問說
Give me a peach
Give me two peaches
會得到不同的結果
這時Cache就會區分出
或者是認爲這兩個問題
並沒有足夠的相似性
好了
那接下來我們就深入的看看
究竟在Redis的Cache當中存了些什麼
它是如何存儲的
那我們首先呢
通過這個LMCache的一個變量
叫CacheDict
來快速找到
究竟它有哪些Cache
在這裏會看到呢
這個Cache是有個T
這個是它的鍵
我們就用它來獲取到這個Redis
這個向量存儲
要補充一句的是
在這裏
Semantic Cache的底層
用的是Redis作爲向量存儲
幫助我們實現了相似度的查詢
因此呢
在這裏我們要注意
這裏是使用的Redis的向量存儲
也就是VectorStore
那我們現在將這個Key
拷貝到這裏
放到這裏來
接下來呢
我們來看看
Give me two pictures
我們來拷貝過來
我們通過這個提問
來看看
在Redis這個向量存儲上
提問的時候
究竟得到什麼樣的分數
我們通過這個執行呢
來看看
它會給到我們一系列文檔
相似度比較接近的文檔
那麼這些文檔呢
都會有個分數
分數呢
在每一個返回的文檔
數組的元素的第二個元素
也就是說這個查詢得到的是一個
二元組的列表或者數組
在每一個二元組呢
第一個元素是文檔本身
第二個元素呢
就是得分評分
我們會看到在這裏
Give me two pictures
如果我現在再去查詢
因爲我剛纔已經查詢過一次
查詢的結果已經放在了
這個緩存當中
在這裏呢
我如果再去問它
Give me two pictures
這個分數會發現非常非常小
這裏呢
是一個指數級別的
所以它是極小的
接近於零
可以看到越相似
這個分數會越低
那第二個文檔是
Give me a picture
這個分數呢
就稍稍的高於0.05
可以看到在這裏
Give me two pictures
和Give me a picture
是非常非常相似的
因此呢
在這裏
我們需要非常的小心
在使用或者設置這個
Threshold的時候
這個Give me two pictures
和Give me a picture
它的相似度其實是非常高
我們剛纔設置成0.05
也算是運氣比較好
正好卡在了
能夠區分他們的這個級別上
那究竟這個SemanticSearch
withScore是在哪裏用到的呢
我們可以在這個
完全框架的原代碼這裏看到
那如果我們現在回到這裏
這個就是Redis Semantic Cache的實現
它的實現當中
有一個函數叫lookup
lookup就是通過一個Prompt和LMString
去進行搜索
這個搜索呢
使用的是相似性搜索
相似性搜索呢
就正是使用的這個內部的Cache
當然我們現在用的是Redis
因此就是Redis的相量存儲
在這裏呢
它就調用了這個函數
來做的查詢
相似性查詢
返回的時候就是一系列的文檔
一個文檔列表
每一個文檔呢
還包含了它的這個Match Score
就是匹配度
這個分數
要注意這裏
正是這個條件來決定了哪些文檔會被命中
哪些不會命中
這個Score是小於Threshold
纔會存在於這個匹配的文檔
因此呢
我們設置Threshold越小
能匹配到的文檔就相似度越高才能匹配到
這樣呢
也降低了這個模糊度
爲什麼我們剛纔在第一次的嘗試提問的時候
Tell Me A Joke
Tell Me Two Jokes都會得到相同答案
甚至翻譯This Is Monday
This Is Tuesday都會得到相同的答案
正是因爲Threshold值太大
導致了差異相對較大的文檔也能夠匹配
並被認爲是緩存命中
好吧
那這就是今天分享的全部內容
希望今天的分享呢
也給到同學們比較清楚的理解
關於什麼是語音化的緩存
也就是Monday Cache
什麼時候使用
如何配置它
在語音化緩存的使用中
非常重要的兩個概念就是相量存儲
以及相似度的搜索
相似度搜索對應了分數
平分也就是匹配度
因此在特別是比如Redis
這般的Cache使用中
這個score threshold的配置是非常重要的
根據自己的應用場景
自己產品的需求
對於相似度的容忍度越高
那我們可以將Threshold設的越高
如果我們需要儘可能精確的匹配
又不是完全的字幕串的相同
是否相同這種級別的匹配呢
我們可以將這個Threshold
配置的相比較低一些
那這一塊就是需要在
工作和學習中去做一些調試的
好吧 那今天分享就到這裏
同樣這個Notebook
我也會同步到Github代碼倉庫
同時將鏈接分享到視頻的描述中
有興趣的同學也可以自己跑一跑
最後再補充一下
關於語音化的緩存
不僅僅是Redis
像藍城框架所提供的10種當中
GPT開始這些
同學們也可以自己去
根據文檔來跑一跑
從原理上基本上都是非常相似的
這裏就不再覆蓋了
好吧 那今天的分享就到這裏
有什麼問題的同學
也歡迎在評論區與我們交流
我們就下次再見
同學們週末愉快 拜拜
