45 LangChain Expression Language 02 玩轉核心接口Runnable

学习与实践
173粉絲
4 次觀看·2023年11月5日
最新版本的langchain框架已經支持聲明式的方式來構建鏈。這是通過它的新特性Expression Language來實現的。
其中最重要的元素我認為就是Runnable接口,今天就為你帶來Runnable接口的深入解讀。本期視頻一定會對理解Expression Language大有幫助,不可錯過。
本期視頻代碼
https://github.com/sugarforever/LangChain-Tutorials/blob/main/expression-language/LangChain_Expression_Language_Runnable.ipynb
LEL - Interface
https://python.langchain.com/docs/expression_language/interface
大家好,我是小木頭
歡迎大家來到我的視頻頻道
在上一期視頻分享中
我爲大家介紹了LanQuan所帶來的新特性
Expression Language
它實現了聲明式的編程
有興趣的同學可以點擊視頻上方的鏈接
回到上一期的視頻分享
來了解什麼是Expression Language
以及如何使用它
在後續的學習中
我發現這部分內容特別適合
作爲一個完整的系列給大家分享
那今天就帶來第二期
第二期視頻中我們介紹什麼內容呢?
我們來介紹LanQuan Expression Language
中最重要的接口Roundable
在後續的內容分享中
我們也會將LanQuan Expression Language
簡稱爲LEL
LEL是一種以聲明式方式
來輕鬆構建鏈
或將組件組合在一起的一種機制
今天我們就來介紹這其中最重要的接口Roundable
首先來看看什麼是Roundable接口
在LanQuan中
目前絕大多數組件都實現了這個接口
該接口定義瞭如下的函數
Stream, Invoke, Batch
以及另外三個函數
Astream, Ainvoke, Abatch
後三個函數是前三個函數的異步版本
Stream實現的是流式輸出響應
Invoke基於單一輸入來調用鏈
而Batch是基於一組輸入來調用
我們後面會通過實例
來看到不同的函數的使用
更多的技術細節
大家可以參考Expression Language Interface這個文檔
文檔就在LanQuan
Python版本的官方文檔
在LanQuan Expression Language當中
有個Interface這個章節
這裏面就對接口做了比較詳細的介紹
我們現在就通過一個組件
看看究竟它是如何實現的Roundable接口
我們回到Python Notebook
在這裏我們打開ChatPromTemplate這個類
我們後面會用到它
我們通過這個類來介紹Roundable的實現
我們可以看到這個類本身它並沒有實現Invoke函數
我們以Invoke函數舉例
它並沒有實現
那我們來找它的基類BaseChatPromTemplate
我們向上翻會看到這個基類
基類中也沒有定義Invoke
那就繼續向它的副類或基類尋找
它的基類是BasePromTemplate
我們來到它的定義看看它是如何實現的
可以看到這裏這個類就實現了Roundable這個接口
在它的Invoke函數中
我們看到它期望一個字典類型的輸入
它做了什麼呢
它在實現中其實就是基於輸入
來構建Prompt提示詞並返回
它返回的是什麼呢
可以看到在這裏返回是PromptValue類型的一個值
這就是如何在一個組件中實現Roundable的接口
當然了不同的類會有不同
或者不同的組件
它會有不同的這些函數的實現
我們在後面會逐一的看到
在瞭解了Roundable接口後
我們可能會好奇它究竟有什麼用
那我們就來看一下
通過幾個簡單的例子來了解
首先看看Roundable接口的實現
哪些組件有它的實現
剛纔我們已經看了ChartPromptTemplate這個類的實現
在G類中已經對Roundable接口有了它的實現
在這裏我們也通過同樣的一段代碼的執行
可以看到
在這裏先實例化了一個模板變量Prompt
它是基於ChartPromptTemplate來構建的
那我們通過Python的函數instance
來判斷這個Prompt變量是否是一個Roundable類型
可以看到這裏輸出的是true
表示這個Prompt變量就是Roundable類型
說明它實現了Roundable這個接口
這部分代碼大家也可以有興趣可以執行一下
那Roundable究竟怎麼用
我們接下來就可以爲大家介紹RoundablePathThrough這個類
這個類幫助我們實現了在管道中
將輸入傳遞給後續的步驟的功能
這部分在Language Cookbook
Expression Language Cookbook
這部分有介紹
在這個章節PathThrough和ItemGetter
接下來我們介紹一個類RoundablePathThrough
它爲我們實現了在管道中傳遞輸入的這麼一個目的
通過管道構建Lancheng的鏈式
我們可能需要將原始的輸入變量
傳遞給鏈式的模型的後續步驟
那麼我們就可以使用這個類RoundablePathThrough
來達到傳遞輸入的目的
我們參考下面這個示例
期望RoundablePathThrough接受輸入
向後傳遞,傳遞給後續的步驟
我們通過RoundablePathThrough的原代碼
可以看到它是如何實現的
在這裏我們還實現一個Roundable的類
它會接受輸入
並期望這個輸入是一個字典類型
Dict類型
基於輸入,嘗試從字典中獲取到
建爲Name的字,並將其打印在標準控制檯
通過這種方式來測試RoundablePathThrough的傳遞效果
最終在構成的鏈中
我們會看到以下輸出的信息
我們先來看看實現部分
在這裏我們實現了一個stdoutputRoundable的類
這個類在invoke函數中
期望這個輸入是一個字典Dict
在這裏我們對這個字典進行一些讀取操作
讀取它的字段Name
並組合在一段文本中
打印在標準控制檯
那就是Print所做的事情
然後會將這個輸入如實的作爲輸出
再透傳到後續的步驟
它的實現就非常類似於RoundablePathThrough
我們現在先將RoundablePathThrough這個類的定義打開
我們來看一下
在這個類當中
invoke函數的實現基於input輸入
這裏調了callwithconfig
傳遞的第一個參數
Lambda的一個函數
參數X返回是X
表示收到什麼就返回什麼
因此這個RoundablePathThrough
它就如實將輸入作爲輸出
再傳遞給下一個步驟
那我們在這裏也是有同樣的實現
在這個stdoutputRoundable當中
唯一的區別是invoke裏面
我們打印了一下輸入的字典中Name這個字段
這就是一個小小的區別
接下來我們來構建一個
一個鏈一個管道
這個鏈呢
輸入會透傳
通過RoundablePathThrough
透傳所有接收到的輸入
將其作爲Name字段的值
構建一個字典
這個字典呢
傳遞給管道的下一個步驟
下一個步驟
這裏我們定義的是RoundablePathThrough
它就會將收到字典如實
再傳遞給下一個字段
下一個環節或者下一個步驟
再下一個步驟呢
就是我們剛纔定義的stdoutputRoundable
這個Roundable我們實例化
這樣就構成了一個管道
接下來通過invoke函數
通過傳入Alex這個字符串來調用
那我們解讀一下它的執行
在構成這個鏈中
當通過invoke函數調用的時候
第一個RoundablePathThrough
它傳遞的就是輸入Alex這個字符串
在這裏呢
它的輸出就是字符串Alex
因此在這裏就構建了一個字典
有一個鍵Name
它的值是Alex
這個字典傳遞給了第二個RoundablePathThrough
這第二個PathThrough
原封不動地將這個字典再傳遞給
下一個步驟stdoutputRoundable
因此在這裏這個outputRoundable實例
接收到輸入就是一個字典
有一個鍵Name
值是Alex
在這裏打印出來的
自然的就是Hey I received the name Alex
最後它還會如實地將收到的輸入傳遞給
下一個步驟
而下一個步驟已經沒有了
那在這裏這個鏈最終的
輸出結果就是Name Alex這個字典
我們可以簡單執行一下這部分代碼
會看到這一行輸出Hey I received the name Alex
如果我將這個名字改成
Simon
它應該也會說
Hey I received the name Simon
這就是RoundablePathThrough的作用
那Roundable就是在這個管道構建中
非常重要的元素
它的每一個函數
Invoke,String,Batch都會在管道中
發揮它們的作用
那這就是Roundable接口和RoundablePathThrough
接下來我們再介紹一個函數
ItemGather
這個函數實現輸入的部分傳遞
剛纔我們介紹的是輸入的完整的傳遞
輸入是什麼
那就完整的傳遞給下一個步驟
那如果接收到一個字典
我只想將其中某一個字段
或某一個鍵字對傳遞給
下一個步驟呢
我們就可以使用ItemGather
我們可以不需要傳遞完整的數據
通過ItemGather就可以實現字典中
某一個鍵的值得傳遞
非常簡單
通過例子就能夠明白究竟是怎麼一回事
在這裏呢
我們先引入了ItemGather
在這部分代碼裏
我們也構建了一個管道
那管道的第一步是來構建一個字典
字典中有一個鍵Name
Name的值是什麼呢
通過ItemGather
從輸入來獲取其中的字段
叫UserName這個字段
這個字典作爲輸入傳遞給了第二步
第二步呢是一個Roundabout Passthrough
它會如實地將收到的這個字典
傳遞給下一個步驟
下一個步驟就是STDUpRoundabout
這是剛纔我們實現的
實現的這個類
在這個類當中也會如實地透傳
唯一的區別就是在Invoke函數調用中
會在這個輸入中嘗試尋找
Name這個字段
並將其打印出來
那在這裏呢
可以看到這個鏈的第一步
是在輸入中去尋找UserName這個字段
那我們在Invoke的時候
可以通過UserName這個字段
來提供輸入
在這裏呢
我們的這個鏈的調用Invoke
輸入的數據是一個字典
有一個UserName字段
將其設置爲Alex
在這個調用中
我們依然會看到
在最後這個STDUpRoundabout的執行時
會打印出Hey, I received the name Alex
最終這個管道的輸出呢
因爲STDUpRoundabout這個類
還是將輸入如實的透傳
因此最終達到的還是這個字典
一個字段,Name
它的值呢是Alex
那希望通過這一部兩部分的介紹
大家對Roundabout接口
對Roundabout Pass-through和ItemGather
有了比較清楚的認識
知道如何使用它們
進行數據的傳遞
最後我們通過一個完整的例子
來看看爲什麼我們在
一些業務場景中會需要用到
這些功能或者接口
那在這裏呢會用到
除了藍圈,還需要有OpenAI
我們用了ChromaDB
作爲Retriever的數據源
既然用到了Chroma
我們後面大概率會用到TickToken
因爲要做Embedding
那就通過Pip install OpenAI的
ChromaDB TickToken
來完成這些包的安裝
既然用了OpenAI的模型
那在這裏大家按按
配置一下OpenAI的API Key
設置在環境變量中
在開始後續的
管道的構建,鏈的構建之前呢
先準備一個Retriever
這個Retriever是爲我們
提供了從第三方
獲取數據的能力
或者從外部獲取數據的能力
這樣在我們構建鏈中
就有了一個獲取數據的接口
在這裏我們用最簡單的方式
構建了一個向量存儲
我們通過文本來構建
基於Chroma來構建了
一個向量存儲
依賴的文本是
基於這個信息
這個呢
可以認爲是我的個人的
基本信息
我的名字
我的職業
以及我的生活的城市
或我工作的城市
通過這個向量存儲變量
獲得一個Retriever
我們可以先來簡單的
執行一下這份代碼
那接下來我們看看
這個Retriever變量
它的類型
它類是什麼
這裏打印出來
它類呢
叫VectorStoreRetriever
我們在這裏也引入了這個類
方便大家來查看
這個類的實現
我們剛纔介紹了
每一個類
它都會是
實現了Runable接口的
那我們來看看
Retriever這個
VectorStoreRetriever這個類
它是如何實現
我們打開它的定義
在這個類上
它有個積累
BaseRetriever
我們來看看
可以找到它的定義嗎
在這裏
很顯然
BaseRetriever是實現了
Runable接口的
它的Invoke又是如何實現的呢
我們向下翻
嗯
好像我怎麼
我翻過了嗎
這裏
Invoke
那我其實在這個
Python Notebook當中
也已經粘貼出了
Invoke函數的實現
那我們就可以從
Notebook這裏查看
它的實現呢
輸入接受的
期望是一個字戶串String
基於String
它會去查詢相關的文檔
通過掉GetRelevantDocuments
這個函數
也就是說從
基於輸入的字戶串
去查找相關的文檔
然後返回的是一個文檔列表
這就是Retriever
的Invoke函數的實現
那瞭解了Invoke函數實現
它的輸入期望的是什麼
它輸出
是什麼類型
那在構建管道的時候
我們就需要正確的使用它
確保
管道的上一個步驟的輸出
是Retriever期望的輸入類型
也就是字戶串
而Retriever的下游
下一步
步驟
是它的輸入
是Retriever輸出的類型
它們要匹配
這個管道才能正常工作
那這就是我對整個
Expression Language
構建的鏈
它在每一個環節
或者每一個步驟中
需要確保的
輸入輸出的類型的匹配
在瞭解了
Retriever接口的實現後
那我們來看看
下面做了些什麼
我們先定義了一個
ChartOpenAI的模型實例
構建一個提示字模板
我希望將剛纔
我提供的這個文本
作爲一個上下文的基本情況
我的個人基本情況
基於這個情況來提問
希望模型能夠理解
我所提供的
這個我個人基本情況
那我提問的時候
模型能告訴
回答出我提出的問題
那我們來看看
這個鏈是如何構建的
首先呢
構建一個字典
這字典中
有兩個字
Context和Question
Context這裏給到
它的是一個Retriever
這就是剛纔
我們構建的
向量存儲的Retriever
Question
我們在這裏做了透傳
爲什麼呢
因爲用了RoundablePathThrough
在這個構建鏈上
調用invoke的時候
任何輸入的文本
就作爲問題
透傳給了後續的
管道的後續步驟
那在這裏
我們可以看到
我調用了invoke
通過傳入
Who am I
這個問題
那這個問題呢
就透傳給了Prompt
那Context是通過Retriever
去獲取的
那我們來執行一下
這部分代碼
當然了
在執行前大家已經看到了
在Prompt後續的環節
管道銜接的是
一個模型
Model
這Model後面對接的是
輸出解析器
將其解析爲字符串
這部分內容呢
其實我們在上一期
視頻的分享中
也已經涵蓋到了
那有興趣的同學
可以去回顧一下
上一期的視頻
我們現在執行一下
這部分代碼
可以看到
它告訴我
我是Very Small物質
是一個軟件工程師
Software Engineer
Based in Dublin
接下來我再提一個問題
Where do I live
我並沒有告訴他
我住在哪
但是呢
我告訴他
I based in Dublin
所以他根據上下文的情況呢
告訴我
我生活在Dublin
那這個回答呢
都非常的符合我們的預期
最後我們來簡單回顧一下
剛纔構建的這個鏈
構建這個鏈
在每一個環節上
第一步
構建了一個字典
這個字典中有兩個字段
第一個字段是Context
這Context
也就上下文環境信息
從哪來呢
通過向量存儲的
Retriever獲得
Question
從哪裏來呢
它的值從哪來呢
它是通過
Roundable Pass Through實現的
輸入數據的透傳
因此在Chain
變量的Invoke函數調量式
得到的參數是什麼
它就
透傳給了
Question這個字段
來構建了一個字典
這個字典
就提供給了Prompt
這個Prompt
會基於輸入的
這兩個字段
來構建一個提示詞
在這個模板當中
可以看到
就有兩個字段
一個是Context
一個是Question
這正是爲什麼
在第一步的時候
構建
兩個字段
這兩個字段的一個字典
那Prompt是輸出
也就是提示詞的
值Prompt Value
如果大家還記得
剛纔我們已經看過
這個Chart Prompt Template
中
Invoke函數的實現
這Prompt Value
傳遞給Model
Model輸出
再傳遞給
String str output parser
進行輸出的解析
最後就得到了
我們現在看到的
這個
字符上的輸出
You are very small wood
a software engineer
based in Dublin
好了
這就是今天我們
所要分享的
在Expression Language當中
非常重要的接口
Roundable
整個Expression Language中
我認爲
在
鏈的構建
在管道的使用上
就是依賴了
這個Roundable概念
或者Roundable接口
所有實現的
Roundable接口的組件
是能夠被用來
在管道中銜接的
而管道的
銜接的每一個步驟
或者每一個
管道的環節
是否能匹配
取決他們的輸入
輸出的類型
是否能夠匹配
那有興趣的同學呢
可以在自己的
開發環境中嘗試一下
構建各種各樣的
管道
不一定
使用模型
在剛纔我們
對
Roundable和
Roundable Passthrough
這些類和
接口的
介紹中會看到
其實我們並沒有
使用任何
模型
沒有用到OpenAI的模型
那我們就是通過
這些接口的實現來
對接
也能夠構建出一條鏈
也能調用Invoke
函數
好吧
那我想這部分內容呢
如果同學沒有什麼問題
請務必在評論區
給我們留言
我們也會盡快
給大家回答
那這部分內容
是作爲後續內容
非常重要的一個基礎
那同學們
有什麼問題呢
也及時跟我們交流
好吧
那我想今天的分享
就到這裏
如果同學們覺得
這些內容有幫助呢
歡迎給我們點贊
也關注我們頻道
那我們就下期再見
對了
按照國際慣例
我依然會將所有的文檔
和代碼的鏈接
都放在視頻描述中
需要的同學呢
就在描述中取用
那我們就下次再見
下次再見
同學們拜拜
