33 Python LangChain + OpenAI 實現消息異步輸出

学习与实践
173粉絲
24 次觀看·2023年11月5日
消息異步輸出是ChatGPT等應用中常用的文本顯示功能,提供了更佳的閱讀體驗。
本期視頻通過控制台和Web應用兩個示例,介紹如何在基於LangChain框架的Python應用中,使用OpenAI的ChatGPT模型實現消息異步輸出。
Python FastAPI
https://fastapi.tiangolo.com/lo/
Python uvicorn
https://pypi.org/project/uvicorn/
Python示例代碼
https://github.com/sugarforever/LangChain-Tutorials/tree/main/StreamChat
大家好
剛纔我在ChatGPT上提了一個問題
北京在哪裏
模型給到了我們回答
會發現模型並不是在文字生成後一次性的
診斷顯示在頁面上
而是逐字逐句的輸出
也就是在邊接收數據邊顯示到頁面上
這給到我們更好的閱讀體驗
這種閱讀體驗
我們就稱爲了流逝的輸出
在籃球團體學習中
朋友們也經常提到同樣的一個問題
我們如何利用籃球框架
實現類似或相同的用戶體驗
如何實現流逝的輸出
今天我們就利用籃球框架Python版本
來分享如何實現同樣的體驗
我們會分兩個場景
第一個是在控制檯的輸出
也就是命令行執行腳本的輸出
第二個是webio
也就是網頁上
類似ChatGPT的這種用戶體驗
這種閱讀體驗是什麼樣
我們來到簡單的頁面分享
這正是我們今天想要分享的
一個web頁面的實現
當我們在這裏輸入一些文字
比如我想讓他告訴我
where is
隨便提的一個問題是上海的機場
會看到在這裏應用的文字輸出
是同樣的以流逝的輸出
逐字逐句的顯示了
大猿模型給到我們的答案
我們現在就進入今天的代碼分享
看看究竟如何編碼實現這樣的效果
當然第一個是場景是命令行
Python腳本的執行
在控制檯進行流逝的輸出
在這裏我在Luncheon Tutorials
代碼倉庫中創建了StreamChat
這個項目
這個文件夾當中有兩個腳本
一個是app.py
一個是server.py
app.py就實現了控制檯的流逝輸出
server.py是一個web應用
我們先來看看app.py
在這裏我們簡單的介紹一下代碼
在這裏頭
首先我們通過.env來加載到env文件
這裏面定義了OpenAI的API key
它會被ChatOpenAI所加載
要注意的是
異步的流逝輸出
根據我的測試
ChatOpenAI是支持的
另外一個類OpenAI大家也常用
它好像還不支持
不過如果同學們對這方面
有更深的研究
發現有不同的理解
也歡迎在視頻下方給我們留言
在這裏
當我們使用ChatOpenAI實例化的時候
我們需要注意
兩個參數
一個是streaming
我們需要設爲true
表示當前這個模型
是要實現流逝輸出的
流逝輸出如何處理異步的
處理輸出的數據
通過async iterated callback handler的實例來
來處理
這裏我們就實例化了一個handler
這個handler作爲callback的參數值
傳遞給ChatOpenAI
來完成大元模型變量的實例化
這個變量就會在後續被使用
當我們提問的時候
我們就用到了它
數據如何處理
既然是異步的輸出
顯然在編碼的時候
我們就是用到了異步調用的實現
我們就需要定義一個
數據輸出的消費者
我們定義了個consumer函數
來消費異步數據
實現非常的簡單
從這個handler
首先獲取一個迭代器
我們需要調用這個a-iter
也就是獲取一個異步的迭代器
然後通過異步調用的代碼
來從迭代器讀取接收到的數據
接收到數據做非常簡單的操作
就是寫到標準輸出並顯示
這裏我們把它直接flush
這樣就在控制檯
能夠馬上看到這個數據
這就是消費者
生產者是什麼呢
也就是數據
我們如何生成呢
就是通過調用大院模型
變量的a-generate函數
注意如果我們要實現異步的調用
就必須調用這個a-generate函數
這標是asynchronous generate
這樣我們就可以完成
對大院模型的提問
會看到這裏用到了asyncio這個包
它是幫助我們來構建異步任務的
首先我們需要一個event loop
在這loop上創建兩個任務
這兩個任務一個是生成數據的
也就是消息的製造者
在這裏我們調用a-generate來提問
同時我們創建另一個任務consumer
從這個handler當中來消費
得到的數據也就是得到的文本
最後我們讓這個loop永遠執行
這樣呢避免確保它不退出
就可以一直掛在控制檯
我們可以看到輸出的效果
現在呢我們就通過這個執行來看看
它的效果是什麼樣的
這裏在代碼中我們提了問
什麼是AI
What is AI
會看到在控制檯上
就出現了類似的流失輸出的體驗
逐詞逐詞的顯示在了控制檯
當然這裏呢我們是讓它一直運行的
所以這兒不會退出
那我們現在ctrl-c把它退出
這就是在python腳本中控制檯裏
如何實現流失的輸出
接下來介紹另一個場景
相對複雜的場景
也就是一個web應用當中
我們如何實現流失
在網頁上像chattybt那樣流失的
逐字逐詞的打印
那我們來看看這個簡單的server.py
這裏呢定義了兩個endpoint
當然整體而言
這個腳本用到了兩個主要的框架或者組件
一個是ubicone
一個是fastAPI
這兩個開源項目分別在這裏
ubicone是一個python的web服務器的實現
幫助我們跑一個快速的跑起來
一個輕量級的web服務器
這樣就可以提供
我們剛纔提到兩個endpoint
兩個url
一個網頁一個API
那另一個是fastAPI
這是一個幫助我們快速構建API的一個框架
那在這裏我還是會把所有的鏈接
都放到視頻描述中
那回到代碼這裏
我們通過ubicone
將這個web應用跑在了8888端口
那這兩個endpoint
一個API一個靜態頁面
都是通過fastAPI來實現的
fastAPI的實現非常簡單
我們可以先來看一下這個主頁
主頁在這裏
是一個html頁面
簡單的用到了view用到tailwind
當然access可以刪除
我並沒有用它來做API調用
因爲我發現在不同瀏覽器上
要針對stream來操作
好像還會有一些問題
這個我們後面談到
這個頁面暫時就不多做介紹
我們回到server這邊
接下來我們介紹服務端實現中
唯一的一個API
post API ask
這個API會被前端頁面使用
當我在頁面上輸入一個問題
點擊ask按鈕時
表單會提交
調用這個ask API
API期望請求消息底中
有一個question字段
這個字段的文本
會被用來調用coreopenai函數
這也是服務端最重要的一個函數
這個函數是一個ebo函數
它的實現跟控制檯腳本非常類似
在實現中會去實例化
一個ebo的回調處理器
以及一個chartopenai的模型實例
對大元模型的提問
也使用同樣的agender函數調用
差異在於在服務端
我們還實現了waitdown這個函數
這個函數接受agender函數的返回
這是一個等待的函數
我們會看到這個簽名
agender簽名上
它返回了一個coroutine
一個邪懲
waitdown函數還接受另一個參數
也就是一個asyncio
event類型的變量
我們在這裏是提供了callback down
這個down是callback handler當中的一個變量
是一個asyncio類型的事件
event
在waitdown函數當中做了兩件事情
一個是等待函數
就是available函數的執行
等待它的結束
在遇到異常或者是執行完畢的時候
通過調用event set函數來標識
任務的完成操作的完成
得到這個邪懲以後
我們需要ebo的執行它
那就通過asyncio來創建一個任務
執行該邪懲
最後在函數的
最後等待任務的完成
在期間如何處理
ebo消息的
大閱模型給到我們
ebo給到我們的回答文本
我們是通過回調的aether
函數調用得到的一個ebo的迭代器
通過迭代器來不斷的接收
模型給到我們流逝的輸出文本
通過迭代器得到的文本
就可以返回
我們所得到的字符串信息
這就是函數的實現
要注意的是
這裏也是返回的是一個
async iterable的
一個類型的返回的響應
這個響應會被用在哪裏
用在streaming response
這是API實現當中
返回的一個響應
這個響應是一個流逝的響應
這正是在
FastAPI中實現流逝響應
所要用到的類
要注意的是
除了這個
Core OpenAI的返回
我們還需要定義media type爲
text event stream
這表示HP響應是一個流逝的響應
接下來
我們就可以在前端頁面上使用它了
前端頁面的使用
在這裏我們看看調用
我們快速瀏覽一下代碼結構
前端頁面上
使用了view
當然這裏好像用的是view2
如果大家用的是view3版本
對應的可以做一些必要的調整
按鈕上的提交
會通過fetch函數
去調用API ask
方法是post
請求題就是question字段
唯一的一個字段question
query數據綁定的就是輸入框
在這裏通過響應的消息體
得到它的reader
在這裏得到的reader
我們如果直接從中讀取數據
我們會看到這裏是不斷的讀取數據
也就是流逝數據的輸出響應
這個數據是uint8array
就是無方整形的數組
因此需要text decoder
實例來對它進行解碼
這樣才能得到文本
我們將文本不斷追加到answer
這個數據字段
顯示到了頁面上
我們現在就來看一下
再來回顧一下頁面上的效果
比如我在這裏問他
what is fastAPI
看看他知不知道
我還不確定我把它運行起來沒有
都沒有運行
對
這裏我們需要將腳本運行起來
這樣服務器就跑起來了
它運行在了8888段口
現在我再來點擊ask
會看到它就像chart pt一樣
通過流逝的形式
異步的將大圓模型的響應
也就是文字
輸出在頁面上
這也是我們對於用戶來講
對於讀者來講
比較好的一種閱讀體驗
同學們如果對
與這方面感興趣
或者在自己的產品和項目中
正好希望使用這種特性
也歡迎大家參考
我們今天所分享的這些實例代碼
在這部分
大家還有什麼問題
也歡迎在視頻下方
的評論區跟我們交流
今天我們的分享就到這裏
當然會所有的代碼
包括相關文檔鏈接
我都會放到視頻描述中
需要的同學就到描述中取用
感謝大家收看
我們就下次再見
好
同學們
拜拜
