40 Chainlit - 比Streamlit更快速的LLM應用開發工具

学习与实践
173粉絲
1 次觀看·2023年11月5日
本期視頻我們分享Langchain生態中新興的LLM應用快速開發工具Chainlit。
3分鐘完成LLM功能構建不是夢!
Docs - Chainlit
https://docs.chainlit.io/overview
Demo
https://github.com/sugarforever/chainlit-example
大家好,我是大木頭
已經有些時日沒有分享編碼方面的技術內容了
最近分享了一些關於新興的AI工具、AI產品的使用心得和體會
我想今天也是時候咱們回到Luncheon
繼續分享一些Luncheon本身或它生態中的一些技術內容
在較早的一期視頻中,我曾經介紹過一款Python框架Streamlet
它是幫助我們快速構建和分享機器學習和數據科學應用的工具
有興趣的同學可以回到當時這期視頻
來了解Streamlet加Luncheon如何快速的構建AI應用
當時我們使用的事例是PDF的聊天機器人
今天我們所要分享的是
在Luncheon生態中衍生出來的一個新的框架和工具
也就是今天的主角Chainlet
它能夠更加快速的構建類似的應用
當然聰明這也可以看到
它的亮點是與Luncheon框架的集成來開發大元元模型應用LLM-UP
接下來我們就基於它的文檔來完成安裝配置
並參考事例來構建一些基於大元元模型的功能
來看看它是如何帶給我們非常極速的開發體驗
如果曾經使用過Streamlet這個工具的同學
應該能夠了解到它的開發體驗非常的快速
在開發中我們可以不需要去考慮前端的開發的一些細節
比如HTML CSS Javascript
但是我們還是需要去對頁面做一些規劃
在哪個位置顯示什麼樣的輸入框
顯示什麼樣的文字表單等等
那麼Chainlet爲我們進一步簡化了在開發中的這些細節
我們就先從安裝開始
安裝非常簡單
只需要在Python 3.8版本以上通過Pip install Chainlet就可以完成安裝
那麼運行的風格與Streamlet也非常的相似
我們現在就來執行一下
當然在這裏我已經安裝好了Chainlet
代碼會分享在Chainlet example代碼倉庫
有興趣的同學可以到倉庫中取用代碼來自行做一些修改或者體會
我會將相關這些鏈接全部都放在視頻描述中
需要的同學就到描述中取用
當然在這裏我已經完成了安裝並配置了Python的虛擬環境
在這裏我們直接運行一下Chainlet
Hello
可以看到在運行起來以後是一個什麼樣的情況
我什麼都沒有配置代碼也沒有額外添加
在這裏會看到他給到我們一個提問
名字是什麼
比如說我告訴他小明
會告訴我安裝是工作的
現在可以構建自己的Chainlet應用
其實看到這個頁面就已經代表一切工作正常了
這是安裝的時候我們所需要去關注的
當然了後面這些步驟大家也可以通過文檔來逐個完成
我們首先要進入的是最簡單的一個例子
就是如何來開始我們的代碼編寫
代碼編寫從哪裏我們開始呢
我們首先從最最簡單的一個例子
在這裏會看到他不僅僅集成了Lancher
他還支持Llama Index和LamFlow
那這部分呢還會在後續逐漸的完善
那麼我們也會在後續呢來分享更多這方面的事例
今天我們就集中在Lancher上
在Lancher的集成上呢非常非常的簡單
使用跟Chainlet也非常類似
我們只需要定義一個Python腳本
定義Python腳本的業務邏輯
那麼就可以在頁面上看到效果
在這裏呢我們通過Lancher的集成來看第一個最簡單的事例
我們引用的就是現在這個事例代碼
那麼我在這裏呢已經準備好了這個app.py
在這裏看到其實這部分代碼呢
核心就是Lancher框架的應用
用到了Prompt模板
用到了AOMChain
其中呢我們在這裏用的是ChartOpenAI
也就是ChartModel
有一個模板
這個模板呢就是這個template
變量就是Question
那非常非常的簡單
其中有幾點我們來簡單的分享一下
在事例代碼中在文檔中呢
這裏會定義OS Environment
也就是定義OpenAI的API Key
這是大家需要提前準備好的
我在代碼這裏呢
準備了一個.env.example
會有兩個key
這兩個key呢是在今天會用到的
目前這個場景中只需要OpenAI API Key
大家按照這個.env.example
複製一份.env
對應的把API Key配置上就行
根據我的測試呢
這份代碼還可以進一步精簡
這個OS Environment這部分呢是不需要的
因爲.env是會自動加載
框架好像已經做了這一步了
那我馬上可以從那個實際代碼執行
你看到這個效果
那先簡單介紹一下這部分代碼
在這裏呢通過了這個標註
來定義一個Lantern Factory
這是一個工廠函數
函數返回一個Lantern的鏈的實例
在這裏呢就是一個LAM Chain
在這裏面完成了實例化並返回
這個實例就會被這個應用
在後面的交互中使用
在這裏會發現我們並沒有定義
其他任何頁面上的提問輸入框
以及消息顯示的組件
那我們只需要一個工廠
一個Lantern的工廠實例就好
那工廠的函數定義好了以後呢
我們可以執行這個代碼
就已經可以工作了
因此這是非常非常快的
我們現在退出我們來執行一下
要執行一個腳本的用的是channel.run
加上這個python腳本的名字
-w表示會監聽代碼的變化變動
這樣呢就不需要重新啓動這個進程
就可以加載修改過的代碼
在這個命令行輸出
大家會發現這裏呢會加載.env文件
因此呢我們其實就不需要
手動的去指定環境變量
只要在.env文件中配置好就行
當然如果咱們不使用.env這種
環境變量的管理方式呢
那大家就需要按照文檔中這種描述方式
去自行的管理這個API key
在代碼中去管理
那在這裏每次啓動後呢
會自動打開這個頁面
在這裏就可以進行交流了
輸入消息
比如我來聊問他一下
where is 北京
這就進入了聊與模型的交互
在這裏呢我們需要注意
在交互中非常重要的一個特性
就是chain.net給我們提供的
在每一次交互中
這裏會看到他究竟執行多少步
這個執行的是什麼
做的是什麼樣的交互
我們可以看到在這裏呢
LMchain是做了這麼一個操作
執行了一步
took one step
北京是成中國的首都
那我還可以用中文交流
北京的經緯度
那他就會利用這個LM去做這個問答
那這裏呢也是一步
那下一個視頻中會看到
這裏會出現多步的操作
那這就是chain.net爲我們帶來的特性
就是我們只需要關注
與LM相關的業務邏輯和代碼的開發
那其他的部分都已經完完全全
被框架所支持了
包括了交互
用戶界面的這些元素
如果大家點擊這個prompt
也會打開這個playground
大家可以去這個playground
自行去做一些修改
然後在這裏還可以選擇不同的模型
然後進行一些體驗
這邊的體驗
不會影響到繪畫這邊的操作
這個是剛纔我的一個繪畫的窗口
在這裏也可以關閉
比如說我們修改成上海的經緯度
你知道嗎
我們來看看他會有什麼樣的結果
在這裏會看到他的回答
就是上海的經緯度是多少
這就是我們如何使用這個playground
這裏我們可以退出
繼續
這就是一個非常非常簡單
最最最基本的chainlet應用
所必要的元素
那就是在與Luncheon集成的時候
我們是需要定義一個Luncheon的工廠函數的
他爲我們返回一個Luncheon的鏈
當然這裏呢
也不一定是一定使用LMchain
大家可以使用其他的chain
比如說VectorDB QAchain等等
這是第一個例子
第二個例子呢
想分享的是相對複雜一些的一個例子
這個例子也來自於文檔部分
那就是AutoGPT
這個AutoGPT呢
當時我們曾經有一期視頻
也分享瞭如何基於Luncheon
來實現這個AutoGPT
我們可以參考Luncheon的官方文檔
官方文檔對這部分呢
也有介紹
也有一個示例
這是當時我們曾經也分享過的一個示例
其中就用到了三個Luncheon框架的工具
一個是SERP API的包裝器
是提供了搜索功能
他的搜索呢
使用的是谷歌的API進行搜索
另外兩個工具呢
就是寫文件和讀文件的工具
那這份代碼呢
基本上就拷貝到了AutoGPT這個例子當中
那在chainlet框架之下
這個實現該怎麼做呢
我們來簡單的看一下
那我們先停掉現在這個執行
接下來我們回到這個文檔
這裏會需要安裝一系列的包
除了chainlet Luncheon OpenAI
還需要Google Search Results和Face
Face在後面我們會看到
它是被用來做這個向量的存儲
做向量存儲
在這裏呢
大家還需要額外安裝的一個就是TickToken
這裏好像沒有列出來
我跑的時候
發現這裏還缺失了一個TickToken
因此這個也是大家需要安裝的
安裝方式呢
也就是pip install tick token
這個呢
會被在embedding部分用到
好
那這是這部分
就是在文檔這個示例當中
小小的一個缺失的地方
接下來呢
就是這部分代碼
我們其實可以直接拷貝到代碼的
文件裏面就可以使用
在這裏呢
我把它也做了一番拷貝和改造
將一些
其實都是一些代碼級別的存購
將一些
類的實例化等等
都移到了這個工廠函數中
這個Luncheon Factory函數中
然後對這個函數的執行呢
我們就簡單的做一番快速介紹
Auto GPT的目的在於
讓模型能夠自行判斷
接下來該做什麼
爲了完成最終目的
應該將整個過程拆分成哪些步驟
哪些任務來做
呃
我們在這裏面呢
爲他提供的工具
包括了搜索工具
寫文件工具和讀文件的工具
那在這個工具之下
我們可以讓他完成一些相對複雜的任務
讓他自動化的去
去規劃將要做的事情
做的任務
接下來呢
就是要用OpenAI的embedding
OpenAI的embedding
它的維度Dimension是1536
這裏呢
我們就用是這個參數
用到了Face作爲向量存儲
在這裏呢
大家看到使用的是內存的存儲
Auto GPT
這個是藍權框架給我們提供的一個一個類
這個內容來自藍權框架
那這部分內容就來自於藍權框架的文檔
Auto GPT這部分相關的內容
其實這部分內容呢
按照我剛纔的介紹
他都是從藍權的官方的這個事例當中參考過來的
那這部分內容就沒有
就不需要過多的介紹
我們會看到這就是構建藍權
一個實例
一個大葉模型鏈的實例的工廠函數
接下來呢
第二個要用的就是ROM
這個ROM呢
是每一次交互中需要執行的函數
他用到的註解藍權ROM
這個藍權ROM是做什麼呢
我們可以來到這個chainlet文檔的API部分
API reference部分
在這裏會看到有一個藍權ROM
我們來看看這裏
他簡單的一些事例當中給我們介紹的
這個是用來做什麼的
這是存在默認的藍權對象的行爲的
他告訴這個藍權對象
接下來該怎麼做
默認行爲就是進行問與答
去調用語言模型的API進行交互
那在這裏呢
就需要做一些定製化
我們就可以通過藍權ROM來
重載默認的藍權對象的行爲
我們在這裏重載的讓他做什麼呢
就是調用這個agent
這個代理的ROM函數
這個agent呢
就來自於剛纔我們實例化的這個agent
這兩個參數也是這個藍權ROM這個註解
爲我們提供注入的
第一個呢是實例化藍權的agent
這個對象或者這個代理
第二個呢就是用戶輸入的消息
這個代理是什麼呢
就是我們剛纔在藍權工廠函數
返回的這個agent
因此在整個業務流程上
首先藍權的工廠函數會實例化這個代理
這個agent
那這個agent在每次用戶輸入一條消息後
被框架用來調用ROM函數
這個ROM函數呢
是我們用藍權ROM註解標記的函數
函數輸入就是兩個
第一個呢是工廠函數返回的對象
在這個我們這個實例當中
就是這個代理這個agent
另一個輸入參數呢
就是用戶的輸入的信息
input
我們通過chainlet爲我們提供的make a sync函數
將agent的ROM函數
這個執行函數
以異步的形式執行
然後等待它的結果
最後將結果顯示在了
頁面上
怎麼顯示呢
通過message這個類來構建一條消息
就能夠顯示在頁面上
要顯示呢
是通過調用send的函數來
將其顯示
或者是發送到頁面前端
這裏頭用到了不少關於異步的
異步調用的這麼一個機制
這是python
編程語言的機制
那今天呢
我們不會過多的介紹sync await
那後續的分享中
我們會進一步介紹如何
利用python的異步編程
在chainlet當中
開發一些異步的功能
那message是什麼呢
我們可以通過這裏
API文檔看到
message是一個來定義
發送流逝的
或者編輯刪除消息的一個接口
簡單講
當我們想要在頁面上
實現消息交互的時候
就用這個message
那這個示例中呢
完成的就這麼一個事情
工具提供了搜索
讀文件和寫文件的功能
那接下來呢
我們就運行一下這個應用
運行方式也非常的簡單
用chainlet run autogpt-w
執行這個autogpt的應用
這個應用呢
它會自動在頁面上打開
打開以後
我們就可以與它進行交互
那非常經典的一個例子
就是寫一個天氣的報告
Weather for Beijing
給我們寫一個
北京的天氣報告
在這裏呢
會看到使用的是LMchain
在這裏會看到
它的執行的邏輯
首先呢
它沒有其他事可幹
那就開始寫天氣報告
那接下來呢
首先就要去搜索
北京的天氣
那它就繼續工作
搜索北京的天氣
Weather in Beijing today
它搜索呢
就是用了谷歌的搜索的API
谷歌搜索的API
剛纔我可能沒有介紹這部分
它搜索API來自於
或者基於谷歌的SERP API
所以大家呢
要到這裏來申請API Key
在這個頁面上註冊以後
就能在後臺
得到自己的一個Token
將Token配置到自己的
.env中
SERP API Key
當然了
如果沒有使用.env
不要緊
可以按照文檔的介紹
在這裏呢
自己指定環境變量
在代碼中去指定
我用了.env
那在這個代碼中
就可以這兩行
就可以刪掉了
那這裏它已經完成了
我想做的事情呢
我們一步一步看
它完成了三步
第一步呢
是去搜索北京的天氣
當然了
使用的是谷歌的搜索API
第二步呢
有了北京天氣
它就會去寫這個天氣報告
寫入的文件呢
是weather report txt
第三步呢
它去判斷
已經完成了
天氣報告的書寫
就可以完成這次的交互了
任務完成
就已經把報告寫好了
報告在哪裏
我們來到代碼倉庫這裏
會發現weather report
這在本地
它就說北京的天氣呢
晴30度
風怎麼樣
10公里每小時
空氣質量不錯
那這就是如何使用
Auto GPT
或者如何使用Luncheon
來在應用中快速構建
基於大園模型的功能
看起來代碼量
比使用Streamlet
更加的少
那開發速度上
就會更快
我們就可以專注於
Luncheon相關的
業務場景的編碼工作
而將前端等等
甚至任何跟前端相關的
一些開發工作
就可以交給框架
或者工具
已經替我們完成了
那這就是我們今天
所分享的工具Streamlet
有興趣的同學呢
可以趕緊下載
安裝體驗一下
這個是他們的
Github代碼倉庫
我們剛纔所分享的呢
就是這個文檔了
那同學們趕緊體驗一下
看看對他有什麼評價
也歡迎在視頻下方的評論區
與我們交流
我們後續來分享
更多基於Chainlet開發的
更高級的一些
大元模型的功能和應用
好吧
那今天的分享就到這裏
咱們下次再見
對了
那同學們如果
對我們的內容感興趣呢
也歡迎訂閱我們頻道
我們會及時的發佈
更多有趣的內容給大家
那我們就下次再見吧
同學們拜拜
