如何使用LangSmith創建測試數據以及對RAG評估

TechDL
11粉絲
5 次觀看·2024年5月24日
本視頻為您講解如何通過使用LangSmith創建評價RAG的數據集以及對RAG評估。
AI開發前途無限
歡迎來到AI開發者的頻道
今天這個視頻呢
我們講一講RAG中一個非常非常重要的問題
就是如何評估RAG系統
這幾天有一個小夥伴留言說5分鐘建好一個RAGDemo一年都上不了線
這位小夥伴的留言真的是說中了RAG的痛點
就是入門容易
但是效果不行
想改進呢
但是又不知道該用哪種技術
系統建起來了
試了幾個問題呢
看着還不錯
但是呢上線後好不好用
就完全不知道了
那如果你也碰到以上這些問題的話呢
那麼很可能是
你缺少一個很重要的環節
就是對RAG系統進行評估
甚至我發現即便是最近比較有影響力的Regflow和qanything當中的都沒有關於如何對RAG系統進行評估的介紹
難道評估不重要嗎
當然不是
你可以去看看llamaindex和LangChain當中這兩個工具呢對評估的介紹
強調的是特別的重要
甚至在LangChain當中呢
還專門製作了一個LangSmith用來製作數據和對系統呢進行評估
今天這個視頻呢
我就爲你演示一下如何使用LangSmith來幫助我們評估RAG系統
使用LangSmith對RAG系統進行評估和改進呢
這裏它一共列出了四個步驟
第一步呢是創建一個測試用的數據集
第二步呢就是定義你的問答系統
第三步呢
就可以使用LangSmith進行評估
第四步呢
就是根據這個評估呢就可以進
行迭代更新系統了
要使用LangSmith呢
首先你需要創建一個API Key
通過這個網址呢登錄LangSmith
如果你沒有賬號呢
首先就需要創建一個賬號
登錄之後呢
按照我給你畫的這個示意圖
你就可以創建一個API Key了
有了API key之後呢
在程序當中呢添加這一部分的代碼
將這個Apikey呢寫到這個位置
就可以開始使用LangSmith了
那要測試一個RAG程序
你必須得有一個測試集
LangSmith當中呢要創建一個測試集呢
這點我給你列出了有三種方法
第一種方式呢就是通過CSV文件呢進行導入
如果你已經事前準備好了測試機呢
你可以將你的數據集整理爲CSV文件
這樣呢你就可以將你的文件呢導入進去了
導入的步驟呢一共有兩步
第一步呢就是進入這個dataset的一個管理界面
點擊這個new dataset
進入這個界面之後呢
我們就可以點擊這個位置呢去選擇一個CSV文件
然後呢就是選擇這個數據集的類型
RAG的測試集呢選擇第一個就可以了
在下面呢是可以設置這個使用的字段以及呢對數據進行預覽
最後呢點擊這個create創建就完成了
那第二種方法呢是可以通過代碼呢進行創建
這邊呢我給出了一個代碼
我覺得通過代碼的這個方式呢可能更適合於通過程序呢來自動收集數據的一種方式
最後一種呢你可以通過LangSmith提供的這
個追蹤的功能
來進行創建這個數據
這種數據添加方式呢
第一步呢就是我們需要首先創建一個RAG的系統
第二步呢就是準備一些問題
然後呢通過這個RAG系統呢來對這些問題呢進行解答
第三步呢就是在這個LangSmith的後臺
對這個測試數據集呢進行管理
添加或者修改
好下面我們來看一下
這邊呢是我準備的一個RAG的一個程序
這裏呢是我準備的這個問題
下面呢我就要將這個問題的解答添加到我的一個數據庫當中去
首先呢我點擊這個運行好的
這裏我們可以看到已經執行完成了
我們到LangSmith的後臺
來看一下這裏的test
一呢是我設定的這個project的名稱
我們點進去看一下
在這邊我們就可以看到
這就是剛纔我們執行的這個問題
這個後臺
他提供了這次執行的很多的一個信息
這個呢是我們的問題
在這裏你還可以看到這次問答呢
它使用了什麼樣的參考文檔
最後呢是我們的問題
也就是說呢
這一部分呢是整個模型進行解答的一個提示詞
這邊顯示的呢是模型的整個的一個輸出
最後這個呢是經過過濾之後輸出的一個結果
所以說在調試我們這個RAG系統的時候
使用這個LangSmith
還是非常的好用的
那麼我們怎麼樣把這個數據添加到數據庫當中去呢
要把這個問題和他的答案添加到數據庫呢
我們就可以點擊這個data
set下面的這個圖標
然後點擊上面的add to data set
這邊呢你就可以看到這有問題
下面是這次的解答
如果這個解答不正確的話呢
你可以在這邊進行修改
然後在下面我們可以選擇一個數據庫
比如我們點擊這個數據庫
點擊submit
我們來這個數據庫
這邊來看一下
點開這個examples
從這裏你就可以看到
這就是我們剛剛添加的這一條記錄
在這個界面我們也可以對它進行修改
比如說我們可以將它刪除
也可以對其他的數據呢進行修改
數據庫添加完之後呢
我們就可以基於這個數據庫
對我們的系統呢進行評估
這個LangSmith當中
也提供了一個非常便捷的功能
讓我們非常方便的獲取這個評估的代碼
這個呢就是我們可以點擊這裏的new experiment
這邊呢是提供的一些評價的一些維度
這些維度呢是現在我們大約模型評估當中
經常使用的一些維度
對於rag系統呢
我們選擇最多的呢
其實是這個correctness
也就是正確性
這個右邊部分呢
就是這個系統進行評估的一個完整的代碼
你可以把這個代碼呢整個拷走
也可以呢只拷取這個最下面的這個用於評估的這個部分
這個代碼呢是我根據LangSmiths後臺的代碼呢進行修改後的一個版本
每一次執行
這個project的name是不能進行重複的
所以呢這裏呢我稍微修改一下這個值
然後我們來執行一下
我們從後臺可以看到這個已經被創建了
所以他正在執行當中
執行完之後
這邊就會出現一個新的結果
有了對RAG系統的評估方法之後呢
我們呀就可以嘗試不同的方法呢來不斷地調試我們的系統
從而呢逐步迭代改進它
這個用於評估RAG系統的測試集呢
也不一定
非要擁有答案
通過這個LangSmith提供的這幾個評估器
我們可以看到第一個呢
這個QA的這個評估器呢
這個方法呢
是需要測試機擁有正確答案的
但是這個context的QA呢
它並不需要我們的這個測試機擁有正確的答案
你提供上下文之後呢
他就通過另一個大圓模型呢
對你這個當前的這個系統做出的答案呢進行評估
這個cot QV
也就是這個基於思維鏈推理的一個評估方式呢
它與這個context QV的評估方式是一樣的
也是呢針對這個沒有答案的情況呢進行評估
RAG系統呢
除了這個最終的這個正確性的一個評估方式之外呢
還有一個召回率的評估
那麼如何進行召回率的評估呢
這個以後
我們再進行介紹
好的以上呢
就是今天的分享
感謝您的收看
我們下期視頻再見
