超越LightRAG!kotaemon零代碼打造RAG知識庫!Haystack企業級RAG框架輕鬆實現檢索增強生成!Haystack整合DeepEval,快速準確評估檢索增強生成結果 #rag

歡迎來到AI超言語 最近有小夥伴讓我介紹一下lightrack這個開源的rack框架
經過我這幾天的測試和使用 並且對這個項目的源代碼也進行了分析
發現這個項目並不如想象中的好
因爲對於大部分使用rack框架的用戶來說 他們的需求
要麼就是搭建個人的知識庫 要麼就是爲企業搭建知識庫
對於需要搭建個人知識庫或者企業知識庫的用戶來說
我們所選擇的框架 首先就是穩定 其次就是簡單易用
而這個開源的lightrack 它在穩定性方面並不是很好
因爲這個項目的代碼不夠健壯 而且對模型的支持度不好
並且它不支持pdf等其他格式的文件 只支持txt文件
還有就是在這個項目的源代碼中 像openai等模型 它採用了硬編碼
它將gbd4o gbd4o mini 還有cloud等模型硬編碼到了代碼裏
想自定義模型的話 我們只能自己修改項目的源代碼
對於不懂編程的用戶來說 還是具有一定挑戰性的
不論是對企業用戶來說 還是個人用戶來說 我都不太推薦這個項目
因爲真正符合企業標準的rack項目 能夠讓用戶快速上手
而且能夠支持多種文件格式 像這個項目它只支持txt格式
並且能夠真正用於企業項目的rack項目
首先就是bug足夠少 代碼足夠健壯 能夠支持複雜的項目
所以本期視頻將爲大家介紹兩款開源的rack框架
第一個框架是codeima
它是一個具有UI界面的rack框架
非常適合沒有編程經驗的用戶快速構建自己的知識庫
第二個框架就是黑stack 這個框架我在會員羣中多次爲大家推薦
這個框架非常靈活且強大 非常適合具有編程經驗的開發者
快速構建企業項目
視頻的開始先爲大家演示codeima這個框架的部署
以及我們如何用它快速構建一個個人的知識庫
在演示之前我們先看一下這個框架的介紹
它是一個開源項目 專注於構建和使用基於檢索增強生成的管道
主要用於文檔的問答任務
它提供了一個簡單的用戶界面 允許用戶通過混合檢索
在文檔中進行高效查詢 確保返回結果的高相關性
它支持多個大語言模型 以及北立模型 比如說拉瑪cpp或者歐拉瑪
主要功能包括支持用戶登錄 管理私鑰和公共文檔集合
並且能夠組織和管理各種大模型和嵌入模型
它提供了一個靈活的框架 能夠輕鬆構建自定義的reg管道
並且集成了gradio的交互式UI
而且支持複雜推理功能 比如說問題分解 多條問題推理一等
並且可以通過docker進行部署
下面爲大家演示 我們如何在本地安裝這個項目
我們可以直接執行這條命令 用docker來安裝這個項目
這裏它正在拉取這個docker鏡像 我們要稍等一下
除了用docker安裝 我們還可以用命令來安裝
我們先用這條命令創建一個虛擬環境
創建好虛擬環境 我們再用這條命令來激活這個虛擬環境
下面我們再用git clone命令 將這個項目克隆到本地
項目克隆好之後 我們再用cd命令進入這個項目的文件夾
下面我們再用這條命令來安裝這個項目 最後再執行這條命令
當命令執行完成之後 我們進入這個項目的文件夾
將項目中的這個文件複製一份 並且重命名爲.env
然後我們雙擊打開這個env 打開之後就可以看到這個文件的配置
這裏它支持openai 還支持很多其他的api 包括支持歐拉瑪等本地模型
這裏就是歐拉瑪中的模型
這個大家可以根據自己在歐拉瑪中的模型進行修改
這個就是歐拉瑪中的嵌入模型 如果想使用openai的模型的話
這裏需要填寫openai的api key
然後這裏就填寫自己所需要的模型就可以
這裏就是嵌入模型 大家也可以填寫openai的其他的嵌入模型
這些都設置好之後直接保存就可以
我們在命令中用passing 然後app.py來運行這個項目
運行之後它會自動在瀏覽器中打開這個鏈接
現在我們就看到了這個ui界面
在左側這裏我們就可以上傳我們所需要用作知識庫的文件
我們直接點擊上傳 然後我們隨便選擇一個文件
我這裏選擇一個txt文件 它支持pdf等多種格式的文件
我們就直接傳一個txt的文件
上傳之後它這裏會自動創建索引
這裏提示這個索引創建完畢
下面我們就可以在這個輸入框中輸入我們要檢索的問題
我輸入的這個提示詞是提供一些關於這個提示的案例
因爲剛纔我們用的這個文件
它是一本關於介紹拆TPT提示詞的電子輸入
所以我們在這個輸入框讓它給出關於這個提示詞的一些案例
這個提示詞輸入完成之後 我們直接點這個發送按鈕
這裏它正在檢索 我們要稍等一下
這裏就是顯示的原始文檔
這裏它已經檢索到了這個內容 正在輸出
這裏是它檢索到的這些內容
它會在原始文檔中做出標記
我們可以看到這裏都是它做出的標記
而且我們還可以點擊左上方的設置
在設置這裏我們還可以修改自己的登錄密碼
而且我們還可以點擊這個檢索設置
然後這裏我們可以選擇我們的模型
這裏我選的是openai 還有這個檢索模式
這裏我選的是混合檢索
而且它還支持graph rack的設置
這裏就不再爲大家演示了
而且我們還可以點擊推理設置
然後這裏大家可以根據自己的需求來進行相關的設置
而且我們還可以點擊這個resources
這裏就是顯示的創建的縮影
在語言模型這裏我們也可以進行設置
而且還可以添加語言模型
在嵌入模型這裏大家也可以根據自己的需求進行設置
在用戶這裏大家還可以根據自己的需求去創建用戶
輸入用戶名然後密碼
然後點擊創建就可以
而且我們還可以點擊這個files
我們也可以直接從這個位置來上傳
我們需要做成知識庫的文檔
選擇好文件之後我們直接點擊這個上傳並且縮影
這樣的話我們就可以看到右上角這個進度
它正在創建這個縮影
下面我們再點擊這個chat
再點擊這個圖標信念一個對話
在文件集合這裏我們可以直接點擊這個搜索所有
也可以點擊搜索單個文件
點擊搜索單個文件之後我們直接點這個下拉
來選擇我們要監鎖的這個文件
選擇好之後我們就可以在底部的輸入框
輸入我們要監鎖的內容
點擊發送按鈕
這裏它已經監鎖到了這些內容
右側就是原始文檔中的這些內容
而且我們還可以在左側點擊這個下拉
來查找我們之前的對話
我選擇昨天的這裏就會顯示出來
我昨天的這些監鎖的這些歷史
這個框架非常簡單易用
好介紹完了這個項目
下面爲大家介紹黑stack這個框架
因爲它非常適合構建企業應用
而且非常適合就編程基礎的用戶
在演示這個項目之前
我們先看一下黑stack的介紹
它是一個開源的AI協作框架
旨在構建基於大語言模型的企業級應用程序
它非常適合構建監鎖增強生成
問答系統 語義搜索和聊天機器人等應用
我們看一下它的主要特點
首先它是模塊化管道
它通過組合不同的組件
比如檢索器 生成器和文檔存儲
幫助開發者構建複雜的AI管道
每個組件可以根據不同的需求進行自定義配置
再就是技術無彎性
它支持多種技術和模型集成
用戶可以根據不同的需求
在各種模型和數據庫之間進行切換
它支持檢索增強生成
還有語義搜索
檢索器會根據查詢獲取相關文檔
大模型則根據上下文生成相關答案
這個特性在客戶支持 知識庫等
需要精準文檔檢索和生成答案的場景中非常有用
還有就是文檔存儲
它支持多種文檔存儲選項
方便管理和快速檢索大量數據
再就是可擴展性
它支持開發者創建自定義組件
或與第三方服務進行集成
這樣的話黑stack就非常適用於研究
並且適用於企業級的應用
好 介紹完了黑stack
我們先使用黑stack和mirrorverse
創建一個檢索增強生成的系統
下面我們直接在colab中來執行這行代碼
來安裝所需的這些依賴
下面我們再執行這個代碼
來設置OpenAI的API key
下面這裏我們準備了一個文檔
這個文檔就是剛纔我們用於演示的
關於介紹拆離GDP70次的一本電子書
然後我們直接執行
將這個文檔下載到本地
下面我們需要執行這段代碼
這段代碼就是創建索引流程
並且將文本轉成文檔
並且分割成句子
然後進行嵌入
這些內容會寫入這個mirrorverse的向量數據庫中
因爲mirrorverse它是一個開源的向量數據庫
它的效果也是非常不錯的
然後這個向量數據庫
就會存儲在本地的這個文件中
我們直接點執行
就可以創建這個向量數據庫
創建好之後它會在本地生成這個文件
我們直接點這個文件的位置
就可以看到它這裏生成了這個叫mirrorverse的文件
下面我們再執行這個代碼
創建這個索引通道
然後我們再繼續往下看
然後這段代碼就是創建索引流程
它使用向量相似度搜索引擎
從mirrorverse文檔存儲中檢索文檔
然後這裏是我們輸入的要檢索的內容
我們讓它提供幾個關於這個T14的案例
然後我們直接執行這個代碼
可以看到這裏它很快檢索到了這個內容
我們可以回到這個電子書
然後看一下它檢索到的這些內容是否正確
這裏就是它檢索到的這些案例
這些是完全沒問題的
然後我們再繼續往下看這段代碼
這段代碼就是創建一個檢索增強生成的功能
它是結合mirrorverse unbinding retriever
和openai generator使用檢索到的文檔來回答問題
在這段代碼中這裏就是設置T14的模板
這裏就是設置模型
這裏我們使用的是GPD 4 Omini模型
然後這裏就是設置openai的API key
window這裏我們就設置爲0
這樣的話它就能更精準的進行回答
然後這裏就是運行這個檢索
並且將檢索到的內容複製給這個變量
然後這裏就是輸出這個檢索到的結果
我們直接執行這個代碼
看一下這個檢索到的結果
這裏就是通過檢索增強生成檢索到的這些結果
這樣的話我們就輕鬆使用黑stack
實現了檢索增強生成的代碼
而且這個代碼非常簡單
並且它支持多種文件格式
還支持我們自定義模型
可以看到這個代碼非常靈活
非常適用於企業項目
好下面我們再看一下第二個案例
第二個案例是使用的黑stack和deepwell
實現對檢索增強生成的結果進行評估
像在之前的視頻中
我有用ragas爲大家演示
如何評估檢索增強生成的結果
然後這個黑stack框架
它支持用deepwell框架
評估檢索增強生成的結果
這個代碼非常簡單
我們先執行這個命令
來安裝deepwell和黑stack的依賴庫
下面我們再執行這個代碼
來設置檢索增強生成的這個通道
然後這裏我們使用的模型是
GDP3.5這個模型
我們再繼續往下看
這裏就是設置檢索增強生成的問題
我這裏模擬生成了十個問題
然後這裏就是與這十個問題
相對應的這十個上下文
這裏就是通過十個問題
進行檢索增強生成所得到的這個回答
爲了快速演示這十個問題
還有十個上下文
還有十個回答
都是我模擬生成的
這些都設置好之後
我們直接點運行
這裏我們要稍等一下
好評估之後我們用這段代碼
讓它輸出這個評估結果
我們直接點這個運行
好評估之後這裏就是輸出的結果
可以看到分數這一列有0.5的
還有0.3的還有1的
當分數爲1的時候
說明檢索增強生成的結果完全正確
當分數爲0.3的時候
說明它檢索的內容與上下文完全不符
而且每一個評分的後面
它給出了這個詳細的解釋
這裏我們就不再具體去看了
好本期視頻爲大家詳細演示了
兩款檢索增強生成框架的使用方式
視頻中所用到的指令和代碼
我都會放在視頻下方的描述欄
或者評論區
如果你在視頻下方無法找到的話
說明這不是我的首發平臺
好本期視頻就做到這裏
歡迎大家點贊關注和轉發
謝謝大家觀看