GraphRAG 1.0重磅升級!顛覆傳統RAG!DRIFT搜索+Update命令!整合LM Studio本地大模型實現高效RAG!MarkItDown將PDF轉為markdown!性能提升3倍

AI超元域
10粉絲
4 次觀看·2024年12月20日
歡迎來到AI超源域
微軟近期開源的與AI相關的項目非常多
微軟發布了GraphRag最新版本GraphRag 1.0
這標誌著檢索增強生成技術的重大進步
GraphRag技術通過利用大於M模型生成的知識圖譜
替代傳統的向量相似度方法
從而提高了問答的性能
而且微軟還開源了一款文件格式轉換工具Markdown
它支持PDF,PPT,Excel,Word,CSV,JSON,XAML,圖像等文件轉為Markdown格式
而且Markdown對於圖片文件使用AI進行OCR識別和內容理解
對於音頻文件可以通過AI進行語音轉寫
並且支持大模型對圖片內容進行描述
本期視頻我們將使用GraphRag 1.0
結合本地的開源大模型和嵌入模型
來快速實現檢索增強生成
上期視頻我演示了使用Lineflow對接cloud實現檢索增強生成
但是評論區有提問
為什麼不直接將PDF文件直接發送給cloud進行問答
相對於這個問題來說
這些體積比較小的PDF文件我們可以直接發送給cloud
但是cloud上下文長度它是有限制的
像cloud 3.5它的上下文長度才只有200K
當一個PDF文件過大
或者我們所要問答的PDF文件過多的話
那麼發送給cloud的話
就會超出cloud的上下文長度
根本無法實現對文件進行分析和問答
而且我們不可能每次都將PDF文件發送給cloud實現問答
尤其是在文件非常多的時候
因為這會非常浪費時間
所以本期視頻我們將使用GraphRag 1.0
再結合我們本地的開源大模型還有嵌入模型
來實現高效的檢索增強生成
並且使用LM Studio來運行這些開源的大模型
還有開源的嵌入模型
好,視頻的開始
我們先看一下GraphRag 1.0版本的新特性
首先它新增的增量數據攝取功能
大大簡化了數據更新的流程
我們只需要用update命令
系統就能智能的計算內容和現有的縮影的差異
並高效合併更新
避免了重復縮影的高成本
而且通過大源模型緩存
縮影成本也得到了顯著降低
而且限量存儲支持也更加靈活
它不僅原生支持本地數據庫默認的選項Lens DB
而且還集成了Azure AI Search
為不同場景提供了更多的可能
而且系統的工作流定義從88個減少到了11個
並且輸出磁盤空間壓縮了80%
整體性能和內存效率都有大幅度提升
而且新的數據模型移除了冗餘字段
輸出更加簡潔清晰
而且它還支持Drift搜索
通過結合全局搜索和本地搜索方法
它能夠提供更加豐富的查詢結果
對復雜問題的處理效率提升了整整三倍
視頻的開始
我們先安裝GraphRack
因為GraphRack 1.0它在代碼中並沒有支持本地模型
所以我們需要給它修改一下代碼
我們需要先將這個項目給克隆下來
然後我們直接復制這個項目的鏈接
為了方便修改代碼
我直接在Patcharm中來克隆這個項目
我們直接在Patcharm的中段用git clone命名
將這個項目先克隆到本地
這個項目已經克隆完成
下面我們需要找到它的對應代碼
我們直接展開這個項目
然後我們找到GraphRack再將它展開
然後再找到index將它展開
然後再找到這個rrm將它展開
然後下面我們需要打開loadrrm這個文件
我們直接雙擊打開
打開之後我們找到這個base url
然後將默認的這個代碼我們稍微改一下
修改之後我們直接保存
保存好之後我們直接在命令中
進入剛才的GraphRack的目錄
然後再用pip install來安裝這個項目
像這樣的話
我們就能將我們剛才修改之後的這個項目進行安裝
因為GraphRack它新的版本它不支持本地模型
這樣的話我們修改代碼之後重新安裝
它就能支持我們本地的這些大模型了
好這個項目安裝好之後
我們就可以切換到剛才的Gamemode
方便我們下面進行其他操作
下面我們準備一個pdf文件用於演示
我們可以先打開這個pdf文件看一下
這是一個關於講解Chinese GPT提示詞的一個pdf文件
下面我們需要用視頻開頭提到的marketdown
將這個pdf文件轉為markdown格式
下面我們只需要在命令中用pip install
來安裝marketdown這個項目
這樣的話這個marketdown我們就安裝好了
我們就可以用這個marketdown的命令
來將pdf轉為markdown格式了
為了方便演示
我將這個pdf文件放在了這個項目的gain路徑
這樣的話我們就可以在終端用marketdown命令
將這個pdf文件轉為txt的格式
並且將轉換後的文件存到這個rectest input這個文件夾裡
這樣的話我們就可以來執行這個命令
這樣的話它就會將它轉為txt格式
這裡我們要稍等一下
這樣的話就已經轉換完成
我們可以看一下
我們展開這個路徑
這裡是轉換後的這個文件
我們雙擊打開
可以看到這就是將pdf轉為txt文件之後的內容
下面我們就可以在終端命令中執行這條命令
來初始化這個工作空間
這樣的話這條命令已經執行完成
下面我們需要在這個配置文件中進行相應的配置
我們直接雙擊打開
這裡我們需要將這個api-base給它取消註釋
我這裡需要填寫lmstudio的api-base
如果大家用的olama或者vllm也可以改成對應的api-base
我們這裡直接改成lmstudio的api-base
然後後面給它加上v1
然後在模型這裡
我需要給它改成lmstudio的模型
為了快速演示
我這裡是用了一個第三方的lm3.2
它的參數是3B
我們直接複製這個模型名稱
然後回到配置文件
將模型名稱改成我們剛才複製的這個模型名稱
然後將這個模型是否支持json
我們給它改成false
下面我們再配置這個嵌入模型
我們還是先設置api-base
我這裡還是輸入lmstudio的api-base
然後就是嵌入模型的名稱
我們直接從lmstudio中複製這個嵌入模型
這裡改成我們剛才複製的這個嵌入模型
這個配置文件我們已經設置好了
下面我們點開這個env文件
這裡我們需要將這個api-key給它改成null
然後保存
下面我們就可以在終端中用這條命令來創建縮影
我們直接運行
這樣的話它就會調用我們lmstudio中的語言模型
還有嵌入模型
為我們實現縮影的創建
這裡我們要稍等一下
因為這個速度會比較慢
這樣的話這個縮影就已經創建成功
下面我們就可以來執行查詢了
下面我們先測試一下本地檢索
我們直接粘貼這個命令
然後這個命令在這個方法這裡
我們給它設置成local
也就是進行本地檢索
然後我們輸入的這個問題是
請提供關於自我一致性提示的一些例子
然後我們直接執行
看一下它這個檢索效果
好 這裡它很快給出了這個檢索結果
我們可以對比一下
之前我們使用的pdf文件中
所對應的這些內容是否正確
好 視頻的開始我們是將這個pdf文件
用markdown轉為了txt格式
現在我們對比一下
weberag檢索了這個自我一致性提示詞
它檢索了的這些內容
是否和pdf文件裏的一致
我們看一下
這裏是檢索到的第1個案例
我們對比一下
第1個案例是完全沒問題的
包括它給出的這個提示詞的例子
也都是完全沒問題的
我們再看一下第2個案例
第2個案例這裏也是沒問題的
包括這裏給出的提示詞
也是和文檔中一樣的
我們再看一下第3個案例
第3個案例這裏也是沒問題的
它給出的提示詞的例子也都是正確的
再看一下第4個
這裏是第4個案例
這裏也是完全壹致的
也沒有任何問題
然後第5個案例
這裏也是完全沒問題的
和它檢索到的這些內容都是壹致的
下面我們再用這條命令
來執行壹下drift檢索
因為drift搜索
它是graph rack查詢引擎的重要增強功能
它結合了全局搜索和本地搜索方法
以提高搜索質量和效果
而且drift搜索的效果
在基準測試中與傳統本地搜索相比
全面性提高了78%
好 這裏它給出了drift檢索結果
我們可以詳細看壹下
我們可以看到這個drift檢索結果
比我們剛才用local進行了檢索
它的內容更加豐富
這裏它檢索出來非常多的這些內容
它檢索的內容遠遠超過
剛才用local檢索到的這些內容
下面我們再測試壹下graph rack的update命令
它起到的作用就是更新現有的知識圖譜縮影
現在我們在這個項目中又新增了壹個pdf文件
然後我們先將這個pdf文件轉為txt格式
這是轉換後的名稱
好 這裏就是轉換後的這個文件
下面我們就可以執行update命令
下面我們直接在中端命令中來執行這條命令
這裏我們要稍等一下
我們可以詳細看壹下這個update命令
它的這些參數的解釋
然後這裏就是配置文件的路徑
然後第二個就是這個項目的gain路徑
然後第三個參數就是運行縮影是否輸出詳細日誌
第四個參數就是利用內存剖析來運行縮影管道
然後這裏就是是否使用大模型的緩存
這裏的參數就是是否跳過這個預驗證
最後壹個參數就是輸出的這個路徑了
然後它默認的路徑會輸出到這個文件夾
我們這裏再回到中端
這裏在中端中已經執行完了這個update命令
這樣的話它就會在原來縮影的技術上
對我們新增的文件創建了縮影
本期視頻為大家演示了graphic 1.0
如何本地安裝並且接入本地的大猿模型
還有嵌入模型實現建立縮影
進行本地檢索以及drift檢索
好 視頻中所用到的代碼和命令
我都會放在視頻下方的描述欄或者評論區
如果妳在視頻下方無法找到的話
順便這不是我的首發平臺
本期視頻就做到這裏
歡迎大家點贊關註後轉發
謝謝大家觀看
