GPT-4o,GPT-4o mini,DeepSeek提取GraphRAG知識圖譜的比較

TechDL
11粉絲
10 次觀看·2024年7月20日
本視頻中對比一下gpt-4o-mini,GPT-4o,deepseek在graphRAG提取知識圖譜任務上的差異
AI開發前途無限
歡迎來到AI開發者的頻道
OpenAI這幾天呢又放出了大招
推出了一個目前爲止最便宜的模型
也就是GPT-4o Mini版
今天呢我們來一起看一下
這個最新的mini版的模型到底如何
本視頻中呢
我將這個GPT-4o
mini與GPT-4o和DeepSeek三個API模型呢
比較一下
看看這三個模型
在GraphRAG提取知識圖譜任務上的費用
和效果到底有多大的差異
GPT-4o Mini呢是OpenAI與昨天剛剛發佈的
是目前OpenAI最便宜的API模型
它的上一版GPT-4o呢
1M Token輸入和輸出的費用呢
分別是5,15美元
但是mini版呢
只有0.15和0.6美元
也就是呢相當於前一個版本的1/30
這個價格呢
已經非常接近DeepSeek API模型的水平了
價格這麼便宜
那麼性能如何呢
根據OpenAI的介紹呢
性能是遠超GPT3.5
比GPT-4o呢略差一些
根據OpenAI的介紹呢
在對話的一些任務上甚至超過了GPT4
那麼它在實際應用中怎麼樣呢
下面呢我就來做一個簡單對比
看一下GPT-4o
GPT-4o Mini DeepSeek的模型
在這個知識圖譜任務上的差異
我會使用呢
微軟最新發布的GraphRAG
來處理一下
這個凡人修仙傳的前500行數據
也就是呢
分別使用這三個模型
來構建凡人修仙傳的知識圖譜
並進行檢索
回答問題關於
GraphRAG如何使用
如何來切換DeepSeek的API模型
以及本視頻使用的提示詞
小說的文本呢
大家可以參考置頂留言中的鏈接
除了3個LLM模型
GraphRAG呢還需要embedding模型
這裏呢
我統一使用了OpenAI的text embeding 3 small
這個模型
首先呢我們先來看一下費用如何
這張圖呢是OpenAI模型的費用
分別是GPT4 11.29美元
GPT 4o這個地方呢
我一共是處理了兩次
所以呢這個費用是兩次的費用
單次費用呢是4.9美元
GPT-4o mini 0.14美元
從上面這個結果我們可以看到
這個GPT 4o mini版
可以說是非常的便宜了
只有GPT-4o 的1/35
那麼
DeepSeek的模型的費用又是怎麼樣的
DeepSeek的模型
處理這個數據呢
只需要0.96人民幣
相當於0.13美元
比GPT-4o mini呢
略便宜一點兒
但是這個差距呢
是非常非常的小了
那麼除了費用之外呢
另一個重要的指標呢
就是它的生成效果
首先我們先看一下
這三個模型產生的知識圖譜
從他們產生的知識圖譜的節點來看呢
是看不出什麼明顯的差距的
從節點之間的關係的數據來看呢
也沒有明顯的差異
但是呢有一點
這個GPT-4o mini版呢
它提取的這個摘要數據的格式
是有些不同的
有很多地方呢
看起來有一些異常
但是
GPT-4o 和DeepSeek模型處理的這個數據
就沒有這種
現象
最後呢我讓這三個模型
分別回答了一個問題
就是韓立是如何進入七玄門的
這個問題呢不僅有時間的跨度
還涉及到韓立爲什麼要進入七玄門
韓立三叔的推薦
以及入門測試的一些細節
這裏呢
我分別使用global和local檢索的方式
來回答這個問題
最後呢我使用這個提示詞
讓GPT 4o模型呢
來對這個各個模型的解答呢進行打分
本來呢
我是想使用這個GPT-4來進行打分的
但是我發現
GPT-4對這個問題的解答水平呢
實在有限
相比較來說呢
GPT 4o在回答這個問題的水平上呢
更高一些
這邊呢我列出了
GPT-4o對這三個模型解答的打分情況
大模型的打分呢
這個變動也比較大
所以呢每一個評價我運行了三遍
那我們來看一下結果
從這個結果上來看呢
DeepSeek的結果呢好於GPT 4 o
最後呢
是GPT 4 o mini版 local檢索和global檢索呢
看起來差別不是特別大
GPT 4o mini global版的回答呢
明顯有一些錯誤
所以呢分數是比較低
這可能
是與摘要提取時出現的一些問題有關
基於local檢索的回答
與GPT 4o
基於local檢索的回答的得分
是一樣的
最後我們再來比較一下
這個GraphRAG生成的回答
與這個GPT-4o直接回答的一個結果
從這個對比你可以看到
GraphRAG生成的回答呢描述呢
他有一些部分
是不準確
另外呢是細節呢
過多描述的呢
還挺囉嗦
不夠簡潔
相比較來說呢
GPT-4o的這個回答呢
我覺得就更加清晰
要點呢更加突出
好的以上就是這次的分享
如果你覺得本視頻對你有幫助
別忘了一鍵三連支持一下本頻道
感謝收看
我們下期視頻再見
