32 Pinecone OpenAI向量數據存儲最佳實踐 - 巧用Namespace有效管理索引數據

学习与实践
173粉絲
4 次觀看·2023年11月5日
OpenAI Embedding API為用戶的文本生成向量表達。Pinecone為向量數據提供了數據存儲解決方案。
今天我們將通過Flowise平台上構建PDF聊天機器人的場景,介紹如何使用Pinecone的Namespace功能來有效管理索引數據。
參考文檔
Pinecone API文檔
https://docs.pinecone.io/reference/delete_post
大家好
PanComb是一款商業化的限量數據存儲解決方案
爲我們提供了雲端的限量數據庫
同時有高效的數據存儲和檢索接口
我們在較早一期視頻中介紹了
基於OpenAI基於Lancham框架的應用
如何利用PanComb進行embedding數據存儲
有興趣的同學可以點擊視頻上方鏈接
回到當時的視頻分享
今天我們打算再進一步
進一步介紹PanComb應用中的一些參數配置技巧
以及相關的最佳實踐
希望藉此能夠幫助同學們在PanComb的使用中
更好地爲自己應用管理限量數據的縮影
那我們今天的使用呢
並不直接面向OpenAI
我們會借用一款
無代碼的AI應用開發平臺
叫Fluoise
在旗幟上我們可以非常快速構建
OpenAI模型的工作流
或大家可能非常熟悉的應用場景
是PDF聊天機器人
這類AI應用
那應用中我們就會用到PanComb
做限量數據的存儲
那存儲中參數如何配置
有什麼技巧
在PanComb的後臺我們去如何管理數據
那今天我們就來分享一下
我們先來到Fluoise
是本地所運行的一個Fluoise平臺
那在這裏呢
已經創建了一個PDF聊天機器人
那在這裏我們將
其中大家非常熟悉的
限量存儲部分替換成了PanComb
曾經我們在一些視頻分享中
都使用的是內存限量存儲
A-MEMORY VectorStore
那今天呢我們要介紹PanComb
因此呢就用它了
PanComb的組件通過左邊的加號
可以將其加入
這裏呢通過最下方VectorStore裏面的
PanCombObserverDocument組件
來實現限量數據的存儲管理
另外一個組件是LoadExistingIndex
是從PanComb讀取數據
那今天我們所要做的呢
顯然不僅是讀取
我們還要將文檔分塊
限量化在存儲
所以我們使用ObserverDocument的組件
在這裏需要配置三個參數
API Key, Environment和Index
Index就是它的
縮影的名字
我們在這裏呢給它起個名字叫
比如叫MITDL
一會我們來介紹
爲什麼叫這個名字
我們先將其命名MITDL
接下來我們需要來的PanComb的後臺
在這裏呢
如果同學們第一次登錄
第一次使用
這裏應該是空的
也就是Indexes這裏
那我們來創建一個縮影
這正是剛纔我們所需要配置的
PanComb的Index的名稱
既然我們剛纔起名爲了MITDL
那就同樣的
名字在這裏創建一個縮影
Dimension我們設置爲1536
這是OpenAI的Embedding API
做限量化的時候
它輸出的維度
那我們要存儲它的數據
那這個Dimension要保持一致
所以是1536
至於類型
今天的演示呢就不是太重要
無論是存儲還是速度優先都可以
那同學們可以根據自己應用需求來選擇
那接下來就創建這個縮影
創建後會看到這裏呢
還沒有任何的數據
黃點表示這個縮影還在初始化
我們將讓它初始化
我們先回到這個Flux
爲什麼叫MITDL
是因爲我選用的這篇文檔
是在這裏是MIT的
深度學習的一本書
我選擇的其中第一章
介紹部分的PDF
因此那我就將其命名爲MITDL
好了那現在我們可以保存一下
因爲剛纔我改了這個縮影的名字
index name MITDL
因此這裏保存一下
回頭來看看控制檯這裏
是否完成了初始化
還沒有
綠點來了
這就說明已經好了
接下來就可以進行操作
當然Flux後臺會我們進行數據動態的
必要的動態的切片
向量化並存儲
在前端我們只需要做的是
打開聊天窗口
進行一下聊天
我首先讓他選
我希望他給我這一
這篇文檔的一個摘要信息
會看到這裏
聊天機器人開始回答我
中間花了一些時間
這些時間我想就用在了文檔的
切片和向量數據存儲上
現在來到控制後臺
打開看看他的情況
會發現這裏呢
來了一些數據
指標也反映出這個情況
特別注意namespace
他的名字vectors without namespace
有83個向量數據
那麼這個數據就是剛纔我們
提問的時候
Flux後臺幫助我們自動將文檔
切片向量化
最後向量數據存儲進了這個
所以他沒有namespace
後面我會看到這裏的影響
我們再往下
在這裏呢有管理界面通過
一系列的操作可以對數據
進行增刪改
那在這裏我們就要說到
第一點儘量分享的
我們在這裏呢定義了
所有的名字
但是呢但是呢在後臺
我們看到有namespace這個概念
我們並沒有指定namespace
因此向量數據就
存儲
以沒有沒有名字空間的
形式進行的存儲
帶來的問題可能是
如果我們想使用同樣的鎖影
管理多個文檔的數據
那當我們要進行文檔數據
刪除的時候就會帶來困難
原因在於我們現在先來到
控制檯的下方
假如我們現在這個應用到了
終止的時候
我們希望將數據全部清除
那該怎麼做呢
我們可以來到這個操作這裏
有個刪除操作
刪除操作這裏提供一些選項
列出所有向量數據ID
也就是說通過向量數據ID
來一條條刪除
那我們有83條數據
我們就需要用83個ID來刪除
另一種方式是通過
這裏我們看到有個curl命令
這個命令我們先佈置一下
我們將其粘貼到
我們自己的終端這裏
首先要注意的是
這裏的粘貼會發現
API key是通過明文形式
放在了這個HTTP請求頭裏面
這表示我們在使用的時候
還是要謹慎
小心避免這個關鍵的
API key這種隱私數據泄露
另一方面呢
我們會看到這裏是
使用的delete操作
delete操作我們先運行一下
會看到這裏告訴我們
ID不能爲空
也就是說
我們需要指定向量數據ID
那如果我們有83個數據
就是83個ID
這會是非常長的一個請求
另一方面
我們如果想要刪除指定那些ID
也需要將其一個ID獲取出來
那有沒有方式更簡單呢
現在我們可以打開這個文檔部分
寬控的文檔當中
對API有非常詳細介紹
API reference
在這裏呢
我們看看向量數據的操作
vector operation
我們在這裏通過API的URL
也可以看到它的vectors
表示向量數據的操作
這裏呢有個delete
寬控文檔介紹的
它的delete呢
其實是個post請求
沒關係我們繼續往後看
它這裏呢有幾個參數
一個是delete all
一個是namespace
那我們在這裏就可以進行一些嘗試
根據我的測試發現呢
我可以不指定ID
我們可以指定namespace
當然我們現在的數據呢
沒有namespace
無法指定
我們只能通過delete all
等一處來進行操作
通過這個操作
我們來看看後臺的數據
後臺數據呢
爲0
表示這個數據已經被清空了
那我們刷新一下
確認一下這個指標
好像似乎挺慢的
那我們繼續介紹這裏
當數據清零了以後
也就是這個soin
這個index裏面所有數據都沒有了
那如果我們有多個pdf文檔
有多個文檔的向量數據
都存儲在這個soin裏面
那無法通過
逐個文檔的形式將其刪除
我們可以看到這裏
向量數據已經被空了
那我們不能通過操作
通過簡單的操作
將某一個文檔的向量數據清除
要麼就全部清除
要麼是羅列出某一個文檔
所有的向量數據的ID
然後來刪
這就很麻煩
因此呢
這裏對這部分的操作呢
我們建議在
officer document這裏呢
點擊
小技巧了
點擊additional parameter
這裏提供一個namespace
這個namespace可能可以
給它一個叫introduction
只需要點擊空間
這個面板的其他部分
就可以退出剛纔這個參數設置
它已經設置上
它並沒有缺點
這裏保存
完成保存以後
我們再來進行繪畫
我們清理掉
可以清理掉之前的繪畫記錄
方便顯示
比如說我來問
現在當我提問的時候呢
我理解
Flourish會在後臺
重新對這個數據進行分片
向量化並存儲
因爲
他發現在這個名字空間裏
並沒有所有數據
那現在既然他已經回答
我想數據已經完成了操作
我們過來看看
我們會發現在這裏
又有83個數據
這次的不同在於
83個數據
放在了namespace introduction
這對我們來講
就是一個不錯的事情
那現在如果我想在這裏
再做一些修改
比如說把這個文檔改一改
我們將這個pdf改成另一篇
比如我們曾經用過
analysis
或者我們用uniswap的白皮書
對應的
我們將這個名字空間也改一下
畢竟我們使用了uniswap的白皮書了
那這就是一個新的文檔
新的文檔
我將它歸化到
新的名字空間當中
這樣我們再保存
那打開聊天窗口
我們重新再進行一些聊天
我們就不清理了吧
我們順着來
what is uniswap
看看他是否能告訴我
什麼是uniswap
他正在進行努力的操作
我想在後臺
他也是完成了一些數據
的切片
然後存到新的名字空間當中
現在我們再回到
剛纔這個控制檯
會發現這裏呢
像樣數據變成101條
另外有一個名字空間
uniswap
一共是8條數據
好了那現在我想
終止這個uniswap
這個聊天機器人
那數據存儲
也就沒必要再保存了
畢竟這個pancon
是個商業化解決方案
理論上我們是要對它付費的
那現在就可以進行刪除
刪除操作呢
我們就來到這個終端
記得剛纔我們看到
有個namespace這個參數
我們就對其設置爲uniswap
這樣的操作
看看會有什麼樣的結果
會發現非常快
後臺像樣數據還剩83條
introduction還在
uniswap已經消失了
那這就是我們如果通過
名字空間來靈活的管理
同一個索引當中的
不同的像樣數據
反正在這裏
我們還可以將剛纔的文檔
替換爲剛纔所使用的
MITdata Learning的一份PDF
名字空間依然存在
像樣數據會被傳用
這樣也能最大程度的
提高我們的數據使用效率
那同學們可能會問
我們能不能在索引這裏
爲每個文件創建索引
那當然是可以的
只是這樣會額外的有開銷
額外的分配port
額外的去做這個index的管理
不如在同一個index當中
使用多個名字空間
將索引隔離開
當然這都是不同的
數據管理方面的策略
那從相對較小規模的數據來講
我們在同一個索引當中
用不同名字空間來區分他們
應該也會是
比較高效的一個選擇
當然這個根據
不同的業務場景
不同的商業解決方案的訴求
可能會有不同
那這就是今天我們想要分享的
關於pincon
索引數據的管理上
我們的一些小小的心得
那希望這部分內容呢
對同學們有幫助
那今天分享就到這裏吧
如果同學們對pincon的使用
還有什麼問題
那也歡迎
以視頻的評論先使用交流
那我們今天分享就到這裏
我們就下次再見
好同學們拜拜
