38 OpenAI + LangChain + Spark - 基於自然語言的海量企業級數據查詢與分析

学习与实践
173粉絲
1 次觀看·2023年11月5日
本期視頻分享開源工具pyspark-ai提供的在Apache Spark平台上的AI能力,我們來體驗一下Spark上如何通過自然語言實現大數據的查詢和分析。
相關鏈接
本期分享代碼
https://github.com/sugarforever/LangChain-Tutorials/blob/main/LangChain_Spark_AI.ipynb
pyspark-ai
https://github.com/pyspark-ai/pyspark-ai
大家好,隨着OpenAI的出現
人工智能的守門檻大幅降低
我們也看到了人工智能在越來越多的領域被應用了起來
今天我們所要分享的是在大數據領域
我們究竟可以使用OpenAI做些什麼
在大數據領域不得不提這個項目就是Apache Spark
這是一款用於大數據工作負載的分佈式處理系統
當然它是一款開源系統
爲我們提供了針對任何規模數據的查詢和分析能力
同時也提供了多種編程語言支持開發API
因此它現在已經是最受歡迎的分佈式大數據處理框架之一了
我們今天所要分享的是在Spark之上如何利用OpenAI的能力
進行一些基於自然語言的工作
這裏說到工作就是數據的分析和查詢了
在視頻分享中我們所引用的項目叫PiSparkAI
我們會利用它來快速的構建一些我們想要的工作流場景
這個項目來自於Databricks
Databricks是Spark旗下的一家商業化公司提供了Spark的雲服務
關於公司組織的更詳細信息
我們在這裏就不過多介紹
有興趣的同學可以自行去查詢一下
我們關注PiSparkAI項目本身
這個項目提供了簡單而強大的工具
幫助我們基於自然語言提供指令來構建Spark
像DataFrame這些對象
從而幫助開發人員分析室能夠專注於數據的分析本身
究竟自然語言在工具中是如何提供支持的呢
我們馬上通過分享來看看
開發項目的文檔
同學們有興趣可以自行來閱讀
我們做的分享也依照文檔所介紹的一些能力
當然了在數據上我們做了一些不同的採集
我們今天要分享的是蘋果公司
在美國上市的上市公司
它會定期的公告股份的持有情況
那麼我們所要分析的就是前十大股東的持股情況
他們持股比例
他們持股總市值
還有這些股東的名字
這些信息會在比如雅虎財經的官方網頁上呈現
我們要做的期望就是從網頁中抽取出這些信息
這些數據
然後以DataFrame的形式表示
從而能夠實現分析和查詢的功能
當然了這裏的分析和查詢都是基於自然語言
而不是傳統的Spark編程中
大家所用到的這些編程接口和API
我們就進入今天的分享的Python Notebook
在這裏必要的一些安裝除了Luncheon
除了OpenAI還需要安裝的是Spark
Python Spark以及Python Spark AI
這也是必要的
OpenAI的API Key也是必要的一個元素
在這裏推薦使用GPT-4
這樣能夠得到更好的輸出的質量
如果大家沒有GPT-4也可以使用3.5 Turbo
接下來要做的事情就是實例化一個Chart OpenAI實例
這是我們所使用的大語言模型
接下來實例化一個Spark AI
Spark AI需要一個大語言模型的實例
這就是剛纔我們所構建的Chart OpenAI的變量
Verbose 2能夠幫助我們在後續的代碼執行中
看到非常詳細的輸出的相關的調試信息
也幫助我們理解究竟Spark AI幫助我們做了些什麼
接下來就需要激活Spark的Partial Function
這樣幫助我們能夠對一些局部數據的處理
打開這些局部數據處理的能力
接下來就是構建一個DataFrame
在這裏有兩種構建方式
文檔中大家也可以看到這裏
可以通過描述性的形式
基於搜索引擎去構建一個DataFrame
前提是需要設置好谷歌的Python Client
我沒有設置
不要緊
我們還可以通過URL來構建DataFrame
這個URL我們用到了
雅虎財經的蘋果公司這裏
股東信息的頁面
我們就將這個頁面的URL提供給Spark AI
由此來構建一個DataFrame
在這裏就有比較詳細的調試信息
這也是因爲我們設置verbus true
這樣就可以看到
究竟Spark AI在後臺究竟做了什麼
它會去爬取這個網頁
從網頁中抽取出
具有數據表格特徵的元素的數據
具體的如何的實現
大家可以去看Spark AI的原代碼
這裏我們就不做深入的介紹
在這裏通過它的輸出
可以看到
它抽取出了一系列的數據
都是表格性質的格式的數據
這數據它放進了一個視圖
叫Apple Stockholders
顯然它識別錯頁面中
具有這麼一塊表格數據
數據中就包含了股東的名字
持股情況
公告日期
持股比例
以及總市值這些信息
這就是我們所需要的信息
可以看到這裏它是比較智能的
它通過智能化的形式
去識別了網頁中的表格信息
並做了抽取
將其放進了自己的一個視圖當中
接下來就可以採樣
我們看看
前5條
在這裏打印出了前5條的詳細信息
我們這裏就不去網頁上
比對究竟數據的正確性如何了
有興趣的同學也可以自行的調試一下
接下來我們來做一個圖表的生成
我們做plot
第一次的操作
不提供任何的描述性信息
我們直接在DataFrame上面
做一個plot
看看它究竟會識別出
或是它會利用什麼樣的數據源
來構建什麼樣的圖表
這裏它會花一些時間
時間主要用在了去識別數據源
同時選擇合適的數據源
進行圖表的生成
我們在這裏稍等一下
因爲我們設置了web2
因此在這裏看到了非常詳細的
Python的代碼
這個代碼就是AI生成的
來爲我們構建圖表
我們可以看到它生成了柄狀圖
柄狀圖當中
X軸是股東的名字
Y軸是持股的份額
因此這個就是前10大股東
從高到低的持股的情況
在這邊可以看到
每一家公司對於蘋果股份的持有情況
也是不錯的
說明它能夠非常智能的識別出
數據源中的信息
抽取出其中它認爲值得顯示的數據
爲我們來構建這麼一個持股情況
以圖表的形式生成
當然了
這裏我們也可以使用自然語言
告訴這個DataFrame
我們究竟想如何生成圖表
接下來我希望生成一個餅圖
餅圖顯示每個股東的名字
以及他們持有的比例
我們運行一下
來看看它生成的餅圖
究竟是什麼樣的
在生成的過程中
我們介紹一下下一步
期望做的事情
下一步我們期望對DataFrame做一個變形
轉換Transform
我們期望將其轉換成每一個股東的名字
和他持股比例
這麼一個DataFrame
好了
回到剛纔的執行
這裏的餅圖
我們看看它生成情況
還是非常不錯的
百分比對應到名字
在右邊有名字的顯示
我們還可以點擊某一個股東
將其隱藏
這就是我們如何使用自然語言
與DataFrame進行交互
實現我們想要的功能
在接下來的轉換Transform
我們來看看它能夠爲我們
做到什麼程度的支持
我告訴他我需要名字
和他的持股
這個股東是誰
是持股比例最高的股東
以及他的持股百分比
在這裏我們看到
他告訴了我們
Bangor Group持股比例8.33
可以快速來到頁面看一下
確實是這一家8.33
這就是如何通過自然語言
來告訴DataFrame
我要做什麼樣的操作
接下來還可以通過Explain函數
要注意的是
這些接口都是在AI變量上的
Explain是讓AI來解釋
它究竟做了什麼
在某些情況下
我們也需要模型告訴我們
它是做了些什麼
這樣我們才能夠確保
通過自然語言的交互是有意義的
它做了正確的事情
在這裏可以看到
它告訴我們DataFrame
是做了什麼
去獲取股東的名字
這個股東是持股比例最高的股東
它呈現的結果
是按照持股比例來排的序
最終的結果是列出
最持股最多的股東的情況
這正是我們剛纔期望它做的事情
也非常不錯
最後我們想分享的一個功能是驗證功能
驗證功能幫助我們
在DataFrame當中做一些必要的檢查
在這裏我們期望的是
蘋果的前十大股東
沒有任何一家持股超過10%
也就是
Top holders have no more than 10% shares
爲什麼會有這種驗證呢
在某些二級市場或者一級市場
可能他們都會有不同的政策
對於持股的情況
他們會有一些限制
或許我們就會有這種具體應用場景
當然了
這僅僅是當前我們分享的
數據場景中的一個可能的情況
同學們也可以在不同的場景中
去做一些自己的驗證
比如在天氣數據的採集處理和分析中
我們希望查詢某一個地區的天氣情況
溫度確保它沒有超過38度
如果有這一點的驗證
verify就會失敗
如果失敗是否可以觸發告警
這就是我們如何使用自然語言去做驗證
我們現在馬上來看看這個驗證
在這個數據當中
我們會看到
其實它並沒有超過10%的
我們回到這裏
最多持股就8.33
因此這個verify應該是true
同時這裏也看到了究竟它是怎麼做的
在info當中也顯示出
它生成的python代碼
這個代碼就做了真正的驗證執行
通過代碼執行得到了結果是true
表示這裏面所有的股東持股
都沒有超過10%
這就是驗證功能
這也是PySpark AI
目前所爲我們分享的一些主要功能
當然了後面還有幾大功能
像UDF generation和cache
這兩塊目前我就還沒有在視力中分享
這就是今天我們分享的主要的內容
我們介紹了PySpark AI項目
通過簡單的一個應用場景的
數據的分析和查詢
演示如何基於自然語言
與Spark DataFrame進行交互
看起來還是不錯的
當然了這個項目也是還處於早期
因此還有很多情況
可能它會出現一些錯誤
有興趣的同學可以自己去嘗試一下
根據我測試
也並不是每一個頁面上
我們所期望看到的數據分析的
看到的數據能夠進行這種完美的
基於自然語言的分析和查詢
有的時候它也並不能夠完美的識別
出頁面中的標格數據
然後進行必要的處理
和DataFrame的構建
今天分享就到這裏
所有項目和視力代碼的鏈接
我都會放到視頻描述中
有興趣的同學就描述中取用
我們就下次再見
同學們拜拜
對了
同學們如果覺得這個項目
使用後有什麼反饋
也歡迎在評論區給我們留言
我們希望能夠在更多的領域
看到OpenAI的使用
好吧
那就這樣了
同學們咱們下次再見
拜拜
