AWS Glue 實踐教程 第3集:執行Glue job和Debugging [數據工程師系列]

数据工程师日记
8粉絲
6 次觀看·2024年2月1日
在這個視頻中,我將介紹AWS Glue 服務相關的知識和實踐教程演示。無論你是剛剛入門還是已經有一些經驗,這個視頻都會為你提供有價值的信息。
內容大綱:
- AWS Glue Job
- AWS Glue Debugging
如果你對數據領域感興趣,或者想要成為一名數據工程師,這個視頻將為你提供一些指導。
請記得訂閱我的頻道以獲取更多與數據工程相關的資源和教程。
有任何問題或建議,請在評論中留言。謝謝!
好,這我就回到了AWS Glue 折,然後你就能點擊ETL jobs。
點擊過後,它就會將你帶到一個叫AWS Glue Studio的頁面。
Glu Studio應該是近幾年纔有的服務,它就是能通過好幾種不同的方式去創建Glu的工作。
Visual ETL就是最近纔有的一個選項。
那你就能通過這個選項去執行不同的工作吧。
那你就能不同連接。
那今天我就想以一個比較簡單的腳本的方式去創建這個工作。
那我就去選擇這個Script Editor。
你也能像用一個類似Jupyter Notebook的方法去創建這個工作。
不過我就以這個最簡單的Script Editor吧。
好,Script Editor這個呢,你就能選擇執行的引擎。
那引擎方面呢,我就會選擇這個Spark。
這個是Python Shell,就是稍微是能處理稍微比較小的數據。
Spark方面呢,就是能處理運用分佈式的計算和Spark這個引擎去處理大量海量的資料。
Ray是另外一個類似的不同的引擎。
好,那我們就Start Fresh,Create Script。
好,我們就創建了這個工作。
好,那首先呢,我就先把我的這個另外一個工作呢,就是把它拷貝過來,跟大家簡單解釋一下。
好,那我們每次就是在進行這個Spark的這個執行的時候呢,你就要先初始化一個Spark的這個Context。
那Glue本身呢,它雖然是使用Sparks跟引擎,不過它是會進行有稍微一點點的更改。
所以它就是使用一個叫做Glue Context的這個初始化場景呢,在運用Spark的這個場景作爲它的這個初始化的parameters。
那你就能將你的Spark Session呢,就是打開一個Spark的一個執行Session。
然後呢,你就能跟它說,誒,我想要初始化哪一個工作。
那這你就能跟它說你的這個工作的名字。
一方面呢,把工作的名字放到這兒來。
那你要記得呢,在這個Script Editor的這個頁面呢,一切的更改呢,都必須要在儲存過後呢,它才能,纔會更新。
那首先呢,我就想跟這個腳本就說,誒,我想要從這個哪一個地方,哪一個S3的這個part呢,提取這個資料。
那我知道呢,我這個S3呢,有這個Demo2,SourceData2,然後SampleData2。
那我就回來這兒,Source2,SampleData2。
然後呢,我在進行轉換過後呢,我這個資料要寫到,載入哪一個地方,我也要跟它說明。
那我第一個工作呢,是載入到TargetData,可是我第二個呢,我想要把它寫入TargetData2。
TaglessTargetData2。
好,那這呢,這一行呢,就能看到它就會CreateDynamicFrame,它就是在Groot本身的一個所謂的數據列表。
那數據列表呢,你就會看到這個是說From Catalog。
From Catalog呢,基本上就是說,誒,我想要創建一個列表,然後呢,這個列表的數據結構呢,我不想我手動去寫在我的腳本里面,
而是想使用GrootData Catalog裏面的這個資料。
那你就能在這兒寫入這個Database。
Database呢,就是使用在這個GrootData Catalog以下的Database的這個名稱。
然後呢,我知道,誒,我剛剛用Crawler所儲存的這個數據結構呢,我都儲存在SourceData2,這就是屬於一個Table。
所以我就在我的腳本里面說,我需要從哪一個Catalog,哪一個數據庫抽取,抽取資料呢,這個數據結構的資料呢,
那就是從這個Database,然後呢,TablingSourceData2,就抽取這個資料。
那我就在,這就算是一個數據結構的這個Variable吧,好,的變量。
然後接下來呢,我就想進行這個,將這個列表呢,寫入到S3,就是說我的Target。
然後呢,它的這個Frame的這個結構就是使用上一行所創建出來的這個變量。
然後ConnectionType,就是我想要儲存到S3。
然後ConnectionOption,我就說Path,TargetPath,那就是我要儲存的地方。
Format,CSV。
那基本上你做完這些更改過後呢,你就可以進行儲存。
然後你就會發現JobDetail,你這個ETOJob的這個工作呢,就是需要一些問題。
你就會看到,你這還沒指定你想使用哪個IM角色去執行這個工作。
那我之前也已經創建了這個IM這個角色,那就是GlueServiceRole。
那這個角色呢,需要有好幾個不同的這個權限。
一,因爲它的數據源是來自S3,所以它有需要訪問S3的這個權限。
然後接着呢,它要,它就能進行這個Glue的這個權限。
就是,然後呢,再接着,接着它要有將資料寫入S3的這個權限。
那IMRole呢,是一個挺複雜的一個課題,那我可能在下一個視頻再進行更詳細的解析。
那這呢,我就先選擇了這個,我已經創建了角色。
然後呢,你就能看到你這個工作呢,主要是用哪一個引擎,然後什麼版本的這個Glue,然後什麼語言。
然後還有你能指定,我需要幾個CPU,幾個怎麼說呢,server去執行這個工作。
那不用說了,那就是越多server,越大的這個CPU呢,就是價錢肯定越高。
不過相對的說,它就是能在更快的時間內把這個工作給完成。
那你也能設計,假如說你想要限制你的這個IUWS的開銷呢,你就能把這個Worker給減少,那至少就是控制你的這個成本。
好,還有這呢,就很多不同的這個,等等的資料吧,然後和選項,那我就是不太想,不詳細的解釋了。
那你就能看看,哎,你需要,你也可以enable logs,就是說你這個日製呢,你可以選擇通過CloudWatch去儲存,等等的。
好,那我們在選擇完這個角色過後呢,我們就是進行,那在進行之前呢,我想先讓大家試試看,特意的呢,讓這個job的這個工作去fail。
那我就能跟大家解釋,如果你在進行job失敗的話呢,你應該做什麼樣子的查詢呢。
好,那我們現在儲存,那儲存完了呢,你就能看到在這個列表裏面看到runs,那基本呢,這個runs就是記錄每一列,每一個工作在執行的時候呢,它的不同的這個數據,那什麼時候開始,什麼時候結束,等等的。
好,那我們就先來執行吧,那因爲我知道我的那個腳本上面會有錯誤,所以它基本上是會有出現,會跟你報錯。
報錯呢,那你就能學習,哎,怎麼通過查閱日製呢,去去更改你的腳本,然後這樣的一個bug給jove。
好,就如我所說的,哎,我們這兒出現了一個問題,就是這個job失敗了,那失敗了,你就能看到有好多不同的這個數據,它用多少時間呢,就是初始化,然後呢,執行的多長時間,然後它執行的這個ID是什麼樣子的。
然後你就能從這兒呢,你就能有這個選項,就是能點擊這個連接呢,它就會馬上把你帶到CloudWatch這個日製的地方。
不過呢,你也能通過這個continuous log則呢,查詢,哎,到底是什麼問題了,那你就會看到這個,這個工作在執行的時候呢,它出現了什麼問題。
那你能很,是用ctrl f,然後你能查詢error,那你就會看到,error它就是出現在,哎,我這個腳本當中呢,第18行,然後它就會跟你說什麼,呃,什麼原因導致這個,呃,問題的。
不過呢,你也能在這個run地調製看到。
好,那我在我的文本就發現,哎,我打成了cs,那我就先進行這個更改,然後再進行儲存。
再執行多一次,好,你就能在run之後發現,哎,我的這個工作又在被執行了。
好,如果你要看到這個新的工作的這個資料呢,你就點擊這樣子,就會看到了。
你也許也能在continuous log則,稍等一會,它就能在就是live,就是直播式的給你看到它的日子。
那也許要有點時間,你能在這刷新這個,這個工作的這個資料。
好,你就看到,哎,它就開始把這些日子給打印在這兒了。
好,那在執行了,呃,大約一分鐘過後呢,這個工作就完成了。
succeeded,什麼時候開始,什麼時候結束,等等的這些資料。
那我就到我的這個target data source這buckets這去查詢,哎,我這個資料是否被成功地被更改這個format,然後加載到這個target data出文件夾裏面。
然後我點擊呢,我就看到,哎,我這個需要的文件,我就被創建出來了,然後時間大約是四點三十分左右。
好,我能打開這個文件呢,然後進行這個查詢。
好,然後呢,我就能看一看這個文件呢,是長什麼樣子的,就能看到。
對了,那這就是根據那個data catalog裏面的數據格式,那我就有四列,然後呢,我就能通過將一個原本爲json的這個文件呢,把它轉換成一個csv的文件。
好,就是通過這個aws scroller,data catalog和這個glue job這三個東西呢,你就是就能進行這麼簡單的一個轉換。
那在最後一個環節呢,我就想跟大家說介紹一下aws glue裏面的叫做glue workflow。
那glue workflow呢,基本上就是說,它是能將你的這個,不同的這個aws工作呢,串聯起來。
因爲呢,很多時候呢,我們的這個aw工作呢,是一個接一個的,然後他們是順序上面是固定的,他就是必須在第一個工作結束過後呢,
在他去取動第二個工作去並行執行的,或者是他們是可以在同時間並列執行的,你就能通過workflow來進行這個指揮吧,或者是orchestration。
好,那我就寫一下glueworkflowdemo2。
好,那首先呢,這個workflow呢,它本身就需要一個trigger,那就是說有什麼,有一個事件呢,或者是一個特定的事件呢,你可以去取動這個workflow。
好,我就再添加一個workflow。那workflow呢,有好幾種,你能增加新的,你能也能在這個已經儲存,在記錄中的這個trigger呢,去進行一些拷貝吧。
好,那首先呢,我就想增加新的,那新的我就說這個是triggerdemo2。
好,那我本身呢,就是說我去,我想要在ondemand,就是說我在點擊執行的時候呢,它纔會執行那個工作。
那或者,可是呢,你這有好幾個選項,你能schedule,就是說我想選擇在哪一個時間點呢,就是每一天,每週,每小時,取動這個workflow,那你就有這個選項。
或者是event,它能連接到另外一個其他的事件發生,某個事件的發生呢,就會啓動這個所謂下游的這個ETL工作。
那我先設置爲ondemand吧。好,我們就像ondemand這個trigger,那在這個trigger過後呢,我就能添加這個節點。
那節點呢,就是說不同的glue工作吧。好,那第一個節點呢,我就先創建爲glue,第一個glue工作。
那在這個工作結束過後呢,我能再添加另外一個trigger。那這個trigger呢,它本身,你看,我就不能選擇schedule或ondemand了。
因爲這個trigger就是在第一個glue job結束過後呢,這個事件再發生過後呢,它就會啓動下一個下游的這個工作。
所以它必須是event-based,就是事件的這個trigger。好,那我就選擇trigger,叫做glue-demand-01-trigger。
好,然後呢,我再把這個節點,再將我的第二個工作創建到這兒。好,那我基本上就已經就完成了。
好,結束了,那我們先回到這個glue job這兒看,我就看到我有好幾個,應該有好幾個。
好,我現在有這兩個工作嘛,對,我將第一個工作打開,這就是第二個工作。
這是第一個工作,這是第二個工作。看到這被執行了兩次,這個被執行了六次。
那我就能通過workflow就是說,我現在要執行這個workflow,那我執行的這個順序必須是在第一個工作結束過後呢,才啓動第二個工作。
好,那我們就馬上把它開始吧,就run workflow,那就能看到這兒從六個工作呢,六個執行呢,它就應該會變成第七個執行啦。
那稍微等一等,看一看啊,我的workflow,trigger,ok,能看到這個已經是在運行當中了。
好,它就稍微,等了稍微30秒吧,那你就能看到這個第一個工作呢,已經開始被執行了。
可是在第二個工作這兒呢,你看到是還沒開始執行的。
然後呢,回到workflow這兒呢,如果我刷新,我看一看我的,好,你就會看到第一個工作在運行着。
然後第二個工作還是沒開始。
好,你看到一旦第一個工作結束的時候,結束後呢,我再來刷新第二個工作這兒。
你就會看到我的這個第二個工作,也是被第一個工作結束的這個事件呢,給trigger了,那它就運行了。
好,這下我們的這個google job已經結束了,兩個都結束了。
那我們回到workflow這兒呢,workflow demo2,history,那我這個workflow呢,它就被完整的執行了。
那如果是它總共執行了三分鐘左右吧,那就是能通過workflow去指揮你在不同工作的這個執行。
那能說,能設定上游的工作跟下游的工作,等等的。
好,那如果我們到這個我們的astro bucket裏面看一看,data target,就會看到我在剛剛執行的這個工作當中呢,就生成了新的一個csv文件。
那當然,你能再使用你的這個腳本去說,我想要創建的這個csv呢,是否是覆蓋之前的那個文件,或者是在每一次執行呢,都心情生成的一個新的文件。
那就是有能在腳本里面不同的進行更改。
那在target data2本身也一樣,它就是稍微晚一些被創建了出來。
好,那我們就結束了這整個ETL的這個過程吧,那我再跟大家回顧一下。
那首先呢,我們主要要進行的這個process呢,就是把某個json文件的資料呢,數據結構讀取到這個數據目錄裏面。
然後再以這個目錄的這個數據結構呢,讓腳本去了解我要讀取這個數據的結構是什麼樣子的。
然後再讓它進行這個數據上的轉換,再加入到再載入這個新的文件夾。
再用這個workflow去指揮說明哪一個ETL-9應該先被執行,然後再之後再去通過事件的取發再去執行第二個ETL-9。
那我們使用的這個服務就有包括AWS Glue Crawler,然後AWS Data Catalog,然後AWS ETL Job本身這個工作,然後最後一個就是AWS Glue Workflow Orchestration。
那如果你在工作這個方面出錯了,那你就能通過這個Continuous Log或者是這個文件去看一看,去到CloudWatch去看一看你這個執行的這個工作出錯在什麼地方。
然後最後呢就能通過這個S3的這個查詢呢,進行查詢,然後通過一個SQL的這個query去了解你被寫出來的這個CSV是不是根據你所要的這個數據結構。
好,那今天的這個分享就到此爲止,感謝你們的時間。
如果你們喜歡我的影片的話,就麻煩點贊訂閱分享吧。
好,那我們下期再見,謝謝,拜拜。
