AWS Glue 實踐教程 第2集:Crawler and Data Catalog Hands on [數據工程師系列]

数据工程师日记
8粉絲
4 次觀看·2024年2月1日
在這個視頻中,我將介紹AWS Glue 服務相關的知識和實踐教程演示。無論你是剛剛入門還是已經有一些經驗,這個視頻都會為你提供有價值的信息。
內容大綱:
- AWS Glue Crawler & Data Catalog 流程
如果你對數據領域感興趣,或者想要成為一名數據工程師,這個視頻將為你提供一些指導。
請記得訂閱我的頻道以獲取更多與數據工程相關的資源和教程。
有任何問題或建議,請在評論中留言。謝謝!
好,現在我們來看看這個AWS Glue,Glue Crawler,Glue Data Catalog是怎麼運行的。
那這個演示裏面呢,我就想通過Glue,將我的一個JSON文件轉換成CSV。
那這個JSON文件呢,我就把它上載到之前創建的一個S3 bucket,叫做Source Data。
那Source Data這個文件呢,它裏面的主要的資料呢,是這個格式的。
你會看到呢,它的數據結構呢,是稍微,每一個記錄呢,會有稍微的不同。
你的呢,有四列,那這有六列。
那這該怎麼,我們該怎麼讓Glue呢,知道我這個數據到底的數據結構是什麼樣子的。
那我們就能通過Glue Crawler來進行這個查閱和自動生成。
好,那我們先到,如果你要去到那個Crawler,你可以點擊這邊。
誒,不對,我們現在還在S3這個服務。
那我現在打開了一個Glue的這個Service,或者是如果你需要的話,你能在Service這兒,
然後在這個搜索這兒,你去打AWS Glue,你就會看到這個選項。
點擊這個呢,你就會再進入到這個AWS Glue的服務裏面。
那在服務當中呢,我能到Data Catalog,然後我就會看到Crawler這個選項。
那我點擊Crawler過後呢,你就會看到我之前創建的這個Crawler。
那這就是,如果點擊它呢,它就會說,誒,我這個Crawler的這個名稱。
然後,那Crawler當中呢,它就會,你就會有這個選項,就是說你想查詢的這個Data Source是什麼地方。
那我這個就是說,誒,我想你自動從S3這個地區這個文件呢,自動生成所有的這個數據結構給我。
然後呢,我再將我的數據這個結構呢,儲存到這個Database。
那這個Database是什麼呢?Database是屬於這個Glue Catalog,Data Catalog的這個下面的一個服務。
那在這個目錄當中呢,你能創建一個數據庫,那數據庫當中呢,你又能創建不同的這個表格。
那你打開表格的時候呢,你就會看到誒,這表格裏面都把這個,怎麼說呢,這個數據結構呢,都儲存下來了。
好,我們馬上就來創建另外一個Crawler。
那Crawler呢,創建其實特別容易。
那我先創建這個名字,Create Crawler,Demo2。
那下一個步驟呢,它就會問你,誒,你的這個數據呢,是否已經,這個結構已經生成了。
那因爲這個是第一次執行,所以我選擇還沒有。
然後呢,Data Source就是說,誒,你想要這個Crawler查詢的這個資料在什麼地方。
那我就看看,我就點開Add Data Source,然後呢,先聲明,哦,我就說這是在S3。
然後S3這個是同一個EWSAccount以下的S3。
我就能Browse S3,然後呢,點擊這個Bucket,點擊這個Folder。
那我就能選擇Folder,因爲Folder裏面就只有一個文件嘛。
那如果我有好幾個不同的文件呢,你能同時間叫Crawler,把全部文件走一遍,然後再找出一個共同的數據結構。
那你是有不同的方式,你就可以進行一些選擇去,去讓Crawler知道他應該怎麼去生成那個數據結構。
好,再稍微點擊着,他就會跟你說,誒,行了,我就能選擇這個數據源的這個文件夾。
然後你就在這兒會有好幾個選項,就是你把全部只文件夾的東西呢,都跟他查詢,或者是隻是隻查詢新的這個文件夾,等等的。
那也許呢,就是你能Crawler呢,它是能通過這個scheduler去進行這個,在每天的不同的一個時間段呢,進行自動的這個執行。
那也許你就只需要查詢最新的這個只文件夾,那你就能選擇這個選項。
那目前呢,我只有一個文件夾,所以我就選擇這個吧。
好,那我在先添加這個data source過後呢,我就能去到下一步,next。
然後呢,你這個文件,這個Crawler就需要有特定的權限去讀取S3的這個文件。
那我在創建上一個Crawler之前已經創建了這個service role,那我就能繼續用這個Crawler。
或者是你能create service IAM role,那你就給一個名字,然後你就能創建。
然後就是由於你是在這創建一個IAM role呢,它就會馬上給你這個讀取S3的這個權限了。
那你在創建過後呢,也許你在創建第二個Crawler的時候,你就能重複使用這個IAM role。
就是角色。
好,那我們再選擇這個過後呢,就下一步。
下一步呢,你就要選擇,誒,我想要把這個數據人查詢過後的這個數據人呢,我應該把這個數據儲存在什麼地方。
那就是datacatalog裏面的這個database。
那你就會看到我剛剛已經創建了這個datacatalog demo database。
那我就可以,它這個,這你就能說,誒,我的Crawler應該在什麼時候執行。
那你可以選擇好幾種不同的這個選擇,你能想,每每每小時都執行這個,或者是每天,每週,或者是on-demand。
on-demand就是說,你要需要手動的點擊,它纔會執行。
那這個好處就是說,誒,你如果是通常上游,假如說其他這個developers他們在,他們是負責創建這個資料的。
有一天他們想進行這個數據的結構的改變呢,他不需要通知你。
那就是說,Crawler在每一天執行的時候,他如果他發現,誒,有所更改的話,他就會進行這個查詢,然後把這個最新的這個數據結構呢,
儲存到這個datacatalog,更新這個datacatalog裏面的這個數據結構。
那你的這個,你的這個腳本呢,就不需要那麼,就不需要去手動更改。
因爲你的腳本呢,會說,誒,我在這個數據這個列表呢,需要的數據結構就是在從這個datacatalog裏面抽取的。
那他可以,如果在更新過後呢,你的資料在被讀取的時候就不會有問題。
好,那我們走下一步。
那我們大概看一看,一切都對了,那就Crawler。
好,那這個Crawler呢,你就可以看到,我目前呢,就會有兩個Crawler。
之前呢,就是因爲他還沒還沒執行過,所以這個都沒資料。
好,我們來看一看datacatalog的,或者demo。
我目前呢,有一個列表,那第一個列表呢,儲存的資料呢,就是我這個bucket裏面的一個source data,這個json file。
那我想知道呢,我的source data2裏面的這個json file呢,他的數據結構是怎麼樣的。
我就創建了這個Crawler。
那我如果,那我就能馬上執行這個Crawler。
好,就點Crawler。
那偶爾會,也許有時,看這主要是看這個數據源的這個大小。
有時候也許是少於一分鐘,他就能完成,或者有時候會好幾分鐘才完成。
那主要是看,好,那我們稍微等等。
好,那你看在55秒過後呢,他就是成功的被執行了。
那我們馬上到這個database裏面看一看,這個原本我就有第一個數據,數據源的這個資料嘛。
那我來刷新一下。
好,那第二個數據源就出現了。
打開這個數據源,然後打開這個array,data type。
你就能看到,我這個數據源裏面呢,他們主要的共同數據結構呢,就是有4,這4列嘛。
ID,Name,H,City。
好,很好。
那你在創建這個datacatalog過後呢,你就能使用這些資料去進行ETL的這個執行。
好,那我們馬上就移到下一個環節,就是ETL的這個創建。
