AWS Athena 實踐教程 : 輕鬆查詢數據湖中的海量數據[數據工程師系列]

数据工程师日记
8粉絲
6 次觀看·2024年2月22日
在這個視頻中,我將介紹AWS Athena 交互式查詢服務和實踐教程演示,讓你輕鬆更有效率(無代碼)的查詢數據湖中的海量數據。無論你是剛剛入門還是已經有一些經驗,這個視頻都會為你提供有價值的信息。
內容大綱:
-AWS Athena 簡介
-AWS Athena 計費方式
-AWS Athena 使用場景
-AWS Athena 演示
如果你對數據領域感興趣,或者想要成為一名數據工程師,這個視頻將為你提供一些指導。
請記得訂閱我的頻道以獲取更多與數據工程相關的資源和教程。
有任何問題或建議,請在評論中留言。謝謝!
Hello 大家好,歡迎來到數據工程師日記,本期視頻我會跟大家介紹AWS交互式查詢服務Athena。
那爲什麼我們要使用AWS Athena呢?因爲這個服務它能允許用戶直接使用標準的SQL語言來分析儲存在Amazon S3中的大量數據。
比如你的Data Lake,就是你的數據湖裏面的大量數據,它能讓你在無服務器的情況下查詢這些數據。
那比較起這個S3 Select,就是S3 本身的這個Select的功能,它就更加強大,更適合分析大量的數據。
因爲你在右手邊看到S3 Select,它只限制於查詢一個文件中的數據,然後它也限制只能查詢到40MB的數據。
如果你想要使用更高級更復雜的SQL Queries,你就應該使用Amazon Athena這個服務。
這個服務是屬於Serverless,就是無服務器的,所以用戶無需管理任何基本架構,就可以進行大數據的查詢,提供了靈活性和可擴張性。
再加上這個服務也支持多種數據格式,包括這個行跟列、Row Format跟Column Format的數據格式文件,它都有支持,例如CSV,JSON,ORC,Avro和Parquet。
這就適用於各種數據分析場景,包括日製分析數據倉庫的查詢和大數據的處理。
這個服務的計費模式是根據查詢的數據量,而不是基於服務器運行的時間。
如果說你使用的SQL Statement運行了十分鐘,那你查詢的數量,可是它的收費是根據你總共查詢了多少條數據來進行費用的計算。
在成本效益上是非常有吸引力的,尤其是那些進行數據查詢需求不定或者是間接性很大的用戶。
比起你要使用一個數據倉庫,例如AWS Redshift,你就需要訂閱一個服務器。
雖然它是由AWS負責去管理的,可是在沒有使用的情況下,你還是需要付費。
相反,Athena就只是在你進行查詢的時候,它纔對你進行收費。
這個服務的使用場景,首先它能搭配數據目錄Data Catalog。
Data Catalog是屬於AWS Glue服務旗下的功能,它是用來儲存關於數據表結構,例如字段名或者數據類型的信息,就是英文說的Meta Data,原數據。
Athena服務是默認使用Glue Catalog,就是儲存庫來進行查詢。
這個搭配能協助極高數據管理查詢的效率,讓你適合處理大型而複雜的數據集。
同時Data Catalog也能避免用戶在每一次執行查詢的時候,都需要重複定義數據的結構。
因爲Glue Catalog基本上就是告訴你在S3的文件夾裏面,它的數據是什麼樣的數據結構。
一旦是定下來的過後,Athena就能以數據結構爲基礎去進行查詢,所以效率上可以有很大的提升。
我在使用這個服務的真正的使用案例,我的公司有一個Redshift數據倉庫,
因爲數據倉庫的儲存量有限,所以它將數據分爲冷、熱的兩個儲存方式。
熱數據就是所謂的滾動12個月的數據,就是Rolling Period,就是說你每增加一天,12個月的算法頭一天就去除。
這些之前的數據就會有一個Python或者Glue的Glue Job去將這些冷數據儲存到S3的文件夾裏面。
這也是通過Redshift的unload功能進行每天的數據卸載,並以年月日按分區。
你也可以根據你的要求來進行不同的分區,例如說你要以日期來分區,還是要以客戶的ID來分區,
那都是看你的數據是怎麼樣子,它就會達到最好的分區方法,並讓查詢的效率更高。
當這個數據被卸載過後,如果我想要知道我的冷數據的結構或者是冷數據裏面有什麼樣的數據,我就能使用Athena進行查詢。
同時,我的Redshift的儲存就只是專注於管理熱數據,我就是儲存在S3這項服務,因爲它的收費特別低。
那你就能使用Athena在需要的時候才進行數據的查詢,因爲這個服務只使用數據量來計費,所以沒使用的話就不需要付費。
所以這個是一個很不錯的數據查詢的服務。當然如果你是平常查詢的非常頻密,用戶也有很大量的用戶,那擁有一個數據倉庫還是一個比較好的選項。
當然不同的服務主要是看你的使用例子。
那這裏就結束解釋這個服務,那接下來我就跟大家分享如何使用Athena這個服務。
好,那首先我們就來到了這個AWS的控制檯。
那首先我想要打開的就是我在S3中已經創建的這個Bucket,那我稱之爲Athena Demo 001。
那這個我想要給你演示的話呢,我使用的這個文件的這個例子呢,就是一個CSV的這個文件,然後還有一個是Parquet的這個文件,那就是這是Athena支持的這個文件類型。
那在這個CSV當中呢,我就會有一個Orders的這個文件夾,然後呢,你裏面呢,我會有就是不同年份的這個Orders。
好,那我可以點擊開來呢,我能使用這個所謂的S3 Select,那你選擇了這個文件過後呢,你可以使用Object Action,然後Query with S3 Select。
然後呢,它就能說,你的這個文件是屬於什麼類型的,所以這是一個CSV,然後呢,我想要讀取這個文件過後,我想以什麼類型的方式呢,去展示出來。
那我想用CSV的方式,那我就能進行Run SQL Query,它就使用這個標準的這個SQL Query去讀取這個S3裏面的這個文件,然後你就能看到這個所謂的文件。
其實就很簡單,2024年呢,就只有一條這個數據,可是呢,這個東西呢,就如剛剛我說的,就是它只限制在你只可以查詢一個,同時間只可以查詢一個文件,如果你一個文件夾裏面有好幾個文件呢,你只可以逐個逐個去查詢。
那在大數據分析的話呢,這肯定是不適合的這個服務,那所以呢,我們就使用這個Athena,然後Parquet方面,我就裏面就只有兩個Parquet的這個文件。
那首先呢,我們要在讀取使用這個Athena之前呢,我們到Service,然後點擊這個Athena,打開來Athena,然後呢,你會有看到好幾個不同的選項,第一呢,就是使用這個Trino SQL,那就是最簡單的這個SQL的界面,或者是呢,你可以使用所謂的PySpark或者是Spark SQL,這是一個更屬於使用一個分佈式計算的這個大數據,
框架呢,去分析你的資料,那今天呢,我們也是就以比較基本的這個Trino SQL,那我就打開這個Query Editor,那當你打開這個Query Editor的時候呢,如果你是第一次打開的話呢,你需要設置你這個Athena,
然後呢,它的這個查詢的這個的這個出來的結果呢,應該儲存在什麼地方,因爲這個是無服務器的這個一個服務嘛,那你就需要在這選擇一個特定的這個S3 bucket,然後就指明說,我儲存了,我這個進行這個查詢過後的這個結果呢,我想要儲存在這個Parquet當中,然後你就能進行選擇。
那選擇了,那當你結束選擇這個過後呢,你第二個東西就是所謂的Data Source,那Data Source呢,這個Athena它就自定義爲這個Data Catalog,Data Catalog就如我剛剛所說的是在AWS Glue底下的這個服務,那你就能在這個Data Catalog看到一個所謂的Database,
那Database呢,就是不同的數據庫去儲存這個所謂的原數據的這個資料,那首先呢,你需要創建一個Database,那我這我就創建了一個叫做Athena Demo的這個Database,那如果我再嘗試創建一個新的Database呢,你就很簡單,你就只需要輸入這個名字,然後就就可以創建了。
那在創建了這個Database過後呢,你想需要做的呢,就是創建一個叫做Crawlers的這個東西,那Crawlers呢,其實就你看它的這個Logo呢,其實就是一隻蜘蛛,它就是說以這個蜘蛛去爬行呢,就是去閱讀你在S3中的那個文件,然後把它的原數據呢,給讀取出來。
那因爲呢,你在你的數據庫S3當中呢,你可以有很不同的這個數據格式,例如CSV,JSON,然後是Parking,那這些的這個數據的格式呢,都不太一樣的,所以這個S3的這個Crawler呢,它就有辦法去讀取這些文件,然後把這個原數據的數據給讀取出來。
那你是不是能通過呢,在Crawlers的呢,進行這個,你就能創建一個Crawlers,那我之前已經創建好了,那你在創建過後呢,你就給它一個名字了。
那接下來呢,你就會說,誒,你這些你想要查詢的這個,數據,原數據呢,是否已經在這個Glue Tables了,那我還沒有這個Glue Tables,所以我就選擇Not Yet,然後呢,我就是來添加這個數據來源呢,會來自S3,然後呢,你會選擇Glue Tables
行,然後呢,我就呢,會選擇我想要這個Crawler呢,去讀取哪一個,哪一個資料,那我就先讀取Athena Demo001,然後,我想讀取CSV,orders那orders下面就是我的文件,
那我想要說就是說,我想要在讀取orders,文件夾裏面呢,以下的全部文件,都跟我讀取,基本呢,這個要求,就是了底下的
這個文件的數據格式是需要是吻合的
可能這是一個非常重要的
那有時候你會在不同的時間段
會添加新的這個數據列
那你就需要再執行這個crawler
去讓他知道
我這個數據
他添加了一個新的一個列
那你在用Athena讀取的時候
他就能成功
那我再選取這個爲我的數據來源過後
我就能在這選擇
就說我想要crawl全部
這是以下的這個文件夾
都要跟他讀取
還是隻讀取新的這個文件夾
那首先我就以這個爲基礎
就添加這個S3 data source
那你能同時間添加好幾個不同的data source
那我接下來第二個
就是添加這個parquet以下的這個文件夾
那添加過後
你就能看到
他就會從這兩個不同的這個地點
就去讀取這個元數據
那下一步
你就需要選擇一個iam role
那這個iam role
他就需要這個角色
他就需要S3的這個權限
因爲他必須從S3讀取這個資料
那如果你也可以從每一次創建這個crawler的時候
創建一個新的角色
或者是使用一個已經存在了的角色
那這個角色裏面
我就打開來
我就能看到我只有S3的這個權限
然後我還有這個glue service role
glue本身的這個權限
好
那再接下來下一步
你就會說
我現在在這個output
那我讀取了這個元數據
我應該把這個數據寫到哪一個數據庫呢
那就是剛剛我們創建的這個Athena demo
這個是我在截取過後的所拿到的table
可是你在創建的這個數據庫過後呢
基本上是沒有table的
沒有這個table
那你就能在這選擇Athena demo
然後呢
你也可以在這就是說你所創建的這個
這個表格上面的前面
你需要添加這個prefix等等的這個選項
好
那你也可以選擇的
你的這個crawler
它是要自定義
就是每小時進行自動執行呢
每天每週還是每個月的自動執行
還是隻有你就是手動執行的
才進行執行
在這個類型
那我就以on demand爲frequency
那接下來你就能create crawler
那你create完了這個crawler
你就能打開來
然後你就可以看看datasource
它就是讀取這兩個地方的這個元數據
然後呢
你就能進行run crawler
那這個呢
我已經執行過了
所以它是接近就是一分鐘左右呢
它就讀取了這個數據
那讀取了數據過後呢
你就能回到這個database
看到這兩個
現在它就有這個兩個table了
你看看我點擊這個table的時候呢
它就能讀取
你在這個S3的這個文件夾裏面的這個文件呢
它的數據格式是如何的
它是有order ID
它是有這好幾列
然後
等等的
我們來看看另外一個table
parquet
你就會看到它是有這個ID name等等的這個
數據結構
那當我們有了這些東西呢
我們就先開始使用這個Athena
那我去Athena這個database呢
就是你剛剛創建的這個database
Athena demo
那底下就會有這兩個table
那你就能點擊這個
然後呢
你就可以看到它底下就會有這兩個tables
Athena orders跟Athena parquet
那我這已經有寫好了這個sql statement
那我就能Athena orders
然後進行這個查詢
那其實這個查詢呢
就是說它查詢了所有這個Athena demo以下的全部文件
那你就是說呢
它在這個CSV裏面呢
剛剛我使用這個S3 select的時候
我只能選擇一個文件
可是我使用Athena呢
它就是同時間讀取了這三個文件
就能看到呢
它的這個文件呢
它就創建2022,2023,2024的這個文件
數據呢
都會出現在這
然後你就可以下載這個資料等等的
然後呢
我們再看一看這個parquet
那parquet呢
它也一樣
它也是讀取了這個全部東西
那就是兩個不同的parquet file呢
它都讀取出來了
那就是就是如這個
這是一個很簡單的這個演示演示
可是呢
就是說這個數據的這個服務呢
是特別強大的
因爲你在無服務器的情況下呢
你能對你的數據服務呢
進行這個查詢
那當然了
我使用的這個例子呢
這這那一個數據是非常少的
但是呢
在就是就是公司使用的場景的話呢
可以查詢上好幾萬幾百萬的這個數據呢
都是很很快就可以查詢查詢出來的
所以這是一個挺好的這個服務
就是說你不需要使用這個數據倉庫
如果你你對這個數據分析
可能只是每兩週使用這一次這個數據分析
那你就不需要擁有一個數據倉庫
你只需要這個Athena呢
就能對你在你的數據服裏面的數據呢
進行這個查詢
好那這就是Athena的這個服務的介紹
那我希望你這個視頻呢
對你有所幫助
如果你喜歡我的影片的話呢
請點贊分享然後開啓小鈴鐺
然後如果有什麼問題呢
請可以在下方留言
那我這個本期視頻就到此爲止
那我們下期再見
拜拜
