AWS DMS 實踐教程 第2集:教程演示[數據工程師系列]

数据工程师日记
8粉絲
7 次觀看·2024年2月1日
在這個視頻中,我將介紹AWS DMS (Data Migration Service) 數據庫遷移服務和實踐教程演示,讓數據庫遷移過程更加快速和有效率(無代碼)。無論你是剛剛入門還是已經有一些經驗,這個視頻都會為你提供有價值的信息。
內容大綱:
-AWS DMS (MYSQL 數據庫數據遷移 全流程)
如果你對數據領域感興趣,或者想要成為一名數據工程師,這個視頻將為你提供一些指導。
請記得訂閱我的頻道以獲取更多與數據工程相關的資源和教程。
有任何問題或建議,請在評論中留言。謝謝!
好,現在我就會跟大家展示一下一個非常簡單的DMS的流程。
首先,我使用Terraform創建了兩個MySQL RDS Database,
一個作爲Source,就是它的原數據庫,
然後另外一個就是目標數據庫。
用這個非常簡單的Terraform Code,我就創建了好幾個不同的資源。
第一是有Security Group,
我就要把我的數據庫安排在安全組裏面,
然後給3306,就是MySQL的端口,
這一邊讓它能接受網絡上任何一個Inbound的要求,
然後Outbound的要求也是給全網絡都行的。
然後再創建兩個不同的MySQL RDS Instance實例。
首先,我就選擇了最簡單的,最小的數據庫實例組,
然後這就是一些用戶名字,然後密碼,
然後它能不能Publicly Accessible。
那它Publicly Accessible的話,就是稍微比較簡單一些,
我就不用更改的那些Networking等等的配置。
雖然不是最好的做法,
不過爲了這個簡單的流程,我就先把它設置爲Publicly Accessible。
當我運行了這個Terraform的配置,
它就會幫我形成了兩個安全組,
然後還有兩個數據庫。
第一個數據庫就是使用爲原數據庫,
然後我就能從這取得了它的Endpoint,然後進行這個連接。
我在其他影片也有介紹到AWS Cloud Shell這個服務。
這個服務基本上可以使用AWS CLI去連接到不同的服務。
你就能看到我這是原數據庫,然後這是目標數據庫。
那我就通過這個Endpoint,
我就能連接到他們的數據庫,然後進行這個SQL的查詢。
我們來看一看。
我打開了兩個Club Shell。
第一個我就用mysql,然後這個Endpoint,
然後再加上這個User Name用戶名字。
然後當我輸入這個的時候,它就會要求我這個輸入密碼。
我在成功輸入密碼過後,
你就看到我已經連接到RDS數據庫了。
那我先簡單來看一看。
我這有什麼Database。
然後我已經創建了一個DMS Test的Database。
那我就使用DMS Test。
然後我就能看一看我這有什麼列表。
我就創建了三個列表,
那就是有DMS Table1、Table2,
然後還有一個Table1。
我簡單的查詢Table1,
我就會看到我有40列的數據。
那DMS它是一個很強大的服務,
它其實可以遷移好幾千個列表,
然後好幾百GB或甚至TB的數據。
可是我這就用一個非常簡單的數據庫來做一個演示。
那數據庫DMS Table2基本上也是擁有一樣的東西。
接下來我們來看看我們的目標數據庫。
你能看到另外一個端口M-Point,
然後我再打開另外一個CloudShot,
進行這個連接,
放了不同的M-Point。
然後你會看到我已經有一個新的Database,
然後再使用它。
那你會看到這是一個空的Database,
裏面沒有任何列表。
那我們接下來的目標就是把這個數據庫的資料
遷移到另外一個數據庫。
那我們馬上開始。
首先我們先到這個AWS控制檯,
我們先輸入DMS,
我就能找到Database Migration Service。
點擊開始後,
我就第一件事情,
我就要創建所謂的Replication Instance,
那就是遷移的實例。
那我已經創建了一個實例,
因爲創建的這個過程比較長,
所以我在這就不展示了。
可是創建的過程也不會太複雜,
就是你打開這個的話,
它就會有一個Dashboard,
就是讓你看看你有哪幾個Replication Instance。
然後你能點擊Create Replication Instance,
給一個名字。
然後你就是能在這兒選擇這個實例的這個組別。
通常就是看你要遷移的這個數據庫的這個數據的量有多大,
你就能給不同的這個實例的這個組合。
那我就使用了最小的這個組合作爲T3 Micro,
作爲這個實例的組合。
然後呢,Engine這基本上都是放着一樣的選項。
Sorage我就給了20,
然後Connectivity我就使用了一個原本的這個VPC,
然後Subnet,
然後也沒什麼特別,
就跟着它原本的這個設置吧。
然後Maintenance沒什麼多大需要更改,
那你就能創建這個Replication Instance。
因爲有時候它會,
也許會拿5到10分鐘來創建這個實例。
好,那我就不說了。
那你在這個實例成功創建過後呢,
你就能找到一些它的這個配置是如何了,
你就能看看這個Security Group,
你就能看看這個實例呢,
是否Inbound Outbound的那個規則是如何,
你都可以在這個安全組織進行更改。
然後呢,你也能在這看到這個CloudWatch Metric,
就是說這個實例呢,
它在過去的一段時間內呢,
它的這個內存或者是CPU的用量等等,
它都有這個CloudWatch這個Service去追蹤。
然後呢,它也能看到這個實例呢,
有哪幾個遷移的這個Task呢,
正在使用着。
你能看到我有兩個Task呢,
是使用這個實例來進行的。
然後呢,你能進行看一下Log Management,
看看這個日製的這個管理等等。
這個實例呢,
它的有一個稍微比較不方便的東西呢,
就是它你一創建過後呢,
它就必須運行,
它不能停止,
例如好像一個RDS呢,
你能選擇Modify或者是你能暫停這個實例。
可是呢,這個DMS的實例呢,
你就只能創建或者是刪除,
那它是不能停止的。
所以說呢,
因爲而且創建也耗時也比較久,
所以我基本上就是創建過後呢,
我就會保留着。
可是呢,
它平常的會有一個最低的這個收費,
就例如50分美金吧,
每一天的一個用量。
所以如果沒有使用的話,
你可以記得把它刪除。
那接下來呢,
我們第二個東西呢,
我們看的就是M-Points。
那M-Points主要就是說,
我想要從我的數據源數據庫,
跟我的這個目標數據庫的這個連接的資料。
那我這兒呢,
你能看到我的Source Target,
就是我的第一個MySQL Source Target。
那我就有這些提供了這些資料。
如果呢,
你能回到這兒,
你能Try Create這個M-Points,
它就能選擇Source M-Points,
或者是Target M-Points。
如果你的這個實例呢,
你是使用RDS的這個設備數據庫的話呢,
它能直接就是連接到這個RDS的這個實例。
那接着例如說呢,
我就選擇02。
這呢,
它就會直接知道這是一個MySQL的這個數據庫引擎。
然後你能提供這個M-Points的這個密碼。
那你能通過兩種方式。
第一呢,
是通過AWS Secret Manager的這個服務呢,
去儲存這個這個用戶,
或者是密碼等等的。
或者是呢,
你能直接就是在這輸入你這個密碼。
那這也沒多大。
其他東西呢,
首先,
當你輸入這些密碼過後呢,
你就能進行這個Test Connection。
那就能測試呢,
從這個DMS連接到那個數據庫呢,
這個連接是否成功,
你就進行Run Test。
那我這就不嘗試了。
那因爲呢,
我這已經創建了這個Source Target。
然後你能在這個Connection這個Section,
你能看到它的Test是Successful。
如果你要測試的話,
你能進行這個Run Test。
接下來呢,
然後它就有,
這就是那個原數據庫。
第二呢,
我就要看一下我的這個目標數據庫了。
然後我再打開我這個目標數據庫,
我也跟一樣,
跟原數據庫一樣,
就是提供這個Endpoint,
這個User Name,
或者是密碼。
然後再進行這個Connection的這個測試。
這也是成功了。
好,
那我們就移到,
下一個就是第三個組件,
就是Migration Task,
就是遷移的這個案例。
好,
我也創建了一個案例,
那我們先看看,
首先呢,
首先呢,
你就要給這個案例一個名字,
然後就叫Test Tool。
然後呢,
你就必須選擇這個,
複製的這個實例。
這就只有一個,
就是Test。
然後呢,
Source Database,
YSQL,
然後呢,
Target Database,
YSQL。
然後呢,
你在這個遷移的這個呢,
你有三個選項。
第一呢,
就是Migrate Existing Data,
就是稱爲的Full Load,
就是說你把現有的所有資料呢,
一次性的這個把轉移。
第二呢,
就是一次性轉移,
再加上Replicate Ongoing Changes。
那基本,
英文呢,
另外一個說法是,
叫做CDC Change Data Capture。
那基本上就是說,
你在一次性把全部資料轉移過後呢,
接下來,
在原數據這進行的任何一個,
任何一個,
怎麼說呢,
的那個,
更改或者是變動呢,
它都會馬上,
複製到這個目標數據庫去。
然後呢,
這個第三個就是,
不進行這個一次性的全部轉移,
就直接就是從,
這開始呢,
去,
追蹤,
在原數據庫進行的所有更改。
那我們這最簡,
因爲第二個的這個設置呢,
需要在原數據庫呢,
進行比較多的這個配置,
我就不使用了。
我就使用這個最簡單的就是,
一次性的轉移全部數據。
好,
當你選擇完這個過後呢,
你就能在這個,
還有很多設置。
那例如說,
你這一個目標的這個列表呢,
你需要在這個,
遷移的過程中,
進行什麼樣的這個,
操作。
那第一個就是,
保留這個目標的這個table。
那也許你就會造成,
如果你是進行兩次遷移的話,
也許就會造成這個duplicate的這個,
資料。
或者是你可以在轉移之前呢,
遷移之前呢,
先把這個列表給刪除。
然後以確保呢,
你這個轉移過後的列表,
只是擁有和原數據庫一模一樣的這個資料,
等等。
然後呢,
你也可以進行這個LOB這個,
應該是給一個特別大的這個large object blob column。
那它就是能說,
你這個column的設置,
它能最大的容量是多少。
那這個數據遷移呢,
它也包括了Data Validation的這個服務。
那你就能進行這個數據的一個檢測,
就是說,
你能在轉移以後,
如果檢測數據有些差錯呢,
它就能偵測的到。
然後呢,
你也能進行這個task的這個日製的這個配置。
那它能通過CloudWatch去追蹤這個遷移的過程中,
每一個詳情。
那你也能在這個高級配置這兒呢,
就看到,
你需要,
你可以創建一些表格,
列表呢,
就是說,
在這個目標數據庫這兒呢,
你有一個列表,
它這些列表會儲存那些在遷移中所產生的這個原數據。
例如這個replication history,
如果你想要這個table的話,
你就能在這進行enable。
那它也能同時設置這個同時間in parallel呢,
在平行運行的這個情況下,
最多同時間能轉移多少一個列表。
那你能設置1到49。
那接着呢,
我們就看看table mapping。
table mapping就是說,
你在轉移這個過程中呢,
你可以選擇,
如果你沒進行任何選擇的話呢,
它就是把所有的這個列表都進行轉移。
不過呢,
有時候你想要只是轉移特定的列表,
那你就能進行這個,
用這個規則呢,
去進行一個篩選。
那首先呢,
我們能看看我們的schema。
那也就是說,
所以我的schema是,
要轉移的schema是VMS test。
那,
可是呢,
可是呢,
我這個VMS test呢,
我只想要轉移,
有DMS underscore的這個,
作爲prefix的這些table。
例如說,
我只要轉移這兩個table,
我不想要轉移這一個。
那我就能在這個source table這呢,
使用一個,
VMS underscore。
然後呢,
進行一個percentage的這個character呢,
來進行這個wildcard。
就是說,
只要列表有DMS underscore的這個prefix的這個名字呢,
那我就要include。
在這個籤語中呢,
就要包括這個列表。
你也能說,
我想要exclude,
我想要擁有這個對應的這個列表名稱呢,
我就不要轉移。
或者是你要轉移。
就能進行這個更改。
然後呢,
你也可以進行這個column。
你也能在一個session呢,
特定的這個column name,
然後呢,
進行一些session。
好,
那你更進一步的這個規則呢,
你能進行一些transformation,
那就是進行一些更改。
你能說,
我想要,
在,
例如,
特定的一列,
我想要把這個轉移的過程中呢,
把裏面的數據呢,
把它全部變成lowercase,
或者是變成uppercase。
它能進行一些簡單的這個transformation。
那我在這個教程中,
我就不展示了。
我就就是單單轉移,
籤移了這一些列表。
好,
那你能看到這個,
基本上就沒多大,
沒有其他的這個選項。
這個選項呢,
也挺重要。
就是說,
你在創結數創建這個task過後呢,
它會直接運行,
或者還是你會,
需要你手動去運行呢,
它纔會進行這個籤移。
好,
那接下來你就能創建這個task。
那這個創建也許就,
應該會花上好幾分鐘的時間。
所以我們就使用一個,
我已經創建了的這個task。
好,
我們點擊過後呢,
你就會看到,
我剛纔已經運行了一次。
那不過,
我就是再跟大家展示一下,
它這個再運行多一次呢,
我可以進行一個re-run。
首先呢,
我來看看我的這個原數據庫。
你能看到,
這裏我有兩個,
兩個列表要轉移,
進行遷移。
然後第一個列表,
第一個列表有這個40個records,
然後第二個也一樣,
40個records。
然後呢,
我在這個目標這個數據庫這兒呢,
你能看到我這個DMStask的這個data base,
裏面是空的,
它就是說沒有列表。
好,
那我們就進行,
馬上進行這個轉移。
好,
我們就說action restart。
好,
那restart的時候呢,
你就有兩個選擇。
一就是resume或者是restart。
那restart就是重新再進行這個full load。
好,
那我就start task。
好,
然後進行這個刷新。
你就能看到這個task在start這兒。
然後呢,
你能點擊這個table statistic,
你就能看到這個table statistic呢,
它就會跟你說,
你在這個遷移當中,
有哪幾個表格是會進行這個遷移。
然後呢,
它有進行什麼,
哪幾行資料有進行這個遷移。
那你就能看到這個full load這個roll呢。
好,
那是剛纔看到的是上一次我執行這個task的這個資料。
現在呢,
我進行刷新的時候呢,
就會看到,
這纔是第二次運行的結果。
那你能看到呢,
這幾列呢,
都是零。
然後呢,
只有在full load roll這兒呢,
纔會有資料。
因爲呢,
我選擇的這個遷移選項呢,
是屬於一次性的這個轉移。
所以我在這兒呢,
我是沒有資料的。
如果你是進行這個CDC這個 ongoing replication的這個選項的話呢,
只要是在原數據庫那進行的任何insert,delete,update,
或者是等等的這個操作呢,
它就會在這兒不停的這個慢慢的增加。
那你就會看到這個status呢,
會是full load complete,
然後就是 ongoing replication。
好,
我這個刷新一下,
你看到load complete,
這就已經結束了。
好,
結束了,
總共有40這個rolls的data。
好,
爲了確認一下呢,
我就回到我的這個cloud shop。
那我們剛剛呢,
看到這DMS test裏面是empty的,
是沒有資料的。
那我再看一看show table,
你看到現在那兩個表格呢,
就已經被轉移到這第二個數據庫了。
那如果我自己一個查詢,
這40列的資料,
我們這第二個表格,
資料就成功被轉移過來了。
那你就能看到呢,
這個轉移呢,
就是是不需要代碼的,
你只是要使用這個DMS服務,
創建一個replication的這個實例,
然後進行這個endpoint,
對於不同你的原數據庫,
跟這個目標數據庫進行連接,
然後再進行運行一個task,
它就能把這個數據呢,
從原數據庫轉移到這個目標數據庫。
那當然了,
endpoint其實不是就是單單隻有數據庫可以使用。
那這呢,
如果你在選擇這個source endpoint的時候呢,
你也能看看它所支持的這個引擎,
比如說它包括了amazon很多不同的這個,
例如S3也可以,
Google也可以,
Azure也行,
mongodb這些不同的這個數據庫引擎呢,
它都有支持。
那如果我們再看看這個目標endpoint呢,
打開這個target engine,
你就能看到它也支持了很多不同的這個服務。
那有amazon kinesis,
redshift這個數據倉庫,
然後S3,
還有等等的這個不同的目標。
好,
那這就是一個非常簡單的這個DMS流程。
那你就是看到我是把一個原數據庫,
RDS MySQL的這個原數據庫的資料呢,
要轉移到一個RDS MySQL的這個目標數據庫。
那這個,
因爲這個轉移非常簡單,
可是再高級一點的這個轉移呢,
就可以牽涉到你想要從on-premises,
就是在本地的這個數據中心的這個,
假如說你想開始使用這個雲端服務,
你就能通過這個服務呢,
去連接到你的本地的中心,
做爲原數據庫,
然後再把資料轉移到雲端去。
可是呢,
這間中呢,
會牽涉到很多這個網絡或networking的這個配置,
那沒有,
這不會有相當簡單。
不過一切在設定過後呢,
你就能進行不同的例如full load,
就是全遷移或者是 ongoing,
那就是持續的這個小量的這個遷移,
那你就能看到這個的這個服務的強大的功用,
那特別是呢,
它能從不同的引擎呢,
就是遷移數據到不同的數據庫引擎,
例如說我能使用MySQL,
然後作爲原數據庫,
然後目標數據庫是使用Postgres,
那這個DMS它本身後面呢,
有一個叫做Schema Conversion Tool,
那它就能自動的將那個Data Type,
或者是在不同引擎中所使用的這個數據格式呢,
進行這個轉換,
然後以最適合的方式呢,
把資料儲存到你的這個目標數據庫,
那這個是一個非常非常強大的這個服務,
那也許下一期呢,
我們能做一些更深入的這個介紹,
那如果你喜歡我的影片的話呢,
就麻煩點贊,
留言和分享,
那我們下一期再見,
謝謝,
拜拜。
