AWS DMS 實踐教程 第1集:簡介[數據工程師系列]

数据工程师日记
8粉絲
6 次觀看·2024年2月1日
在這個視頻中,我將介紹AWS DMS (Data Migration Service) 數據庫遷移服務和實踐教程演示,讓數據庫遷移過程更加快速和有效率(無代碼)。無論你是剛剛入門還是已經有一些經驗,這個視頻都會為你提供有價值的信息。
內容大綱:
-AWS DMS基礎
-AWS DMS的好處
-AWS DMS的主要組件
如果你對數據領域感興趣,或者想要成為一名數據工程師,這個視頻將為你提供一些指導。
請記得訂閱我的頻道以獲取更多與數據工程相關的資源和教程。
有任何問題或建議,請在評論中留言。謝謝!
Hello 大家好 歡迎來到數據工程師日記
本期視頻我會跟大家介紹AWS數據庫遷移服務
英文爲Data Migration Service 或DMS
這個服務主要是幫忙我們進行數據庫的遷移
例如從本地或者是從雲端不同的數據庫
將這些資料轉移到在AWS運行數據庫當中
爲什麼我們應該使用AWS DMS呢?
第一,它簡化了整個遷移的過程
並減少複雜性和手動量
因爲這個服務是由AWS託管的
所以它提供了一個無需代碼的服務
所以就算你本身沒有太深厚的技術背景
也能實現這個遷移
第二,它就最小化停機時間
數據庫遷移這個工作其實是挺大的一個工程
而且對數據庫的影響也挺大
有時候你在自己手動進行遷移的時候
可能遷移一半中途中斷過後
也許你就要從頭開始
可是DMS有提供中斷過後繼續下去的功能
而且它在進行遷移期間
那個業務或者是那個Application
它也能照常的操作
就減少了這個遷移對業務的影響
第三,它就支持多種數據庫
例如有最基本的MySQL Postgres
Oracle跟SQL Server
甚至一些NoSQL例如MongoDB的遷移
還有就是它的成本效應
普通如果你是從本地
就要將資料或數據庫遷移到這個雲端
你也許要大量的錢去投資
可是使用這個服務
你就能使用這個Pay As You Go的付費模式
能根據你所轉移使用的服務器
跟你轉移的數據總量來進行付費
那當然AWS它也是符合了全球範圍內的合規認證
它的安全性肯定是比本身做手動的遷移更加可靠
而且它有很強的擴展性和彈性
因爲它能提供不同大小的服務器
去對應你所需要的數據遷移
那我現在就來說說AWS裏面的三個主要的組件
就是實例
那你能在右手邊看到
EMS提供了很多不同的選項
那你就能看到它根據它的名字
你就會看到它有提供的Virtual CPU和它的內存量都有不一樣
那就根據你所想要遷移的數據庫
你能選擇最適合你的工作量的實例
最小就不需要一個太大的成本來進行這個遷移
因爲這個是一個AWS託管的服務
所以我們不需要管理任何實例的底層硬件
而且它就會跟着你的任務需求來進行佈置
那它的作用就是它會負責讀取從一個源端點
或者是Source Endpoint這個數據並進行轉化
例如從MySQL轉化到你的Postgres數據庫
它就會自動幫你轉化然後再寫入目標端點
加上它可以有不同大小的實例
它就可以根據你的工作負載量進行不同的匹配
第二個主要的組件就是端點Endpoints
基本上Endpoints有分兩種
第一就是Source Endpoints
就是遷移的Source Database的配置
還有資料應該寫入到哪個數據庫
就是你的目標數據庫
它的作用就是這個端點就會包含數據庫連接的信息
例如服務器的地址、端口、數據庫類型等等的資料
可以看到有一個小小的照片
最後一個組件就是任務
任務就是執行遷移操作的單位
每一個任務都應該要有一個原端點跟目標端點
和一個實例才能進行任務
一個複製實例的Instant能同時間擁有好幾個不同的任務
因爲如果實例的內存或者是CPU夠大
它能同時間進行好幾個任務是沒有問題的
Replication Instant是一開始進行運行的時候
它就會開始進行收費
然後任務在進行的時候
AWS就會計算在這個任務中你所遷移的數據的總量
它在進行例如每小時每個GB所需要的費用是多少
然後你纔會得到這兩個的總結就是你所用到的總費用
那你在進行這個遷移的時候
你的任務有分爲兩種
第一你有一個就是籤量的類型
就是全量籤量或Full Migration
就是一次性的將你的原數據庫和資料一次性都把全部東西轉入到目標數據庫
或者是第二個類型就是增量遷移
Rapplicate Ongoing Changes
意思是說它這個數據庫的實例會不斷聆聽着原數據庫
任何在原數據庫進行的更改
每一段都會馬上被複制到目標端的數據庫
所以這也是一個強大的功能
然後在設置方面還有更多的選項
例如數據過例
例如說你能設置說我想要哪一列某一個特別的一個組合的數據才轉移過來
然後有轉換規則
然後錯誤處理策略等等
那這個任務也可以被配置爲來定時啓動
比如Schedule或者是事件觸發Event Trigger
那基本上Event Trigger就是說
你在你的原數據庫有任何進行的更改刪除
這些東西都是會成爲一個事Event
然後來觸發數據的遷移
那最後我想聊一聊Table Statistics
就是表統計
就是說當你在進行這個遷移的時候
這個AWSDMS會馬上生成Table Statistics
那你能看到在這個數據遷移的時候
是有哪幾個Table
哪幾個原數據的表格是被轉移的
然後它總共遷移所使用的時間
然後它是有什麼類型的操作
例如Inserts、Deletes、Updates或DDLs
那就是在表格上的Schema的更改
等等的這些資料都會被儲存到這個
這些原數據都會被儲存到DMS
那如果有任何出錯的話
它都會顯示在這個Table Statistics
那你就能使用這個來Troubleshoot
就是說你哪一個轉移出現問題
然後你就可以去了解是什麼原因造成的
當然通過這個你就能進行性能的優化
就是說你進行監控表的讀取
然後你就能看看寫入跟刪除操作的速度
並識別這個瓶頸
就進行相對的優化
然後在錯誤的技術這
這你就可以識別出現問題的表格
然後它這些資料都會被寫入到
AWS CloudWatch這個日製監控的服務
那基本上是它有很強大的monitoring的功能
那說到這我就大概說完了DMS的服務
那下一個環節呢
我就會跟大家手動操作
嘗試創建這三個組件
就是Replication Instance實例
然後通過這個源端點跟這個目標端點
還有這個任務呢
去進行一個DMS的這個數據庫遷移的這個教程
