數據工程師Data Engineer 第7集: 數據質量Data Quality, 可觀察性 Observability, 沿襲性 Data Lineage [數據工程師系列]

数据工程师日记
8粉絲
1 次觀看·2024年2月1日
在這個視頻中,我將介紹什麼是數據工程師以及成為一名數據工程師所需要具備的技能和知識。無論你是剛剛入門還是已經有一些經驗,這個視頻都會為你提供有價值的信息。
內容大綱:
- 數據質量Data Quality
- 數據可觀察性 Observability
- 數據沿襲性 Data Lineage
如果你對數據領域感興趣,或者想要成為一名數據工程師,這個視頻將為你提供一些指導。
請記得訂閱我的頻道以獲取更多與數據工程相關的資源和教程。
有任何問題或建議,請在評論中留言。謝謝!
接下來說完ETL和Data Warehouse,接下來說說在ETL中需要了解的數據質量、可觀察性、人習性、Data Quality、Observability和Data Lineage。
這三個東西都是任何有效數據管道的重要組成部分。
當你進行數據據抽取和轉換的時候,你需要確保在每個階段中都有系統性的去檢查這些資料是否是正確的。
例如說你在抽取的階段、偵查到的這些錯誤,你就能在數據在花費的計算、雲計算去處理這些數據之前,你就能去及時進行更改、進行維護。
避免到你處理好數據,到數據分析師開始使用數據時才發現這個錯誤,中間所需要的維護費用會相差很多。
我們現在在各大雲端技術或者是第三方的企業都有提供了不同的方案,就是說在數據剛剛進入系統之前,它能進行所謂的數據質量檢測。
例如說我們這一行它能檢測這個資料,如果有一行我們是確定我們不能有no或者是無資料的設定,那它就要確保這一行每一列都有資料。
如果資料缺少的話,它就會通知數據工程師,你今天到的數據有些問題,請你去檢查看一看出了什麼問題。
那就是說能第一個把關吧,那接下來呢你也能通過consistency,那就是說你的數據的它的可它的穩定性。
那如果說突然間平常你的數據值都介於零到一之間,突然間來了一個五的數據,那基本上是有些問題了吧。
那就是通過觀察這些數據的數據吧,就是所謂的metadata,那你能大概理解你所收到收集的數據是否正確。
在確保這些正確性過後,他們纔可以進行下一步的處理。
那第二個呢是可觀察性,那可觀察性那基本上也是說,對你的就是有一個系統呢,它能掃描你所收到的這個資料,
那大概能給出,它也是會形成一個dashboard或者是報告,就是說你的這個數據的這個可觀察性是否好不好。
那我也不說的太細了,那基本上就是說,基本上就是在不同不同的階段進行把關,確保你的數據從進入系統到離開系統都是跟着我們所確定確立的這個格式跟標準形成的。
那接下來另外一個第三樣東西呢就是沿襲性Data Lineage,那Lineage呢它基本上就是說,有一個通過這個表格去讓你知道,你的資料從哪裏來,
它進行了什麼,是哪一個Data Pipeline去處理這個資料,它處理後的資料儲存在了什麼地方,那儲存在什麼地方呢,又進行了什麼類似的第二次轉換,或者是被哪一位分析師,哪一個分析師的報告所使用。
那接下來它這個延續性就會形成這個儲表,那讓你知道,因爲在小型公司報告數量比較少的時候,也許你工程師都大概能知道,你的這個報告到底來自什麼地方。
可是當然在一個大企業,好多人去,好多個上企宣佈報告形成的時候呢,你就需要有一個列表來追蹤你這個報告這個數據的這個去向,那你就能通過這個列表能清楚的直觀的理解整個過程。
