#154 建立理解分佈式系統的框架【Go 夜讀】
Golang Learning |【Go 夜讀】#154 建立理解分佈式系統的框架
大綱
1. 計算機的基本要素:存儲、計算
2. 分佈式存儲:理解脈絡
3. 分佈式計算:歸一化抽象
4. 元信息服務:一手物理、一手邏輯、居中協調
https://talkgo.org/t/topic/5591
#go #golang #learning #Go夜讀 #talkgo #night #DDIA
歡迎大家來到作業組,今天是第157期,
今天的主題分享是建立理解分辨式系統的框架,
然後由我們的幕僚雜技給我們帶來今天的分享。
OK,首先跟大家說聲抱歉,
因爲今天公司有點活兒多,
然後找了一個特別難的bug,
然後有點忘記這次分享,
所以給大家抱歉,耽誤了點時間。
然後我們接下來就來開始。
由於我自己,
首先介紹一下我自己的背景,
我自己是北歐第三級本術畢業的,
然後平時喜歡寫文章,
然後打羽毛球,旅遊和攝影,
然後有多年的分辨式系統,
數據庫和存儲的從業經驗,
然後我做的一些東西,
是分辨式系統中一本非常經典的書,
如果大家想入門分辨式系統和數據庫的話,
可以看這本。
第二個就是一個我自己寫的專欄,
然後也是聚焦大規模數據系統,
包括我說的存儲計算和原信息這些東西,
然後我本次分享的東西理解這個框架,
然後在我那個專欄裏有很多這樣的文章,
然後本次分享就是主要就以這個主張分享,
這個DJI和物流專欄裏的一些東西,
我昨天寫的一些東西爲一些基礎,
來儘量的經驗的概要一下,
然後做成了這個PPT,
然後這個PPT事後的鏈接可以給大家放出來,
有我的一些這個鏈接,
如果大家想鏈接到我也可以從這些鏈接過去,
接下來我們來看一下本次分享的概覽,
然後主要分四塊,
三塊吧,
第一塊是計算機的基本的存儲要素,
我們就是說物理的資源,
我們主要分成兩塊,
那個就是存儲和計算,
那麼分佈式到多系統或者多機上,
那也主要是這兩塊資源,
所以最常見的兩種分佈式系統就是,
分佈式存儲系統和分佈式的計算框架,
那接下來我們就會講三個分佈式的,
常見的這種組件或者框架吧,
第一個就是存儲和第二個是計算,
就剛纔我說的,
然後分別每個我們來講一些高緯的東西,
比如說分佈式存儲,
我們要講爲什麼要有分佈式存儲,
以及怎麼理解這個分佈式存儲,
然後對於分佈式計算來說,
我會抽象出一種比較規模化的抽象,
來理解現在市面上像Flink,
Spark和Apple DOS這種,
它可以用一個怎麼樣的框架來理解,
最後一個就是一個,
相當於在分佈系統中大腦的地位,
叫原信息服務,
那它的總結就是,
它一方面要抓住這羣物理信息,
比如說有多個節點,
一方面是邏輯信息,
對於計算來說就是多個計算任務,
存儲來說就是一個邏輯上的數據集,
然後它進行居中調度和協調,
這就是今天的主要主題,
如果有什麼問題的話,
大家可以在直播的彈幕上問,
然後楊文可以反饋給我,
謝謝主持人,
然後接下來就說存儲,
存儲我們怎麼理解存儲,
或者說存儲的脈絡是什麼,
它是這樣的,
就是對於存儲來說,
我們對於用戶都會有一個邏輯上的數據集,
然後這個邏輯上的數據集,
其實它可以有多種表象,
比如說我們最常見的是數據庫,
它就是一個二維表,
也就是我們所謂的關係模型,
在DDI中或者說我們通常中,
這稱爲建模的方式,
就是你怎麼理解這個數據集,
然後另外一個最常見的就是KV模型,
比如說Redis,
比如說其實Object Store,
對象存儲,
雲上的這個比較火的,
它都是一個KV模型,
就是有一個K value,
對於Redis來說,
它就是結構化的,
對於對象模型來說,
它就是非結構化的,
它是一個Blob,
有一段二進制存儲,
可以存是視頻圖片這種的東西,
但對於系統本身來說,
對於對象它就不理解,
不去理解你的Blob裏面存的是啥,
它都當作一個ByteRate,
但是對於Redis來說,
它會提供一些數據結構,
就相當於這個Rate,
它是一個ByteRate,
它有一些數據結構的支持,
然後還有就是文檔模型,
像MongoDB,
它就把一個數據集理解爲一個文檔的Collection,
Collection裏面有一堆Document,
對於圖模型來說,
就是通過點編來建模,
實際模型來說,
就是像比如說互聯網中一個一個的打點,
然後像量模型,
就是最近比較火的,
就有一堆Embedding,
有了這麼一個邏輯上的數據集,
比如說在觀影數據庫中,
邏輯上的一個數據集就是一個Database,
一個Database裏面有多個Table,
然後我們爲什麼要有分佈式呢?
首先要說明,
如果單機能存得下的話,
一定要用單機,
只有單機在存不下的情況下,
我們纔會用分佈式系統,
要強調這個的原因是因爲,
現在的硬件,
尤其是服務器材已經非常牛逼了,
就是可能有上百G的內存,
甚至有上T的,
然後有非常大的硬盤,
有非常大的,
非常多的,
就是幾百核的CPU,
都非常牛逼了,
所以說如果單機都能hold得住的話,
那儘量用單機,
因爲多機這些分佈式系統,
它是有性能和這些損耗的,
包括冗餘,
包括多機的通信,
這些東西,
都是有損耗的,
OK,
回過來,
所以我們一個邏輯上的數據集,
只有在單機存不下的時候,
我們纔會用分佈式系統,
那爲了把一個邏輯上的數據集,
存到多機上去,
我們就必須把它進行物理上的分片,
然後分成多個Shard,
Partition,
這都是分片的意思,
然後把每個分片,
分到不同的機器上去,
這樣我們一個邏輯上的數據集,
在單機存不下的時候,
就可以分佈式地進行擴展,
那麼當一個我們分佈式的機器,
不斷地擴大之後,
任何一個單機的出錯概率,
就會變得比較大,
所以爲了進行高可用,
就不至於說某個機器當機了,
它上面的那個分片就掛掉,
所以我們通常會對每個分片,
創建多個副本,
當然另一種創建的方式,
就是進行EC進行,
也是一種冗餘的方式,
本質上就是進行冗餘,
讓它有一定的冗餘,
可以應對一些機器的當機,
那進入多個副本之後,
就會帶來一個讀寫這種一致性的問題,
所以我們又會引入,
主從啊,
Quorum啊,
共識協議這種,
來解決這種一致性的問題,
所以這就是理解這麼,
在比較高的溫度上,
還在我理解什麼,
分佈式存儲的一個發展過程,
和一個爲什麼要有這些概念,
然後能把它串起來,
這剛纔是我們說的這個,
不同的用戶建模,
那可以分這種這麼多,
所以市面上啊,
當然還有一些我們寫,
比如說文件模型,
然後再比如說,
再比如說,
對一些其他的,
我現在想不起來,
對,
這個就是DDA,
它的第二章都是在講這些東西,
包括數據建模,
以及基於這些數據建模,
配套的查詢語言,
比如說對於KV來說,
簡單的增刪改查就很方便,
一般都是,
你像這項存儲來說,
它就是外化成ADTV接口,
就很簡單,
它直接利用它原生的ADTV接口就可以,
那對於關係模型來說,
我們就造了SQL這種生命式的查詢語言,
就可以進行非常複雜的查詢,
那對於文檔模型來說,
它又可以類似於Jason的這種,
查詢語言的方式,
然後對於圖模型來說,
它也有GQL,
也是最近SOGQL剛出來,
而實際模型,
這個我就不太清楚了,
像這種模型,
因爲也有它的,
主要是電子鏈搜索的一些東西,
然後分佈式存儲的第三塊,
就是我們看了,
這個大概數據機是怎麼分散的,
多接上去的,
然後現在我們來回到單機,
對於單機的一個存儲引擎,
我們是怎麼做的,
就是我們是怎麼從內部看,
我們是怎麼實現的,
然後我們可以從兩個維度來看,
第一個維度是從介質上來看,
我們可以分爲基於硬盤的和基於內存的,
然後具體的基於硬盤的,
我們也有兩種,
是原地修改流,
in place的,
還是追加流,
就是log open only的,
分別對應兩種,
一個是B組數,
像Maciego的這種存儲引擎,
它就用B加數比較多,
然後對於追加流呢,
最經典的就是Amstrad,
這是當年譚建國開演出來的一個經典的,
這個Amstrad的時間叫LiveDB,
是Digital Table的遊戲,
當然現在工業上用的比較多的是,
基於LiveDB魔改的,
Facebook做的一個叫RoxDB的東西,
現在其實很多開源的都會在用RoxDB,
因爲對於工業上可用的一個存儲引擎來說,
這個生態位基本上被RoxDB佔滿了,
因爲沒有一個對標的,
工業上經過了大量場景驗證的這麼一個存儲引擎,
沒有這樣的一個B組數存儲引擎,
所以哪怕是有一些可能B加數更適合的場景,
在工業上大家也用了RoxDB,
當然它們各有各的優點,
然後這個優點就是主要需要衡量的地方,
就是讀寫之間的衡量,
它到底是寫優先的還是讀優先的,
比如說寫優先的Amstrad,
它就是能很快的寫,
因爲它在內存裏把一個batch下來之後,
才順序的刷到盤子,
然後基於內存的,
我們主要的有IC表,
條表以及其他的一些,
我們在上學的時候學過的一些數據結構,
比如像Amstrad的內存裏,
它就是用的條表,
不對,RoxDB吧,
就不能說Amstrad,
Amstrad它其實只要有序表就行,
然後還有IC表,
還有其他的,
比如紅顏數,
還有其他的,
這些都可以作爲內存中一個查找的數據結構,
那IC表通常它都不會做在硬盤裏,
條表也不會,
但是像這種平行數,
比如B數也是一種平行數,
它就可以做成這種按配置的,
基於硬盤,
mainframe硬盤的這種,
所以要區分這些單機引擎,
可以有不同的選擇,
然後還有兩塊比較常見的,
但這就不展開講了,
但大概提一嘴,
第一個就是存儲規矩,
存儲規矩的話,
最常見的就是行存和列存,
就是這個就是說的,
比如說我們table中一行,
我們是存了一行再存下一行,
還是存了這個表中這一列,
比如所有的name字段,
再存下面的age字段,
如果對一個學生表來說的話,
這就是按號看,
按列存,
它分別有各自的好處,
比如說列存的話都是一個寬表,
然後我們是隻參與其中的幾個,
就列存比較好,
因爲就是查到這一個列,
就找下一個列,
它都連在一起,
然後利用這種局部性的原理,
就可以很快的把它都load出來,
但如果我們更多的是行查的話,
那用行存比較好,
這其實也分別對應tp和ap,
因爲ap的負載大部分是寬表窄查,
然後tp的場景中通常是小數據量的暗號查,
然後另一個需要提及的是底層的編碼,
就是我們怎麼把一個高維的數據結構,
編完成一個一維的這個battery,
然後寫到最終寫到硬盤上,
這種比如說有常見的這些編碼的工具,
這種其實通常也是和RPC框架結合的,
因爲無論是寫到外存,
還是進行網絡傳輸,
本質上都是要把高維的數據結構,
給進行降維成一維的字頁流,
才能存儲,才能進行傳輸,
所以這是一個編碼的問題,
所以共同的這幾塊,
構成了我們一個存儲引擎或者存儲系統,
在單機需要注意的一些事情,
所以我們就分別講了流存路引擎,
宏觀和微觀,
接下來我們講計算,
分別計算首先給大家一個規一化的抽象,
就是我們任何的計算,
基本上都可以抽象爲兩點,
第一點就是一個規一化的數據集,
一個標準的數據集,
然後對這個數據集的不斷變換,
然後驅動這個變換的操作就是算子,
或者就是一種計算,
比如說map、shuffle,
對於Spark來說,
它的標準數據集就是一個RDD,
比如我後面這個圖,
然後它所有的算子,
比如說有map的算子,
filter的算子,
然後對於一個數據庫來說,
它的一個基本的規一化的數據集,
就是一個二維的表,
然後我們也會有SQL中,
比如說select, map, filter, top, limit這種,
對於一個標準的二維表,
不斷地進行列裁減,行裁減,
取其中的簡介,取其中的記號,
然後再進行排序,
就不斷地對這個標準化的數據集,
通過一些定製的,
就是規一化的算子,
然後進行不斷的變換,
然後爲了擴展表的能力,
通常這些處理框架都會提供一些UDF,
供用戶來定義一個算子,
然後這個算子輸入是一個標準化的數據集,
輸出也是一個標準化的數據集,
但是它不一定是一個,
有的可能是多輸入的,
比如說右邊這兒,
然後最終由這個數據集和算子,
它會構成一個執行圖,
通常我們將其稱爲DAG,
有向無完圖,
也就是右下角這個圖,
然後我們的計算引擎,
就是首先要把你的用戶的查詢語言,
或者說用戶的代碼,
編譯成這麼一個執行圖,
然後再去多機調度這個執行圖,
然後肯定是要利用類似tube排序的方式,
先執行上游的這個算子,
然後生成數據集再執行下游的算子,
所以Frameworks計算
整個就可以用這麼一個規一化的數據集,
和可組合的算子,
爲什麼算子是可組合的,
因爲它的輸入和輸出都是標準化的數據,
所以任何兩個算子都可以調先後順序,
相當於有任何的結合率和任何的交換率,
都可以運用在上面,
而通過這種組合的方式,
我們就可以獲得非常強大的表達能力,
所以其實這種規一化的抽象,
如果大家有印象的話,
它都是從UNIX的哲學來的,
任何一個小的命令行工具,
都只幹非常小的一件事,
然後通過Pipe來把所有的小工具來組合起來,
它也是這個,
只不過它的規一化的數據集,
就是一個文件,
就是一個BattleArray,
然後它的算子就是一個一個的小工具,
所以這些數據處理,
或者說文件處理,
或者說這些處理的思想都是這麼一致的,
都是可以從這兩點來理解的,
然後接下來說一個經典的實現,
就是我們一個計算引擎,
它通常包含幾個階段,
或者說幾個模塊,
通常包含這三個模塊,
一個是Planner,
一個是Optimizer,
一個是Executor,
它其中最基礎,
最集中,
或者最集大成者,
就是分佈式的關係性數據庫的計算層,
因爲關係性數據庫通常分爲計算層和實驗室層,
這個計算層通常會經過多個階段,
比如說Parser,
然後變成一個數,
然後再通過Planner,
再進行一些Binding,
也就是它這個Binder,
進行一些轉化,
然後再進行一些優化,
然後進行Optimizer,
可能通過基於RBO和CBO,
做一些優化,
然後最後再把這優化之後的DG,
交到進行引擎中進行執行,
所以上一堂我們說的,
在抽樣的高位上我們沒怎麼理解,
然後這一堂PPT我們是在說,
有了這個理解之後,
我們如何在物理上進行實現,
然後通常是分階段的,
然後做這麼一個東西,
然後對於它最集中的體現,
或者說所有的理論,
比如說火山模型,
比如說推的模型,
這個在數據庫的計算引擎中,
都有所論述,
後世的包括Spark,
包括Flink的這些大數據處理框架,
也就是分佈式計算框架,
其實都有借鑑這些東西,
所以這是一個理解分佈式計算的,
最後是原信息服務,
原信息服務它是分佈式系統的大腦,
然後它一方面會記錄分佈式系統中,
所有的邏輯信息,
比如說對於存儲系統來說,
就是我們有多少個數據體,
也就是我們有多少個Database,
然後每個Database有多少個分片,
然後右手有抓物理信息,
就是我們要記錄集羣中有多少個節點,
每個節點有多少個資源,
有多少資源,
比如說有多少存儲,
然後它就會進行聚衆調度,
比如說把某一個分片調度到某一個物理的節點上去,
然後它就是幹這個的,
就是做一個映射,
一個邏輯到物理的映射,
所以調度的本質就是將邏輯映射到物理,
當然這個調度的對象對於存儲來說,
它是一個存儲的分片,
數據的分片,
對於計算來說,
它就是調度一個執行的任務,
比如說一個算子的計算,
右上角這個圖是GFS的這種大腦,
對於它來說就是GFS的Master,
因爲GFS是一個文件系統,
所以我們是維護它的邏輯信息,
就是一個目錄書,
它的物理信息就是目錄書中這樣的文件,
它是有物理塊的,
它存在着,
所以對於不同的系統,
剛纔我說的邏輯信息和物理信息都有不同的外化,
下面是一個K8S的系統,
K8S主要是一個資源管控系統,
所以它主要是一個調度,
是一個偏計算的框架,
所以一個存儲的偏計算,
這兩張圖大家可以體會一下,
然後這其中最關鍵的一種技術就是,
如何把這些邏輯的和物理的信息給存儲下來,
我們通常,
比如說K8S中用的就是ETCD,
然後還有多箇中用的是Zookeeper,
我們是不是現在還是Zookeeper,
以前很早以前是,
然後呢,
它們背後都是一些共識協議和共識算法,
比如RAFT,PIXOS和ZAB,
然後只有這個,
它們通過一個很小的機器組成一個非常穩定的內核,
把系統中,
全部系統中最重要的這些信息,
也就是這些語言信息給記錄下來,
所以它們可以容忍一定的,
這種性能不那麼高,
因爲語言信息的數量相對較少,
所以,
但是一定不能丟,
因爲丟了整個系統就完了,
哪怕數據在,
但是沒有語言信息這個字典在,
你也找不到相應的真正的數據返回給用戶,
所以說,
我們通常都會用比較路邦的這種共識協議來存儲語言信息,
OK,
我可能講的比較快,
然後,
大家有什麼問題,
可以多給大家留點時間來問問題,
主持人,
你能看到那個問題嗎?
OK,
對,
其實,
如果大家都來到同一會議裏來,
可能會好一些,
這樣確實,
不太好,
好像那主持人有什麼問題嗎?
如果沒有的話,
我就差不多就好,
我講完了,
B站上有個問題,
語言信息通過JSB,
另外一個問題是DAG計算引擎,
也有這些?
什麼,
我剛纔沒有聽太清楚,
能慢一點嗎?
他問題是DAG計算引擎,
有沒有這些,
有的,
一般都是有的,
其實怎麼說呢,
看怎麼定義,
可能一般都有optimizer,
可能只有數據庫這種,
比較完備的可能會有,
但其他的起碼都有optimizer,
然後有朋友說,
希望有一些深入的案例介紹,
這個案例我都貼了一些圖,
然後如果每個展開都非常多,
所以如果有問題,
就是哪個案例大家感興趣的話,
可以之後我再詳細的分享,
因爲如果所有都講案例的話,
這將是一場長達可能兩三個小時的分享,
因爲其實每個案例細節都非常多,
然後所以我只貼了一些比較簡單的圖,
有人問可不可以深入介紹一下optimizer,
應該是前面那個,
應該是點上一個,
optimizer我貼的是CMU,
要不就是我這門數據庫刻上的一個圖,
optimizer其實最重要的兩種制度,
以數據庫爲第一,
其他的再說,
就是基於規則的和基於這種統計的,
基於規則的就是比如說,
我們根據就對一個數進行變換,
其中最常見的一個規則就是,
我們會把這個filter進行儘可能的下推,
這樣我們從表中撈上來的數據就會比較少,
比如說我們要撈所有大於18,
小於20的學生,
那如果本來這個條件在最上面的話,
那可能它都會導致後面的數據,
就中間的數據可能都比較大,
但我們如果把它放在最前面,
那一開始就把它做了,
那我們之後的表就會相對較小,
所以這就是一個最常見的基於規則的計劃,
另外一種就是基於代價的計劃,
就是我需要統計一下,
比如我最常見的是有多個索引,
那我要選擇用哪個索引代價會比較小,
那就會根據我們這個產品語句,
然後來進行一下代價估算,
然後又分別用不同的索引,
可能會造成代價不同,
比如說我們還是按年齡進行搜索,
那正好我們在年齡上有一個索引,
那我們肯定就用它了,
如果我們在年齡上沒有索引,
但是在其他上,我們的條件有多個,
但是在其他上可能有索引,
有一個聯合索引,
比如說,當然這個就比較細節了,
索引選擇可能是這種CPU中一個主要的,
這種基於代價估算的這麼一個點,
最常見的就是這樣,
叫Rule Based Optimizer和Cost Based Optimizer,
就是RBO和CPU,
基於代價的優化和基於規則的優化。
然後我們DAG相關的優化器或者調度器,
有沒有一些資料?
當然DAT這種就是開源的還挺多的,
比如說執行器有Facebook的Worlds,
然後優化器有這種,
就是Calsat,
還有什麼Proctor,
回頭我可以把這些資料,
或者開源的系統,
然後貼到我們最終會發的這個視頻的下面,
我回頭會爲主持人分享出來。
然後有人問RAFT比JK好在哪裏?
爲什麼RAFT會比較流行?
因爲RAFT還是相對比較晚輩的
因爲它有一個論文體系,
一個大論文和一個小論文,
然後有非常多的實現。
那爲什麼它會比較流行呢?
另外一個點就是,
它這個論文本身就是爲了工程而實現的,
而不像Paxos那種,
它是爲了偏理論創造出來的。
而對於像Zoopaper後面的ZAP協議來說,
它也是前RAFT的時代,
就是Paxos的這個變種。
總體來說,
我不知道有沒有論文支撐啊。
對,反正可能它沒有出現在
插檔的時間和插檔的地點,
以及它出現的方式也不太對,
所以就不如RAFT流行。
然後就是,
原信息放置的方式,
通用的方式還是以Hash爲主?
呃,原信息嗎?
原信息,原信息,對的。
這個不一定啊,
Hash是一種分辨的方法,
一般對於數據信息來說,
有用Hash的,
比如DynamoDB,
然後數據分辨也常寄予Hash分辨,
當然也有寄予Range分辨,
但是對於原信息來說,
通常它的數據量不大,
一般都是單機上,
然後搞多副本,
然後多副本之間用一個公式協議。
然後我來問個問題吧,
就是因爲你一開始講,
就是會有那個DJI組章的這個講解分享,
想問一下,
就是你是怎麼去開始去讀這個,
然後開始去組章去精讀,
這個你跟大家去精讀,
和你自己讀會有什麼不一樣的感受嗎?
或者說收穫?
最大的區別就是,
你如果跟大家一塊讀的話,
你需要把很多東西講出來,
然後很多東西講出來的話,
需要你對內容的理解有更高的要求,
很多細節,
你可能如果自己讀的話,
你以爲你懂了,
然後就掃過去了,
但是如果你要講出來的話,
你就真的得把它弄懂,
然後你得去查一些資料,
所以這就是分辨學習法,
會讓你學習的更深入一些,
因爲你得把所有東西用你自己的語言表述,
勢必就必須你自己來理解。
然後我學習它的契機,
就是因爲我一直做數據庫也做過,
然後分佈式的一些東西也做過,
所以正好有這本書幫我把
所有我做過的東西的體系給建立了起來,
如果沒有這本書的話,
我很多的體系都是零散的,
有了這本書之後,
因爲它是背後有一個框架在裏面的,
它會把所有你的知識點串起來,
然後讓你讀了會感覺,
原來所有的東西是可以正而裝在一個框架裏面的,
就包括我本子分享的很多東西,
都是我裏面的專業的啓發。
那對於一個可能沒有做過的人來說,
你的建議或者你認爲會怎麼了解,
會對於一個完全可能在這個程序上
或者數據界有接觸的?
首先對於完全沒接觸過的人來說,
就是可以讀這本書,
但是可能會讀的比較糊塗很多,
因爲它是框架性的東西,
然後書雖然比較厚,
但也不是算特別厚,
所以不可能面面俱到,
所以肯定很多點會理解不到位,
這也是正常的,
所以我建議如果還沒有和相關背景的同學,
就工作背景的同學,
可以大致的讀一遍,
然後不用太求甚解,
然後有了一個框架之後,
之後如果工作中有機會的話,
儘量多接觸這方面的工作,
比如說不論是你主動的要求還是怎麼樣吧,
然後加上一些時間再回去咀嚼,
書中的內容會好一點,
如果你純是一點經驗也沒有,
就純是幹讀,
確實會效果不太好,
對,
然後有人問這是哪一本書,
就是簡稱的話就是DDI,
然後中文翻譯全稱的話,
就是數據密集型應用系統設計,
對,
之後我們也可以覆在視頻下面,
對,
然後接着剛剛那個話題,
其實可能對於很多人來說是,
反正讀書嘛,
就分幾種方式,
心讀,
飯讀,
然後這個戲讀,
對吧,
所以就是對於沒有從事這個方面的,
然後又覺得有意思的,
或者想要去挖掘一個全新領域的一個,
就是在數據存儲或者分佈存儲部分的話,
可能這本書是可以快速幫你去構建,
但是圖像也會比較喫力一些,
但是你可以通過飯讀快速去了解,
然後如果想要再深入瞭解的話,
可能你可以在地帶上,
然後去搜索這個幕僚雜技,
對吧,
然後可以去讀章精準,
然後可以根據自己的信息,
然後去了解這些章節,
就是可以帶着自己去了解裏面的內容,
因爲如果你是一個不太瞭解,
我應該去哪些部分,
或者哪些知識點要去深挖的話,
可以看這個幕僚的這個新圖,
然後可以幫助你去構建一些知識體系,
對,
我在B站上有個系列,
大家搜這個DDI主要定讀,
應該排比較前面的就有,
基本上每章我就都會進行一次分享,
然後補充一些數據中確實的細節,
我想再問一個問題,
就是說它每一章其實前面可能會有一些這個,
偏這個概述性的,
或者說這個知識體系的,
那會有偏實踐類嗎?
或者說這個不是動手的?
沒有,
它整體偏概念性和框架性的,
像代碼層級的東西沒有,
如果代碼層級代碼大家想做的話,
其實網上也有很多推薦的,
然後分佈式系統的話就是6.84,
然後數據庫的話就是CM1545,
然後這個資料之後我們也可以附在視頻下面,
嗯,
對,
看看大家還有沒有其他的問題,
對,
然後這本書或者說幕僚他整個進入的這個方法,
就是學習的過程都可以,
嗯,
哎,
我再問一下,
你讀的是,
因爲網上也有這個翻譯中文的吧,
然後你是讀的英文還是中文呢?
我讀的英文,
然後我把,
我也翻譯了這本書,
然後也放在了網上,
對,
應該如果你搜的話,
DDI中文應該排名前幾的也有,
就是我的,
對,
當然還有那個電影也比較有名的,
是一個網名爲VOOMP還是啥,
因爲姓馮的,
對,
翻譯的,
對,
我也會參考了那個意思,
對,
然後有人在視頻上問,
就是現在入坑數據庫領域是不是還有很大的就業機會?
嗯,
現在就機會不大,
不多,
因爲他國內的話,
那麼新創傳播送到過去之後,
整個資金在網數據庫流入的這個量就會少很多,
然後少很多之後就表現在工作機會上,
就是銳點,
所以如果你真的是喜歡的話,
那就來沒問題,
他的技術深度很厚,
但如果你只是想能掙錢的話,
那不太簡單,
因爲他不是前兩年,
21年的時候,
他的就是無論是機會還是薪資都比較好,
但現在都不太好,
嗯,
是的,
然後還有人問,
夠加嗎?
哪個前提?
這個問題,
如果就大數據方面的話,
加個比較好,
如果,
呃,
溝通的話,
可能是做K8s生態的話,
溝通比較好,
嗯,
然後另外就是,
呃,
那個語言沒有優劣之分了,
只要,
呃,
我覺得是基本上都學,
比如腳本型,
那你要學個Python和Shell,
比如說這種,
呃,
比較傳統的性能的,
你要學C++,
然後比較新興的語言,
Golang也要學,
那Java的話,
如果你大數據的話,
一定要學,
作爲服務的話,
可能Java也要學,
所以他有不同的適用場景,
對,
大家根據場景回去就來學就行,
是的,
然後這個同學就是你問的問題,
你看你是哪種語言,
對,
然後你看你當前在做什麼,
可能他其實沒有前景好還是不好,
因爲整個大環境啊,
或者說現在這整個就是語言生態吧,
其實還是趨於穩定,
雖然說可能,
呃,
大家聊的多,
或者說對於這個Runt,
然後比較那個,
但其實各個語言他都還是會有他的這個,
就是發力的地方,
對,
現在目前沒有什麼,
至少你提到的Go啊,
Java啊,
我認爲像Runt這種語言,
其實都還是可以,
嗯,
然後我看這個圖是你那邊單獨畫的,
呃,
對,
這個有顏色的圖基本上都是我畫的,
對,
然後剛開始我記得有一個人問,
就是這個圖是怎麼畫的,
這就是用一個網上的開源的web的service,
叫DrawL,
哦,
前面那個圖也是,
是吧,
呃,
這個是用Procreate下畫的,
一個iPad上的桌子文件,
對,
這個我也,
呃,
等都可以附到那個,
呃,
簡介裏面去,
嗯,
好的,
對,
然後看大家還有沒有其他的一些問題,
然後新新來的時候,
看一下,
嗯,
Office 3.0也可以畫這個,
是嗎,
是雙插件的,
分佈式系統和分佈式機器學習系統有什麼共同點,
分佈式系統更大一些,
就它是一個非常大的框,
然後分佈式機器學習系統肯定就是專門for分佈式機器學習領域的,
然後像分佈式存儲系統和計算系統,
其實這都是早早就有的,
只不過是在現在的大型系統時代,
呃,
基本上都是分佈式的了而已,
OK,
行,
那,
呃,
看看大家還有沒有其他的問題,
然後,
呃,
如果沒有其他的問題,
對,
然後剛剛前面問到一個問題和就是其他的一些工具,
或者說,
呃,
暫時沒有其他問題,
行呀,
那謝謝大家,
然後,
對,
然後有問題的話也可以呃,
在這個幾個鏈接下找我交流,
好的,
那謝謝木鳥的分享,
然後也謝謝大家一個參與,
今天的分享就先到這裏,
好,
謝謝大家,
謝謝主持人,
好,
謝謝,
拜拜,

