美光發布全球首款 512GB 內存

美光公佈了一根服務器內存條 單條容量512GB 功耗16W 比4根128GB的44.2W降了6成多 插滿一臺雙路服務器 整機內存能堆到12TB 玩硬件的朋友聽到這裏 第一反應肯定是怎麼可能 在計算機體系裏 容量和速度向來是反着來的 容量越往上堆 總線負載越重 速度就得往下掉 美光這根內存條 真的把這條老規矩推翻了嗎 我們不看口號 我們把他們自己吹的這四個標籤 擺在桌上 又大又快 全球首款 省電六成多，服務AI 我們來一個一個核清楚 第一個標籤又大又快 先算一筆賬 看它到底有多大 主流的企業級雙路服務器 一般有24個內存插槽 如果用主流的單條128GB 插滿24個槽 整機只有3TB 如果要湊出12TB 需要整整96根128GB 主板上哪裏找96個插槽 根本插不下 美光這根條子 單條512GB 24個槽插滿 直接就是12TB 大確實是大 那它爲什麼還能跑這麼快 每秒 92億次傳輸 這個速度是怎麼來的 很容易以爲是芯片裏用了硅通孔 垂直堆疊 距離縮短了 所以快 其實先別看芯片 看一下主板上的佈線 在服務器主板上 CPU連向內存是有通道的 爲了做大容量 往往會在一個通道上 並排做兩個插槽 這在工程上叫 單通道 雙插槽 當一個通道 插了兩根內存或者插了一根空着另一根的時候 問題就來了那根空插槽的走線或者另一個內存的引腳 在高頻電信號眼裏不再是一條暢通的路 而是變成了一條開路分支 信號跑到分支末端就會像撞到牆一樣反彈回來 在電路板上到處亂竄頻率越高反射越嚴重 原本清清楚楚的高低電平信號，直接被反射波衝成一團亂麻 爲了讓信號能被正確識別，內存控制器 只能妥協，把速率往下降一檔 甚至幾檔，容量上去了，速度崩了 美光這根條子怎麼繞開？ 它不是把反射消除了 事實上主板根本不需要第二個插槽 美光說的那臺12TB服務器是雙路24槽 每顆CPU 12個通道，每個通道只設一個插槽 沒有第二個槽，也就沒有那段分支走線 這叫單通道單插槽 從CPU的內存控制器出發 點對點直打這根內存條，沒有來回反射 以前想要TB級的大容量 往往得往一個通道里塞兩根 現在單條512GB 一個通道一根就夠到12TB 這樣速度纔有條件往上衝 但光有乾淨的走線還不夠 同樣是每通道一根 當前主流平臺單128GB 跑的是6400MT每秒，9200 還要靠條子上的高頻材料 以及下一代CPU和主板配合 前面講的分支反射 每通道一根纔有條件提速 是從信號完整性角度做的工程分析 至於這次提速具體有多少來自這些因素 美光自己沒有公佈 芯片裏的硅通孔堆疊 作用是那一根條子裝得下 512GB 不是速度的全部來源 但是又大又快是有代價的 走線雖然乾淨了 每GB分配到的帶寬卻被攤薄了 我們來看理論數據 如果是一臺 3TB 的服務器 差24條128GB跑在6400MT每秒 總理論帶寬大概是 1.23TB 每秒分攤到 3TB 容量裏 平均每GB內存能分到 大約 0.4TB 每秒的理論帶寬 換成 12TB 插滿 512GB 就算跑滿 9200MT 每秒 總理論帶寬漲到大約 1.77TB 每秒 但是別忘了 底下的容量分母變成了 12TB 拿 1.77TB 每秒除以 12TB 平均每GB內存分到的理論帶寬 只剩下大約 0.144TB 每秒 這是理論計算值 實際影響還要看具體業務負載 順便提一句 業界針對帶寬瓶頸走的是另一條路 JEDEC制定的MRDM第二代規範 接口速率能做到12800MT每秒 那是把帶寬放在第一位的方案 美光選的是容量優先 核完第一個標籤，接着看第二個 全球首款512GB這麼大的容量 到底是怎麼塞進一根普通尺寸內存條裏的？ 在標準的DDR5服務器內存條上 正面和反面加起來 一般佈局20顆芯片封裝 其中16顆存數據 4顆做糾校驗 要在16顆數據封裝裏裝進512GB，倒推一下 如果每顆封裝裏垂直疊8層 每層芯片的容量是32GB 16乘以8再乘以32，得到4096GB 除以8，換算成字節就是512GB 這個8x32GB的結構是按容量倒推出來的 美光沒有公佈堆疊層數 那這是全球首款512GB DDR5嗎？ 還真不是，早在2021年3月 三星就已經正式發佈了512GB DDR5模組 三星當時用的是八層垂直堆疊 速率是7200MT每秒 所以512GB的DDR5 2021年三星就做出來了 八層堆疊也不是新東西 按目前公開的對比 能站住的只是512GB加9200MT每秒這個組合 再來看第三個標籤 省電6成多 美光官方公佈的運行功耗 單條512GB 是16瓦 對比的基準是4根128GB 總功耗44.2瓦 用44.2減去16.0 再除以44.2 算出來的降幅正好是63.8% 官方說 省電超過60% 算數上沒有問題 但這個對比的前提是同爲512GB總容量的對比 它爲什麼能省電 美光沒有拆分省在哪 但結構上有一個能確定的差別 每一根服務器用的DDR5 RDIMM上 都要配一套自己的電源管理芯片和時鐘驅動芯片 4根128GB就得帶4套外圍芯片 4份靜態功耗疊在一起 現在換成一根512GB 只要一套外圍芯片，少了三套的開銷 這是省電的一個來源 但是省電六成多是單條 對比，放它整臺服務器裏看，耗電依然不小 一臺雙路服務器插滿24根 光是內存子系統的穩態功耗就有384瓦 按16瓦不停跑一年算 光這些內存就要大約3364度電 更關鍵的挑戰在芯片內部 芯片一層一層往上垂直堆疊 中間夾着微米級的絕緣填充和金屬互聯 熱量很難散出來 根據 JEDEC 的規範 超過85攝氏度 電荷漏得更快 刷新間隔就要減半 刷新次數翻倍 刷新的時候 這部分內存不能正常讀寫 那這種多層堆疊的條子 高溫下刷新會多頻繁 對速度影響多大 美光沒有公佈 也還沒有公開的第三方實測 第四個標籤 也是宣傳裏最吸引眼球的一個 無AI 新聞稿裏 反覆體驗聽得像是這個內存條 能讓大語言模型跑得更快 我們來看美光官方公佈的實測負載到底是什麼 官方新聞稿裏給出的具體負載測試 是基於Apache Spark支持向量機的數據分析 也就是Spark SVM測試結果顯示 比起256GB的配置吞吐量最高提升到1.4倍 做數據工程的朋友立刻就明白了 這是非常經典的離線機器學習和批處理大數據分析 它提速靠的是數據量很大 內存越大越能整個放進內存裏算 少往硬盤上倒 這跟大語言模型 逐詞生成的自迴歸推理 完全是兩碼事 那如果真把它拿去 給大語言模型做 長上下文推理行不行 有一種設計思路 把超長對話產生的 鍵值緩存 也就是KBKAS 從昂貴的GPU顯存 卸載到主機內存裏 主機內存插滿12TB 確實能裝下 海量的上下文緩存 但真正的瓶頸在於 怎麼把數據拉回來 前面算過插滿12TB 主機內存的總理論帶寬是 1.77TB每秒左右 可是連結 這些主機內存和GPU的管道是什麼? 是PCIe 目前主流的PCIe 5.0×16 一個方向的帶寬是64GB每秒左右 1.77TB每秒是1770GB每秒 一頭是大水庫另一頭是GPU 中間連的是一根細得多的水管 緩存拉不回來 GPU就只能等 在這種卸載方案裡 歹處是這根管道 不是主機內存夠不夠大 把內存 從3TB加到12TB 水庫變大了 水管沒有變粗把這四個標籤逐一核對下來 美光這根512G DDR5 9200的真實價值到底在哪裡 說到底，它的價值很明確 在不改變現有服務器物理空間的前提下 讓單臺機器能夠插滿 12TB 物理內存 而且通過每通道只插一根的方式 避開了插兩根帶來的走線降速 它真正對口的業務是數據必須常駐內存的場景 比如超大的內存數據庫大規模數據分析 機器上塞很多虛擬機的高密度虛擬化 美光官方規劃的商業化量產時間 定在 2027 年下半年 回到開頭的那個常識衝突 容量和速度的矛盾被推翻了嗎 沒有，它只是換了個地方 從主板走線上的信號反射 挪到了每 GB 分道的帶寬變薄 挪到了多層堆疊的散熱 還沒人公開測過 挪到了主機內存和 GPU 之間 納根64GB每秒的PC