RotorQuant宣稱比TurboQuant快31倍?我們做了真實測試 | 中文配音

深度大乱斗
6粉絲
13 次觀看·2026年8月18日
谷歌的TurboQuant能將KB緩存內存壓縮近5倍
同時保持上下紋準確性
理論上,這讓你能在相同硬件上處理5倍大的上下紋
但正如我前兩個視頻所示
增大上下紋會帶來隱藏成本
騎士處理速度急劇下降
令牌生成也會變慢
開源社區可能已在着手修復
專門針對TurboQuant的最大弱點
增加的預填充處理延遲
這就是RotorQuant
說實話,這進展幅度太瘋狂了
Tom Slammer的KLKB
Quant分支在谷歌論文發佈後幾乎立即出現
現在Scria的RotorQuant也跟上了
那麼RotorQuant到底承諾了什麼?
探討它能否解決預填充瓶頸
並嘗試用前沿代碼進行測試
這是RotorQuant的頁面
裏面滿是技術細節和一些驚人的數字
讓我們把它轉化爲實際應用
它聲稱在英偉達上快達19倍
在蘋果芯片上快達31倍
我立刻澄清一下這部分
這驚人的速度提升
是相對於整個推理戰中的TurboQuant部分而言的
真正的活力在於RotorQuant
通過將旋轉開銷削減44倍來獲得這種速度
等等,這到底是什麼意思?
我們先理解TurboQuant如何解決壓縮精度問題
再對比RotorQuant的做法
這真的很了不起
順便說一句
如果你喜歡本地AI調優和編碼基準測試
請訂閱,我會深入探討這些
你知道上下文令牌是如何存儲在鍵值緩存中的嗎?
與名稱有些不同
一個令牌的鍵實際上由128個數字組成
即所謂的維度
緩存值也由128個維度組成
有些模型使用256個維度
想象緩存中有一個令牌
它實際上是一個響亮
只是一個由128個數字組成的數組
描述了模型正在關注什麼
現在我們想把它壓縮4倍
從16位壓縮到4倍,以節省內存
但KB緩存量化就像打包行李箱
看這些數字,大部分都很小
正0.1,負0.2
它們就像襪子和內衣
很小,但每件都略有不同
但你還有正14和負11
這些就像佔滿行李箱大部分空間的笨豬滑雪靴
在僅有4位的情況下
每個壓縮數字只有16種可能
從負8到正7
所以,如果你簡單地統一壓縮它們
靴子就決定了整個行李箱的尺度
它們得到正7和負6
但襪子,那些細微的正0.1和負0.2的差異
正是區分令牌的關鍵
卻全被捨入爲0
你能猜到在反量化時
當模型讀回緩存計算注意力時
會發生什麼嗎?
那些0重建後
沒錯,就是0
靴子倖存了,但襪子沒了
隨之消失的還有模型注意力真正關心的細微差別
更重要的是
我們丟失了這些維度的正負符號
符號編滿了模型正在看的方向
它們是相量的靈魂
這大致就是標準Q4量化的工作原理
它只是把行李箱分成多個小行李箱來稍微緩解問題
TurboCoins如何解決這個問題?
它非常巧妙,理解它
將向我們展示解決上下紋準確性
如何引入延遲
然後看VoodooLanta如何加速
這是運行TurboQuant的Lama CPP
具體搭建方法可以看我之前的視頻
你看到它如何準備一個旋轉矩陣了嗎?
一個寬高各128的正方形
TurboQuant的絕效是
使用這個特殊的靜態矩陣
就像一個平滑攪拌器
還記得那個帶有兩隻滑雪靴的令牌向量嗎?
它們就是這些豎直尖鋒
當你將這個令牌向量乘以旋轉矩陣時
你會得到一個新向量
這些尖鋒的能量被分散到整個數據中
可以說是被模糊化了
你得到的數值都大致相似
而不是幾個極端值和許多微小值
這對量化友好的多啊
與之前的Q4量化相比
使用TurboQuant的反量化後
不僅我們的滑雪靴得以保留
連那些襪子和內衣也能區分開來
相信我
爲了錄這句不肖場的話
我花了不止4倍的時間
並且向量的方向
這些微小值的正負符號也得以保留
那麼問題出在哪裏呢?
根據RiverRound的說法
這樣的矩陣乘法需要1.6萬次計算操作
包括乘法和加法
如果你看看旋轉矩陣有多大
這很合理
對於256V的模型
根據實現方式
這個數字要乘以2甚至乘以4
知道這對整個預填中階段意味着什麼嗎?
每個向量1.6萬次計算操作
乘以2因爲鍵和值
乘以上下文大小
乘以KB頭數
再乘以模型層數
所以我們談論的是
運行這種量化所需的數十億次額外計算操作
但我開始有點懷疑了
上下文增長時
這真的是瓶頸嗎?
我們先看看VildorQuanta的巧妙方案
它似乎界限了三維遊戲引擎中的幾何代數
網頁上說
每個向量只需100次乘加運算
我覺得這可能有誤
數值太低了
VildorQuanta的問題
在於用龐大的128階方陣
乘以整個128爲向量
精確但開銷大
而VildorQuanta將向量拆成三元素小分組
用幾何代數對每組進行旋轉
不知爲何
在Scria鏈接的Lama-Tiparzo分支裏
沒找到這個實現
我們稍後會試
但它包含類似思路的
Itsulanti和PlanarQuanta的方法
它們似乎比VildorQuanta更高下
每一組Quanta
巧妙的交向量劃分爲四元素塊
總共32塊
不像Rotorump按三劃分會有剩餘
每個塊只需乘以預計算好的簡單四元素
四元素是表示旋轉的四份量數字
可能每個3D遊戲引擎都在用
妙處在於簡單的4x4乘法
只需16次運算
相比稠密矩陣旋轉的16000次
16次乘以32塊
每個項量僅需512次運算
計算量減少了32倍
旋轉攤數僅512字節
小到能完全放入GPU寄存器而非緩慢的顯存
數據移動量減少加28倍
儘管Sysquant聽起來很棒
但總覺得我們在和假設的TurtleQuant比較
真實實現真會用樸素的稠密矩陣嗎?
先擱置這個疑問
跑起來試試
這是RevolverQuant參庫
附研究論文和已實現SoQuant
PlanarQuant的LemmaPP分支鏈接
快看這個
表格對比了這三種方法
與TurboQuant看旋轉鏈
寫着WHT疊型變換
郭的直覺又響了
WHT是沃爾什哈達瑪變換
這是針對那個128階大矩陣乘法的優化
哈
表格顯示需16000次運算
就像我們剛計算的稠密方法
單用沃爾什哈達瑪變換
可能只需零套
好
就算我錯了
繼續吧
我想看它實際運行
基準測試會說明一切
我克隆了這個LemmaPP分支
正用頁面命令爲Apple Metal編譯
漂亮
關鍵時刻到了
讓我們在支持256K上下文的
Quant 3.5 350億參數模型上
運行ISO Quantic F緩存壓縮
果然
計劃趕不上變化
加載模型後
發了簡單問候提示
立刻察覺不對勁
日田充延遲實在太高了
看
它在用CPU計算
這完全用錯了處理器
GPU卻只負載一半
爲什麼
玉田充每秒僅50個啊
How can
本該快10倍的
我決定試試更簡單的
Quant 3.5 270億參數模型
運行時
發現了軍政問題
看到這個圖分割消息了嗎
它顯示單次推理中
GPU需暫停重啓多少次
每次CPU都得介入
向GPU分派任務
顯直像在照看孩子
我的Mac本應只有二次
這裏卻有34次
所以CPU過載
模型變慢
但爲什麼
高圖分割數表明測試時
該分支缺少
Apple Metal GPU內核實現
工作回退到CPU執行
測試不同運行時實現時
要注意這點
這纔是應有的樣子
看原版TurboQuant分支
乾淨的圖分割
資源充分利用
因爲TurboQuant
已實現內芯內核
聲稱Metal版提速31倍
人很有趣
等內核到位
我立刻要做基準測試
您在本地運行Alarms嗎
會用TB緩存量化
節省內存嗎
覺得新版TurboQuant如何
是個VelcroQuant替代方案嗎
歡迎在評論區分享
喜歡這期視頻
請點贊訂閱
祝您有美好的一天
我們下次見
