大模型直接刻進芯片

工业奇迹档案
7粉絲
2026年7月2日
AI 生成·可能包含錯誤
視頻概述
AI 生成加拿大初创公司Tolos通过将大模型(如Llama 3.1 8B)直接物理硬编码到硅片上,实现了极高的推理速度(比H200快73倍)和极低的功耗与成本。尽管芯片无法通过软件更新模型,但其通过优化流片流程和极低成本,试图在高性能推理市场挑战传统GPU集群。
把大模型刻到硅片上
就能融資1.69億美元
加拿大一家只有25個人的公司
Tolos
把AI算力的生意搞明白了
在測試案例中
他們直接把大模型
Lama 3.18B刻在硅片上
再生產成芯片
平均每秒能跑17,000個token
是英偉達最新H200的73倍
功耗直接降低10倍
製造成本卻只有通用方案的二十分之一
我去實測這個芯片
讓他生成2000字描述獅子的文章
他刷了一下就回復了
不是一個字一個字蹦出來
就是這個答案質量
主打一個快問搶答
當然Lama 3.1這個模型
本身中文支持就很差
接下來說這個芯片的關鍵缺點
他只能永久固定跑一個模型
換模型只能重新訓練芯片
因爲Tolos提出一種
直接倒歸的微架構方式
核心技術哲學可以概括爲
模型及計算機
簡單來說
他們直接將訓練好的模型權重
參數
直接物理硬編碼
刻錄到芯片的晶體管理
配合獨創技術
讓單個晶體管
同時兼顧存儲和乘法運算
剔除所有冗餘組件
把規片面積
百分百用於純粹的智能推理
計算密度直逼物理極限
芯片本體用臺積電
成熟便宜的6納米工藝
保障量產可行性
但很明顯
這個模式只能贏在未來
現階段模型迭代週期
通常只需幾個月甚至幾周
一旦模型架構或權重發生本質變化
這些芯片就像印好的實體書
無法通過OTA更新權重
不過Tolus自有一套解決方案
他們提前在臺積電
大規模囤積打好底板的基礎晶圓
客戶一出新模型
代工廠只改晶圓最頂部的
兩層金屬佈線
兩個月就能急速交付
全新的物理芯片
那具體成本如何
在官方的模擬計算中
用30顆芯片組織群跑DeepSeq R1
綜合推理成本
只用極其誇張的
每百萬token 7.6美分
注意這個成本
是已經把爲了跟上模型更新
每年把這堆芯片
當垃圾扔掉
重新流片30次的高昂折舊費
都算進去的
也就是說
其他傳統的GPU集群
哪怕不考慮硬件高頻淘汰的折舊
單純硬跑的綜合成本
也至少是Tolus方案的兩倍以上
且單用戶響應速度
被遠遠甩在後面
雖然Tolus將重新流片週期
壓縮至兩個月
但這依然意味着
在等待新芯片交付的兩個月內
客戶可能被迫使用
智能程度落後於
競品整整一代的舊模型
爲了對沖這一風險
Tolus必須具備
極強的前瞻研判能力
精準壓住那些生命週期長
微調潛力大的高質量基礎模型
同時它們必須強行依靠
極其低廉的製造成本
來抹平後續高頻更換芯片
帶來的鉅額折舊費
