性能提升1000倍!比Claude便宜95%的AI模型來了,顛覆行業的稀疏注意力架構詳解|subQ

The Only Bamboo
243粉絲
139 次觀看·2026年5月13日
Seedance 2.0 視頻生成 不用排隊 1080p:
👉 https://app.chatartpro.com/video/?custom=imf_17726151805688
🎁 charArt20%折扣碼:YANN20
AI會員訂閱:https://universalbus.cn?s=v0EWZAgT2n
九折優惠碼:c0ks
---
💬 社群 & 交流
Telegram觀眾交流群:
👉 https://t.me/+ZAfeE9bDBTw2NDM1
付費答疑 / 會員群:
👉 聯繫Telegram: @sonicyann
---
🧠 本期核心資源
SubQ:
👉 https://subq.ai/
---
🛠️ 實用工具推薦
🎁 Minimax Coding Plan 專屬9折 + Builder權益:
👉 https://platform.minimaxi.com/subscribe/coding-plan?code=2v683RUZLo&source=link
📌 一鍵批量下載視頻素材:
👉 https://www.scriptflows.cc
📌 沉浸式翻譯:
👉 https://immersivetranslate.com/
🔗 85折會員開通:
👉 https://immersivetranslate.com/?via=fb74a1
API Market:
👉 https://api-402.com/?lang=zh#faq
AI 生成·可能包含錯誤
今天我們正式宣佈一個主要的建設破壞
世界上第一個完全全球化的LLM
subQ有12億的Token Context窗戶
並且是前級的智能
它可以達到OPUS 4.7
在長期的情況下
價格低於5%
1億Token
嗨 大家好 好久不見
今天給大家介紹一個非常重磅的模型
叫做subQ
它的官網說
這是第一個爲長上下文任務而構建的模型
它的上下文長度
這個模型前兩天在AI圈
產生了非常強烈的討論
它自稱在大語院模型
實現了重大的突破
今天就給大家來詳細介紹一下這款模型
上下文長度達到了1200萬Token
這比主流的一些AI
比如Gemini
Cloud
還有GPT多出整整一個數量級
這些主流模型目前還在
100萬Token左右的數量
subQ則是多出了整整十幾倍
我們再來看一下
這個模型公司的CTOAlex Wendel
他發的這篇推特
這是一個基於完全次
二次吸收注意力架構的模型
這是什麼意思呢
相信大部分人都是看不懂的
這邊我也讓AI解釋了一下
我讓Grok用小學生也能聽懂的語言解釋一下
什麼意思呢
大概就是想象你在學校裏
有一個超級大的班級
一共有1000個同學
傳統的老辦法Transformer的架構呢
第一個同學要和999個人聊天
第二個同學也要重複和
再和另外999個人聊天
這樣呢
它就是一個二次方的這麼一個工作量
電腦呢會非常累
然後也廢電
產生很多浪費
現在這個subQ呢
它採用了新的一個架構
叫做吸收注意力
老師換了聰明的方法
不用每一個人和所有人聊天
你只需要和旁邊的幾個人鄰居聊天
和特別重要的人聊天
比如組長和老師
這樣大家所要產生的這種工作量
就會從次方的減少
這個語言模型處理的速度就會變
變得非常快
而且非常的省錢
我們再來看一下它官網是怎麼說的
它的官網也說
不只是另外一個新的模型
而是一次大語言模型架構上的突破
通過這個架構的升級呢
可以使注意力計算量減少接近1000倍
完全改變了大語言模型的擴展方式
這邊有一個動畫的示意圖
就像我們剛纔說的
你只需要和旁邊的鄰居
或者幾個重要的人說話
就可以完成計算
我們接着看它的推特
在上下文長度達到100萬token時
比傳統的Transformer架構的這種注意力方式呢
會快大概52倍
這又是提升了不止一個數量級的這個提升
而且成本只有Cloud Ops的5%
總的來說呢
就是非常的快又非常的省錢
但是它的能力怎麼樣呢
智商如何
我們來看官網的這裏的描述
在Benchmark這裏的基準測試呢
實際軟件工程的能力
我們看SubQ
100萬preview這個版本
它的得分是81.8%
它是高於主流的這個Gemini 3.1 Pro
還有Ops 4.6
但是跟這個Ops 4.7比呢
還是弱了不少
在其他的測試上面呢
也都是屬於一個主流的水平
也就意思是說
它可以用5%的價格
然後提高几十倍的速度
但是在能力上呢
有更主流的模型不相上下
好我們接着來看下面
這就是我們剛纔說的這個新架構
吸收注意力
他說基於Transformer的大語言模型
通過處理單詞之間的每一種可能
叫做被稱爲標準注意力
他說呢
這是來浪費計算資源
實際上只有非常一小部分是真正重要的
通過這個新的架構呢
計算量可以減少整整一千倍
這也就是我們剛纔舉的小學生
在班級裏說話的這個例子
原理是一樣
然後這個模型
現在只是發佈了
但是並沒有真正的上線
我們看官網它的介紹是
現在subq有兩種方式可以用
一個是API
一個是和Cloud Code一樣的
但是現在它沒有開放
你必須先請求API訪問
我呢已經提交了申請
但是還沒有收到回信
如果大家有興趣的話
可以通過官網這裏的申請
進行請求一下早期訪問
我非常好奇的一點就是
這個模型
還有這個公司
在之前我都是完全沒有聽說過
所以就很好奇
這是什麼樣的一幫人做出來的
爲什麼突然一下就
搞出一個這麼厲害的模型
經過這個AI的調查呢
這公司叫subquadratic
不知道什麼意思
亞二次函數
然後剛纔我們看的這個推特
Alex Vanden
他是這個公司的CTO
核心的技術負責人
他曾經在Meta做軟件工程師
後來也領導過將近40家的企業
負責過這些AI項目
然後這個團隊呢非常的小
只有11名的這些博士研究員啊
研究工程師
他們的背景也都是來自像Meta
Google
牛津 劍橋
自己跳動
Adobe
微軟
這些頂級的公司和機構
不是一些就是純學術的研究
都是從這大廠
都是從大廠跳雜過來
並且有豐富的這種
工程經驗的一幫精英
他公司總部呢在邁阿密
而且這公司目前拿到了
Azure Big OpenAI Stripe的
這些主流大公司的一些投資
但是最後AI也說了
這不是架構派對這個scale派的
又一次挑戰
如果這一次subq這個新的架構
如果能真正的站穩的話
會對整個AI行業
產生非常大的影響
後期如果這個模型真正上線的話
如果可以使用的話
我會第一時間給大家進行測評
今天順便給大家分享一個
這個Hermes Agent最近更新的一個功能
是叫做Hyper Frame Scale
它就是可以通過這個技能
直接生成一段視頻
這個是他們官方用這個技能
做的一段視頻
我也用這個技能試了一下
做了一個介紹subq的一段視頻
歡迎瞭解subq
大型語言模型智能的重大突破
首個基於次二次吸收注意力架構的前沿模型
傳統Transformer的注意力機制
計算量隨上下文長度呈平方增長
100萬token時
複雜度高達萬億級運算
subq吸收注意力架構
只計算關鍵節點之間的交互
將複雜度從平方降爲線性
大規模削減計算量
精度幾乎不損失
1200萬token上下文
100萬token時
比flash attention快52倍
重新定義大模型性能標準
關注subq持續跟進
像這樣一個視頻呢
只是大概花了十分鐘左右就做出來了
我覺得這個效果還是非常的好
大家如果感興趣的話
可以安裝最新版的Hermes Agent
然後通過這個HyperFrame模型
可以生成這種動畫視頻了
好今天的視頻就到這裏
我們下次再見
拜拜
