MLX-VLM:讓 Mac 本地跑多模態 AI 的開源框架 | Jim AI Notebook

The Only Bamboo
244粉絲
如果你有一台 Apple Silicon 的 Mac,這個工具可能會改變你跑 AI 的方式。叫做 MLX-VLM,是四月剛爆紅的開源框架,專門讓你在 Mac 上本地跑視覺語言模型,不用上雲端、不用 NVIDIA GPU、完全免費。關鍵是它的速度,重複圖片查詢比傳統方法快 28 倍。今天我們來看它到底怎麼做到的。
相關連結:
GitHub
https://github.com/Blaizzy/mlx-vlm
PyPI
https://pypi.org/project/mlx-vlm/
---
Jim AI Notebook | Note the Future
每日深度解析 AI 最新進展
#MLXVLM #AppleSilicon #AI開源 #Mac
如果你有一臺Apple Sennheiser的Mac
這部工具可能會改變你跑AI的方式
叫做MLX VLM
是4月剛爆紅的開源框架
專門讓你在Mac上本地跑視覺語言模型
不用上雲端
不用NVIDIA EP
完全免費
關鍵是它的速度
重複圖片查詢比傳統方法快22倍
今天我們來看它到底怎麼做到的
MLX VLM
是一個專爲Apple Sennheiser設計的
視覺語言模型推論跟微調框架
它基於蘋果自家的MLX機器學習框架
不需要QCDA
不需要NVIDIA顯示卡
完全利用Mac的統一記憶體架構
把AI跑在你自己的筆電上
4月發佈
不到一個月就拿了4
而Clocker新鮮
技術架構從下往上看
最底是Apple的Metal EP
加上MLX底層
中間是MLX
VLM核心層
處理量化
快取
推論優化
上面是模型支援層
涵蓋主流視覺模型像DeepSeek
Ocare
KLM Ocer
4
Reasoning Vision
最上面是界面層
提供KLi
Python AP
FastAPI
還有Gradio RY
開發者怎麼用都可以
它有四個關鍵創新
1
硬體人聲量化
用TurboQuant做KB
快取量化
不需要QCD
2
內容感知的Prefix快取
同一張圖重複問
就不用重新編碼
延遲從2-2
7秒降到1秒以內
3
全模態支援
文字
圖片
音訊
影片一個Pipeline搞定
4
OpenAI相容的FastAPI
現有OpenAI的Code
幾乎可以直接用
實際性能數據非常驚人
M3 Max上跑文字模型
可以到每秒525 Tokens
重複圖片查詢的加速達到22倍
連續批次處理下吞吐量提升4
3倍
比Lama
AP的吞吐量高
21-86%
基本上是Mac上目前最快的
多模態推論方案
跟市面上其他方案比較
VLLL
在Mac上有深度QCDA依賴
會默默出錯
Lama只能推論不能微調
Lama
沒有視覺支援
MLX
VLM
是唯一一個
在Mac上同時支援推論
微調
視覺
連續批次的開源方案
我覺得這個專案最大的意義
是打破100天3美金GPU的門檻
過去你要微調一個視覺模型
沒有A100
或H100
基本上就別想了
現在用一臺M3 Mac Pro
花3000美金左右
就可以做Lara跟Kiwara微調
這對個人開發者
學生
小型新創來說
是巨大的解放
誰最適合用這個
第一
在Mac上開發AI的工程師
第二
做本地隱私優先應用的新創
第三
需要做視覺AI原型驗證的研究者
第四
不想把敏感資料送雲端的企業
只要你有一臺M系列的Mac
都可以馬上開始用
總結三個你需要記住的要點
第一
Opposicon
原生
AI生態正在成熟
不用再等ZoEDA移植
第二
統一記憶體架構
對多模態推論是天然優勢
第三
這代表本地AI的經濟可行性
完全改變了
個人開發者可以玩的東西
越來越多
以上就是MLX VLM的完整解析
如果你用Mac做AI開發
這個工具一定要試試
Github鏈接放在說明欄
我們下次見
