壞了！蘋果真有生產力了：我用3500塊的Mac mini跑了這些大模型

朋友們呢 我的Mac mini蓋板終於到貨了 如果你問我今年Mac電腦最大的賣點是 我認爲不是M4芯片 而是把最低配的內存增加到了16GB 蘋果高管之前說過 8GB完全夠用 今年還不是升級了 蘋果之所以良心發現 是爲了將來的AI做準備 那麼這臺3500多元入手 16GB的電腦真能跑AI大模型嗎 各位好 歡迎來到亮子會 今天我們就來帶大家看看 在Mac mini上進行AI對話 圖像生成語音轉寫 到底是什麼效果 其實Mac硬件架構非常適合AI推理 這是因爲Mac自從改用M系列芯片以後 引入了一種統一內存架構 系統內存可以作爲GPU顯存來用 而AI推理需要將大量的參數搬進顯存裏 雖然蘋果家的內存很貴 但是比英偉達的顯存那可便宜多了 即使系統程序會佔用雲文內存 16GB的Mac也有10GB的顯存可用 另外 蘋果去年還公佈了MLX架構 讓開發者可以在蘋果硬件上加速運行AI模型 今年升級的Mac mini 在AI處理方面實際的性能究竟如何呢 話不多說 下面我們開始實驗 在測試之前我們有第一個問題 16GB內存能運行多大的模型 因爲模型越大 生成內容質量也越高 我們儘量選擇這臺Mac mini能運行的最大模型 決定模型大小的主要是兩個因素 模型參數量和數據類型 這裏我們選擇4bit的模型 看看到底能夠選擇多大的參數量 我們選擇了國內外幾個比較知名的開源大語言模型 除了語言模型外 我們還選取了圖像生成模型和語音識別模型 作爲性能對比 我們找朋友借來了一臺搭載M4 Pro 24GB內存的MacBook Pro 以及一臺使用12GB顯存RTX3060的PC 看看這三個不同平臺能夠運行的最大模型 實測結果如下 除了蘋果自家的模型OpenELM本身叫囂以外 其他大模型參數量最高只能選擇到100億左右 再大一些MMStudio就會提示模型過大 這應該是16GB內存Mac mini的極限了 另外像Stable Diffusion Whisper這裏參數量相對不太多的模型 Mac mini上都能夠選擇最大模型來運行 當然能運行並不代表能用好用 Mac mini上這些模型的運行速度到底怎麼樣呢 我們抽取了能夠在M4和Mac mini上運行的最大模型 分別在三臺機器上進行對比 這些大模型我們都計劃使用支持MLX的MMStudio載入運行 首先我們運行的是140億參數的千萬coder 這是阿里最新發布的千萬2.5 專門對代碼進行了優化 可以讀懂和編寫92等編程語言 我們用它來測試AI師傅可以解決一些簡單的編程問題 三臺機器的文字生成速度如下 可以看出M4和M4 Pro的性能有成倍的差距 M4等待代碼輸出完畢的時間較長 這個模型生成的內容也是高度可用 我們在調試過程中遇到的各種錯誤 它都能夠基本正確解答 Lama302 Vision是Meta發佈的Lama多模態版本 相比普通大語言模型 它多了識別圖片的能力 然而在運行時我們遇到了一點小問題 Mac mini出現了爆內存的情況 而英偉達生成速度都完全正常 由於110E已經是Lama Vision的最小模型了 我們只好轉而使用功能類似只有70E參數的千萬VL 這個模型正確識別了圖片內容 甚至能夠將表格截圖給它分析 沒有爆內存 來到用於解答數學問題的大模型 Mars Storm M4生成的速度尚可 但是從內容上來看 70E參數數學模型的能力慘不忍睹 數學AI就別用16GB的機器跑了 這個體量的模型不好用 你問我爲什麼不測蘋果自家的OpenELM 看到這樣的回答 你覺得還有必要嗎 測完了文字生成 接下來我們測一下文字生成圖片和語音轉寫爲文字 文生圖任務是輸一段文字 然後由AI按照描述來完成繪畫 我們使用Mac平臺的DrawSynth 選擇了最複雜的Sable Diffusion XL Refiner 16位版 在這項任務上 英偉達實現了對蘋果的暴殺 幾乎只要了M4版本五分之一的時間 M4 Pro版本三分之一的時間 而在語音轉寫任務上 我們選擇了參數量拉滿的WhisperLarge模型 讓幾臺電腦轉寫一段53分鐘的英文音頻 將這段語音轉成文字 結果M4扳回了一城 只要3060一半多一點的時間 至於蘋果的MLX有沒有優化 我們也進行了測試 結果是有 但意義不大 大約只有10%的速度提升 在常文本輸出時節約不了太多時間 經過以上一番的測試 我們可以得出結論 一 M4版本最低配Mac mini能跑大模型 16GB的內存極限是100億參數規模 廉價顯存是Mac的優勢 在英偉達嚴格的盜法面前 連蘋果的內存也有了性價比 二 當模型較大時 需要頻繁處理內存數據時 M4 Pro內存帶寬翻倍 對性能的提升非常明顯 幾乎翻倍 M4還是被內存帶寬拖了後腿 但是升級到M4 Pro版本的Mac mini需要10999 這麼算下來 丐版M4還是相報了 到這裏我們對16GB內存 Mac mini的性能測試也就結束了 又有人會問 現在幾乎隨處可以聯網 可以直接使用網頁版AI助手 比本地大模型要快好幾倍 我們爲什麼還要這麼折騰呢 在Mac mini上跑大模型完全沒有意義了嗎 當然不是 首先一些簡單的問題 我們可以直接離線快速解決 比如我們在這次測試過程中 遇到了很多程序報錯 本地大模型基本都給我們解決了 甚至像語音轉寫這種問題 不僅能夠在本地運行 而且Mac比3060更快 功耗更低 Mac mini全程功耗大概只有30W左右 而3060運行的過程中風扇呼呼轉 其次有很多數據非常敏感 比如讓AI分析報表 總結會議錄音 用本地大模型去處理這些數據 就不用擔心隱私數據被廠商拿走了 如果你動手能力強的話 還可以用自己的數據微調 定製一份屬於自己的AI 部署在本地 這也是目前蘋果 Apple intelligence正在做的事情 雖然16GB的Mac mini 只能算是勉強摸到了AI門檻 但是想想 你只要花3500元 就能夠買到一臺超10GB顯存 能夠跑100億參數大模型的電腦 誰說這Mac不行 這Mac簡直太旺了好嗎 好的今天的節目就到這裏結束了 如果你覺得我們的節目讓你有所收穫的話 歡迎給我們點贊評論轉發 再見