視覺模型計數錯誤?使用小模型修復 | 中文配音

深度大乱斗
6粉絲
2 次觀看·2026年4月24日
那麼如果把視覺語言模型和圖像分割模型結合起來會怎樣?
這樣你就能構建一些非常複雜的應用
比如追蹤、技術、分割等等
這個視頻裏我就來具體展示如何搭建這樣一個流程
上週,谷歌發佈了Gemma 4系列
這是他們首個Apache 2.0許可的多模態推理模型
可以本地運行
而且這些模型在同等規模下效率極高
其實還有另一個模型發佈
但沒引起太多關注
那就是Falcon Perception
這是一個圖像分割模型
和Meta的Sugmate Energy模型很像
不過它要小得多得多
參數只有大約3億
所以你真的可以把它用於本地推理
如果你拿這樣一張圖片
問Gemma 4裏面有哪些水果
它能告訴你
但如果你讓它基於圖片推理
它就會出問題
比如
我問Gemma 4這張圖裏
橙子是不是比蘋果多
結果
僅憑視覺分析
它無法正確計數
它說有五個蘋果和五個橙子
所以數量一樣
但事實並非如此
現在
如果把它和分割模型結合
並嵌入一個智能體循環
那麼你就可以讓智能體先分割橙子
再分割蘋果
進行計數
然後這個模型就能基於找到的物品進行抵達
這不僅僅是個簡單的水果技術例子
如你所見
你完全可以在實際應用中使用它
但妙就妙在
這一切都能完全在本地運行
這正是我想在本視頻中展示的
Gemma模型的好處在於它有不同尺寸
所以你可以根據需求和硬件資源
選擇想要的模型
在這個應用中
我們將使用Gemma 414B指令
遵循版本
這是一個相對較小的模型
可以在本地設備上運行
我將在DGX Spark上運行它
我的GitHub倉庫裏
也有MLX和Apple Silicon版本
鏈接會放在視頻描述裏
至於基礎模型
我們將使用Falcon Perception
這是一個圖像分割和檢測模型
它來自阿聯酋的技術創新研究院
他們推出過一些非常出色的開源全種模型
在Falcon系列中
我很高興他們現在正通過
納入這些多模態模型
來持續推進這項工作
它雖然只是個300億參數的模型
但表現超出預期
我正在它之上構建不少項目
可能會在後續視頻中分享
包括實時物體追蹤
所以如果你對這類內容感興趣
記得訂閱頻道
好了
在展示演示之前
我先解釋一下
爲什麼像Gemma 4這樣的視覺語言模型
單獨使用還不夠
首先
如果不把它們放入智能體循環
它們在技術方面表現很差
另外
如果你想定位特定物體
它們也做不到
而且通常如果有遮擋之類的情況
你無法分離物體
它們的場景理解能力相當不錯
而且速度極快
另一方面
如果結合圖像分割模型
你就能進行物體計數
你可以隔離分割物體
併爲其創建邊界框
這本質上爲分割提供了更強的基礎
當然
這會增加延遲
可能影響某些應用
不過
這個三義參數的模型足夠小
你可以
相比一些舊模型如SAM
確實能以更快的速度運行
具有可不是簡單的順序處理流程
我爲這個系統
創建了一個完整的智能體循環
它結合了Gemma 4的視覺能力
和Falcon Perception的分割能力
確保我們共同利用這兩者
來構建一個非常魯棒的系統
那麼
它是這樣工作的
在當前的實現中
智能體由Gemma 4驅動
它可以訪問四種不同的工具
這些工具
可以和分割模型一起使用
所以當用戶查詢傳入
並且查詢需要包含圖像時
我們首先使用Gemma 4
進行規劃和路由
它會判斷是否需要使用分割模型
來檢測物體
假設它決定使用分割模型
就會直接調用檢測功能
並根據查詢生成一個
它想要分割的物品列表
分割模型基本上會返回一張
帶標註的分割圖像
或者一系列不同的圖像
然後Gemma 4現在可以進行視覺推理了
如果智能體需要重新評估或改變計劃
它也有這個能力
接着
我們用Gemma 4對場景進行視覺分析
這基本上就是整個智能體循環
現在
圖像分割模型Falcon Perception
使用了一種叫做感知解碼鏈的技術
它可以同時處理輸入圖像和用戶查詢
因此具備同時處理穩穩和圖像的能力
然後它經過一系列步驟
爲分割物體生成全分辨率的二值研碼
它還能進行物體檢測
所以你不需要明確告訴它
要識別哪些物體
你只需告訴它存在什麼類型的物體
它就會利用感知解碼鏈
來識別和檢測圖像中的物體
這是一個非常強大的模型
可以作爲進一步微調的基礎
好了
這就是整個系統的樣子
我即將展示的應用中
有兩條不同的路徑
它是開源的
你可以在自己的項目中使用這些代碼
下面我們仔細看看這個智能體循環
核心組件是規劃路由器
如果它認爲能輕鬆回答問題
基於用戶查詢和提供的圖像
它會採用順序系統
先用分割模型檢測物體
再用視覺語言模型生成答案
但遇到更開放的問題時
就會進入循環流程
多次交替使用視覺語言模型
和分割檢測模型
逐步推導出答案
目前出於安全考慮
我們限制循環最多八步
但你可以自行調整
另外請注意
我即將演示的應用是快速實驗版本
目前只創建了少量工具
你可以根據需求自行擴展
這就是我所說的
Gemma視覺智能體
代碼將在GitHub倉庫提供
有兩個版本
一個適用於蘋果芯片
另一個用於DGX Spark或英偉達GPU
我將展示運行在
DGX Spark上的版本
所有配置說明
都會放在GitHub倉庫中
啓動應用後當前運行在
DGX Spark上
你會看到兩個選項
智能體流程會使用剛纔展示的
完整智能體系統
你也可以在Falcon加Gemma 4中
直接對比純Gemma 4的效果
這就是完整的智能體流程
請注意
我使用的是較小的Gemma模型
實際應用建議選用更大模型
我來快速演示個例子
系統自帶幾張測試圖片
比如提問
有多少隻狗
分別是什麼品種
它先檢測到兩隻狗
然後現在正用Gemma模型分析
最終答案是兩隻不同的狗
並給出了可能的品種信息
可以看到
我們先使用分割模型
檢測出邊界框或分割出狗的區域
再傳給視覺語言模型
生成最終輸出
再看這張複雜的圖片
我提問
汽車數量比人多嗎
智能體流程
先識別汽車
檢測到14輛
雖然圖片中很難看清
但模型主要聚焦在近處的車輛
背景中還有些車輛
接着它識別行人
似乎也能識別部分被遮擋的人
當然這裏有些遺漏
但通過兩步流程對比後
最終得出有12個行人
汽車14輛
所以汽車可能比人多
這張圖片處理難度很大
爲對比兩種流程
我上傳這張圖片並提問
圖中橙子比蘋果多嗎
赤面提一下
實時語音轉文字使用的是
英偉達的PariCat模型
感興趣的話
視頻描述中有鏈接
如果僅依賴模型的技術能力
很容易出現混淆
比如它開始數橙子
最後誤以爲
有5個蘋果和5個橙子
實際是5個橙子
但有8個蘋果
可見Gemmas在這裏出現了混淆
但若通過多步驟智能體流程處理
結果相當準確
首先它分割並定位了所有橙子
接着分割定位所有蘋果
然後模型就能輕鬆推理出
哪種水果更多
這就是結合不同能力模型
構建複雜系統的快速事例
目前
我正在研究如何加入視頻處理能力
有些模型
能實時追蹤物體
會很有幫助
我探索的一個思路
是將視頻轉爲真序列
結合這兩種模型
似乎可行
但還有優化空間
如果你喜歡這類視頻教程
請訂閱本頻道
所有代碼鏈接都會提供
在視頻描述中
如果能給GHub倉庫點個心
我會非常感激
希望這個視頻對你有幫助
感謝觀看
我們下期再見
