Meta重磅發布首個多模態Llama 3.2,視覺處理11B 90B參數!

TechDL
11粉絲
1 次觀看·2024年9月29日
Meta正式開源了首個多模態Llama 3.2系列模型,帶來1B和3B的文本生成模型以及11B和90B的視覺處理模型。
AI開發前途無限
歡迎來到AI開發者的頻道
最近Meta開源了首個多模態Llama模型
也就是呢Llama 3.2系列模型
最新的Llama 3.2系列模型呢
不僅包含
1B和3B參數量的文本生成模型
同時呢
還發布了11B和90B的視覺處理大模型
這期視頻呢
我們主要來分享一下Llama的視覺模型
首先來看一下它的一些實現細節
這個模型呢在實現上呢
與我們以前常見的視覺模型
比如說LLaVA和千問VL呢
它是不同的
LLaVA和千問VL模型呢
都是將圖像進行編碼之後呢
然後與文本的token embedding進行鏈接
送入到大語言模型進行處理的
通過Llama3.2模型報告中的這個圖
我們可以知道
Llama3.2模型呢
將會同時支持語音和圖像
或者說視頻作爲輸入
其中語音部分的輸入呢
會使用token embedding的方式作爲輸入
而視覺部分的輸入呢
則是通過cross attention的方式
將圖像編碼連接到大語言模型中去的
那這種方式呢
可以很方便的
同時來接收語音和視覺的信號輸入
在整個的對話交互過程中
這個設計呢
可以讓模型
持續的接受視覺作爲輸入
另外還有一點
與使用這個token embedding作爲輸入相比
這種方式呢還可以減少TOKEN的長度
從而可以留下更多的TOKEN空間呢
來處理文本和語音數據
下面我們來實際測試一下
要訪問這個模型呢
你可以通過huggingface來訪問
也可以呢通過
魔搭來進行下載
如果通過huggingface訪問的話呢
你需要填寫申請表格
獲取meta的授權之後
纔可以下載這個模型的參數
首先呢
我們需要對這個Transformers開發庫
進行一下更新
完成之後呢記得重啓一下這裏的kernal
然後將這個代碼呢拷貝過來運行
首先呢我們執行一下這一部分代碼
下載這個模型
模型下載完成之後呢
我們來運行一下這個例子
這個例子呢
是讓這個模型來看一下
這是一個什麼樣的圖片
首先呢是導入這個圖片
然後呢來看一下這個messages
其中user角色當中的內容呢
包含兩個部分
一個呢是這個圖像的部分
另一個呢是文本的部分
然後經過這個processor進行一下預處理
預處理之後的內容呢
就會被送入大語言模型
好我們來執行一下這個代碼
目前這個視角模型呢只支持英文
我們將這裏的文本呢
翻譯成中文來看一下
這裏我們可以看到
他雖然沒有理解
這是一個微信羣的二維碼圖片
但是呢也知道這是一個二維碼的圖片
並且呢
還指出裏面呢是有一些中文信息
看起來呢解釋的呢也合情合理
下面我們再來看另外一個例子
我們讓他來提取一下這張圖片
當中的數據
我們可以看到雖然說
這個模型目前只支持英文
但是呢針對這個中文的表格數據
大部分也可以識別出來
這裏面呢也出現了兩個錯誤
但是在這個任務上呢他的表現呢並
不是很穩定
連續生成幾遍你就會發現
他有時呢會生成中文的數據
有時呢會識別成英文的數據
那如果進一步針對中文任務
再進行一下微調優化的話呢
中文上的表現呢
應該是可以大幅度的改善的
上面呢我們只是測試了11B的模型
另外呢它還有一個90B的模型
對視覺模型感興趣的小夥伴呢
可以去試一下這兩個模型
好了以上就是今天的分享
感謝收看
我們下期視頻再見
