超越GPT-4o!Mistral AI重磅發布多模態大模型Pixtral-Large!結合BERTScore實現更精準的圖像和視頻目標檢測,從此告別大模型幻覺問題,強大且免費!附完整代碼! #agi

歡迎來到ai超語言域
maestroai昨天發佈了兩款大模型
其中一款是大語言模型maestro large instruct2411
另一款就是多模態大模型maestro large instruct2411
這兩款模型都是開放權重的模型
大家可以直接從hugginface上來下載這兩款模型的權重文件
進行本地部署或者微調
好 本期視頻我們主要介紹和演示maestro large這款多模態模型
下期視頻再爲大家詳細介紹maestro large這款大語言模型
本期視頻我們將使用maestro large這款多模態模型
結合BRTscore這款基於BRT的文本像素度評估工具
實現更加精準的目標查找方式
因爲在之前的多期視頻中
我都有爲大家詳細演示過
通過多模態大模型實現從監控視頻中
查找是否存在指定的目標在監控中出現
但是我們在實際的使用場景中
多模態大語言模型也會產生幻覺
從而在查找監控中指定目標的時候
無法做到100%的精準
所以最近我使用了語意像素度分析的方式
再結合多模態大模型
從而能顯著提升通過多模態大模型
查找視頻中指定目標的準確率
所以本期視頻將會爲大家詳細講解
我們如何使用BRTscore
再加上maestro large這款多模態模型
實現更加精準的
好 視頻的開始
我們先看一下maestro large的詳細介紹
並且用幾個比較有代表性的圖像
初步測試下maestro large的多模態能力
我們先看一下maestro large的詳細介紹
它是由maestro AI開發的一款
1240億參數的多模態模型
屬於maestro large 2系列
它結合了文本和圖像處理能力
特別擅長光學字幅識別
信息提取以及複雜文檔的理解
該模型在注入MMLU和MTBench等
基準測試中表現優異
展現了其強大的多語言處理
還有推理能力
它支持文本和圖像的混合輸入
可處理高達1024x1024分辨率的圖像
並且具有高達128K的上下文創口長度
這使其在跨模態任務中表現出色
還有就是高效的文檔處理能力
在文檔分析中非常高效
可從複雜的PDF文件
表格 圖表 公式等內容中
提取見解 支持多種應用場景
包括研究 工作流自動化和數據分析等
還有就是這款模型
它是開放全種的
並且使用Apache 2.0
許可證發佈 支持開發者進行修改還有研究
還有就是它的應用場景
到目前爲止它已經集成到了
Metro AI的助手中
而且支持圖片生成 代碼創建
文檔摘要 工作流自動化等多種功能
尤其是和團隊協作和生產力提升
可以看到在官方給出的這款模型的
基準測試中
它在多方面的能力都已經超過了
LAMO 3.2 90B
這款開源的多模態大模型
並且在很多方面都超過了GPT-4O
甚至在多方面的能力都已經接近了
Cloud 3.5 Sonnet這款模型
在這個基準測試結果中
可以看到PictureLabs
它在文檔識別等方面
甚至超越了Cloud 3.5
下面我們測試一下
這款模型識別一些圖像的能力
好 我們這裏拿一張X光的醫學影像
看一下它能否識別出來
這個X光上骨折的位置
我們這裏輸入的提示詞是
圖像上骨折的位置在哪裏
然後我們直接發送
這裏它說骨折的位置是在前臂
這個是沒問題的
它說骨折位置大概是
翅骨或者腦骨其中的一根
這裏它分析的是沒問題的
下面我們再用一張CT的醫學影像
讓它來分析一下
我們輸入的提示詞就是
分析這個醫學影像
可以看到它這裏分析的就非常不錯了
它說這是一張胸部的CT
下面這裏是對這個CT的詳細分析
而且這裏還分析出了肺中有肌或者肺結節
可以看出來它這個分析是分析的非常詳細的
好 下面我們再讓它分析一下
這個街道上的一個圖像
我們輸入的提示詞是
圖中的場景可能是哪個國家
可以看到這裏它很快給出了這個分析結果
它說圖中的場景看上去是日本
它通過路標進行推斷
還通過建築風格
還通過行人的這個特徵
可以看到它這個識別的是非常準確的
而且它通過多種方式進行的判斷
好 下面我們讓它識別一下這個圖像
看一下它能否分析出這個動物是什麼
我們輸入的提示詞是圖中是什麼動物
我們直接發送
這裏它輸出了這個分析結果
它說圖像上是隻狗
它從頭部特徵
身體構造還有尾巴的這個特徵
來判斷出圖上的這個線雕是一隻狗的形象
好 通過這幾個比較有代表性的圖像的分析
可以看出來picture large
它在圖像識別方面的能力還是比較強的
好 下面將爲大家詳細演示
我們用bltscore
再結合picture large
實現更加精準的圖像中的目標查找
以解決多麼太大模型
因爲幻覺問題導致的分析不準確
爲了方便演示
我將在谷歌的colab中
爲大家做詳細的演示和講解
因爲picture large它的參數比較大
再加上我手頭沒有高端顯卡
所以無法在本地來配置
所以在代碼中
我將調用Metro AI的API
來爲大家做詳細的演示
我們先執行這一段代碼
來安裝Metro AI的依賴
通過這個依賴
我們就可以調用Metro AI的API了
下面我們再執行這個代碼
這個代碼就是獲取設置好的Metro AI的API
這段代碼就是通過API來調用
picture large這個模型
實現分析圖像中是否有指定的目標人物
然後這段代碼就是一個最簡單的demo
我們還沒有給它加入語義分析的功能
這裏就是我們的圖像
我們是以URL的形式傳遞給這個模型的
這裏就是我們設置的一個提示詞
就是查找這個圖像中是否有這個目標人物
我們可以打開這個圖像看一下
可以看到這個圖像是一個人羣的圖像
像我們在之前使用多模態大模型
查找監控中指定目標的時候
也經常會遇到監控中的畫面有非常多的人物
因爲畫面中出現的人物越多
模型越容易產生幻覺
下面我們可以直接從圖像中隨機找一個目標人物
然後將它的特點描述給大模型
看一下picture large能否識別出我們描述的目標
我們就找圖像中出現了這個人物
可以看到她穿的是黑色的無袖的上衣
紅色的褲子
這樣的話我們在代碼中設置的提示詞
就是問這個模型圖像中是否有一個穿着黑色無袖上衣
紅色褲子的女性
如果有請詳細描述她的體貌特徵
我們直接執行代碼
看一下它能否查找出這個目標人物
這裏它輸出了這個結果
它說圖中有一位穿着黑色無袖上衣和紅色褲子的女性
它位於圖片的右下方
可以看出來這個目標人物
它確實處於畫面中的這個右下方
好
這樣可以看出來它分析的是沒有問題的
但是爲了防止模型產生幻覺
這樣的話我們就用到語義分析
通過用戶輸入的提示詞和模型輸出的分析結果進行語義比較
來判斷模型是否真正在圖像上查找到了我們描述的指定人物
這裏我們需要用到BERT SCORE
它是一種基於預訓練語言模型的評估方法
通過比較生成文本和參考文本的單次嵌入來計算相似度
這種方法它就能捕捉更深層次的語義相似性
下面我們先執行這段代碼來安裝BERT SCORE所需的這些依賴
下面我們就可以看一下我這裏寫的BERT SCORE的簡單的demo
這個demo是爲了讓大家更好的理解這個語義相似度分析
這裏就是導入所需的這些依賴
這個函數就是使用BERT SCORE計算參考文本和候選文本之間的相似度
下面這裏我們就是放置的生成的文本
比如說Picture模型生成了這個描述
然後下面這裏就是計算評分
然後我們可以直接執行一下
我們可以看一下這兩句話的這個語義分析的這個結果
它們的精準度達到了0.67
召回率達到了0.69
整體相似度達到了0.68
這說明這兩句話表述的還是比較接近的
好我們再看第二個案例
這兩句話的總體相似度達到了0.77
下面我們就可以將這個文本相似度分析
這裏就是這個完整的代碼
這個代碼中我們就使用了BERT SCORE
這個代碼比較長
這個代碼就是通過用戶數據的提示詞
還有用戶提供的這個圖像
通過API的方式發送給Picture LUT
讓Picture LUT生成回答
然後再通過BERT SCORE來計算用戶數據的提示詞
還有Picture LUT生成的這個回答
來計算它們的相似度
並判斷是否匹配目標
這裏就是導入所需的這些依賴
然後這裏我們創建了一個類
這個類就是匹配詳情數據的類
然後下面我們又創建了一個
圖像分析的一個類
這裏包含數實化圖像語義分析器
然後這裏就是這些參數
包括Metro AI的API
包括BERT模型的類型
還有包括文本的語言
還有包括匹配預值的這個字典
還有包括是否記錄到這個分析結果
我們這裏設置的
當匹配的這些值都達到0.7的時候
包括這個綜合的這個值都達到0.7
就可以判斷模型
真正從圖像中匹配到了這個目標
然後這裏就是我們定義了一個
圖像分析的一個函數
這裏就是用戶數的提示詞
像這裏就是目標圖像的URL
這裏就是返回Petro AI
對這個圖像的分析
下面這個函數就是計算語義相似度
並判斷是否匹配到目標
然後這裏我們又定義了一個函數
就是分析匹配細節
提供每個指標的詳細評估
然後下面我們定義了這個函數
就是根據預值的差距
計算自信度的級別
然後下面這裏就是記錄分析的結果
這個函數就是完整的分析流程
包括詳細的匹配分析
下面這個函數就是格式化分析結果
爲異圖的這個字符串
下面這裏就是這個主函數了
這裏就是我們設置的這個提示詞
然後這個圖像還是剛纔我們查看的
這個圖像
然後要查找的目標
我們還是以這個右下角的
穿紅色褲子的女性爲這個要查找的目標
這些都設置好之後
下面我們就可以來運行這個代碼了
我們直接點運行
看一下它的輸出結果
這裏已經輸出了結果
首先就是AI的響應
也就是picture large模型給出的回答
然後下面這裏就是語義相速度分析了
可以看到這三個參數的這個結果
都達到了0.7以上
包括這個綜合的得分達到了0.755
這和我們在代碼中設置的
這三個參數都達到0.7以上
基本就可以判斷已經匹配到了
首先是這個指標
然後它的自信度D
然後這個指標它的自信度就中了
然後它的綜合分析的這個得分
然後這個自信度就是中
最後在這個匹配的結論中
就是是否匹配到目標
這裏就是是
這裏就提示目標匹配成功
然後這個整體自信度是中
這樣的話我們就可以確信
這個模型從圖像中查找到了
我們所描述的這個目標
這樣的話就能大大提升
這個分析的準確性
下面我們再看一下
我寫出的這個最終版的代碼
因爲這個代碼比較長
我們就看一下
我給這個代碼寫了一個簡單的註釋
這個代碼就是
對於目標特徵檢測和語音分析匹配
主要功能就是精確度評估
還有特徵追蹤
還有可視化分析
還有結構化輸出等
爲了節省時間
我們就不再具體去看這個代碼了
我們可以直接執行這個代碼
來看一下它輸出的這個結果
這樣的話大家通過輸出的結果
就可以對這個代碼有初步的瞭解
而且這個代碼我都加入了中文註釋
並且我會放在視頻下方
大家可以從視頻下方去找這個代碼就可以
我們直接點擊執行
這個提示詞還有圖像
就是我們剛纔看到的提示詞和圖像
這個代碼已經執行完成
我們看一下這個代碼的輸出
首先還是AI的響應
然後它這個輸出的和之前的差不多
然後這裏就是語音相似度分數
下面這裏就是詳細的匹配過程
而且這裏我們還加入了特徵匹配
匹配到的特徵是三個
這個目標的特徵
包括黑色的無袖上衣
紅色的褲子
深色頭髮
還有髮際
還有棕色包
還有淺色的鞋子
下面這裏就是已匹配到的特徵
黑色無袖上衣
紅色褲子
髮際
未匹配到的特徵就是深色頭髮
棕色包
還有淺色鞋子
然後這裏就是是否匹配到目標
這裏就是是
然後目標匹配成功
整體自信度是中
最後這個分析日誌
它會單獨保存成一個文本文件
還有可視化的結果
它會保存成一個圖像
我們可以看一下
它分析的這個可視化的這個圖像
下面我們看一下
它生成的這個匹配的日誌文件
下面的輸出結果
就和我們剛纔看到的輸出結果
基本是完全一樣的
這樣的話我們就通過picture模型
再結合文本相速度分析
實現了更加精準的目標查找
好
視頻中所用到的代碼和指令
我都會放在視頻下方的描述欄
或者評論區
如果你在視頻下方無法找到的話
說明這不是我的首發平臺
好
本期視頻就做到這裏
歡迎大家點贊關注和轉發
謝謝大家觀看