Segment Anything Model (SEEM) 突破性進展 :通過Prompt\Referring Image \ Voice 一鍵分割視頻中的內容
體驗網址:https://huggingface.co/spaces/xdecoder/SEEM
備用:https://www.huggingface.co/spaces/segments/panoptic-segment-anything
00:00 開始
02:05 第一個:通過提示詞在圖片上生成遮罩
02:46 第二個:通過聲音在圖片上生成遮罩
03:23 第三個:通過參考圖片生成遮罩
04:07 第四個:在視頻上生成遮罩
#ai繪畫 #ai
近期,Github上面又多了一個非常火的項目
號稱可以在任何地方分離出任何事物
它是SEEM
SEEM是一種可以用多種方式提示的交互式圖像分割模型,它可以同時分割圖像中的任何物體
SEEM具有以下幾個特點:
多樣性:可以處理不同類型的提示,例如:點、框、多邊形、塗抹、文本和另一張圖像的參考區域等;
組合性:可以處理任意組合的提示,例如:點+文本、框+塗抹等;
交互性:可以與用戶進行多輪交互,利用記憶提示來存儲會話歷史信息;
語義感知:可以給任何預測的掩碼賦予一個語義標籤
SEEM是基於FocalNet3、UniCL和X-Decoder等技術構建的
它使用了一個通用的提示引擎和一個聯合的視覺-語義空間來處理不同類型和組合的提示
它還使用了一個文本編碼器來編碼文本查詢和掩碼標籤,以實現開放詞彙表的分割
它可以實現從塗鴉到遮罩
用戶只需單擊圖片中的某一事物,網站就可以爲其生成覆蓋整個事物的遮罩和相應的類別標籤
它還可以實現從文本到遮罩
SEEM可以使用用戶的文本輸入生成遮罩,提供與人類的多模態交互
甚至,視頻也不在話下,它也可以根據用戶提供的視頻和提示信息,對視頻中每一幀的畫面進行識別,同時給出遮罩
SEEM還可以將參考圖像引用到遮罩
用戶只需在另一張參考圖像上單擊或筆劃,模型就能夠在目標圖像上分割具有相似語義的對象
如果你想通過說話,來與SEEM交流,也是可以的
網站利用whisper將音頻轉換爲文本提示,以分割對象,再對圖片進行遮罩處理
接下來,我就帶大家演示一下網站中一些功能的操作過程:
第一個:圖片遮罩
首先,打開圖中所示的網址,網址我已經放到了視頻簡介中,有需要的可以直接複製
接下來,往下翻,在“Draw on image”中,上傳你需要處理的圖片
然後,在“Interactive Mode 交互模式”中的“Text”前面的複選框中打勾
在“Refering Text中”填寫“柯基犬”
完成這些步驟之後,往下翻,點擊“Submit”提交
然後往上翻,等待處理完成
好了,生成結束,看一下效果:柯基犬已經被加上藍色遮罩,且圖片上的無關位置沒有被錯誤識別
第二個:聲音生成遮罩
爲了方便,我這裏使用網站提供的示例給大家演示
好了,它已經自動填充了
交互模式中這個文本和音頻已經打勾了,說明它從文本和聲音中提取信息來對圖片進行識別
我們來聽一下聲音
好了,檢查無誤,點擊提交
現在,生成結束,看一下效果
它把綠樹加上了標籤,而且將整片森林加上了綠色遮罩
第三個:參考圖片生成遮罩
這個“Example”已經被勾選了,說明你需要對下圖中的目標事物進行標記
在斑馬身上塗一小塊,模型就能夠在目標圖像上分割具有相似語義的對象
哎,不對,明明有三隻斑馬啊,爲什麼只識別了一隻?
我來解釋一下,其實SEEM 非常瞭解空間關係。被加上遮罩的斑馬位置與你標記的斑馬相對位置相同,如果你標記了最右邊的一隻,那麼被加遮罩的將會是最右邊的
現在,我試一下標記中間的,來驗證一下我的解釋
等待結果
好了,生成了,它標記了中間的,說明我的解釋正確
第四個:視頻生成遮罩
好了,材料準備完畢,現在看一下它的視頻
再來看一下參考圖片,他這個參考圖片是從視頻裏截取出來的
我現在把這個花標記一下
然後勾選“Example”
要記住:凡是涉及到在圖片上勾勾畫畫的操作,就一定要勾選這個複選框
然後提交,等待結果
生成結束,看一下視頻
他這個花已經被SEEM自動識別了,效果非常完美
再試一下第二個視頻案例
這個是小貓和小雞在玩耍的視頻
他這個參考圖片裏的貓不是從視頻中截取的,不過沒有影響,正常操作就可以了
在貓身上劃一筆,然後勾選“Example”
然後提交,等待結果
生成結束,看一下視頻
這個小貓有時候會被小雞擋住,他這個SEEM也是能夠識別的
美中不足的是有那麼幾幀畫面,小雞也被當成貓咪了,不過在後期處理的時候,刪掉那幾幀就可以了
好了,今天就到這裏了,謝謝

