物件偵測模型評估

MeDA
2粉絲
物件偵測(object detection)是指在影像中,利用長方形的框標出物件的位置,並針對該物件進行分類,也同時輸出該分類的機率值。
在這段影片中,我們將透過實際的例子介紹何謂mean average precision (mAP),以及如何利用mAP來評量一個物件偵測模型的好壞。
#MeDASchool #Detection #MedicalAI
大家好,我是Meta Lab的李佩蓉
那我今天要跟大家介紹的是
在物件偵測之中我們要怎麼樣去衡量我們模型的好壞
如果大家對物件偵測模型有一些瞭解的話
我們可以知道說其實我們在做物件偵測這個題目的時候
我們不外乎就是兩件事情
第一件事就是我們抓出來這個bounding box
它分類的這個類別對不對
那第二件事情就是說我們抓出來的bounding box
它的座標,就是它框出來的位置
是不是我們真的想要看到的物體的位置
所以我們這邊用Fast R-CNN來舉例子的話
其實可以看到說我們的output這邊
就是有一個是我們類別的softmax之後機率的值
那另外一個的話就是我們bounding box regression得出來的位置
所以其實我們整個物件偵測最關注的就是這兩件事情
那我接下來的話就會跟大家介紹我們在物件偵測
就是衡量模型這邊我們常常會用到的一個值
叫做mean average precision
或者是我們簡稱叫做MAP
那在開始之前呢,我想先跟大家複習幾個觀念
那第一個觀念是intersection over union
就是我們常常聽到的IOU
那顧名思義它的算法就是
我把兩個bounding box它們的交集
除以它們兩個bounding box的連集
所以如果我們從圖片上來看的話
就會是藍色的這個區域
這個是兩個bounding box的交集
那連集的話就是黃色框框加上綠色框框
它們總共包含包起來的範圍
所以這邊計算就是藍色的範圍
除上整個綠色加黃色框框的範圍
那這個就是我們的IOU
好,那第二個要跟大家複習的是混淆矩陣
然後還有一些它我們常常會計算的數值
那混淆矩陣是大家在做classification題目的時候
常常會拿來衡量我們模型好壞的一個工具
那通常會畫成像這個樣子
就會是,如果是binary的話
就會像這樣子是一個4乘14的矩
那我們來看,那它這邊的話可以看到
就是上面的話是我們prediction的結果
然後旁邊的話會是我們ground truth
就是我們label的值
所以像是true positive的話我們要怎麼解讀它
就是我們ground truth
我們把它標記成是正樣本
然後我們predict出來也是正樣本的這些數量有幾個
那這個就是寫在true positive的地方
那如果像是false negative呢
就是我們的ground truth是positive
但是我們model predict出來
卻告訴我們說它是negative的情況
就會被算在false negative這個類別
好,那我們得到這個混淆矩陣之後呢
我們常常會再去計算一些額外的數值
然後去看說這些數值是怎麼樣可以衡量我們模型
這樣子,那比較常用的就是
像這邊提到的precision跟recall
那precision它的算法是true positive除上true positive加false positive
所以整個想法上來講的話就是
因為我們可以看到true positive加false positive
其實就是我們所有被我們模型判斷是positive的數量
那它分之true positive也就是說
我們想要看到的是當我們的模型說一個東西它是
positive的時候它真的是positive的機率大概是多少
那這就是precision的用處
那recall的話呢它是true positive加上false negative分之true positive
所以就是在所有ground truth table是positive的情況下
我們真的抓得出來它是true positive的數量有多少
那我們可以這樣子去理解precision跟recall
那剛剛提到可能會比較像是classification的題目
那比較簡單可能我們就是畫一個
混淆矩陣出來它就可以算出precision跟recall
那如果像是在segmentation的task裡面我們會
用不太一樣的方式去定義說
這邊的false negative和true positive或是false positive是怎麼定義的
所以我們可以看到那黃色這個部分是我們模型判斷出來
segmentation的範圍
那綠色的話就是ground truth的label
所以我們可以看到它們兩者的交集會被我們定義成是true positive
那模型判斷出來但不在ground truth裡面的會被判斷成是
會被當成是false positive
那反之的話在ground truth但不在模型判斷範圍裡面的話就是false negative
那我們可以用這種就是面積計算的方式
那一樣我們是代入跟剛剛一樣的公式
我們就可以算出我們segmentation model
它們的precision跟recall分別是多少
那大家可能會想說那像segmentation跟detection
它們好像都是在抓出一個東西
就是它們的位置是在哪裡
那我們是不是可以用類似的方法
去就是類似segmentation的方法
然後去判斷說我們detection的模型好不好
就是像類似這種用面積的算法
那其實這樣是不太好
那會有一些小小的問題在這邊
好那我們來看會是什麼問題
假設我們看到左邊這張圖
那這邊的話這邊的話是一個香蕉
我們先看香蕉這個類別
那假設它的ground truth就是這個藍色框框
深藍色框框
那我們的模型假設predict出來是這個淺藍色框框
那其實你會發現說如果從面積上來看的話
其實它們兩個重疊的
它們兩個重疊的範圍其實不小
就甚至說可能算是蠻大的
但是你會說這個淺藍色框框是框在香蕉的地方嗎
可能就不會
因為其實你會發現說它真的有框到香蕉的地方
可能只有這一個小角
那如果任何一個人只去看這個淺藍色框框的話
你其實是沒有辦法判斷說它真的是香蕉
所以如果用像segmentation這種算面積的方法
來衡量detection model的話其實是不太好的
因為當你的物體就是越接近這種
可能是L型的話
越接近L型的話
那你可能用面積的算法去算它的問題就會越大
所以這邊的話我們要重新定義就是
true positive false negative 跟 false positive
在detection這邊到底是怎麼去看
那我們來先看到true positive
那true positive比較簡單
它其實就是去看說你的
model predict出來的bounding box
跟你的ground truth的bounding box
它們之間算出來的IOU
是不是大於一個你指定的罰值
那這邊罰值的話其實大家可以自己去設定
那比較常用可能是0.5這樣子
那false negative的話
false negative就是你的ground truth的bounding box
它沒有被任何true positive的bounding box給框到
那這個的話就算是一個false negative
那最後一個情況比較多的是false positive的部分
那它有三個可能的情況
那第一個的話是說
我們predict出來的bounding box
它沒有蓋在任何的ground truth上面
那第二個的話就是
雖然它有蓋在ground truth上面
但是它的IOU
就是它們兩者算出來的IOU
是小於你指定的罰值的
那第三個情況是說
可能有一個物體它被多個
模型predict出來的bounding box給框住
那不是最高
就是它的confidence score不是最高的那個bounding box的話
那其他也會被當成是false positive的情況
那大家可能會想說
那像我們有了true positive
false negative跟false positive
那有沒有true negative
那通常我們在detection的task這邊
是不太會去定義true negative的
因為平常我們看true negative就是說
你模型說它是negative
然後我們的model也說它是negative的情況
那如果在detection的task裡面
等於是你隨便在背景圈一個bounding box
那它都算是true negative了
所以true negative等於說是
你想要有多少就可以有多少
所以我們在這邊通常是不會去定義true negative的
好,所以那我們來看一些例子
來幫助大家瞭解
那右邊的圖的話會是ground truth的label
那左邊的圖的話是模型predict出來的bounding box
所以我們來看假設是人這個類別
可以看到說我們模型有框出兩個bounding box
一個是比較小的,一個是比較大
那這邊的話我們就可以先去計算它的IOU
那大家可以看到說這邊它就說
欸有一個true positive
那它是因為它detect到了
然後它IOU是大於我們設定的0.5的罰值
那另外一個的話
就是它的IOU是小於0.5的
所以我們就把它當成是false positive
那如果來看狗這個類別的話
你會發現說
欸它一樣也是有兩個框框
有兩個框框
那它一樣有一個true positive
一個false positive
那true positive的部分
就是我們模型predict出來的bounding box
跟ground truth的IOU是大於罰值的
那另外一個框框
雖然它的IOU大於我們的罰值
但是它不是最高的IOU score
所以我們這邊也把它當成是false positive的情況
那我們再來看下一個
那一樣右邊的圖是ground truth
然後左邊的圖是
模型predict出來的bounding box
那一樣我們如果先看人這個類別的話
你會發現說
欸它這邊有一個false positive
一個false negative
那false positive的話
是因為它predict出來的bounding box
跟ground truth的IOU
是小於我們設定的0.5的罰值
那false negative的話
就是因為這個bounding box
沒有任何一個bounding box
有真正predict出來
person這個類別
那腳踏車的話
一樣是false negative
因為我們的模型
完全沒有抓到
腳踏車的位置在哪裡
那這又是另外一個情況
就是說這邊有一個車
但是被我們的模型
判斷成是公車
那這樣子的話
我們就會
在車子這個類別
我們會算一次false negative
然後在公車的地方
我們會算一次false positive
那我們剛定義完了
true positive
然後跟一些其他的值之後
我們就可以來算
precision跟recall了
那以人這個類別
當作例子的話
我們從這個圖的話
我們可以這樣子去算
我們的precision跟recall
那precision
如果再套回公式的話
就是true positive
除上true positive加false positive
那recall的話
是true positive
除上true positive加false negative
那大家這邊可以
自己代入數字去計算
然後答案就會分別是0.5跟1
那大家可能會想說
那我們這邊大部分都是在用
比如說IOU去看說
它是不是一個true positive
或者是說
它是不是在正確的類別上面
但我們在做detection task的時候
我們通常還會有一個
就是類似機率值的東西
叫做confidence score
那它就有點像是
我們在做classification task的時候
我們最後會拿到的那個機率值
那其實大家可能會想說
那這個機率值在這邊
好像怎麼都沒怎麼用到
那它是不是會跟classification一樣
那邊有一些特別的用途
那其實這邊
大家想的是對的
就是那個confidence score
其實它還是有一些用處的
那它的話
我們會在計算
precision recall curve的時候
很嚴重的就是
就是會用這個confidence score
去計算我們的precision recall curve
那大家如果對
我們之前在classification task
有提到的
ROC curve有印象的話
那其實precision recall curve
跟ROC是類似的
只是當初我們在算ROC的時候
我們是用sensitivity跟specificity
那在我們的precision recall curve這邊
就是用precision跟recall分別去計算
那所以大家可以把這兩者
就是去做一個對比
那因為如果大家還有印象的話
其實只要說ROC curve
它是針對不同的threshold
然後分別去看它的sensitivity跟specificity
所以簡單來講
precision recall curve
也就是用不同threshold底下的
precision跟recall
然後去計算出整條curve
那我們在計算的過程之後
就是在ROC那邊
那我們算完ROC之後
我們通常就會去算它曲線底下的面積
然後我們把它稱作AUC
那在precision recall curve這邊一樣
我們算出這條curve之後
我們也會去計算它曲線底下的面積
然後這個底下的面積呢
我們就叫它average precision
就是AP這樣子
那就是我們今天的重點
那大家如果對就是
這個threshold要怎麼取
有一點不太清楚的話
我們這邊就是舉一個例子
幫助大家去了解
那我們來看一下這個例子
那這邊是說假設有一張影像裡面
然後它有五隻不同的狗
然後底下的表格
是我們model
predict出來的bounding box的一些資訊
好我們先來看
那假設這是我們predict出來
我們predict了六個bounding box
那第七個是假的
所以我們用比較淡的顏色
去看它
就是它其實不存在
那只是我們先把它列在上面
那第一個bounding box的話
它找到第一個狗
然後第二個bounding box找到第二個狗
第三個bounding box也找到第二個狗
那它是這樣子看的
然後這邊的confidence
就是我們bounding box的confidence score
所以有0.9 0.7 0.6 0.1
這樣子
那一樣會有IOU
就是我們的predict出來的bounding box
跟ground truth它們的
計算出來的IOU的值
那這是要假設我們
我們第一步就是要先知道
我們的threshold要取在多少
所以我們可以先列出
最後這一欄
IOU大於0.5的地方
那大於0.5我們就把它設成1
然後小於1的話就把它設成0
然後下一步的話
我們就是按照confidence score的
大小去做一個排序
就是對bounding box去做排序
所以我們就可以看到
這邊是從0.9
然後一路遞減到0.1
那我們接下來的話
就是要去選取不同的threshold
然後去計算分別的
precision跟recall
所以我們第一個的話
可以先選取rank 1
就是最大的confidence score
然後當作是一個
就是第一個threshold
那所以
我們來看的話
就是大家如果還記得
第一個它的confidence score是0.9
所以任何大於0.9的confidence score
我們都把它當成是
precision是1
那小於的話我們全部都把它當成是0
然後這樣子的情況下
我們就可以去定義出
true positive跟false negative
有了true positive跟false negative的數量
我們其實就可以
針對這個0.9的threshold
去計算出precision跟recall
那這邊要特別注意的是
如果一個物體
它是被多個bounding box給框住的話
那那個物體
其實只能算一次的false negative
所以像這邊可能我們這邊列出了
1 2 3 4 5 6 6個false negative
但因為我們整個
影像上只有五隻狗
或者是說五隻狗
然後有一隻是被正確的判斷
所以剩下false negative
其實只有四隻狗
所以這邊的話其實不能用6去算
而是要用4去算
那這邊是大家要特別注意的地方
那其實就是這樣一路
就是算下來
就是取一個rank 4當作
接下來的例子
那其實一般來講的話就是rank 1算完
然後再算rank 2
然後再算rank 3
然後就一路算到最後
那大家這邊可以自己去試試看
算出來的結果跟我們的答案
是不是一樣的
那最後算完的話我們就會得到這個表格
所以你會發現說
我們針對每一個rank的threshold
我們其實都會有一組precision跟recall
所以像是在rank 1的話
就是在confidence score是0.9的情況下
我們的precision跟recall
分別是1跟0.2
那如果在0.7的情況下
我們的precision跟recall就分別是
0.75跟0.6
所以我們會拿最後這兩欄
precision recall的這個pair
然後我們就可以去畫出
像這樣子的precision recall curve
那我們剛剛提到的average precision的話
就會是這條曲線
底下的面積
那這邊放一個gif給大家看一下
那我們真的在
持續地改變我們的confidence threshold的話
那它會怎麼樣變化
所以這是一個
那因為我們剛剛提到的那個例子
是因為它數量比較少
所以不會像這張圖一樣
它會有這麼多的起伏
那這個的話會比較接近真實情況
就是說它的
就是會比較鋸齒
然後它的變化也比較大
所以我們可以看到說
這邊confidence threshold一直在降
precision也一直在降
然後recall是一直在上升
precision其實是會一直浮動的
然後但是recall是會一直上升
那大家可能會想說
像剛剛那張圖它的
曲線底下的面積應該很不好算
那這時候就會有一些
就是像是可能是
不同的比賽啊
那他們就會提出一些不同
去計算這個曲線下面積的方法
那我們這邊舉的是這個
PASCAL的2010的比賽
那它的想法就是說
因為這樣子的話
其實在計算上面是
非常的難算
那我們就不如說我們就把這邊
都把它變得平滑一點
那這邊底下我們就不管
所以它就會變成是一個molotov decrease的curve
那這樣子的話
我們在計算它曲線下面積
其實就會比較容易了
這邊再給大家舉另一個例子就是
我們MSCOCO它這個比賽
那它會看的話就是
有像是這個AP
就是剛剛講到的曲線底下面積
那它還會另外去設定
說就是
我的IOU要設定在
我的伐值要設定在多少
像是它這邊會有設0.5
也會有0.79
那或者是說那我從0.5
到0.95
然後我是每0.05
然後分別這樣子去看
那這邊的話大家可以再去
詳細的瞭解一下MSCOCO這邊
就是這個比賽他們
使用的這個算法到底怎麼算
那應該蠻多的
蠻多的人都會採用就是類似這樣子的算法
那最後就來到我們
今天最後的重點就是MAP
一開始就想說
那我們剛剛介紹AP
那這個M到底是什麼
那其實很簡單就是說
因為AP它其實是針對每一個class
就是每一個category分別去計算的
那所以這邊的MAP的話
就是看你的圖片裡面有幾個類別
那我們就把他們的AP
加起來然後除上
我們的個數就得到我們的
平均的AP了這樣子
所以其實這邊的計算就是相對比較簡單
那這邊有一些
需要注意的地方跟大家提醒一下
第一個的話就是說
MAP有時候可能大家會簡稱
就是說它是AP
因為可能大家就是MAP太難唸
就可能只講AP這樣子
那另外的話就是其實
從剛剛的計算可以發現說
它真的很重要
所以通常我們在告訴大家說
我們這個detection model的MAP
是多少的時候
通常你也要告訴別人說
我這個threshold是設定在多少
因為這個其實threshold的設定是
會很嚴重的影響到說
你的MAP就是告訴大家
就是很涼的時候
要去看這個IOU的髮質
是設定在多少
那以上的話
就會是關於
detection model的evaluation
那希望大家
透過這個影片可以瞭解說
我們要怎麼去衡量這個
物件偵測的模型
謝謝大家
