【Hands-on】醫學影像分割實作

MeDA
2粉絲
2023年9月24日
影像分割 (Image segmentation) 是一種藉由標記像素點的方式,來找出影像中重要的區域 (例如器官或是腫瘤) 的方法。影像分割可以使原始的影像更容易理解或是分析,有許多的應用。
在這個系列的影片中我們將介紹如何把深度學習應用在影像分割的問題上,並且提供一個實際的範例來演示如何訓練一個醫學影像分割的模型。
哈嘍,大家好
歡迎來到我們今天的課程
我們今天要講的主題是Medical Image Segmentation的Hands-On
我們今天會帶大家從Data到Model
還有整個Training、Validation、Testing的流程
完完整整的走一遍
因為我們今天是比較偏實作的課程
所以我會希望大家能夠對Python有一點初步的瞭解
對Deep Learning的概念是有聽過的
最好還會有一點點Image Processing的經驗在
那會是最好的
那我們就趕快開始了
我們今天會用PyTorch
也就是Python這邊一個很熱門的Deep Learning Framework
來做範例
那另外呢,我們還會用Monite
Monite是Python上面對Medical Image AI
有非常多好用工具的Library
它包含了很多格式的支援
很多常用的Pre-Processing
還有一些常用的Model
它都包含在裡面
使用Monite我們可以很快的
搭建出一個完整的Workflow
來做Medical Image的Segmentation
那首先,我們第一步先來安裝Monite
我們來按下去
對,它跑完了,這個就是安裝完畢
那我們來介紹一下我們的Dataset
我們的Dataset呢
是一個叫Brass Ultrasound Images Dataset
它是在Cargo上面的一個公開資料集
那我們點進去看
它是一個乳房的超音波攝影的影像
它的Label呢,有三種
一個是良性腫瘤
良性腫瘤呢,它會在超音波影像
良性腫瘤的位置
用這樣子的標記把它整個塗滿
那大家可以看到
它是一塊比較明顯不一樣質地的區域
這個是Benign的良性腫瘤
然後呢
Malignant這個是惡性腫瘤
這個一樣是超音波的影像
那它就是會長得比較不太一樣的形狀
這個是惡性腫瘤的部分
那還有一類是Normal
也就是沒有腫瘤
那大家就可以看到
在這個超音波影像
它對應的Label
它就是沒有東西的
什麼都沒有,黑黑的一片
那這個就是我們今天會用到的Dataset
它總共是780張
我們在這780張裡面
我們會把它平均的分配到
Training、Validation跟Testing上面
那我們就來下載這個Dataset
那我在這一邊
已經幫大家寫好了下載
跟解壓縮的Code
我們只要把它按下去
我們等它跑完
OK,這樣子
Data就到手了
那我們接下來
想要來看一下這個Data
我們在這一包
到底有包含著什麼樣的東西
我們來執行一下
可以看到說
我們的Data裡面
有這五個
有Benign
Malignant
Normal
這三個資料夾
有一個Readme
還有一個DataList.json
這個是我們
準備好的Data Split
那這個Data Split
大家可以看到下面
有印出它的相關訊息
我們把Training
分了468張過去
Validation 156張
Testing 156張
這個是一個622的分割
那接下來呢
我們想要看看裡面的影像
到底跟我們
在剛剛網頁上看到的
是不是一樣的
所以呢
我們這邊就是想辦法
把它秀出來
這邊呢
我們從Training Set
剛剛的468張
隨機的挑一張
影像出來
一組影像出來
所以呢
包含了它的超音波影像
跟它首繪的Label
然後呢
我們就來看看到底
是怎麼樣
那我們可以看到
我們選到了一個Benign Case
所以呢
它這一區
是一個良性腫瘤
它的這邊
是對應的Label
它完整的把它標記起來
那我們再看一個例子
這個也是一個良性腫瘤
是這個區域
一樣它的Label
就是標記這一區
所以呢
看起來我們的這個檔案
在載下來之後
跟剛剛網頁上看到
是一致的
我們這邊是
檢查檔案的動作
是正確的
成功的
那接下來呢
我們檔案有了
接下來準備我們的Model
那我們要Train一個Model
到底需要哪些東西呢
我這邊就有列出來
首先呢
你要把你的Data Pipeline準備好
就是呢
你要做好你的LowData
把你的Preprocessing
這些東西都全部都訂好
之後呢
你要把你的Model準備好
包括你的Model架構
你的Loss Function
還有你的Optimizer
這些東西都有了
我們才能在最後
Training的這個部分
把Training的流程組起來
把Validation的流程組起來
讓它週而復始的去跑
那首先呢
我們會先來處理
所謂Data Pipeline的部分
那Data Pipeline
我們這邊說到了
它有LowData
跟Data Preprocessing的部分
那在用
PyTorch
或者是Monite
的這面用法呢
我們會先把
Preprocessing的部分訂下來
然後呢
我們再來處理這些
到底有哪些Data的事情
最後呢
我們根據這兩個資訊
再來做我們的
Data Loader
那我們就直接來看Code了
首先呢我們會需要
Import一大堆的東西
因為我們的Preprocessing
是有很多的
功能去堆疊出來的
那還有一件事情
是我們這邊還需要
額外的Preprocessing
大家如果有興趣知道要怎麼
自訂Preprocessing的話
可以參考我選取起來的
這段Code
那接下來
就來看我們的Training
跟Validation的Preprocessing
到底用了哪一些東西
我的Training的Preprocessing
它是Train Transforms
那它的內容是
首先第一步我要Load Image
我要把
我們的檔案從硬碟
載入到記憶體
我纔有辦法
對它做下一步的
操作 然後呢
這邊有一個RGB to Grayscale
這個的
目的是把剛剛的
超音波影像
把它是一個三個Channel
RGB的影像
轉到一個灰階影像
就是把三個Channel
變成一個Channel
的功能
那這邊呢
因為其實我們的UltraSound
這個影像 它的值就是灰階的
你如果
自己試著把它打開來
看看它三個Channel的值
到底怎麼樣 你會發現
它三個Channel RGB
它的數值完全是一模一樣的
所以呢
我們不需要這麼多
重複的Data
我們就取一個Channel就好
所以呢 我們這邊多自己寫了一個
RGB to Grayscale
這個Function
那接下來下一步
我們會需要Add Channel
這個是為了讓它的
形狀
就是符合
Modeled Input
我們會加一個Add Channel
然後呢 第四十行的
這一個是一個比較
進階的用法
就是呢 大家知道
來Modeled 做Training
的時候 它的
Input 通常都是一個固定的
大小 但是呢
我們剛剛的影像其實
如果打開來
看的話 其實它每一張影像
大小都不太一樣
在Dataset 網頁上的
敘述是說 平均大概是
500個Pixel 乘500個Pixel
但是呢 這個是平均
我們在做Training的時候
必須要每一張影像
都一樣大
我們纔能夠
好好的去跑完這些東西
所以呢 這個時候
在做Medical Image
Sanitation
具體來說有兩種做法
第一種做法是 我把
所有的影像
例如說
我不管它原本大小多少
我全部把它縮放成
256x256
那這樣子
就符合了我們剛剛說的
每張影像大小一樣
這是第一種做法
那第二種做法呢
就是我們現在這邊
用的做法
我就不管這張影像到底
有多大 我就直接
從上面切一塊 我覺得合理的
大小下來
我就把那一塊丟進去Model去Training
那這樣子呢
有什麼好處
它可以保持原本的
影像的大小
它的空間資訊會保留的
更多一點
但是呢 它在做Validation
或Inference的時候
大家可以想像
我要的答案是
一整張圖的Segmentation
我不要切成一塊一塊
中間某一小塊的Segmentation
所以呢 它的Validation
的過程會稍微麻煩一點
等一下我們可以從
例子裡面看到
那這邊呢 這個Function就是呢
我在Training的時候
我的影像進來
我就隨機切一塊
160x160的
直影像
然後把它當成是
這一個
Training的Sample
這邊是我在
每一張影像切8張
然後呢
下一步 46
這個是把
上面處理完的Data
變成一個PyTorch的Tensor
那變成PyTorch的Tensor
之後 它就可以丟進Model
去做訓練
這個是我們的Training Transform
那接下來我們的
Validation Transform會稍微簡單一點點
大家可以看到
它事實上其實是一樣的
1 2 3 4 5個
1 2 3 4
所以呢 它就少了一個
把影像切塊的這個動作
那看到這邊大家可能有疑問說
為什麼
我Validation剛剛說明比較複雜
為什麼它這邊少了一個
切塊的動作
那這個部分呢
是等一下我們會有Function來特別幫我們
處理這件事情
所以呢 大家這個時間點
不用太煩惱這件事情
那我們的Data Pipeline
現在有了
Transformation 也就是我們的
Pre-Processing 接下來呢
我們就來
看看我們到底有哪一些Data
那這邊呢
有一個Data Set
Object 我們要用
剛剛的Data List
裡面的東西來
把它組合起來
就是呢
我們要組這個Data Set
我們用Data List裡面的
Training 這個Subset
加上我們的
Training的Transform
放進來我們得到了一個
Train.ds Train的Data Set
那同理Validation
我也是用同樣的方法
從Data List的Validation
拿出來
一個Subset 然後剛剛的
Validation Transform
來組出一個Validation的Data Set
那這兩個Data Set
我們就可以把它直接交給
Data Loader
來幫我們處理
Training的時候
讀取Data 做Pre-Processing
的這些動作
那底下這邊66行
跟74行就是我們來
把Data Set
交給Data Loader
那這邊我就可以來設說
我一次要從Data Set
load幾個資料
我要進來
我要不要做Data Shuffle
那我一次要用
多少的Process
可以平行的去讀取資料
這些東西
全部都是可以在這邊設定
那到這邊為止
我們就
Build up 一個
Data 的
兩個Data的Pipeline
一個是Training的 另外一個是Validation的
那等我們
把Model處理完之後
我們Training的過程中
就會直接用它來幫助我們
那執行一下
OK
那執行完畢
就是代表這東西已經
讓Python知道
我們等一下就會來用它
那關於Model呢
我們這邊會使用
Monite內建的
Segmentation ResNet
然後它是Based on Segment
的一個Model
大家如果有興趣的話可以來查一下
它的架構
那Loss Function呢
我們這邊用的是Dice Loss
加上Cross Entropy
那Dice Loss
因為我們的
Validation Metric通常會使用
所謂Dice Score
那它就是一個
做Segmentation
兩個Segmentation之間它相
多接近的一個Metric
那我們很自然的就會在
Loss Function這邊選擇
Dice Loss
那它是Dice Score的一個
延伸 Generalization
那為什麼要
With Cross Entropy
With Cross Entropy其實就是Dice Loss
加上
Cross Entropy Loss
那它呢
可以讓整個Dice Loss的
就是相比使用Dice Loss
它可以跑得更加的
快熟練
那它有一個輔助的作用
然後呢我們會有
我們在這邊會宣告Optimizer
那我們這邊預設是用
Adder
然後呢還會在設定初始的
Running Rate在這邊
那我們就來看一下Code
那首先呢我們先來宣告Model
那Model在
創造之前
我們先決定一下我們的
硬體到底有什麼東西
所以呢這一行
它幫你寫好了
就是如果你的系統上面有
GPU你的PyTorch
有支援GPU的話
它就會幫你選GPU
沒有的話它就幫你選
CPU
那在Code Lab上面你要記得去
執行階段這邊
點變更執行階段類型
這邊要選GPU
這樣子你才能享受到
一個快速的訓練
不然它的速度其實是差非常多了
大概有個
10倍以上吧
那我們這邊是Monite Networks
Next SegrestNet
那這邊的參數就是
我們是要2D的Model
我們的
Builders就是我們第一層
的Convolution
的Builder數量是8個
然後Input
的以下Channel是1
因為我們剛剛已經把
RGB Channel
壓成1了
然後我們Off Channel也是1
因為我們是做
Binary的Signal Mutation
背景黑色的部分是0
白色的部分是1
那設定好了
之後呢我們就宣告了一個Model
然後把它送到相應的
Device去
你用CPU它就是放在Memory上面
你用GPU的話
它就是放在你的
GPU的獨立的Memory上面
那這邊我們會把
我們用的Device
跟我們的Model的
每一層是怎麼樣子
印出來
先執行好了
那接下來呢
Loss Function
我這邊是Dice Vocal Loss
我這邊小修一下
Dice CE Loss
這是剛剛提到的Dice Cross Entropy
這邊也沒有剛好這個乘數了
然後呢
我們Validation的時候
的Validation Metric
這邊也需要先宣告
那所以我們用Dice Metric
然後呢
我們不要Include Background
也就是說呢
0的部分我不算它的Dice Score
我只算1的部分的Dice Score
因為我們其實不關心
背景是怎麼樣子的
所以我這邊有個Dice Metric
它是一個Callable Function
我們等一下在
Validation Pipeline的地方
大家就會看到
最後呢我們來宣告
Optimizer
Optimizer我們剛剛提到我們
預設是用Addon
它是一個還不錯的
舒適的選擇
然後呢看看它的第二項
這個東西就是它
等一下訓練的Learning Rate
我們讓它是
0.001
那這邊有一個小小的練習
就是呢大家可以回去
拿著這個Notebook
來調整它的
Learning Rate我們可以把它
變大變小
那這樣子來看說
我們等一下Training
我的Learning Rate大小不同
我們Training出來的Model
它的結果到底會怎麼樣
這個是很有趣的事情
大家可以練習看看
然後底下這邊就是我們剛剛
印出來的Model的資訊
我們可以看到這邊
Device是CUDA
也就是呢我們這邊是使用到GPU的
然後呢
Segmentation Resonance
這邊就是它每一層
每一層的架構
像是它第一層
它就是一個2D的Convolution
它的Filter是8
它的Kernel是3x3
然後一直雷推它
往下
一連串都是它的Model的
架構
其實它還蠻深的
然後它的Output最後一層
是一個2D的Convolution
然後呢
它的Input Channel是8
Output Channel是1
Kernel Size是1x1
然後Stripe也是1x1
這一層就是我們最後
會拿到的
Model的Output
那我們現在有Data Pipeline
我們有Model
連Validation
會用到的東西都準備好了
我們現在就可以來正式的
建立我們
Training跟Validation的流程
那這邊呢
我們在設定兩件事情
一個是呢我的這個Training
到底要跑多少個EPOC
也就是我要
掃過多少次我們這個資料集
就是我們每
掃過一次這個資料集算是一個EPOC
我們希望呢
基本我們希望可以跑個
100遍
那第二個是Validation
的Interval
就是呢Segmentation有時候
Validation還蠻花時間的
這個跟Classification
可能有一點點不太一樣
就是呢
Classification
它的Prediction其實很快
但是呢在Segmentation
在從今天的例子可能
感覺不太到
那如果各位有機會
做到3D的
Image Segmentation
例如說腹部CT
腦部CT
MRI之類的
當Data的數量一多
其實Inference
Validation這件事情也是一個
非常花時間的
所以呢有時候我們會希望
多跑幾個EPOC
然後再做一次Validation
所以呢這邊會有一個Validation Interval
這樣的變數
那大家如果有興趣的話
我們這邊的Exercise
也可以稍微來改一下
就是呢看大家可以
加長或減少
Validation EPOC的數量
那個EPOC Training EPOC的數量
來看看說
它的
最後Model的結果是會
變好還是變差
這樣的一個趨勢
然後呢你的Validation Interval
變大變小
你會拿到的
最後的Model的Performance
你的Training
的時間會變長還是變短
這個大家可以試試看
那我先按下去
我再來講解我們的
今天這個Training
的流程
那Training的流程呢
我們最主要其實是這個Training Loop
那在這個之前
我們會需要把Model設成
Training Mode
所以Model.Train
然後呢這邊是我們等一下會需要收集
這個EPOC的平均Loss
多少
所以呢我們多了宣告
這個List
那整個Training呢其實它的
架構非常的簡單
就是呢我們這邊
有Train Loader
是我們宣告好的Data Loader
我們從Loader裡面
拿一個Batch的Data
那個Batch的Data呢
我們把它影像拿出來
Label拿出來
丟進呢
我們的Model
Model Inputs
它會回傳剛剛最後一層
所生出來的東西
那
我們就拿這個東西
丟進我們的Loss Function
得到Loss之後
我們就會知道
所謂的Backward
也就是Backward Propagation
我們算出它的Gradient
之後我們
可以把Gradient Update到
Model的參數上面
我們一步的訓練就這樣結束
就是Backward
然後Optimizer Step
這個就是把Gradient
Apply到Model上
然後呢我們把
這一個Step
這個Training Step的
Loss Value記錄到剛剛
我們的那個List裡面
這個就是一個典型的
最簡單的
Training Route
然後Validation呢
我們可以往下看
Validation這邊會需要先把Model
設成Evaluation Mode
然後呢我們這邊
多一個Torch No Gradient
代表說我不需要去
算這些Gradient
不需要在
Validation的時候
多做一些無謂的事情
所以呢這邊會多了一層這個東西
然後裡面的東西
其實幾乎是一樣的
大家可以看到
有Validation Loader 有Batch Data
跟剛剛上面的東西
幾乎是一模一樣
除了這邊從這裡開始
不太一樣
這邊有一個新的東西叫做
Sliding Window Inference
那這個也是一個
Monad內建的方式
那這個Sliding Window Inference
因為我們的
影像
是從一張大的影像
切一小塊出來
去做Model Prediction
所以呢我們想要一整張
大的影像
的Prediction的話
我們其實需要
把一整張影像
用一個小小的Window
完全掃過去
再把掃過去的這些
影像丟進Model
Prediction拿出來再組合回來
這個纔是我們
要的東西
那這個Sliding Window Inference
就幫我們做了這件事情
它會幫我們把
這樣大張的影像
切成一塊一塊的
那這邊的設定是160x160
Validation Image切成
160x160
每八張為一個
Batch丟進Model
做Prediction
Prediction出來的東西
它再幫你組合好
變成Validation Output還給你
這個是Sliding Window Inference
也就是
這一種
Segmentation的
做法它典型的
Inference技巧之一
那我們Validation Output
出來之後它需要
做一個Post Transform
這個東西的定義在上面
如果有興趣可以看一下
它就是做
Press Holding
把大於某個值的
數字變成1
小於某個值的數字變成0
大概做這樣的動作
這樣子它才能跟我們的Label
我們Label是0跟1
去做Dice Score的
計算去比較
所以Post Processing完之後
我們去算Dice Metric
得到了Dice Score
那這個Dice Score呢
我們再把它收集起來
我們跑完Validation
所有的Case之後
算一個平均的Dice Score
印出來我們才會知道說
這個Model到底表現的
多好
那我們講解完了這一個
Training跟Validation的
過程我們來看一下
它現在跑的怎麼樣
它現在在跑
我們在底下
它現在跑到了
第21個APOC
這邊是第20個
那大家可以看到它每5個APOC
會做一次Validation
所以我們回到最上面
1 2 3 4 5
第5個APOC完之後
它跑了
它的Average
Training Loss是0.81
然後它開始跑Validation
總共156個Case
大家可以看到
那一開始的Dice Score是0.21
那我們來看一下
現在應該是到第22
所以我們往回
去看第20個APOC
它的Validation Loss是多少
APOC20
然後Standard Validation
Average Training Loss
一個
Average Validation Dice
這個也是0.21
在這邊前20個APOC
沒有太特別
沒有特別多的增長
但是它已經有
存下當初最好的Model
所以因為時間關係
我們先中斷一下
我們就用它剛剛
所跑的最好的
Model來做
來示範我們Prediction的Workflow
那當然之後
如果大家在嘗試的時候
可以去把它整個訓練完
那我也建議
大家把APOC的數量
再拉高一點
它的收斂可能會更完整
OK
那Testing的話
我們這邊會做一個
跟剛剛的Validation
不太一樣的示範
我們的Validation
我們用了
PyTorch內建的
Data Loader來做
那我們這邊呢
我再示範一下
我們也可以不用
雖然效能上
方便性上會有差
但是它可能是一個比較直觀的做法
那首先呢
我們要Test Model
所以我們其實不一定想要
剛剛Training的最後一個
因為它不見得會是最好的
它可能在中間
Training中間的一個時間點
它有一個最好的Model
我們想要的是那一個
所以我們要把剛剛
它存的Best
Validation Metric
那個Model Load出來
然後把這個Model
的模式切換到Evaluation
我們來執行它一下
OK 這樣它就Load完了
那Load完之後
我們就來
手刻一個Testing的
Data Pipeline
那其實這邊
大家可以看到
這就是Copy
那個Validation Transform
它裡面的內容其實是一模一樣
然後呢我們把
Output的資料夾準備好
我們就來直接跑了
我這邊一樣是Torch
No Gradient
我們不希望在做Inference的過程中
它去
算Model的Gradient出來
這個東西會浪費
電 浪費記憶體
浪費時間
然後呢我們設定我們的Test Set
是Data List裡的
Testing這個Key
它裡面也是156筆的資料
那就可以看到說
我可以
直接去
Iterate這一個Test Set
它是一個一個的Dictionary
這個Dictionary
直接丟進Test Transform就可以了
就是我們剛剛Compose
這些
Pre-processing的東西
它就會把整個Batch吐出來
然後呢我們跟剛剛一樣
我們把它丟上
GPU 因為它已經是一個
Torch的Tensor了
只是呢我們這邊會再需要
做一點點額外的處理
就是呢Data Loader
會幫我們把Batch的那個Channel
處理好
但是呢我們這邊必須要自己加上去
它才會是一個
四維
Four Dimension的Tensor
就是多一件小事情
那
這邊準備好了之後
跟剛剛一樣
我們就用Sliding Window Inference
然後設定其實也都一樣
這個用它應該也沒有問題
對
Test Image
Batch Size
跟Model
丟進去然後呢我們
跑剛剛的Torch Transform
大家可以看到這邊的流程
跟Validation其實真的是一模一樣
除了這一邊
我們想要多做一件事情
就是呢Validation
我們關心的是
它到底做得多好
所以呢
我們想要的是那個Dye Score
我們要根據那個Dye Score來選擇
我們的
最好的Model到底是誰
那Testing呢
我們除了想要知道
它到底做得多好之外
其中我們還想要
它的結果
我們可能會想要看說它到底
畫得怎麼樣
當然Tuning跟Validation
你可能也會想要知道它畫出來怎麼樣
那我們這邊
在這邊做了一個例子
就是呢我們剛剛的Test Output
也就是
已經是0跟1的
Prediction
我們要把它變成一個NumPy Array
它的方法是從GPU
先拿回CPU
然後呢Detach
它從
PyTorch的
裡面的內部
去Detach出來
讓它是獨立的
最後把它轉換成一個NumPy Array
這個Pred就是一個
跟原圖一樣大的NumPy Array
OK
然後把這個它額外多出來的Channel
壓掉
讓它變成一個2D的Image
然後呢我們把
檔名設好
我們把檔名
影像
然後ColorMap弄好之後
我們就可以把它存檔
我們等一下就可以看到
我們Prediction的結果
好我們來跑一下
156個Case通常
大概不會花多少時間
讓它轉轉轉
那我們這邊跑完了
我們可以隨機挑一個Case
我們在Tested隨機挑一個
Case來看一下它到底畫的怎麼樣
對
你也看到說
這個是一個Benign的Case
它的影像是
最左邊的這一個
它有兩框
三大塊看起來黑黑的東西
尤其左上角的這一個
是一個良性的腫瘤
那我們的Model呢
除了這一個良性的腫瘤
畫得沒有很好之外
它覺得這一塊黑黑的也是
它覺得這些黑黑的部分也都是
那它可能是因為我們的Training的時間
不夠長或者是我們的
Preprocessing可以再加強
或者是我們的Model
架構可以再更好
它有各式各樣的原因
那我們可以再挑幾個例子看看
再一個
OK那它也是多圈了很多東西
它都是照著
這些黑黑的輪廓
做了很多圈的
總而言之
我們今天的課程
包含了
我們從Data的取得
到Preprocessing
Model的建立
Training,Validation
還有Testing
我們完整的走過了一遍
那希望大家今天的課程裡面有
得到收穫
那謝謝大家的聆聽
