2024 Keras跑仿AlexNet辨識oxflower17處理在Colab上的諸多坑

An-Wen Deng
4粉絲
3 次觀看·2024年12月19日
2024 Keras跑仿AlexNet辨識oxflower17處理在Colab上的諸多坑
好,我先切畫面
所以我們那個CNN捲機神經網路OK嘛
就前面的我們這邊都是講跟那個手寫數字有關的一個辨識識別
那所以上週我們也讓同學先練習了那個一般CNN的
那當然是比較早期的
因為它那個圖像也比較小
那手寫數字的種類也比較少
只有十種
然後我們今天稍微進階一點
大概是用到所謂的AlexNet
但是我們也不是純粹是照它
跟它完全一致的
大概是仿造它的
然後我們辨識的對象也改成是花朵
那所以總共是有17個分類
那這個其實它這個資料集應該是OSFO的
其實你在網路上你可以Google一下
我們稍微把它Google一下
17
這個其實都可以找到它原始的出處
那是牛津大學的資訊
應該是資訊系的
它的一個資料集
那這邊有分別針對它的花朵名稱
當然這邊都是英文
我們的花朵名稱可能
可能同學你可能
這邊你可以更
透過一些網路資源去詢問
到底是哪分
分為哪17種
那
所以它是針對這個來分類
好
那
所以我們
我們主要是在討論這個部分
好
那所以這邊呢請
待會請同學點進來
點到討論這裡
請問
去回答這樣的一個問題
請問
花朵17是什麼樣的一個資料集
那這個應該都
在機器學習上
它其實在
比較近代一點
經常是拿來當成一個範例
這個經常是當成一個範例
好
那這個這邊就請同學稍微回答一下
然後點到共享筆記這裡
共享筆記這邊呢
我們就有分享
這個code
那因為時間關係
老師就直接
直接就
一邊說明
然後你就
我們一邊執行
當然你要執行
我們當然一定是
你在雲端先組成副本
有出現
那我們還是先
把所有的輸出內容
先把它清空
然後再執行
這樣看的比較清楚
然後
接下來我們就看
是否就直接連到GPU了
我們這邊應該都很清楚
好
因為做過用了很多次
好
接下來你要特別留意的
就是說
因為他這個的資料集呢
還有他的一個整個架構
其實
跟目前在
呃
Google Code Lake上的Keras
Keras他們在Code Lake上
他是用3.5
3.5的話
其實你在跑
他這個資料集
其實會有一些問題
會有一些問題
那我們就說
我們資料集是不是可以
自己去打包
自己去弄
那當然也可以啦
但是問題是說
人家有現有的套件
我們就直接使用
就可以了
主要是
Keras 3.5
你在做任何的情況
因為他太新了
他沒有辦法對
TF Learn的任何的Dataset
有任何的作用
因為版式相差太多
所以我們這裡做的事情
就是所謂的downgrade
那我們這邊必須要執行
呃
這個老師也在試
就是昨天
試這個試了一陣子
呃
bug很多
坑很多
後來發現
我們就把他downgrade就解決了
有時候就這樣
軟體的東西就這樣
所以你可以看到
他這邊把一些
新的東西都把他uninstall
新的
這個
你在Python開發
或者在Python做應用
當你的版式更新的時候
要小心這種狀態
特別像機器學習
人家很多都是用
比較成熟的套件
所謂比較成熟就是
他不是最新的
那你一下Canvas變成
從2跳到3
那過去很多都OK的
就不OK了
那我們一般來講
我們現在跑這種東西
也不太可能
所有東西都自己去
從盤底層去建造輪子
不太可能
尤其機器學習的東西
更不可能了
因為他實在太龐雜
你不是說像一般
一般你寫
寫一般程式
我們底層輪子可以自己造
那他這個沒有辦法
這個你必須要找適當套件
所以
這邊你會發現
他其實有一些error
那這個error
並不會影響到
我們後面的執行
我們就是說
我們是有版式在做
更進一步的調整
那當然那也是
但是我們就是說
先做到他
至少他是可以run的
可以run的情況
好
所以我們就看這個Keros的版式
你會發現他
因為我們等於是醜慣
所以就變成2.15版了
MVCC版式
這個當然是不會影響
這個是很底層的
那
所以我們這邊
來
這邊又會出問題
TF Learn
是比較老一點機器學習的套件
那
後來就沒有更新
那我們先用他
他一般的
這個要灌起來很快
那我們其實在這裡
我們只有用到
TF Learn裡面的Data Set
也就是那
OS417
這樣的一個資料集
我們只有用這個
你看看會發生什麼事情
所以不行
這邊就是一個坑
軟體東西坑會很多
尤其機器學習上面
尤其當你那個
比較大的套件
做一個比較大的一個更新的時候
其實有時候舊的東西
可能就沒辦法了
那這個時候怎麼辦呢
這個時候我們當然
有兩種做法
一個是繼續
把他downgrade更舊的
但是我不建議
上面這個解放我不建議
我們建議就是我們參考
我們找了半天
在
Stack Overflow
裡面找到一個解方
就是說
OK
我們把那個
TF Learn
我們把他uninstall
那重新再
Install另外一個
就是說
他專門會處理這樣問題的
也是TF Learn的一個
算是一個
的一個套件
那這樣就OK了
基本上就這樣就OK
主要是考慮板次問題
所以你這邊
滑鼠要點到這裡
然後我Y這個鍵應該是有的
不然沒有的話就麻煩了
好
所以資料集這也是自串
好那我們看看
他還有別的坑喔
他不是隻有這個坑喔
一更新之後又多了一個坑
Pillow
板次過新
一樣
你要uninstall
目前的板次再換
舊的板次
當然他還會出一些
以前的錯誤或警告的資料
這邊也是要點到這邊
按Y
還好我們鍵盤的Y是有效果的
不然我們就沒辦法做了
我們要鍵
先不用不用不用
我們這邊
他直接說重新啟動
重新啟動我們當然
當然就是就重新啟動
這邊的重新啟動
好
重新啟動有的前面你就
就要重新啟動
前面要重新啟動
像這種安裝的
這個都不用重新啟動
你需要
重新啟動像是import
這個就要重新啟動一次
好
那這邊這個也不用重新啟動
因為他已經裝在這部機器
上面
這個也不需要
剛剛我們是這邊嘛
坑太多
好
所以這個時候
我們纔有辦法
將這個
TFLINK
裡面的OSFLOWER17
這個資料集
下載下來
同時有XY
X代表的就是他的
圖像檔
Y代表的就是他的標籤檔
所以
所以他就下載下來
那你會看到他的
他的檔案
是這個壓縮檔
圖檔的部分
另外當然就是還有
對應的那個標籤檔
好
那我們看他的SHAPE
所以這邊他總共有
這邊你要會看
他的樣本數是1360
然後因為
他是
他不是灰階圖
他是彩色圖
所以是RGB
三個CHANNEL都有
所以他是224乘以224
乘以3
3代表就是三個CHANNEL
RGB
這個是你要會看
所謂的SHAPE的部分
Y的話應該就是對應的
他的一個標籤
對不對
所以1360然後有17種
17種
那我們可以看Y0的情況
所以他就是
用一個ARRAY
一個陣列的方式
他是用這樣的
方式啊
他是1HOT編碼
1HOT編碼就這樣編了
好 下面這邊呢
我們當然需要
把那個圖像把它
顯影出來啊
還有包括那個計算部分
計算部分我們用快速計算
MOON PI
好
那我們先設定
PIPELINE的FEATURE
他的SIZE是10X10
然後
有
25張圖
25
5張圖嘛
然後我們全部都畫在
一張圖裡面
那我們這邊其實就可以看到
所以
這個你就可以怎麼樣
下載
LINK存圖片檔就很方便
當然我們就說
我們這邊不是已經有一個
FLOWER.jpg
你當然也可以用那個
Google Colab上的
那個BIOS
下載也可以
那這個
當然就是我們直接
就這樣做比較方便
重點是在你那個
MODEL處理
訓練啊
還有他的一個
部分
好 接下來我們要講的是
每次都會用到
接下來我們要看一下
我們用到哪些東西
DANCE密集層嘛
DROPOUT
是丟棄層
然後CONVOLUTION
CONVOLUTION就是我們講的
捲機層嘛
2D的捲機
然後他的磁化層是用
極大
極大化的
MASS POOLING 2D
壓平
然後他還有多
這次他多了一個叫做
Batch Normalization
這個其實就像
統計學裡面我們要做
一般來講
這些分佈都是常態
分佈 那我們就是
將他的那個平均值
弄到中間
然後標準差讓他變成1
就是做這樣的動作
那這個動作
有什麼好處 你在
那個學習上他會比較
比較好 而且
針對一些比較屬於那種
我們講一些
比較極端的例子
我們也比較容易處理
不會說個別受到很極端
例子
把你的這些樣本
的訓練過程拖得很慢
這個是有個好處
那這個其實就是
一般統計的技巧
我們講這個叫Batch Normalization
這邊我們就直接用
在每一層
特別的每一個
我們講一個
捲機的區塊裡面
或者我們就
可能就做這樣一個動作
這個其實蠻方便的
然後我們就看
他的Model建立
Model建立你看
我們這裡是仿MSNet
MSNet他的那個
捲機盒很大
我們現在其實一般
比更近代一點
用的捲機盒都很小
大部分都3x3
你看他那個時候
還會用到11x11
然後
那個Stratus
還4x4
當然那個時候
應該就已經有RELU
然後Input Shape
當然是224x224x3
然後我們看到
他的
磁化層
3x3的Stratus
是用2x2
然後這邊呢
他就加上一個
Batch Normalization
你看他就加在這個地方
再來我們再看第二個
7-9的部分
他這裡的捲機盒
就稍微小一點
就用5x5的
然後用256顆
256個Filter
那一樣
那個Activation Function
是用RELU
磁化層的部分
也跟上面是一樣
然後在Batch Normalization
那個
原始的AlexNet
應該是沒有這個啦
沒有Batch Normalization
這邊把他加進來
好 再來又是
11行到15行
15行這邊也是
加了這個
Batch Normalization
然後這邊就比較
是小的捲機盒
3x3的
3x3的捲機盒
那個
Filter個數
分別是256
384 384
那用的Activation Function都是RELU
好 再來
壓平之後
你又看了 壓平之後
因為這邊
你用那個
所謂捲機盒部分
他當然是保持
2D的資料
應該講3D
你必須要把Channel也算進來
3個Channel
壓平之後就變成
1D的狀態
所以他這邊
就用密集層
那他的
Filter就4096
那個就蠻多的
Activation Function
這個時候他就用
Hyperbolic Tangent Function
就跟前面
不太一樣 然後這分別
丟棄
丟棄兩次
每次都是丟棄50%
然後最後
我們當然就分類
分類那個當然Activation Function一定是用
Softmax
分成17類
這個我們讓他執行
好
然後我們把他的
Summary
把他看一下
所以他大概的
建立的模型
大概是長成這個樣子
就跟我們剛剛講的
不過這邊他還統計你所取
使用的參數的
個數
好
這個部分我們就把
這樣的模型把他描繪出來
描繪出來你就
更容易看
因為這種東西相當程度的視覺
會更好一些
那我們就會說
這個圖好像跟我們上次的
不太一樣
上次我們那個時候
我們的Keras是3.5版
他圖比較好看
這是Keras
2.多版
他圖比較陽春一點
但是還是可以看得很清楚
好
再來
我們就Compile
Compile的部分呢
我們的損失函數
所謂的Loss
我們是用Cross Entropy
我們上禮拜有講過
他主要是針對一些偏離子
他會有一些懲罰作用
比較好
那Automizer
他是用Adam
避免說
你進入一個所謂的
局部極小值
你又困在那邊
你就沒辦法再
找到真正的極小值
所以這個部分
好
再來我們就是用
Fit
我們Batch Size64
我們100個回合
這次就跑比較久
效果沒有很好
好
這邊呢
我們的測試
我們就從裡面
從10%來
當作測試機
因為他在
這個Dataset裡面他沒有分開
所以就自行去分開
然後
當然是用Shuffer
Shuffer當然是設為True
基本上就讓他去
可以洗牌的動作
我們看100個回合
這個可以讓他Run一陣子
看一下
效果沒有真正很好
所以要改善
跑一陣子
我把畫面先還給同學一下
你可以先進行
手邊的事情
2分鐘2秒
2分鐘就完成了
所以並沒有說
很恐怖
來
切過來
所以2分鐘就OK了
再來就是
因為你訓練好
我們看這個數據
這個數據有很好嗎
你看一下最後一行
數據並不好
你要看真正的那個數據
是測試級的
而且測試級的Loss很高
然後他的
他只有6成多
就先這樣
我們看一下
他的一個情況
所以下禮拜我們就要把他改善
你有沒有看到他上下震盪
你看橘色線的部分
對 所以這個一定要改善
這需要改善
這一定要改善
改善有些
手段
有些手段
所以這裡不是單純寫扣
這個就是說
這個你就說
看這個數據好像很好
那這個是整個
這是整個的
那個當然OK啊
但是我們要看的是看橘色的部分
看橘色的部分
所以他效果並不好
我們看他是
1360嘛
然後分成17類
那這個也是跟前幾次一樣
我們用那個時間
來當成亂數種子
我們這一次就
用numpy當中的random的choice
那這個
應該是
不重複排列
replace社會force
排列組合
我們就選取幾個
選取25個
然後去看
下面一樣過回一圈
然後去跑
然後我們再比對測試的
跟真實的值
你來看一下
我們這邊應該有圖
圖就出來了
隨機取了
那你上面是
這裡是測試的
下面是真實的值
所以你會發現
這邊的話就不一樣
這邊又不一樣
因為他的準確率
就六成多嘛
六成多
所以他這個效果
馬馬虎虎啦
就馬馬虎虎
你說LSNAP不是很有名嗎
是很有名啊
當然啊
那個十年前
一個技術
OK嗎
那先這樣
你自己先把這個跑一遍
然後當中有一些東西
你自己再做說明
好
以上言論不代表本臺立場
