[10分鐘搞懂機器學習] 你的模型選對了嗎? 錯誤的模型給你錯誤的預測
1 次觀看·2024年3月22日
*請訂閱、按讚,支持內容創作者
*本系列影片主題為「趨勢、潛力預測」
*想了解資料對數值預測的影響? https://youtu.be/CNaPHEs4tXY
我們知道影響機器學習演算法的因素有很多
其中兩個很重要的就是我的資料的使用
還有我們的模型的使用
前面一個影片我們已經介紹了資料使用
我有一個資料清單
你要去確保四個項目都必須要符合
纔是一筆好的資料
接下來我們今天要談的是模型的使用
什麼叫做好的模型
簡單來講就是模型不可以太複雜
也不可以太簡單
我們要怎麼樣去找到一個恰到好處的模型
讓我們在線上使用以後
它可以精準的給我們一個預測
就是我們今天要討論的重點
先去了解這個問題
我們來看一個例子
這個例子就是左邊這個圖裡面
我們要去討論的是
臺灣人的年齡和身高的關係
首先這個圖的X軸是我的年齡
我的Y軸是我的身高
我們當然會有一個初步的想像
就是當我的年紀在
譬如說25歲以前
我的身高應該會隨著我年齡慢慢慢慢成長
但是在25歲以後
我的身高大概就會固定了
那在年紀在稍長以後
譬如說70、80歲
我身高可能會慢慢慢慢下降
所以大概有這樣的趨勢
那我們為什麼要用這個簡單的數據
來去了解這個問題呢
因為我們已經知道這個趨勢會長什麼樣子了
我們比較容易去判斷
我們到時候取出來的模型
是不是符合這個趨勢
如果我今天用一個非常複雜的例子
我就比較難做這個判斷
所以有的時候我們在談
進行學習的演算法模型資料的時候
我們故意去選擇一些
我們比較熟悉的資料庫來去做使用
好 那針對這個資料庫呢
我們有一個特徵就叫X
就是我的年齡
它單位是歲
再來我的輸出就是我的Y
就是我身高一公尺為單位
我們的模型選擇
你可以選擇線際回歸
就是我的一次式
你也可以選擇多項式回歸
譬如說像二次式
甚至是多項式回歸的三次式
那這時候你所需要的系統參數
就慢慢慢慢增多了
我們接下來看第一個問題
就是叫做低度擬核
什麼叫低度擬核呢
簡單的來講
就是我的模型太過簡單
什麼叫太過簡單
它的比較的基準是什麼
就相對於我的資料來講
我的模型太過簡單
注意到這邊我們講
模型太過簡單或太過複雜
都是一個相對的概念
你必須回過頭來去說
你的資料的分佈長什麼樣子
纔有所謂的相對簡單
還是相對複雜
有些資料它本身的分佈
就是直線上的分佈
所以如果你直接使用多項式回歸
它就太過複雜了
有些分佈它本身就是像泡沫型的分佈
你如果直接使用線性回歸
它就太簡單了
所以會取決於你的資料的分佈是什麼
而決定說你的模型太過簡單或太過複雜
好,我們來舉這個例子就是
臺灣的身高和年齡的關係
假設我今天選擇的就是線性回歸
Y 身高跟年齡的關係就是
意思是它有兩個參數 A 和 B
這是我必須要決定的
我使用線性回歸演算法
最後算到 A 和 B 的信數在這邊
我們可以稍微分析一下
這兩個信數是不是符合我們的直覺
我們知道當我們年紀增長以後
我們身高應該會慢慢慢慢增高
所以 A 是正的
在這個某種情況底下
在我們剛剛前面說這件事情上
基本上是符合我們剛剛說的論述的
但是這個模型有個問題就是
當我們的年紀在增長
比如說 40 歲到 50 歲
50 歲到 60 歲
我們身高還會繼續生長嗎
應該就不會了
因為我們大概 25 歲甚至 22 歲
就不會再增高了
只會往橫的方向生長變胖而已
所以你可以看到
如果我今天使用的是線性回歸
它在某種層次上來講
它的預測的準確度
可能在 25 或者是 26 以上
它就不準了
因為它就不會是一個線性的關係
這時候就是低度的擬合
相較於我的資料分佈
我的模型覺得太簡單了
使得在比較年長的部分
我的預測是不準的
那當然在年紀比較輕的部分
或許這個模型還是可以被使用來去做預測
這叫做低度擬合
那我們要怎麼去解決這個問題呢
直覺上來說
我們就選擇較複雜的模型
既然我的模型太簡單
就選擇比較複雜的
的確也是如此
所以在數值分析裡面
如果我們是使用線性回歸
比較複雜就變成多項式回歸
如果本身我就已經是多項式回歸
那再複雜一點怎麼辦
我可以增加它的系數的數量
或是增加我多項式的次數
舉例來講
原本假設是二次多項式
就發現它是低度擬合
就可以變成三次
如果三次還是低度擬合
我就可以再增加
往上增加
所以你可以選擇較複雜的模型
那通常較複雜的模型指的就是
我的模型有更多的參數可以去調整
它有更多的自由度
可以去做細節的這個調動
那這是第一種方式
第二種方式呢
你可以增加有關的特徵
這個部分就非常取決於你
對這個問題的瞭解程度
而且就是我們所謂的產業知識
假設你今天的問題
有一些特徵對我輸出影響是非常巨大的
但是你並沒有把它放進來
也就是你沒辦法去找到一個好的特徵
可以直接影響到我輸出的話
你就常常會遇到低度擬合的問題
你如果可以把那個特徵
抓進來去做使用的話
通常我的效果就變得非常好
所以就是你增加有關特徵的進履
來訓練我的模型
那這部分就要利用到你
對這個問題的瞭解程度
在產業因素上就是我們所說的產業知識
所以有兩個方法
我們可以一般可以解決低度擬合
第一個 全程較複雜模型
第二個 增加特徵
前面談到了低度擬合
相較於資料分佈模型太過簡單
所以我們會有一個對應的叫做過度擬合
相較於資料模型太過複雜
我們用同一個例子來解釋過度擬合的發生
我們臺灣人的身高跟年齡的關係
為左圖的藍色點所示
假設你今天選擇的多銷是回歸
但是你選擇非常高的次數
這邊是以十次為範例
你會發現我的回歸曲線長這個樣子
那有幾個地方是不太正常的
就是在30到70歲之間
這邊有下降又上去 再下降又上去
這其實不符合我們資料的特性
因為我們不會在慢慢變老的過程裡面
身高突然上下上下 不太可能
那為什麼會發生這種情形呢
就是因為我用了太高次數的多項式回歸
太多的參數了
讓我的回歸曲線會盡量去擬合每一筆資料
就會造成我的曲線上下這種震動
這邊還是要再強調
所謂的模型太過複雜
是相較於資料的分佈
那怎麼解決過度擬合的問題呢
我們也是要有兩個主要的方法
當然最簡單的就是我要選擇比較簡單的模型
減少我參數的使用
比如說我降低多項式回歸的次數
從原本的十次變成九次 變成八次
甚至從二次多項式回歸的使用
變成線性回歸
那就可以降低我模型的複雜度
第二種方式如果可行的話
你可以做更多的調查 得到更多的資料
你使用更多資料來去做訓練
為什麼要這樣做呢
當我有更多的資料的時候
我資料間的空隙就會變少
比如說這些資料之間
它有些空隙都被填補起來
那我們的演算法在訓練我的回歸曲線的時候
它為了不要讓它誤差太大
所以它就不會去過度擬合每一筆資料
它會選擇一個比較合適的曲線
可以代表這個資料
所以怎麼去減少呢
我就想辦法去收集更多的資料
但通常這種方法是不太可行的
因為資料取得其實有時候是蠻花時間的
在很多應用上
比如說你的資料是使用感測器來去做收集
你要更多的資料
要嘛你是讓它收集資料時間把它拉長
或者是你買更多的感測器
那不管是時間拉長或者買更多感測器
在金錢的花費上
都可能都是一個非常大的一個浪費
所以有時候我們比較不會傾向去收集更多資料
除非這個資料是非常便宜的
最後我們看什麼是一個恰到好處的模型
你從前面的分析我知道
洩息回歸太簡單了
在年齡超過25歲或26歲以後
它還是升格還是隨年齡的增長而增加
不太合理
如果我的使用多項是回歸
次數使用10
我就發現它在年齡在40歲以上
它會有上下的震盪
也是不合理的
那我這邊看的是使用多項式回歸
次數等於2的時候
我們只有3個參數
產生出來的回歸趨勢
看起來比較符合我們的直覺
但還有一些不完美的地方
比如說我們在25歲以後
看起來它還是會升高
還是會繼續增高
它應該是在25歲以後
應該會有一個比較平緩的一個曲線出現
我們叫做飽和的狀態
應該會有飽和狀態
那因為我們這邊的資料量可能不太足
所以這邊看不太出來
但至少比前面的
使用十次數的多項式回歸
或者使用先期回歸稍微好一點點
它至少可以抓到整個資料的趨勢
我們前面說過
我們預測數值最大的用處
就是要去預測趨勢
所以一個恰到好處的模型
就可以幫助我們做好的趨勢預測

