[10分鐘搞懂機器學習] 資料對數值預測的影響
1 次觀看·2024年3月22日
*請訂閱、按讚,支持內容創作者
*本系列影片主題為「趨勢、潛力預測」
*想了解模型對數值預測的影響? https://youtu.be/y9XzNjFoNIE
今天的主題是資料對數值預測的影響
我們知道我們今天有個問題以後
你分析這個問題
你會決定他的問題的屬性
比如說你今天要做的就是數值預測
然後呢
你會選擇一個模型
把你的資料餵進來
經過有效的計算
找到模型的參數
那這時候你會對這個模型做進一步的評估
如果他的效能很好
你就可以直接上線使用
如果效能有問題
你可能要回過頭來去找不一樣的模型
或者是從頭來去做問題的分析
這大概是今天學習的一個基本的架構
那麼最終目的就是要獲得準確的模型
那在這個流程裡面
有幾個因素會影響到模型的準確性
比如說你的資料的好壞
比如說你的模型的好壞選擇
也會大幅影響我的效能的結果
所以我們這個單元會先以資料這個面向去做探討
在下個單元我們會探討模型的選擇
比較值得注意的是
在階級學習演算法裡面
在某些應用上
它的模型和演算法基本上是合在一起的
但是在數值預測方面
這兩個是可以分開去做討論的
我們現在要舉的例子
就是我們之前探討的多特徵的回歸問題
我們會用這個例子去探討資料對數值預測的影響
那我們先簡單的複習一下
這個問題是怎麼樣一個狀況
我們有兩個特徵
第一個特徵叫做產品的價格
就是我第一個維度
第二個特徵叫做品牌的推廣費
我的第二個維度
那這兩個特徵會影響到我的行銷產品的銷量
就是我的Y軸
就是第三個維度
我們這邊有100個資料點
然後經過線性回歸
我們產生出一個模型
這個模型有三個參數A、B、C
分別是擷取我的C
以及它的參數A和B
那麼看一下資料對效能的影響
我通常會建議去使用一個檢查清單
這個檢查清單會有四項
第一項叫做資料量
什麼叫資料量呢
你至少要有足夠的資料
纔有可能去做準確的預測
比如說你今天想要去探討我的銷售量
你如果只給我一筆資料
或是隻有一筆資料
你不太可能去得到一個好的模型
我們來看一下實際的狀況
這實際上你有一百筆資料
但是假設你只有十分之一的資料數
就是十筆資料
你建出來的模型就是紅色這個平面
那你當然說這兩個圖形
乍看之下好像差不多
它其實差很多
你要進一步去看它的參數
你看一下它擷取左邊十筆資料是19
右邊是30
這個差很多了
然後再來它裡面的系數呢
0.8跟0.7
這邊是0.4和0.7
所以有一個非常顯著的差異
所以換句話說
如果你這些資料實在太少了
你出來的模型可能根本就不具有
預測的這個可行性
你要特別小心
所以在談數值預測這些事情的時候
有個最基本的要求
就是你的數量要足夠
那你當然會問一個問題
到底什麼叫做足夠的數據
這個就會根據你的應用而定
不一樣的應用很需要的數量的
數據的數量是不一樣的
第二個在我的資料檢查基調裡面
是不是你的資料具有代表性
什麼叫代表性呢
你的特徵的數值是否能涵蓋大部分的範圍
也是同樣的例子
假設你過去你行銷資料裡面100筆
但是你的價格要嘛是偏低的價格
要嘛是偏高的價格
然後你的推廣費也是要嘛偏低
要嘛偏高
所以在這個分佈裡面
你會發現你其實沒有比較中間的產品
還有在中間產品使用推廣費的相關的數據
所以未來假設你想要推出一個中間產品
其實你不太清楚你的推廣費要怎麼去設定
會得到比較好的效應
因為過去根本就沒有相關資料
你雖然是使用這種兩邊極端的去建出一個模型
這個模型不代表說它可以很準確的去推估
你中間產品的和對應銷售花費的一個對應的關係
這要特別小心的
所以如果你有足夠的代表性
那麼你建出來的模型就會比較準確
如果沒有不具代表性
像這個情況資料都是羣聚在某幾個端點的話
你就要特別小心了
你的模型可能就不具有預測的準確性了
這第二個你必須要特別小心的
就是資料的代表性
第三個你要注意的是資料的品質
資料品質大概有分兩個部分
就是資料是不是錯誤的
第二個資料的素質是不是被雜訊污染
我們先說第二個資料的素質是不是被雜訊污染
這通常發生的情況是
如果你在處理一些工程問題
你的資料來源是透過感測器是量測出來的結果
所以感測器第一個它自己可能本身會有問題
產生的數據會有問題
第二個它在感測的過程也會有些雜訊幹擾
所以這個是要特別小心的
那如果你是銷售的例子的話
你就不會有這個問題
那比較常見的會是可能是不小心資料處理的時候
貼錯或者是輸入資料說錯誤的
這是有可能的
所以我們看一下左邊這個範例
這是100筆正確的資料
然後我們透過正確的資料產生出來的模型
左邊也是100筆的資料
不過我們假設有50筆
就二分之一的產品銷量是登記錯誤的
然後利用這個錯誤的資料產生出來的模型
乍看之下這兩個圖好像看起來是差不多的
趨勢看起來是一樣的
但是裡面的細節要特別小心
怎麼去看它細節呢
你就要回過頭來去看這個模型裡面的參數
我把它參數都列在底下
這是原本正確資料產生的參數
它的截據是31
這邊是有二分之一產品銷量登記錯誤的截據
它是28
這邊就有一個明顯的差距了
再來看它的係數
這邊有0.3和0.8
這邊是0.3和0.7
也不太一樣
當然你會說好像差異是非常小的
但是你要特別小心你的單位
假設你的產品銷量是以百萬來計的話
這邊稍微的小的微小的差距
它可能影響到整體數值預測的效能就會差很多
所以這些特別要小心
不是說它看起來差異很小
因為它最後會被放大
這第三點你必須特別小心
就是這種資料的品質
第四個你要去檢查資料
是不是隻包含相關特徵
這邊有個關鍵字叫做只
如果你是說它包含相關特徵
它不一定會給你好的模型
因為它可能還包含了不相關的特徵
所以我們在強調的是它包含相關特徵
而且不包含不相關的特徵
我們也是以同樣的銷售例子來說明
右邊這個是一個正確的資料
然後使用正確的特徵
就是使用產品價格
還有品牌推廣費當作我的特徵
然後去找對應的Y軸
就是我的銷量
左邊這個圖
我的特徵不一樣了
品牌推廣費還是一樣
但是我另外一個特徵改成生產成本
你思考一下
通常生產成本不一定會反映到我的銷量
產品價格應該是比較直接生產
影響到我的銷量的
因為比如說像有一些化妝品
它可能生產成本非常低
可是它的產品價格是非常高的
所以它這兩個並不一定會有直接的關係
那我們這邊就假設我們的生產成本
跟我的銷量是影響不是那麼大
好 那你選錯了相關的特徵
利用這個數據去建模
得到一個平面
你會發現這個一眼就看得出來
它的平面差異太大了
它平面的面向
這個傾斜的程度
跟我們實際上的傾斜程度是不一樣的
那你看一下我的參數裡面
細節參數也差很多的
所以如果你今天把錯誤的特徵包含進來
你可能就得到完全不對的一個模型
模仿剛才的資料檢查清單做一個整理
一般而言資料對數值預測的影響
主要有四塊
第一個資料量是不是足夠多
第二個代表性是不是特徵的數值
有一定程度的涵蓋範圍
第三個資料品質
你的資料收集是不是有人為的輸入上的錯誤
或者是如果是感測器量測
是不是有太多的雜訊幹擾
第四個你資料的特徵
是不是隻包含相關的特徵
不包含不相關的特徵
你注意到這四個面向裡面
其中後面三個面向
後面三個因素都和產業的知識有關
就是假設你今天是需要把你的產業
你的工作轉移到人工智慧的使用上面
那麼你就必須利用你的專業
告訴軟體工程師
這個資料代表有什麼具體的代表性
這個資料品質如何
以及它的相關特徵是不是都要涵蓋進來
所以坦白說
有的是我們在做機器學習的建模
人工智慧的使用的時候
大部分時間很可能就是在花在瞭解這個產業知識
而這個產業知識就是各位最重要的資產
那未來我們預測越來越多這種人工智慧的演算法
方法可能都是就變成一個服務
你就上網去點選這個服務就可以做使用了
但是它沒有辦法取代你的產業知識

