DOE的特性理解系列課 【必讀】全因子DOE案例分析與解讀（下）

我們來看一下這三個指標什麼意思 然後簡單的用一個圖形呢 來幫助大家更好理解 我們第一個指標叫r-sq 這個叫什麼呢 叫r² 然後這個大家你看 我們什麼時候第一次接觸的指標 就是一元線性迴歸 大家知不知道啊 我們一元線性迴歸裏面有一個小r 這個是什麼意思 一元線性迴歸 或者說我們在學相關的時候有個小r 這個小r是什麼意思 是我們的Pierson相關係數 那麼這個sq是什麼意思 就是我們英文square的一個簡寫 前兩個字不是簡寫 square是什麼意思 平方 所以r²又叫什麼 r² 所以在一元線性迴歸 如果剛開始接觸這個指標的時候 當然比較好學比較好接受的 到這個DOE的時候 它這個案例比較複雜了 不太好通過案例解釋清楚 不過也沒關係 我們一會用圖來給大家解釋一下 它是什麼 它是一個評價模型 你和一個情況的統計指標 或者簡單的來說是什麼呢 就是說白了這個r² 它的取值範圍是從0到1 也就是說從0%到100% 到100% 那麼怎麼理解 我們來看一個圖 我們這麼說 這個叫X座標 對吧 然後這個叫Y座標 我們看 這個Y 我們的這個Y 是不是一直在發生變化 我們的Y一直在發生變化 對吧 然後我們從這個圖裏面看 Y爲什麼發生變化 那是因爲我們的X在發生變化 所以Y在發生變化 比如說X是我們的攝入量 Y是我們的體重 你看體重爲什麼在變化 是因爲我們的攝入量 一直在變化 那麼我們就說 我們Y的變化 由怎麼說 Y的這個變化 Y的變化當中 因爲X的變化導致Y的變化 這個比例有多少 其實這個就是r² 這個就是r² 我們看現在 我們在圖形裏面看 這個每一個點 都在我們這條直線上 每一個點都在我們的這條直線上 也就是說Y的變化 完完全全百分之一百 是由X的變化決定的 所以我們說r²會是百分之一百 也就是說再重複一遍 爲什麼Y會有變化 百分之百是因爲X變化導致的 那麼在圖形裏面體現是什麼樣的 大家看到了吧 每一個點都在這條線上 那麼我們就能把這根線拉出來 這根線是什麼 我們舉例的這根線就叫Y等於ax加b 那這個我們叫什麼 這個其實就叫模型 那麼模型是不是能百分之百的解釋 我們的這個Y的變化 是 那麼我們再看右邊這個 大家看我們這個Y 不是全都落在直線上了 對吧 也就是說它的變化 不完全是X變化決定的 所以它的r²就不會是百分之一百 小於百分之一百 這個就是r²的一個含義 一個含義 所以我們回到這一頁上來說 我們來互動一下 看看大家有沒有吸收好 大家感覺我們的r²是不是越大越好 我們是不是希望r²越大越好 大家感覺是的 我們就扣1 大家感覺不是的 我們就扣2 那燈火會往往有基礎 對吧 有好幾個變異影響的 是的 但是不管是幾個X 我們統一叫它模型 統一叫它模型 是的 那麼我們從這裏面再衍生出來一個 什麼叫r²達到極限會是多少的 百分之一百 理論上來說 大家看比如說這個模型是這樣的 這個模型是這樣的 它是一個S型 大家知道我們這種叫線性 對吧 這個我們的方程式Y等於AX加B 我們的模型裏面只有這個叫一次向 那麼如果出現這種胖物線 那麼這個模型裏面就要有平方向 如果出現這種S型 我們的模型裏面就要加入D方向 所以如果我們的模型是一個S型 那麼我們能不能讓我們的每一個點都落在 都落在這條線上 其實是可以的 大家看到了 我們就跟穿針引線一樣 拿根線把這些點都穿一遍 那麼可能就穿成一個S型 那麼這裏面就要加入立方向 但是這個立方向 那這個時候每個點都在這條線上了 r²會是多少 那必然是百分之一百了 但是我們的這些個立方向 加入的這些立方向 或者加入的其他這些平方向 它是不是顯著的起作用了呢 不一定是 所以這些像我們說它在模型裏面在幹什麼呀 在濫淤衝術 濫淤衝術不起作用 爲什麼加了這麼多沒用的像 爲了r²高嘛 那麼我們管這種情況叫什麼 就叫過擬合 過度擬合就叫過擬合 大家記得我們上一頁說的是擬對吧 然後現在還有過擬 然後我們來看一下 r²調整 爲了避免模型裏面有一些沒有用的像 我們引入了另外一個指標 叫r²調整 它是什麼含義 就是說我們的模型裏邊 只要加入了一個沒有用的像 比如說大家記得吧 我們這個模型裏面最開始 我們刪的這個叫什麼呀 叫abcd 那麼這個像有沒有用啊 沒有用啊 沒有用呢 r²調整就說 我在模型裏面檢測到了一個沒有用的像 r²就會很低 就會很低 我們來找一頁給大家看一下 好 我們回到這一頁 來給大家演示一下 什麼意思 大家看到了 這個是我們原始的像 也就是說 我們最開始把所有像全加入模型裏面的時候 我們的r²是多少 96.92% 那麼r²調整是多少 81.49% 大家看差了多少 15% 對吧 差了15% 那麼我們一開始說了 先刪的頭一個沒有用的像是誰 abcd 先刪abcd 刪完之後 我們來看一下這個模型裏邊 不帶abcd玩了 把它沒有用的刪了 之後我們這幾個重要的指標發生了什麼樣的一個變化 第一 r²有一個輕微的下降 大家能看出來吧 有個輕微的下降 爲什麼呀 只要刪一個像 r²就會降 刪一個像 r²就會降 不管我們刪了這個像有用沒用 r²就會降 r²有什麼變化 r²大家看見了 它在往上漲 爲什麼呀 因爲r²說了 哎 模型裏邊這個沒有用的像少了一個 我得起作用表現出來 所以r²就會往上漲 那麼隨着我們手動的刪除 一個一個的刪 把所有的沒有用的像全刪乾淨之後 我們看一下r²這個變化的趨勢是什麼 刪一個像它降一點 那麼r²調整有什麼變化 刪一個沒用的像我漲一點 刪一個沒有用的像我漲一點 到最後啊 它倆差了多少 差了差不多2.9% 2.8% 2.9% 那麼最開始它倆差了多少 15% 所以我們先說這兩個指標 r²和r²調整 我們先說這兩個指標 怎麼看啊 第一 r²和r² 我們希望它越大越好 希望它越大越好 第二 光大還不行 倆人還要足夠的接近 r²和r²調整還要足夠的接近 如果我們發現了r²和r²調整之間 這兩個指標之間差距比較大 意味着什麼 說明了什麼 說明了我們模型裏邊 有這些個沒有用的像在裏邊 我們需要把它幹掉 把它幹掉 我看看大家有什麼問題啊 騎士說沒有71%說吧 那是M290 M290 是這樣的 沒有一個明確的說明 沒有一個明確的一個定義 沒有一個明確的定義 但是至少呢 我們說這個模型在用的時候 至少我的接觸的經驗是要達到80% 70%都已經低了 80% 70%都已經低了 伴隨南方說解釋一下S代表什麼 好 不要着急 我們先講完兩個指標 騎士你看渾瓜爛熟的 紅冰書303頁 伴隨南方問 老師你現在考黑帶能滿分嗎 我當時考的分挺高的 後來做了專職黑帶以後 我一直在實戰 我感覺現在再讓我去考這些理論的東西 可能還會低了 因爲我們現在的這個理論的學習 其實學的很深了 學的很深了 但是這裏面有一個衝突的地兒 就是理論學的非常非常的紮實 然後分數非常非常的高 他到了這個實戰當中 他解決不了問題 他不會用這個方法 這是一個非常普遍的問題 爲什麼 就是因爲我們在理論的這種考試的時候 它裏面的這些個內容 很偏向於工具 大家明白吧 就是勺子幹什麼用的 筷子幹什麼用的 鏟子幹什麼用的 但是它沒有串起來 大家明白嗎 它沒有串起來 但是吃飯的時候 有時候我們會發現 可能不是光用一個筷子一個勺的 可能要一會要用這個 一會要用那個 所以這個是一個問題 ASQ和中置鞋子區別很大 區別很大 大家學完之後 要怎麼能快速的掌握這套方法 一定要去實戰 去再去做項目 現在看到很多項目 真的都是套不是套的太嚴重了 太嚴重了 都是一個模子出來的 那世界上怎麼可能有一套方法論 只要嚴格的按照這套方法論 一步一步走下去 所有的問題都能解決 那不都神了嗎 對吧 有的時候其實裏面 不是說所有工具都用到的 不是說所有的步驟也會都會用到 你看楊源日常說 天天做DOE都快吐了 這就很好 對吧 你去真的做DOE 真的去做一次 你會發現不是這樣的 對吧 我們理論老說70%以上 80%以上 你真的做DOE有幾次能達到這麼高 真的百分之七八十六就很不錯了 這就是案例 案例是百分之九十多 你實際當中哪可能有這麼高 好 來我們再說一下 另外一個指標叫R-Square預測 這個指標 我今天要重點的和大家說一下 這個指標非常有意思 其實把R-Square預測說的時候 帶出來了一些內容 這一部分內容叫什麼 叫我們異常點的一個檢驗 異常點的一個檢驗 我們在迴歸模型和我們的異常點的一個檢驗 迴歸模型和我們DOE當中 都有針對異常點的檢驗 但是其實大家看的紅邊書藍邊書 內容沒有覆蓋權 所以我們今天簡單的和大家講一個小分支 來讓大家瞭解一下 我個人感覺這個東西是比較好的 在建立模型的時候非常有用 這個書本上應該也沒有 所以大家好好聽一下 這個R-Square預測是什麼意思呢 它是什麼 原理我們先不說了 它其實就是一個扣點法 給大家講一個大概的它的意思吧 就是怎麼說呢 我們大家都聽過有基礎的小夥伴 聽過一個概念叫殘差 這個殘差它是一個檢驗 我們模型當中異常點的一個方法 也是一個最主要的方法 也是大家都學過的一個方法 那麼這個殘差它的檢驗 只針對了一個維度 就是我們異常點外的維度 外的這個維度 那麼其實異常點的不光外的維度 還有一個維度叫X的維度 比如說我們看這個圖 我來舉個例子 大家看換個顏色 我們的這個模型 如果沒有這個點存在的話 大家看它還會是這根線嗎 它就不是這根線了 它是什麼線 它就會是這根線對吧 如果沒有這根點的話 這個線就會是這樣的 這個大家能理解吧 那麼爲什麼有了這一個點之後 我們的這個模型就翹起來了 兩個原因 一個原因是這個點 它的外座標 我們說離群 離群沒有問題 離群 是一個外座標上差的比較多 異常點 但是大家別忘了 我們把這個點往左挪 挪到這兒 它對這個模型還有這麼大的影響嗎 大家想一下 它對這個模型還有這麼大的影響嗎 它在我們模型 我們現在說的是RX維度 RX維度 它很靠兩側 所以它把這個模型拉起來了 大家看見了吧 沒有這個點 應該是這條藍色的線 有了這個點 把模型給拉起來了 對吧 如果這個點外座標不變 把X座標變了 換到中間來 它不會有這麼大的一個影響 這個我們叫什麼 它是在RX座標上來說 它叫一個槓桿點 枯井不信 枯井可以自己去改數據試一下 用醫院會不會簡單的去改數據試一下 它在右側 這個叫槓桿點 什麼意思 大家聽過一句話 給我一個支點 我能翹起一個地球 舉個簡單的例子 我們這個東西 比如說一個大石頭很沉 對吧 我們一般什麼時候會最省力 大家是不是會一直的 用一個比較長的板子去翹它 一個長的杆去翹它 這是我們的常識 對吧 用一個比較長的杆去翹它 它就起來了 對吧 如果我們這個板子很短 我們這個板子這麼短 在這使力氣 還能不能很輕鬆的翹起來 翹不起來了 爲什麼 這個就叫槓桿 那麼我們的這個點 也叫槓桿點 也就是說 它的外上是一個 有這個異常的 也不叫異常 就是一個離群的一個點 它的x上也是一樣的 因爲我們這個x的範圍 是從這到這的 它很靠我們的 x的兩側 這裏面延伸的去說 這個叫高槓杆點 然後我們 在Meetup裏面 也有對應的一個選項 這個東西有什麼檢測它 檢測的是不是一個高槓杆點 叫槓桿率 大家可以去 可能是紅皮藍皮 好像是沒有 應該是沒有 叫槓桿率 所以我們簡單介紹完 介紹完之後 我們再來說一下 如果沒有這個點 我們的模型 它就會是這樣的 簡單化就會是這樣的 因爲這一個強影響點 把我們的模型拉變形了 拉的幅度很大 但是大家知道 我們這個模型 Y等於什麼什麼A 什麼什麼B 什麼什麼D加BD 我們這個模型 最後出來之後 爲了幹什麼 我們要預測 什麼叫預測 我們把這個最後參數 真正的去在現場裏面設定 然後去真的再做驗證實驗 看看是不是我們的實際 實際的一個 Y的水平 能達到我們統計結論的一個水平 那麼這個時候 大家就會發現 如果有這種情況存在的話 我們這個模型 基本上就失效了 就不太管用了 爲什麼不太管用 因爲被這一個強影響點 給拉起來了 所以我們這個模型的預測能力 會非常的弱 預測能力會非常的弱 所以我們的第三個指標 R2預測 它是幹什麼用的 檢驗我們的模型當中 是不是有強影響點存在 就像剛纔那種例子 它體現了一下 我們模型的預測能力 正常應該是這根藍線 代表我們Y和S的一個關係 或者說我們模型的一個走向 或者模型的一個形式 因爲一個個別的極端的影響點 把模型給拉彎了 拉的跟原始的一個情況不一樣了 這時候它的預測能力就會很差 這個就叫R2預測 大家能理解吧 其實這個應該是在多元迴歸裏面去說 更清楚一些 看看大家有沒有什麼問題 騎士說模型能解釋 對 騎士說的對 模型裏面有什麼 模型裏面就我們剛纔選的這項 A B D B D對吧 這四個項 這個就代表了模型 對 騎士解釋的非常正確 所以我們在直播間有一些有基礎的小夥伴 好 我們再來看一下最後的一個指標 叫S S是什麼呢 它是我們模型的誤差平方和 然後我們先看一下 這個MSE是我們的模型的誤差平方和 在哪 我們來看一下 在這裏大家看見了吧 28.29 那麼大家不用說了 這個是誰的 誤差平方和 這個是我們的誤差項的 所以誤差項的 其實這個MS就我們簡單理解 大家可以去看 其實它跟我們這個 就是方差的這個公式 其實是差不多 一樣可以說是一樣的 這個ADJMS這個均方和 它和我們的這個方差 方差的這個公式基本上是一樣的 這個ADJSS 其實就是我們方差的這個分子 方差公式的分子 離差平方和 然後再處於各自的自由度 就跟我們算方差一樣 方差的公式樣本方差 公式下面不是要出個n-1嗎 對吧 這個就是自由度 ADJSS也就是396.1除以14 就等於我們28.29 簡單的理解 它就是我們這個模型裏邊 或者我們DOE裏邊 它這個誤差 誤差的一個波動的大小 那大家想一想 誤差它是好的還是壞的 誤差越小 當然R2越大了 對吧 我們先誤差越小越好 那當然了對應的 這個 這個均方和28.29 它也應該越小越好 它也應該越小 最小是幾 最小是0 但是可不可能 不可能 那麼這個S是什麼 S我們剛說了 它其實就跟方差的公式是一樣的 就跟我們樣本方差的公式是一樣的 那麼樣本方差再開個根號叫什麼 就叫標準差 S標準差 誤差的標準差 所以我們這個S 就是我們上面這個均方和開根號 5.319 那麼它越小越好 它越小越好 那麼一般我們怎麼衡量它呢 兩個地方要看的 第一個地方呢 哪兒去了 第一個在這 我們要通過 就是最後在選模型的時候 其實最很重要 或者說是 也不能說 就不能說太完全重要 就是我們要看 你看 我們這些模型裏面 有可能有一些有用的項目沒用的項目 大家看這個S也在發生變化的 我們的這個S也在發生變化的 我們希望S越小越好 S越小越好 另外一個是什麼呀 這個S正負 兩倍的 S 那也就是說正負多少 正負我們帶進來就是10.6吧 大家能不能容忍一個這麼寬的誤差範圍 能不能容忍一個這麼大的誤差範圍 比如說我們最後做完實驗了 我們找到最後參數 能保證我們的這個想象變量Y 達到 590達到590 我們的目的是達到550 大家可以看一下590正負10.6 這個範圍我們能不能接受 這個誤差的範圍我們能不能接受 這個S就是這個意思 智慧美是殘差嗎 其實不是 它是我們殘差 就是我們誤差的一個波動的情況 誤差的一個波動的大小 就跟你看正態分佈一樣 你看正態分佈一樣 我們說標準正態分佈是什麼 n均值爲0 這個不太好用 均值爲0 標準差的爲1 對吧 那你就畫個圖唄 這是0 然後一倍標準差 兩倍標準差 一倍標準差 兩倍標準差 這是一個範圍 一個範圍