【Lecture】 L2 Simple Linear Regression|生物統計|臺大公衛洪弘教授

MeDA
2粉絲
好,同學我們就開始上課
那我們就進入我們的第一個主題
Simple Linear Regression
那我們講過這門課的重點是那個條件期望值
這個我們上禮拜講的
好,所以我們的第一個主題
所謂的Simple Linear Regression
你將來會收集到一些資料
那當下這個資料的特點在於你的 y 代表的是 response
某種的 response 它是連續的
你的 y 是連續的
比方說你的身高、體重
最常見的例子,血壓、收入
這樣的 type 比較適合用連續的隨機變數來描述
那你會有一個解釋變數
我們這裡的 simple
simple 的意思是
目前只考慮一個解釋變數
所以這個 xi 就是一個變量
某一個變量
那將來這個課程會延伸到多個解釋變數
那到時候我們再做適當的延伸
那這裡我們先從 simple 開始
所以你當然當下你的目標
你的研究的目標
就是這個條件期望值
我想要知道的是
在不同的 x 的特定狀況之下
所對應的 y 的平均行為
我們講過我們不是對特定的
某個人的數值感興趣
我要了解的是那個子羣體
subpopulation
它的 average 的行為
那這個東西很明顯
它是一個 x 的函數對不對
不同的 x 會對應到不同的平均數
同意嗎
你給我一個 x 我給你一個
對應那個 x 的子羣體的平均行為
體重在 60 公斤的時候
平均身高是多少
70 公斤的時候平均身高是多少
所以你給我一個體重我就給你一個
平均的身高行為
所以它基本上是一個 x 的函數
大概可以這樣想像
它是一個 x 的函數
我希望能知道這個函數長什麼樣子
我希望知道它
那我知道它之後第一個我最簡單的
就是我希望能做視覺化的呈現
我在圖形上畫得出來
我就知道說到底這個 x
怎麼樣去影響它的變動的趨勢
那更進一步我希望知道
x 的變動到底是怎麼樣影響
這個函數的變化
那不管怎麼樣
這個解釋的意義不要忘了
它是條件期望值
那基本上所謂的期望值就是涉及到平均數的概念
所以假設我們今天
什麼都不知道
我就給你一個資料的時候
這個問題要怎麼回答
我要怎麼樣去知道
不同的 x 所對應的 y 的平均行為是多少
這個問題就這樣
當你拿到一個問題的時候
我就看到資料
我有一個目標
當然我現在用的是統計的語言
統計諮詢的時候
那個醫生
某個人問你的事
那這羣人的平均行為是怎麼樣
我要怎麼樣算這個事情
或者說這樣的問題
我在做資料分析的第一步
會是什麼
拿到這種資料的時候
同學拿到資料的時候
我們通常統計學家會做的一些
分析的步驟
是從什麼地方開始
畫圖
散佈圖是指
兩個變相對應的比較有關係
我們上禮拜講的是直方圖
對不對
描述一個變數的行為
那對應的就是 box plot
涉及到 median
甚至你去算它的 mean
跟它的 variance
瞭解這個資料的中心
還有資料的散佈的程度
那當然我們現在的問題在於
基本上在問的是這個 x 跟 y 的相關性
透過這個
條件的期望值
來描述它們的相關性
所以我們在描述相關性的時候
就是我們在生統醫學的相關係數
那相關係數呈現這個相關性的
一個最好的方法就是畫散佈圖
scatter plot
所以至少我們在視覺上
視覺上的呈現可以做到三維
那白板上我們就畫二維
一個解釋變數
一個 y
當你拿到資料的時候你就把它畫
假設我們今天畫出來長得像這樣
假設在這個問題裡面
你的資料包含四種
這個 x 的數值
比方說體重 50 60 70 80
假設就這四種人
然後它們就有它對應的身高
那我就可以畫一個 scatter plot
資料的呈現就是這樣
這是最原始的
沒有任何的這個
人為的這個額外的知識
放進去的 我就是呈現一個資料原始的樣貌
給你看
那同學下一個問題是
這個圖請問你可不可以回答這個問題
你看到資料 資料長這樣
那怎麼樣回答
條件期望值的問題
請問你在
x 等於小 x1 的時候
y 的平均行為是多少
要怎麼算
可不可以算
什麼東西加起來除以
對應這個 x 的
這些 y 去算一個平均數
那就是在算這個
我們講的是平均行為嘛
就是在這裡
就好像中間有一個紅色的點
這個點代表的是什麼
y 的平均行為在
x 等於小小的 x1 之上嘛
對不對
我就可以算這件事情嘛
你一定可以做 這個小學的數學就做得到了
對不對 也不用什麼太複雜的
跟統計也無關 很直觀就這麼做
所以同樣的
每一個 x 我都可以做這件事情嘛
同意嗎
至少在現在這個 x1 2 3 4
我們都可以去算
這個子羣體的平均數
子羣體的平均數
那它基本上就已經在回答問題了
對不對
我們講過我們的標的是這個嘛
是這個
不同的 x 之下的 y 的平均行為
所以現在這個圖形上的紅色的點點
就是這個問題的答案嘛
這樣同意嗎
這個紅點就是問題的答案
對不對
怎麼樣 覺得太簡單了
是不是
為什麼不是 認為不是的舉手
那就全部都認為是了
是嘛 對不對
那這樣我們還要學什麼
就結束了 到此結束
simple linear regression 就這樣
好 所以代表這個
有某種程度的
實際的資料來會有一些問題嘛 對不對
這樣沒有錯 我先強調這樣沒有錯
這樣做絕對沒有錯
而且也就直接回答你的問題
這個模式的假設永遠是對的
那這樣會遇到什麼問題
這樣做有什麼問題
其他是什麼 什麼叫其他的
其他的 x 預測不到
是不是 就比方說
那如果 假設這邊有一個 x5 呢
那它所對應的這個
期望值是多少
這個是多少 是多少
是多少
這樣就沒辦法回答了 對不對
所以代表說資料的呈現
對這個問題可以做
但是會有它的限制
限制在於什麼
你要能這樣做的前提是
你在那個 x 上你要有資料嘛
同意嗎 你將來給我一個 x
那我請問你 x 等於 x5 的時候
如果你沒有 data 的時候
那我就做不下去了
是不是
至少現在這個方法
這個最簡單的方法就不知道該怎麼辦了
所以同學
那接下來怎麼辦
我們的目的是這個
任何的 x 我都希望知道它的行為是多少
這是我研究的目的
那我將來的
我蒐集到的資料
很有可能 而且很大的可能
在你將來感興趣的那個數值
這個 x 不見得會碰到
甚至
基本上就是從機率上來說是零
這個橫軸這麼廣
對不對 資料怎麼樣灑下去
你將來特定想要看的某個特定的數值
正好命中它的機會
其實微乎其微
那怎麼辦
接下來可以怎麼做 我還是想要知道這個
在這個圖上我還是想要知道這個
其實現在這個資料的呈現
某種程度上
也是一個相當簡化的資料的格式
是因為
看起來
那個資料就散佈在
四種 x 上面
但實際上你蒐集到的資料
也沒有人告訴你 x 一定只能有這四種
所以基本上
你們比較常看到的
深統一
應該有做過這樣的圖對不對
有沒有畫過散佈圖 有
有畫過散佈圖然後算相關係數
那你們看到應該就是一個比較
散佈的形式 所以我現在畫一個比較
general 的
也許大部分的狀況
你看到的資料
也許像這樣
你看到的資料比較有可能呈現的方式
是這種形式
那這種形式的時候
剛剛那件事情做不做得到
x1 請問你在 x1 之下
的平均的
y 的行為要怎麼算
直線上來講是對不到任何資料的
但其實它附近有一些點
對不對
所以一個很
你們各位一定用過的技巧就是
把資料做某種的分羣
我們畫那個 histogram 的時候
應該做過吧
同學一定畫過直方圖嘛 我們把那個橫軸
去切 切等分
然後那個等分就當同一羣嘛
所以我還是可以做 某種程度上
我可以做這件事情
假設我把資料做分羣 以這個代狀為分羣
然後這個區間的
資料我就算一個平均數
這個區間算一個
這樣可以嗎
這也是一種做法啦
所以其實我們要這樣做
可以 但是會遇到一些問題
那就算這樣做
其實可能也不是這麼滿意
就是說 這樣標點
就是把資料分羣 到底多寬是寬
多窄是窄
其實有很多人為決定的因素
所以這也不是一個太好的方法
我們再回到剛剛那個比較簡單的例子
所以同樣的
剛剛那個資料
我還是想要問你 在紅色的 x5 之下
的平均數
應該是多少
我們不要管剛剛那個分羣的方法
就根據這樣的話 我們的猜測會是什麼
直覺上來講 該怎麼做
連起來是不是
就是所謂的
這個應該叫內差法
可能是高中數學有學過
是叫內差嗎
連起來
那為什麼是連起來
這件事情到底做了什麼事情
連起來這件事情
其實某種程度上就是已經有人為的知識介入了
就是說 誰告訴你
x2 跟 x3 之間的關係一定是線性過去的
可不可以這樣講
假設
真正的關係長這樣
可不可以
那這樣做就是錯的
所以這件事情我不知道 我只是告訴你
當你用點跟點做這個連線
我們以前做的內差法這件事情的時候
其實就是人為知識的介入
那這個就不知道是不是對的
統計學家就是根據資料說
我的資料只有這樣子
所以這樣講的話 直接連也有可能
過來突然有一個很陡的變化
再上來也有可能
其實沒有資料我就不知道正確
但是你如果要這麼走的話
你就必須承認說
我假設他們之間是一個線性的關係
這是 assumption 假設
assumption 在專業一點的術語
就是建模型 modeling
所以這就是某種程度的 modeling
所以
不做任何假設
就是你的資料在這裡 你的問題在這裡
用最傳統的方法去做的時候
已經面臨到這個極限
我們必須做某種的 modeling
基本上在這門課裡面
就是對
這個我感興趣的量
做模式的建立
我寫一個 m 就是我要去做模型
建模型
我希望知道它大概長什麼樣子
然後透過一些數學和統計的工具
建模型
那當然建模型的方式
有千百種
那這門課的
這個 section 裡面我們講的
你看那個字叫 linear regression
的意思就是
我們這門課考慮的是線性模型
線性模型 linear model
這個字
linear model
那所謂的 linear model 的意思就是
我假設這個
根據這個 x 的變動
所對應的這個
條件期望值的變化是一條線
是一條線
所以圖形上的呈現就好像是
這樣子
假設有這麼一個關係是存在
這畫得好一點
我承認一個 linear model
那所謂 linear model 的意思就是
基本上在一個變數的情況之下
我們決定一條線需要知道什麼東西
節句
斜律
所以我承認
我建模型它長得像是一個
節句加上斜律的
行為
所以這是你的假設
我的等號寫一個 m
都是做人為的知識介入
一個過程
沒有人告訴你這部是對的
我沒有說它一定對
我只是說我嘗試用這個方式來解釋模型
所以你可以問我
那你為什麼想要用線性模型來做
為什麼
大概最大的好處在於線性模型的
數學推導容易
好做好處理
太複雜的我們也搞不清楚它到底怎麼回事
但線性至少線性我可以弄個明白
那當然如果你的資料
那就涉及到
我們這個線性是線性像我剛剛舉的例子
剛剛舉的例子是
到這邊就
就下來對不對
這個就不是線性嘛
所以在做模型這涉及到
模型怎麼做
這是其實統計學裡面最難的一件事情
模型給下去之後
後面的推論都相當容易
最難的就是這個模型
為什麼要這樣設
你將來學完這些方法你去實際上去做資料分析的時候
很多人大家忽略這一點
但其實最難的就是建模這一步
那建模型
我們有什麼鮮豔的一些知識
或是有沒有什麼訊息可以幫助我建模型
在你看到資料的呈現
到建模型之間是有一個gap
所謂的資料呈現
就是黑色的叉叉
資料的呈現是永遠是對的
並沒有模型的介入
對不對
黑色的叉叉紅色的線是我承認的
那為什麼我會
用紅色的線嘗試來解釋
黑色的叉叉
你不會今天睡起來就說我們今天就來這樣做
不會嘛
你要有一些東西來輔助我
那所謂的輔助
最簡單的輔助就是畫圖
畫散步圖
至少在這個資料我看到
這個羣體的平均
就像剛剛我們在畫那個紅色點點
這個紅色點點的變化
好像隨著X的增加
有一個增長的趨勢
而且那個增長的趨勢
還蠻像線性的
至少這一步不能錯
如果今天你的資料
畫出來長得像是這樣
假設今天你的散步圖畫出來像這樣
那很明顯就不是線性嘛
對不對
很明顯不是線性
那就代表請你不要做線性模型
或是說請你做一些適當的轉換
做一些比較
advance的一些分析
代表這個東西做不來
那現在我們不探討這個問題
就是這個資料的呈現
跟線性模型有某種程度的契合
就是我用紅線
來解釋黑色的叉叉好像不會
有太違背
代表我的模型
這一步建模型的這個關這一步驟
我不是說它對啦
就是說至少不會錯得太離譜
我們在這個前提之下開始繼續接下來的分析
這樣可以嗎
建模型
那當然建模型的好處就是
一旦這個模型建下去之後
我本來是要估計一條曲線
對不對
這個曲線有無窮多個未知數
每一個x對應的一個平均數
我都不知道
但是建了模型之後
未知數就剩下節距和斜率
所以建模型的最大優勢
在於我的問題的精簡化
那一旦
將來我透過一些方法
知道節距跟斜率之後
這條線我就畫得出來
對不對
這最大的好處
第一個這個線我就很明顯的告訴你
不同的x給我所對應的期望值
應該是怎麼樣
根據這個線是這樣走的
再來剛剛的問題也可以解決
你隨便給我一個資料沒有存在的x5
我也可以對應到它相對應的
猜測的
估計的數值
同意嗎
建模型的好處當然建模型不是萬能的
建模型的缺點就在於
這個模型不見得是對的
建模型是要承擔風險的
所謂的風險在於模型對不對
不知道
所以有一些方法幫助我們去判斷
這個模型建的好還是不好
那就是我們後面會再教
所以開始進入建模型的階段
所以我的資料
你的資料xy
n個資料點
我希望估計的是條件期望值
然後傳統的方法
做不動
然後我希望透過建模的方式
來幫助我回答問題
建模型
建模型的第一步
我們剛剛講你畫了線之後你會發現
基本上這個點數n
資料的個數
如果只有兩個點的話
永遠就是有一條線通過所有的點
那當然你的資料不會只有2
所以資料點數一旦超過2的時候
你就不可能用一條直線通過所有的資料
對不對
意思就是說當你的模型
承認它存在模型跟資料會有一個差距
模型跟資料會有一個差距
這就是統計跟數學最大的不一樣
數學講求的是完全的
一對一這種精確的關係
統計承認有差距
差距就是誤差
所以這個誤差怎麼來描述它
就是說你的
模式建下去之後
模型所描述的那個
點
剛剛的點就在這裡
這個代表的是
這個東西有一個差距
資料跟模型是有一個 gap 存在的
所以我的模型就嘗試
去描述這些現象
那我要建什麼模型呢
建模型的第一步
我承認每一個資料點
的 response
都有這樣的關係
就是說在每一個
解釋變數 x 給定之下
你所看到的這個 response y
它所反映的事情
是兩個東西的綜合
一個是條件期望值
這是決定好的
另外一個是誤差
這兩個東西
加起來造成了你所看到的
response
這是我嘗試去描述這個資料的現象
那當然這邊還不到什麼
建模型,真正的建模型是第二個
我們剛剛講的,我們對條件期望值
做線性模型
線性模型
這是我承認的第一件事情
有人為的知識介入了
我承認
我想要看的這個標的
跟解釋變數的關係
是一個線性的
linear 的
那那個誤差要怎麼描述
這個誤差我們剛剛講的是
資料跟模型的差距
很明顯的這個東西
是一個會變來變去的量
為什麼要變來變去,就像我剛剛畫的資料
同一個 x 之上你可能會看到
不同的 y
對不對,這什麼意思
代表說就算我今天固定
標新的體重的人
身高也不見得都是160
可能165,可能157
有高有低
在同一個 x 之下
就算我固定解釋變數
我看到的,我去蒐集到的資料的 y
都會有一些 variation 存在
代表你的這個誤差項
是有隨機性存在的
所以我們要去描述
這個隨機性
第三步
我承認這個誤差來自於
常態分佈
平均數是 0
描述這個誤差的這個
變動的幅度是一個 sigma 平方
可以嗎
好,這就是 simple linear regression
simple linear regression
背後做的事情就是這樣
第一個我承認
response 跟解釋變數的關係
等於你一個
條件期望值加上一個誤差項
所以這個是 deterministic 決定的
它沒有隨機性的,這是隨機性的
所有的統計模型大概都可以分成兩部分
隨機的部分跟
非隨機的部分,我們關心的是
哪一個
我們關心的是那個決定的部分
但是我們要處理的是非隨機的
隨機的
我們關心的是這個
但是有誤差存在,統計學就是在處理這個
怎麼樣把這個誤差拿掉
然後只看到這個
我真正關心的這個,隱藏在資料裡面的
那個 pattern
那建模型第一個就是
linear relationship
第二個是常態分佈的模式建立
那當然這個
某種程度上也是假設
沒有人告訴你誤差一定是來自於
常態分佈
所以這些都是假設,統計學是在一些假設
之下來做一些事情
所以那些假設當然是越弱越好
假設太強
代表你的結論就比較侷限
所以一旦你模型建下去之後
你建了模型之後
接下來的統計推論的
重點就在於
在於什麼?
在於我怎麼樣去知道那些模型裡面的參數
一旦模型裡面
那些未知的參數知道了
那整個模型我就清楚
我就可以開始做統計推論
所以這個模型裡面什麼是不知道的
擷據斜率不知道嘛
對不對
然後描述誤差的程度的這個
sigma 平方也是不知道的
所以在這個模型之下
我需要估計的參數
擷據斜率
sigma 平方
那接下來的目標就是
你怎麼樣
根據你收集到的資料
去把
這些參數的數值
猜出來
這邊是看得到的
源頭是這個資料我看得到
這是我的標的
知道是什麼但是我看不到
我就是要估計它嘛
這邊都是想像的
根據資料
找出適當的參數數值是多少
那這就是所謂統計的估計
就是估計
參數的估計
一旦做模式之後下一步就是做參數的估計
這樣可以嗎
沒有問題
那在做參數的估計之前
其實有一件事情是更重要的
就是說
這些參數到底代表什麼意思
任何模型都會有對應任何的參數
你在做估計之前
模型建好到參數估計之間
還有一件事情必須要先完成
就是我們要先了解
這些參數到底代表什麼意思
為什麼參數的意義這麼重要
理由是將來你要回答問題的時候
任何實際的問題
怎麼樣透過統計模型
來幫我們回答
就在於你怎麼樣把實際的問題
轉換成參數
的估計或是檢定
我再說一次
實際的問題對應到統計模型裡面
怎麼樣讓它對應到某些參數的
估計和檢定的問題
因為一旦到估計檢定
就是我們生統已經學過的那些技巧
對不對
我們有做過檢定有做過估計
會有一個 p-value 會有信賴區間
這些東西都是對參數做的
信賴區間是對你的平均數做的
你在檢定的時候
某個參數你的 mu 會不會是等於 mu0
會有一個 p-value
所以任何統計到最後的結論
要嘛就是給你信賴區間
那這些東西都是對某個模型裡面的
參數去執行
那這個參數到底跟你
實際的問題有什麼關係
你必須要知道參數到底代表什麼意義
所以我們先來解釋一下
這些參數到底的行為是什麼
好那第一個是那個節句和斜率
節句通常代表就是
當你解釋變數不存在的時候
的平均行為
代表的是當你的解釋變數等於零的時候
當你 x 是零的時候
不存在的時候就沒有這項
就是你的 x 沒有效果的時候
的平均行為
透過節句來描述
這件事情不見得在實際上有一個解釋
不見得
但是我說從模型的角度上來看
它在描述的是解釋變數不存在的時候
比方說身高跟體重
身高跟體重的時候我也可以建一個線性模型
對不對
那你會說體重是零的時候代表什麼意思
不會嘛 但是數學是存在的
我可以有這樣的數學
它是一個解釋變數不存在的平均行為
所以這個東西不見得有太多實質的解釋
通常節句我們會放
但是那是一個建模型的技巧
那比較有意思的是那個斜率
大概寫一下
就是你 x 不存在的時候的平均行為
那 beta 1 代表什麼
同學 beta 1 代表什麼
beta 1 在描述什麼
假設根據我們
最簡單的例子 x 是體重
y 是身高的話
那 beta 1 代表什麼
這是從斜率的解釋嘛
那這個單位身高會增加
beta 1 單位
對不對
是這樣解釋嗎
60 公斤到 61 公斤的時候
那些人的體重一定都增加 beta 1 嗎
身高
平均而言
所以你要知道我們的參數一定是在 in average 的解釋
我不是告訴你每一個人體重增加 1 公斤的時候
就會有另外一個人
那個人的身高一定是那個
我不是在講每一個人的實際的 y
我們在描述的是期望上的行為
當你的解釋變數增加一單位的時候
期望上
或是平均上
in average
你要記住我們都在對那個條件期望值
做描述
所以參數的解釋一定是在那個條件期望值上
這兩個
所以從圖形上來看
這個模型從圖形上來看
代表我承認
有一條線
這是在描述 y 等於 x 的期望值
然後它是一個線性的關係
這是現在這兩件事情
β0 跟 β1 在決定的
平均行為
那 Epsilon 在描述什麼
Epsilon 我們承認它來自於一個常態分佈
平均數是 0
有一個 sigma 平方
這件事情在描述什麼
這個圖形在描述的是期望值的變化
對不對
期望值的變化
但是資料不會照著期望值走
不會完全照著它走
但是我說趨勢上應該要照著它走
對不對
趨勢上
所以假設我今天看到一個 x1 在這裡
那假設我有辦法在這個 x1 之上
去做很多次的湊樣
假設體重 50 公斤的人
我就看你 50 他 50 他也 50
我就看這些體重 50 公斤的人
他所對應的身高是多少
然後我就把它畫出來
就像我們剛剛舉的那個例子
畫出來就會是
類似這樣可能有高有低
對不對
有比平均數高
也有比平均數低
這是命嘛
剛剛那個例子
這樣可以接受
所以那個 Epsilon 在描述什麼
那個 Epsilon 就在描述
當你看到固定 x1 的時候
你的 y 是以這個紅點
為中心
做一個上下的一個震盪
而這個震盪是服從
常態分佈
同意嗎
因為我的模型
再看一下
我的模型在描述的是
y 等於
條件期望值加上
誤差嘛對不對
這個加的意思就是
加一點少一點 Epsilon 可正可負
所以有的時候上有的時候下
但是這個上上下下不是隨便上上下下
我承認它來自於一個
常態分佈
常態分佈的意思就是我是以命為中心
如果今天你的資料量
不夠多的話
假設你有辦法在這邊做很多次抽樣
你把這些叉叉畫一個
histogram 畫一個長條圖
它就會長得像是
一個
常態分佈
可以嗎
這個應該是往你們這個方向伸展出來的一個圖
知道我在說什麼嗎
你把這些叉叉
畫成 histogram 的時候
它會長得像這樣
因為這個圖形是一個 bell shape
它會常態分佈
然後
這個震盪的幅度
就由 sigma 平方來
描述
資料震盪的程度
所以同樣的如果今天你在這個
X2 你同樣也可以抽樣
很多資料的時候
在 X2 之下那些 Y
會以這個紅點為中心
做上上下下的
震動
然後這些上上下下的震動會形成一個
常態分佈
然後震盪的幅度
由 sigma 平方來描述
可以嗎
你固定 X 之後你所抽樣的那些 Y
它會服從一個常態分佈
它的 mean
就是這個紅點
然後散佈的程度
由 sigma 平方和常態分配來描述
這樣這個模型就完整了
我的決定性的紅線是決定的
然後 variation 的部分
我也透過常態分配來描述
那這個 sigma 平方基本上在描述什麼
簡單講就是
模式所不能解釋的部分
我用模型去解釋資料
我要解釋的是
這個紅色的線
它們變化的那個趨勢
平均行為的變化趨勢
但是資料是以平均行為為中心
做上上下下的震動
這是模型無能為力的地方
我透過一個 sigma 平方來描述它的幅度
所以當然
好的資料
比方 sigma 平方越小越好
代表我的資料幅度
我畫個圖形
視覺呈現一下
什麼叫做好的資料
什麼叫做不好的資料
資料的好壞通常你沒辦法改變
因為通常你就已經拿到資料
你也沒辦法再去做額外的事情
所以資料來怎麼樣就怎麼樣
那好的資料
比方說他們在做問卷的時候比較仔細
我在 key in 的時候請比較專業的人來打字
在問問題的時候
比較精準記錄比較詳細的時候
資料的 variation 就比較小
資料的 variation 比較小的意思就是
資料離模式的
那個 variation 越小越好
代表我越容易去把
這個線的那個 pattern 看清楚
那同樣如果資料太差
就類似這個感覺
以平均線而言
這個震盪的幅度太大
代表這個模式能解釋的那個幅度
程度是
相較於這個 variation 是有限的
可以嗎
好所以 sigma 平方在描述的是
資料所不能解釋的部分
那從圖形上
從圖形上就是這個意思
那個資料散佈的部分
好那這個模型
還有一個性質
這個模型其實是一個相當簡單的模型
你可以看到我們在描述
那個資料所不能解釋的那個
幅度的時候我都只用一個
sigma 平方在描述對不對
同一個 sigma 平方
跟 x 無關
這什麼意思
意思是說不論你的 x
看在哪裡
這個變動的幅度都是一致的
可以嗎
同一個 sigma 平方嘛
簡單說就是你的 variation
不會受到 x 的影響
我的這個 variation 的幅度都一樣
這件事情對不對
假設是假設
那它是不是一個好的假設
我們有沒有什麼時候遇過
一個東西
它的平均數越大的時候
它的變異數也越來越大
不是技術我在問的是生統醫學的一個
一個什麼樣的分佈之下
有一個這樣的特性
你們學過那個
你們學的布阿松
法頌對不對
法頌的 mean 跟 variance 是一樣的嘛
記不記得
李老師有教嗎
在法頌分佈的時候
期望值跟 variance 是同一個參數
mean 越大的時候資料的 variation 也越大
同意嗎
這是一個分配的性質
我沒有說它一定是對的
但是我說是有可能有這種現象
那這裡在假設的是不論你的 mean 怎麼變動
variance 都是同一個
所以這件事情是一個假設
那事後是需要檢查的
我們是有一些檢查的方法
那如果不對的話代表你的估計
可以再做得更好
你的統計推論可以做得更好
但我們這門課先不探討這個
這個 variation 的部分
不會隨著 x 的變動而變動
所以這個
σ 平方
跟 x 是無關的
我寫這就是
某種獨立的意思
證交就代表跟它獨立無關
這個 σ 平方跟這個解釋變數無關
不論你的 x 看在哪裡
不論你的身高
不論你的
體重
看在幾公斤
每個人身高量的不準的
variation 都一樣
我們是做這個假設
所以我們在這樣的假設
這麼一個簡化的模型之下
我們來學習怎麼樣做接下來的統計推論
那後面看狀況
我們就會再講說
如果這些假設不對的話
你還可以怎麼做
但是我們先從簡單的先做起
好我們先休息一下
好同學我們就開始上課
剛剛講到這個模型的建立
我們瞭解了參數的意義
就每一個參數它到底代表什麼意思
好那接下來
我們稍微講一個比較重要的議題
就在於說這個 σ 平方到底來自於何處
我們剛剛講過
σ 平方在描述的是這個模型
所不能解釋的部分
簡單講就是你的模型定下來之後
資料跟模型的那個
差距的那個震動的幅度
它到底來自於哪裡
就是統計的這個模型
隨機性來自於哪裡
那基本上我把它分為這三個部分
第一個就是最常見的
所謂的量測誤差
同一個東西我量了幾次
可能也得出來數字
或是不同的人去量同一個東西可能得到的數字
是不太一樣的
所以這是第一個
這就不再多做解釋
量測誤差
第二個比較常見的幾個原因
是二跟三
那第二個原因來自於
重要的解釋變數你沒有收集到
我們現在目前為止只講一個解釋變數
那將來會
將來會把這個方法
推廣到更多的解釋變數
所以我們現在假設
假設這個解釋變數有兩個然後你只收集到一個
類似這樣的狀況為什麼會讓你的
variation 增加
我舉一個例子給各位看一下
假設我今天有一個資料
就是體重跟身高
x 代表體重 y 代表身高
那我就把資料這樣撒下去
那同時我的資料
還呈現了兩種顏色
那我們可以想像假設
紅色代表女生
藍色代表男生就是有另外一個變數在描述性別
描述性別
那所以如果今天
假設今天我知道
性別的因素存在的情況之下
意思是說
男生的體重跟身高的關係
就用男生的模型去解釋
女生的體重跟身高的關係
就用女生的模型去解釋
那這個時候男生
所得到的模型
期望上應該是
這條線嘛
如果我只解釋藍色的資料點的時候
就是藍色的回歸線
那如果你只解釋紅色的話
就是紅色的這條線
這樣同意嗎
假設資料有一個變數我知道
男生做男生的
女生做女生的
那在這樣的資料跟這樣子
分別做模型的情況之下
藍色的回歸模型的
sigma 平方在哪裡
在這個幅度嘛
資料跟模型的
variation 的程度嘛
這個是 sigma 平方
我下標寫一個 M
代表的是男生的模型的
測不準的部分
那同樣的女生也有一個
在這裡
這個幅度透過 sigma 平方
女生的 sigma 平方來描述
這樣可以嗎
根據我們剛剛對參數的描述
我知道這個 sigma 平方
在描述的就是資料對線的
震動的幅度
那下一步
假設我今天不知道性別的時候
我的資料只有身高跟體重
意思是這個顏色
不存在
顏色不存在的時候
我能去做的回歸的線
就是變黑色的
對這一羣資料你把那個顏色忽略
純粹看這些叉叉的時候
應該比較好的解釋的模型
是黑色的線
這個同意嗎
但是如果在黑色的線的情況之下
你可以看到資料的那個震盪的幅度就增加了
對不對
是這麼大嘛
所以這個幅度在這裡
這個是 sigma 平方的
好所以這個例子告訴我們什麼
重要的檢視變數你沒有收集到的時候
你的回歸線能解釋的幅度
就變得比較少
因為我們那個 sigma 平方在描述的是
模式做不到的部分
這個模式本來可以做得到
如果你有性別的話
他可以把性別的部分解釋掉
但是你的資料如果沒有性別的時候
這個性別所能解釋的部分
就變得是不能解釋
而這一部分就歸到那個 sigma 平方去
合在一起
所以從這個觀點來看
sigma 平方會變大
你重要的解釋變數沒有收集到
所以任何的研究
最開始那個資料收集的階段是最重要的
重要的解釋變數都要放進來
纔有可能做得好
第二個
第三個模式的指定錯誤
這個也會造成你的 variation 變大
我一樣舉一個例子
這個例子
假設你的資料
你畫散佈圖就長這樣的話
很明顯的
他背後有一條回歸線
這個回歸線非線性
他大概是
你可以這樣想像
這條線是我的
真正的標的
實際上的 true 的
真實的關係性
我們當然不會教非線性模型
我只是讓你瞭解
如果這個紅色的線
是正確的時候
在這個模型裡面
模型所不能解釋的那個幅度是多少
就這麼一點點
以線上為基準的那個震盪的幅度
是模型所不能解釋的
所以在這個模型
在這樣子的關係性之下
你希望的幅度其實蠻小的
就這麼一點點
但是假如你今天去
fit 一個 linear regression model 的時候
你得出來的回歸線
是這樣
對不對
這是你不管你的模型假設
我就硬做
資料來我就去 fit
配是一個 simple linear regression
那所以以這個觀點來講
這個資料對這個模型
所不能解釋的部分就變得很大了
這麼大
同意嗎
直覺上是這個意思
模式的指定錯誤也會有可能
造成你的 sigma 平方變大
好同學
那 sigma 平方是
模型之下勢必伴隨的產物
我希望它越小越好
但是通常我做不了什麼事情
因為資料來的時候
這個 sigma 平方
資料來了模型定了差不多 sigma 平方就固定了
代表說你在這個資料之下
你使用這個模型所不能解釋的部分
就定下來了
那這三個因素裡面
基本上一跟二
都是動不了的
統計學家無能為力
就是那是資料收集跟設計的階段
那個醫生當初在做
研究的時候
他收集資料的細心程度
影響到這個量測誤差
他到底有沒有收集到足夠多正確的
重要的解釋變數在他的研究裡面
這我們動不了
但是我們可以
試圖改變的是第三個
試圖做一個正確的模型
那當然怎麼樣做正確的模型
我沒辦法教你
這也沒有正確答案
那你只能透過經驗
透過這個資料本身的呈現
或是透過一些模式檢定的方式
等等的東西
這需要經驗
來幫助你做一個比較正確的模型
做到正確的模型
我們大概能處理的
統計學家大概是在這裡
第三個
所以整個回歸模型的
建立就到這裡結束
資料 模式
參數的意義
它到底代表什麼意思
