【北京大學】《金融經濟學》北大最受歡迎的課程！經濟學必修! P94 - 94.第17講-02最優停時的計算思路

我們來看一個賭局 我們研究金融學老是研究賭局 但是大家不要去賭博 賭博傷身 但是我們賭博裏面傳遞出來的這些道理 能夠幫助我們理解金融的一些運行 所以我們來研究這麼一個賭局 這個賭局是這樣的 我有一個盒子 盒子裏面放了四十個球 有二十個紅球 和二十個綠球 這總共四十個球 然後你看不到這盒子是封起來的 你只能伸手去摸 這球都一樣了 所以你不知道你摸出來是紅球還是綠球 你只能拿出來看 你才知道這是紅球或者是綠球 然後那些賭局是這樣的 你可以去摸這個球 一次摸一個 從這個盒子裏面摸球 如果摸出來是紅球 就給你一塊錢 如果摸出來是綠球 就扣你一塊錢 你就虧一塊錢 所以你可以不斷地摸球 摸出來紅球給你一塊錢 摸出來綠球你給一塊錢回去 然後在這個過程中你隨時可以停止 比如你摸了一個球之後 我不摸了 那你摸出來第一個球是給你多少錢 你就拿走了 隨時能停止 如果你一直不停止 就把這四十個球摸完 結束 所以這是個賭局 賭局同學們 那像這個賭局 你參與這個賭局的期望支付 或者你的期望收益是多少 或者我們換個問題 對一個風險中心的人來說 風險中心的人他只看期望收益 他會不會有意願來參與這個賭局 請坐 這同學答得很對 就這個賭局的期望收益是正的 為什麼 因為要想清楚 這個賭局是不可能讓你虧錢的 你是不可能在賭局裡面虧錢的 因為大不了全部摸完 四十個球全部摸完 你永遠是這個選擇的 全部摸完就拿零 因為二十個紅球給你是二十塊錢 二十個綠球你虧二十塊錢零 大不了就幹這個事 但是還有可能 你確實就像剛才同學講的 你可能運氣特別好 或者也不用特別好 就運氣比較好 一開始就摸的紅球比你摸的綠球要多 你就掙錢了 比如你一開始摸了八個球 摸出來五個紅球 三個綠球 你掙了兩塊錢 掙兩塊之後怎麼樣 就趕緊跑了 結束了 這又不是打麻將 人家輸家說你贏家不能走 這又沒說不能走 你只要賺兩塊趕緊撤了 所以這個賭局它不可能讓你虧錢 但又有可能給你帶來正的收益 所以這個賭局它帶來的期望收益是正的 所以這個風險中心的人 其實不需要風險中心 風險業務的人也應該去參與這個賭局 因為他虧不了錢 所有人都應該參與這個賭局 但我們現在是想知道 這個賭局帶給人的期望的收益是多少 你要想回答這個問題 你就必須要回答說 那麼這個賭局我摸到什麼時候就該結束了 比如很簡單 比如吹吹就 如果我連摸了二十個紅球 我肯定該結束了 我瘋了纔不結束 但是哪有這麼好的運氣 這又不是賭神 比如說你摸了三個紅球之後 比如連摸了三個紅球 前三個球全是紅球 你結束還是不結束 或你連摸了五個紅球一開始 結不結束 所以這個東西你不能拍腦袋了 我們得算 怎麼算呢 我們定義一個東西叫直函數 Value Function V 我這個V Red應該是放在第一個 它是一個函數 這函數有兩個參數 一個就是這個盒子裏還剩多少紅球Red 還剩多少綠球 然後這個就是當盒子裏面還剩R個紅球 G一個綠球的時候 這個賭局帶給你的期望的收益 Expect Payoff 我們就把它寫出來 Payoff 所以顯然這個東西會隨著R和G的不同而不同 但這個怎麼算 所以我們其實要算的什麼 我們需要知道是V 2020 我們要算的是這個東西 我盒子裏面還剩20個紅球和20個綠球的時候 我這個賭局帶給我的期望收益是多少 我們要算這個東西 但這東西似乎是難以計算的 很難算 那怎麼算呢 我們先從簡單情況來算 所以我們就逆向地推 還是Backward Induction 我們來看 如果盒子裏面一個球都沒有了 V00 也沒有紅球也沒有綠球 這個賭局顯然帶來期望收益是零 毫無疑問 然後如果這個盒子裏面有一個紅球 一個綠球 零個綠球 這個期望收益應該是多少同學們 應該是1 你把這個紅球摸出來就得1塊錢 我們只說這個V00前面不管 我只說還剩這麼多球的時候 未來這個賭局帶給我的期望是多少 大家記住 前面不管 我說怎麼最後摸成只剩一個紅球不管 我說還剩一個紅球 那麼剩下這個賭局帶給我期望收益是多少 那就1 你把這個紅球摸出來就完了 如果這個盒子裏面只剩了一個綠球 沒有紅球的時候 這個賭局的期望收益多少 有沒有覺得負1的 沒有 因為如果知道這盒子裏面只有一個綠球 你還摸它幹嘛呢 你不摸了 就結束了 所以V01等於0 V10等於1 V00等於0 我們還可以把這個東西其實再稍微拓展一下 如果這個盒子裏面有R個紅球 R是大於0的 0個綠球 就盒子裏面全是紅球 那就全部把它摸完就完了 帶給你期望之目肯定R就確定了 如果這個盒子裏面只有這個綠球沒有紅球 那麼這個賭局帶給你期望收益一定是0 你肯定就不摸了 肯定不摸了 我再插一句 有同學說我怎麼能夠知道這盒子裏面還有多少球呢 還有多少個紅球多少個綠球呢 對 你數數就行了 你把你摸出來的球數數 反正裏面20個紅20個綠 你看看你一摸出來多少個 所以你還剩多少個紅多少個綠 你是清楚的 不用你猜 你應該知道的 好 這個很簡單 然後現在我們要去分解 我們要求前面這個V2020要解決它 有個很重要的一步 就是我要把地推式給寫出來 什麼叫地推式 我們要這樣想 當我一個賭局裏面 現在我告訴你 這個盒子裏面現在有R個紅球 G個綠球 那麼這個賭局它的期望收益是多少 我要說這個東西 這是多少 我要說這個 這個會是多少呢 我們這樣寫 我一下直接寫不出來 但我可以寫成地推 我們來怎麼看 如果你有R個紅球和G個綠球 那麼你摸到紅球的概率 就是R除以R加G 對吧 所以你摸到紅球的概率 那麼摸到紅球之後你會怎麼樣呢 摸到紅球 你就得到一塊錢 然後得到一塊錢之後 這個賭局就變成了 剩下還有賭局 就是賭局還沒結束 剩下還有賭局就變成了 你把紅球摸出來了一個 所以這個紅球就變成R減一個了 盒子裏面 但綠球還不變 這是你摸到紅球的時候 你的收益 這是你摸到紅球的時候你的收益 然後再加上 你摸到紅球的概率 類似的 你會以G除以R加G的概率 摸到一個綠球 摸到綠球 對不起扣你一塊錢 但後這個賭局還沒結束 再加上 V 紅球數目不變 盒子裏面 綠球的數目減一 所以這個 這兩個加起來 就是你 當盒子裏面還有R個紅球 G個綠球的時候 你再摸一個球 再摸一個球 你的期望的收益 但是你最後就一定拿到它呢 不是的 因為如果這個期望收益是負的 你就可以不摸了 你就直接拿到零 所以你要比較 在零和這個東西之間 哪個更大 你就選哪個 這個就是我們這個 V R G 這個值函數的值 這就是值函數的值 這個值函數給出來了 所以我沒有直接給出值函數的值 但是我把值函數 相鄰值函數的這個地推的式子給出來 就把這個V R G 表示成了V R-1 G和V R G-1 這兩個值函數的函數 然後接下來怎麼弄呢 我一開始的這個V00 V10 V01是知道的 最後逆向地推推過去 我們來看看怎麼推 我們來算這麼一個東西 如果我現在 我來算這個盒子裏面有兩個紅球兩個綠球的時候 會是怎麼樣的 我們就在這裏面地推 我們現在給出的這些東西 如果盒子裏面有一個紅球一個綠球 盒子裏面有一個紅球一個綠球的時候 這個賭局帶給我的期望收益多少 我們就按照這個地推式寫 等於 我如果停止就得零 如果不停止我去摸 那麼因為紅球綠球各一個 所以我二分之一的概率摸到紅球 二分之一的概率摸到紅球之後 我就得一塊錢 然後再拿到值函數 就期望支付就是V01 就是我把紅球摸完 這個盒子裏面只剩一個綠球了 我還有二分之一的概率摸到一個綠球 所以我虧一塊錢 然後我得到這個盒子裏面就剩一個紅球和零的綠球 然後這個V01和V10我是知道的 就把它數帶回去 V01是多少 V01是零 V10是一 所以這是零 所以這是二分之一 再加上這-1加上V10 V10是一 所以-1加1等於零 所以這坨是零 所以這是二分之一 就零和二分之一間誰更大 就等於二分之一 這什麼意思呢 如果你這個盒子裏面只剩一個紅球一個綠球的時候 你就去摸 摸出來紅球你就結束 摸出綠球你就再摸 再把剩下的紅球摸出來 得到零 所以你的期望收益就是二分之一 二分之一概率第一把就摸到紅球 二分之一概率第一把摸到綠球 所以這是V11 V11就這樣算出來 我們再來算 V12呢 如果這個盒子裏面有一個紅球兩個綠球 類似的 我把這幾個都給大家寫一寫 如果是你一個紅球兩個綠球 那麼你就以三分之一的概率摸到紅球 摸到紅球呢給你一塊錢 然後呢再加上後續的期望的支付 就V 你把這紅球你摸出來了 就只剩V02了 V02 然後呢再還有呢三分之二的概率呢 你摸到這個綠球 V1 加上V 這個綠球就變成V11了 V11 它等於什麼呢 0 V02是多少 V02我們這寫了 就V0G都是0 V0G就不管G是多少都是0 所以這個是0 那這等於三分之一 所以這是1加上0再乘上三分之一 然後呢這邊呢V11是多少 V11是二分之一 二分之一再加上-1 就是-的二分之一 -的二分之一再乘以三分之二 就是-的三分之一 減去三分之一 0 所以最後都應該等於0 等於0 什麼意思啊 就在這個時候 如果這個盒子裏面有一個紅球兩個綠球 不管你摸還是不摸 都拿到0 拿到這個支付都是0 所以這個時候你可以不摸 當然你要去摸也一樣無所謂 這V12 這兩個往下算 V21 類似的 0 V21 我來找一位同學幫我寫這個式子 誰願意來幫我寫這個式子 舉手 我都寫前面寫兩個 快快快 大家不要不好意思 那個同學你在舉手是吧 那行你說 三分之二 三分之二是什麼東西這是 摸到紅的概率 三分之二 1加V11 你把那個紅球摸走了 只剩一個紅球了 好然後呢 三分之一摸到綠球的概率 -1加上V20 你把那個綠球摸走了 只剩0 只剩紅球了 好請坐 這個計算機我來了 所以這個就等於0 1加V11 V11是多少 V11在這 二分之一 所以1加上二分之一 二分之三 再乘以三分之二 等於一 這邊的V20是多少 V20在這 V20就等於二 那V20等於二 所以這個-1加上二就是一 所以這個一 一再乘以三分之一 所以就加三分之一 所以等於多少 等於三分之四 所以如果這盒子裏面有兩個紅球一個綠球 你得到的期望收益是三分之四 所以最後 V22 我再請一位同學來幫我寫 V22怎麼寫 那位同學 二分之一 這就摸到紅球概率 你說 V多少 1加上V多少 V12 因為你把紅球摸出來了 V12 再加上二分之一 -1 V21 好 很正確 所以等於多少 把這個直函數往裏帶 V12等於多少 V12在這 V2等於零 所以這一加零 這是二分之一 V21等於多少 V21在這三分之四 所以三分之四再減一是三分之一 三分之一再乘以二分之一 六分之一 二分之一加六分之一 三分之二 等於三分之二 所以如果這盒子裏面有兩個紅球兩個綠球 你從這個賭局裏面獲得的期望支付 或者期望收益 是三分之二 所以我們可以把這個列成一個表格 R20 所以這個表格 就是說這個盒子裏面分別有這麼多紅球 這麼多綠球的時候 這個盒子帶給我的期望的支付 我們再把前面算的數可以抄進去 這個零零那個時候給零 這是一 只有紅球沒有綠球的時候 這是零 然後V11是二分之一 V12是零 V21是三分之四 V22是三分之二 所以怎麼停 什麼時候停 碰到零的時候就應該停 就這期望支付 如果這個盒子裏面 和這個賭局帶給你期望支付是零的時候 你就應該停止了 所以在這地方你應該停了 如果正的都是不停的 當然在這地方顯然是要停的 所以畫黃圈這種狀況就是你應該停止的時候 所以你什麼時候應該停止 如果盒子裏面有一個紅球兩個綠球停 別摸了 如果盒子裏面只有綠球了也停 所以最後你會發現 如果盒子裏面兩個紅球兩個綠球的時候 我這個賭局給我的期望收益是三分之二 而停止的時刻我給出來 就是停止的狀況 這幾個地方就要停 就停了 當然這個時候 你看我們就算起來很繁瑣 雖然繁瑣 但是這個道理是簡單的 就通過方程遞推 從尾巴開始遞推 然後在每一個過程中你要判斷一次 我是否應該結束 通過我結束下去 這個直函數值和我現在結束 不結束 直函數值和我現在結束 這兩個東西誰大來做此比較 那V2020怎麼算 這個我們手上肯定算不出來 但是計算機很容易算 就在Excel裏面 你編個公式 都不用編程序 Excel就幫你算出來了 算出來V2020等於多少 V2020等於2.296 這個V2020等於2.296 所以同學們 這個賭局帶給你期望收益是正的 而且這個還不小 2.296 這個2.296什麼的價值 這個2.296就是賭局裏面的隨時停止的期權 權力的價值 因為如果沒有這個權力 你這個賭局確定性帶給你零 把40個球全部玩 確定帶給你零 但是因為這個賭局它給了你一個權力 給你一個期權 你隨時能停 所以這個賭局帶給你期望收益從零變成2.296 所以這是期權的價值 這是期權價值 所以通過這個例子我們就很清楚地看到 這個停時怎麼算 停時其實很好算 關鍵是這個方程 這個方程就是我們動態規劃裏面的 有名的叫貝爾曼方程 Bellman equation 就是這個貝爾曼 就是提出動態規劃原則的一個數學家 通過直函數 我的地方就這樣寫著直函數 其實它的更深層次含義就是 我把一個大的優化問題拆解成為了小的優化問題 不斷拆解成小的優化問題 這樣的話我就通過這些小的優化問題 然後逆向地推 就把大的優化問題解決了 V20 20我不會算 沒關係 V10和V01我總會算 最開始最簡單的情況我總會算 然後這個東西它們相鄰直函數之間這種銜接的方程 貝爾曼方程寫出來之後 我就從這個尾巴 從最後這個情況往前逆推就出來了 然後在這個計算的過程中 在什麼樣的狀態下我應該停止 這都有 自由停止我是知道的