如何結合人工智慧AI技術,打造更個人化的數位健康工具 (影片有中英文字幕)

2475 次觀看·2025年7月8日 #百業分享堂 #百業分享堂
分享主題:「如何結合人工智慧AI技術,打造更個人化的數位健康工具 」 (影片有中英文字幕)
分享人: 賴昕妤(Hsin-Yu Lai) / 美國 Allen Institute Scientist
台灣台大電機,數學雙修 / 美國麻省理工EECS博士畢業(MIT EECS MS/PhD) / 美國哈佛大學統計系博後 Harvard Statistics Postdoc, Allen Institute AI/ML Researcher for Alzheimer's Disease
昕妤的目標是用AI來從single cell data, image data, sensor data預測以及追蹤Alzheimer's disease。昕妤做ML for healthcare已經有將近十年,過去背景包括台大電機數學雙修,MIT EECS MS/PhD, 和Harvard Postdoc。這次分享的是昕妤postdoc的研究,有興趣歡迎交流討論。感謝大家。
影片簡介:
我們要如何個人化digital intervention呢?這影片跟大家分享如何用RL來達成personalized digital intervention,影片包括一些設計mobile intervention的眉角,建議,例子,影片最後跟大家分享一個設計給behavioral scientists的user interface,讓behavioral scientists也可以設計自己的personalized digital intervention來助人戒菸,戒毒,養成良好生活習慣。這個User interface很不幸還沒publish,但publish後會跟大家說,大家可以去玩玩看。
本次影片(有中英文字幕)連結如下:
https://bit.ly/45ZmWIu
昕妤之前分享的另一主題,MIT PhD的影片: 「人工智慧在生醫的應用— 用行動裝置追蹤跟神經退化性疾病演進相關的動眼資訊 」
影片連結如下:
https://bit.ly/3zyQAGi
聯絡方式:
https://www.linkedin.com/in/hsin-yu-jane-lai-b2547685/
本次影片(有中英文字幕)連結如下:
https://bit.ly/45ZmWIu
關於「百業分享堂」:
「百業分享堂」頻道,如果希望以後在新的影片及短片上傳後得到通知,請按訂閱,如下連結。
https://bit.ly/3AGXwPA
「百業分享堂」分享者(contributor)是來自台灣在全球生技,生醫,人工智慧,金融科技,人文,藝術這些領域的專家參加。部分40多位專家的簡介,大家可以到「百業分享堂」網站參考。網址連結如下
https://100-pro-sharing.mystrikingly.com
以下是「百業分享堂粉絲團」的連結,你可以按追蹤,以後有新的貼文就會通知你。
https://bit.ly/3wkZCCd
「百業分享堂」FB連結如下,歡迎參加與專家互動
https://bit.ly/3K6Ta7w
大家好,我叫賴昕妤
我今天要跟大家講的是我在Postdoc期間做的
有關於如何結合AI技術來打造更個人化的數位健康工具
我們今天的數位健康工具呢
會專注在Just-In-Time Adaptive Interventions JITAIs上面
什麼叫Just-In-Time Adaptive Interventions呢?
我們首先要注意到它有兩個component
一個是Just-In-Time,一個是Adaptive
那Just-In-Time是指說就是如果你現在在一個
就是特別的state,特別的狀況下
我們希望可以adaptively給你一個好的intervention
舉個簡單例子
比方說我們發現你已經坐了30分鐘了
你應該要起來動一動,伸展一下雙腳
或者是我們發現說這個人可能現在正在承受著壓力
那我們其實知道說很多就是很長期會吸菸的人
可能他們比較吸菸是為了要解除他們的壓力
那behavioral scientists在面對這些人的時候
他們可能就會想要去design intervention來說
當這些人正在承受壓力的時候
你可以鼓勵他們來做一些冥想練習
所以我們發現它同時有Just-In-Time這個部分
那Adaptive的部分是針對說
你如果之前有在動
那我就不會再告訴你說你應該要站起來走走
但你已經坐了30分鐘
那可能我可以考慮說我應該要給你這樣的訊息
所以我們發現說JITAI它的decision rule
它的決策規則呢
一般是一個如果那麼的陳述句
比方說如果天氣是很好的的話
然後你之前沒有在走
你現在人在家裡
那麼我覺得你應該可以就是站起來走一走
或者是出去外面走一走
但是如果今天的天氣是不好的
正在下雨
那麼我可能就會考慮說
那我就不會給你一個建議出去外面走一走這樣的選項
我們發現說這些決策規則
通常是為了要幫助每個人來達成一些長期的目標
像是希望這個人可以戒菸
或者是希望這個人可以就是
變成養成一個良好的運動習慣
但我們發現有另外一件事情
就是雖然說intervention很常是會隨當前狀況而改變
就是我剛才解釋過adaptive的這個部分
但決策規則就是decision rule通常是固定的
這是什麼意思呢
就是意思是說比方說對於甲而言
你可能在星期天的時候也會建議他說
現在今天是星期天
你可能應該要出去外面走一走
那給乙呢
你也會說現在可能是星期天
那你也應該要出去外面走一走
但可能這個乙呢
他就是在週末工作的
那在大部分的JITAI的intervention
其實是沒有personalize到這一塊
所以這是我們今天要講的重點
我們希望我們的decision rule是可以被personalize的
為什麼會有這樣的希望呢
我們剛才已經有提到說
每個人他適用的一些intervention
decision rule可能會不一樣
那不只說每個人他可能就不一樣
對於同一個人他的生活習慣
作息可能都會有改變
比方說你在COVID的期間
就是可能你就都在家就是做事情
但是你可能那個就是COVID後
你就突然說就是
你現在應該要回公司上班
那你就沒有辦法在一般週間的時候
就是告訴大家說
欸就是現在你應該要出去外面走一走
就這件事情就沒有辦法是一個
就是是對於這個人適合的intervention
所以說為什麼我們會希望有個人化的一些decision rule
那我們其實是可以用reinforcement learning的方式
來完成這些personalize的decision rule
那我們現在就是要跟大家講說
我們是如何用reinforcement learning來達成個人化
所以對於RL熟的人而言
或不熟可能有聽過的人
都大概會知道說RL有三個重要元素
一個是state
那這個state就是我們剛才說的
天氣、地點、前30分鐘的步數
任何你所想得到
可能會影響你decision rule的
做決策的這些state
那你就可以把它納入到這個state裡面來
那再來你要考慮的是action
你的action set裡面有什麼
我們就給一個很簡單的例子
比方說你action就只有兩個
要嘛你寄一個運動建議
就是一個message
然後或者是你就不做任何事情
你就沒有send任何的message
那這是
就這樣的action
那當然就是你看到state看到action
你在給出一個action之後
你其實是想要去
試著去學習怎麼樣
對於這個人才算是最好的decision rule
所以我們需要reward
所以我們就在state action看到一個reward
然後在state
新的state
然後新的decision rule
我們看到一個reward
我們就可以update我們的decision rule
因為我們看到一個新的資料
那在下一個state
在下一個decision time
在下一個state的時候
我們就可以給出一個新的action
based on這個新的decision rule
然後我們就可以看到新的reward
然後我們就可以再這樣子
再繼續下去去更新我們的decision rule
那所以最終RL的演算法的目標
是希望可以optimize這個reward
可能是optimize就是目前當前的reward
也可以是optimize一種cumulative的reward
那可是問題是我們現在有個問題
就是我們的reward是要怎麼選它呢
我們剛才有說就是在大部分的JITAI的時候
其實大部分behavioral scientist他們care的
是一個很長遠的目標
像是這個人應該要戒菸
或是像這個人應該就是希望他可以維持良好生活習慣
但維持良好生活習慣
這個的量測方式有非常非常多種
多的指標
但是指標你必須要holistically去看
比方說就是他心血管健康指標
可能血壓就是血糖這些
可能可以比較長的去測量
但是就是像血脂或者是一些更難測量的東西
或者是一些interview question之類的
你不希望你永遠都一直在就是做
就是去量測這樣的東西
那要嘛是非常
大部分是非常的intrusive的狀況
那我們當然就是不希望有這樣的結果
就不希望這樣頻繁去量測這些資料
那沒有辦法頻繁去量測這些資料呢
那就會讓decision rule的learning也變得很困難
因為可能就是一個禮拜之後
才會得到一個新的就是measurement
可以update你的decision rule
那可能到時候就是你原本的decision rule
對於這個人他其實就已經是非常不適用的
這個人可能就會覺得很受不了你這個app
他就會直接把你的app刪掉
這樣其實就沒有幫助到這個人了
所以大部分那個behavioral scientist在考量的時候
我們會建議用近期的一些結果
他們叫做proximal outcome
比方說intervention後的30分鐘的步數
像是我們剛才說的那個
幫助大家維持良好生活習慣的這個app
那一個intervention後到底這個人就是走了多少步
就可以當作一個代理指標
說這個人會不會未來變成一個喜歡運動的人
那背後的假設是就是如果你改善近期結果
你也可以提升遠期的結果
那所以我們現在知道怎麼樣選擇reward
我們下一個問題是我們要如何去選擇RL的演算法
我想在這邊跟大家稍微提一下就是
其實mobile health這邊有他自己本身的一些困難度
就是在RL是很多時候大家比較熟悉的運用
會是在機器人上面
那機器人有時候你在玩一個遊戲的時候
你可能你的reward也是非常長
就是時間就是像是alpha go之類
你可能就是你真正reward是贏或輸
都是在很遙遠的那個世界你纔看得到
但是在這種玩遊戲的狀況
或者是就是robotic的一些setting
很多的setting的情況下
就是其實你是有辦法不斷的replay來增加
來幫助你學習這個decision rule
所以雖然說你的遠期他們可以用遠期結果
但他們同時也可以generate大量的data
來學習怎麼樣是好的decision rule
這個東西在mobile health上面就是沒有辦法使用
就是我們沒有辦法用他們那邊的一些方法
來套用在我們這邊
那理由當然就是你不可能就是不斷的在這個人身上
你不斷的試他的intervention
因為這個人很快覺得說我不做了
我不幹了
我要走開
我不要再用這個app
所以當然就是這會是一個問題
所以在online RL在mobile health裡面
其實是有非常多的問題
第一個問題是其實那個data是非常非常的noisy
就大部分的intervention對於這個人的幫助
其實並沒有很大
再加上每個人的習慣
你每天的那個有一些心情的改變
然後就是每天你想要做的事情不一樣
我們都很清楚的知道
我們每天的behavior可能都有點不一樣
對於這個intervention
我們是怎麼樣處理
可能都跟我們今天的心情是有很大的關係
所以我們希望我們的algorithm
其實是有辦法很robust來處理這樣子
就是這些雜訊非常非常多的資料
你不能因為就是這個人昨天很開心
他走了非常非常多步
然後你就相信說
這個人就是我們可以多send一點訊息
那他可能就會就是走更多步
這個就是你如果這樣子設計演算法的話
這個人應該很快就會把你的app給刪掉
所以就是robustness
第一個我們需要去考量哪些東西是noise
哪些東西就是跟intervention沒有
跟這個人本身要達成長期目標沒有很直接的關係
那哪些東西是
然後第二個是scalability
就是我們不希望我們的algorithm
就是會跳來跳去
然後就是因為有些algorithm
就是如果他沒有
他每次converge到的decision rule是不一樣的
那可能大家在玩那個Chat GPT就知道
就是大家可能會抱怨說
為什麼拿到的結果都不一樣
那這個可能在就是health的領域裡面
可能就不是一個好的演算法
那我們不希望還有人會人工來監控說
out of all of these options
哪個是最好的呢
就是我們不希望可以有這樣的
就是需要有人工監控的情況下
所以我們希望我們的algorithm是可以scalable
再來是我們當然會希望
我們的algorithm是有interpretability
這個好處就是我們可以幫
就是behavioral scientist
可以用他們的專業知識來幫忙設計演算法
也可以檢查演算法做出來的結果是什麼
這有幫助他們可以繼續未來
來設計他們下一個study
那這個就直接影響到最後一個reproducibility
就是你希望你做完這個演算法之後
你可以真的去量測說
這個演算法最後
你這個intervention的設計到底合不合理
到底有沒有幫助
還是這個就是
這個intervention是完全沒有幫助的
所以你會希望做一些after study analysis
那這一部分跟causal inference比較有關
那就是這裡會給algorithm非常非常多的限制
那所以在Thomson Sampling而言
就是我們現在
我要跟大家講的是說
有個好的選擇
我們可以考慮的選擇叫做Thomson Sampling
當然可能有別的也是可以考慮的選擇
但我們今天要跟大家分享是Thomson Sampling
它是一個好的選擇
因為它是Bayesian RL的演算法
那我現在就要跟大家講說
什麼是Thomson Sampling
就是如果大家已經很熟悉什麼是Thomson Sampling的話
抱歉就是很快速的聽過去
那個Thomson Sampling的簡單一句話來就是
summarize它在做什麼
它就是它會在每一個決策時間點
就是decision time
它會根據一些歷史的資料
然後會選擇
它的decision rule是針對每個action
它會選擇如果這個action是最佳的action的
這個posterior probability
來給這個action
聽起來非常的饒舌
這到底什麼意思呢
比方說就舉個很簡單的例子
如果現在就只有兩個action
一個是寄一個是不寄
運動建議那個activity suggestion
那如果你現在收集到非常非常多的資料之後
你的判斷是說
寄比不寄
那個寄打錯了抱歉
那個寄比不寄還要再好的機率是0.8的話
那我們就會用0.8的機率來寄這個運動建議
那我們就會用0.2的機率來不做任何的事情
來不寄這個建議
這裡我稍微暫停
希望讓大家可以消化
或者你們可以暫停
消化一下這句話是什麼意思
所以如果
那大家說那如果沒有任何收集到資料
就是你沒有辦法去學習的情況下
那你的decision rule是由prior probability來決定
這是Bayesian statistics的一個特別的地方
就是你有一個prior的understanding
對於你的model的一些parameter
你給它一些prior distribution
就是代表說你對於這些parameter
就是在收集任何資料以前
你有什麼樣的理解
那你隨著你收集資料的時候
你可以去update這些parameter
等一下會給一個很實際的例子
那可能就會變得比較偏比較數學一點
那這是就是給就是對於線性的那個
對於linear regression還蠻熟的人而言
就會是一個非常非常好的例子
可以更瞭解說這個演算法是怎麼一回事
好 那我們來看一個適合
就是just-in-time adaptive intervention的一個例子
TS在just-in-time adaptive intervention的時候
我們會建議大家選定模型的時候
選擇一個行為科學家可以理解的模型
這個interpretability有直接的關係
就是他們理解這個模型的話
他們有辦法給他們的feedback說
我希望這個model可以用哪些component
然後這些component會是什麼意思
那第二個就是
你有step 2在那個design
Thomson sampling的時候
你對於所有的 你選好model之後
你要對於所有parameter都給他一個prior
那我們這邊建議的那個一個很簡單的第一步的選擇
叫做選擇一個conjugated prior
那當然conjugated prior就很限制說
你演算法長什麼樣子
你model要長什麼樣子
但我們會建議說如果你是在data量不多
然後data是非常noisy的情況下
我們會建議選一個這樣conjugated prior
因為他這樣的話就會有conjugated posterior
那兩個都會是有closed form的
有closed form的話計算上面就會比較容易
因為你不會希望用一個neural network的演算法
neural network演算法就是你可能parameter數量本身就很多
你在data量不多
然後data有很noisy的情況下
你其實學不太到什麼東西
你很有可能會學到錯的decision rule
那所以我們當然這邊就會希望就是你選擇一個
就是在運算上面比較沒有問題
然後可以幫你做after study analysis
之所以說有closed form可以做after study analysis
就是有literature的建議
就是可以參考literature的
這個跟causal inference比較有關
所以如果有興趣想要真的看那篇paper的人可以再跟我說
那就是因為他沒有運算
如果你選擇conjugated prior
他沒有運算問題可以做after study analysis
他就有辦法同時達到就是robustness
因為你知道你算出來的那個decision rule不會跳來跳去
他是可以scalable的
因為就是你的closed form不用擔心說他closed form運算出
就是除了一些小數點那些浮點數的問題以外
你不會覺得他會錯到太離譜
然後在reproducibility上面也就是
因為你有closed form
你知道你所有計出去的probability是什麼
那這個就是你可以做after study analysis
好,我們來看一個數學例子
所以一個比方說我們就簡單的說就是
你可以為你的短期結果
就是你的proximal outcome
比方說你是decision time後的30分鐘的步數
你就給他一個linear的regression的一個式子
你說他跟這些所有的x都是state
所以他跟這些x的關係是什麼
然後再給他一些interaction term
就是他跟action跟state這些interaction的關係是什麼
然後再加上一個noise的term
就是這個還算蠻簡單的一個數學model
那我們現在來理解說
就是我們發現說我們這個短期結果
proximal outcome
他是跟action跟state是有直接相關性的
那所以我們就把這個寫成一個式子說
就是你假設就是你是action是1
也就是說你有你
我們現在假設action就只有兩個
就是1的時候代表你記一個運動建議
0代表你不記任何建議
那你當然也可以把它換成什麼
1寄一個positive的建議
0代表你寄一個negative的建議
或什麼就是你可以自己去看說1跟0是什麼
那你就可以去比較1跟0的差別是什麼
就是你有寄運動建議的30分鐘步數
versus你沒有寄運動建議的30分鐘步數
差別就會是這個β0到βk這個term
那這個就會是我們的treatment effect
就是寄1比寄0
就是差在哪裡的一個treatment effect
那我們就會發現說如果treatment effect是大於0的
那就代表說就是action 1比action 0再好對吧
那這樣子的話我們就可以有辦法conclude說
就是你在就是action 1比action 0還要再好的情況下
你可能會比較傾向於考慮action 1
那這裡我們把所有的就是裡面有的parameter
全部都抓出來
我們發現treatment effect term裡面就只有寫β
但是之所以我們還會有這一群α呢
是因為當我們把A代成0
就是大A代成0把action代成0的時候
我們剩下的就是隻有藍色這個term
這就是為什麼我們叫它是它的baseline model
它本身並不是跟我們treatment最後
就是我們的decision rule有關
但它的好處是你如果說你前面有這一塊的話
就是它可以幫助你在estimateβ的時候的variation
你可以把它降到最低
可以把它減少
這個如果你有學statistic的話
可能會知道我在講什麼東西
所以接下來的話
我們就是剛才已經有看過什麼叫treatment effect
那我們就可以講說
ok那我們現在知道我們所有的parameter這些θ
我們必須要先給它一個prior distribution
給了prior distribution的時候
那如果你已經collect了這些data
在t-1的時間內collect所有它的state
它的action 它的reward
state action reward這樣collect下來
那你就可以說那選擇action1的機率
就會是treatment effect大於0的posterior這個機率
這還蠻好理解
就是你收集到這些資料之後
你現在覺得就是treatment effect大於0的機率應該是什麼
那這就是我們現在就完成一個
對於這個JITAI而言的一個Thomson sampling的演算法
那就可以達到personalized的這個效果
一個可能的conjugate prior在這樣的model底下
會長成這個樣子
那我們目前有在寫一個paper
把這些所有細節都把它寫得非常非常
的淺顯易懂
那所以如果對於那個paper有興趣的人
可以再跟我說
我會在paper發出去
發到archive的時候會跟大家通知這樣
那我們還在做下一步驟
就是除了我們剛才把那些東西
就是把它詳細的寫出來之後
我們其實是可以把這些所有東西
通通都轉成一個行為科學家
就是behavioral scientist可以理解的user interface
那當然我們不能就是直接把那個math
就是你就把那個model把它丟出去
然後就說這個就是這個樣子
Thomson sampling是這樣運作的
你來設計
當然是不能這樣子
所以我們就是必須要把
所有剛才說的數學語言
通通都把它換成就是行為科學家可以理解的語言
就一步一步的問他
像他們不會叫這些東西叫action
他們會叫它intervention option
然後所以我們就不能問他說
你要的那些action是什麼
你要問他說你要的intervention option是什麼
那你也不能問他說你要的reward是什麼
因為他們也不用reward這個term
你要問他說你要的proximal outcome是什麼東西
然後你就這樣一步一步的帶著他們就是
step by step的去定義說他的state
他的action他的reward是什麼東西
那之後就會你覺得
你把這個model定義完之後
你就會一步一步的帶他去走過你的
他的prior distribution
那當然大家大部分的behavioral scientist
其實對於Bayesian statistics是不熟的
因為他們大部分習慣性
可能還是比較習慣用就是frequentist statistic
如果我跟statistic有熟的behavioral scientist
那有些人可能就是
就是其實跟frequentist statistic也不一定很熟
所以我們這邊就要幫他們
轉換成他們可以理解的語言
比方說他們可能會知道
寄一個運動訊息跟不寄
到底步數差別在哪
那我們就可以直接把
就是這樣子的一個問題就轉換成
就是其實這其實就已經在問說
prior mean of beta zero
到底應該是什麼樣的值
所以我們就可以直接把一個
其實他們有辦法回答的一個問題
把它轉成就是
把它translate出來
讓他們有辦法給予他們的專業知識
那在最後面的時候
我們就會給他一個模擬
說ok based on all of your data
all of your input
就是你的initial decision rule
到底應該會長成什麼樣子
就是給他們一個這樣子的一個模擬
那如果他們都覺得看起來很ok的話
那最後我們就給他一個API
就是讓他們可以直接把
就是他設計演算法
把它裝到他的那個app上面
那這樣子的話
就是他就讓軟體工程師在寫app的時候
你就可以同時call這個演算法
這個behavioral science設計的演算法
那這樣子的話就是
就這整樣東西就變成
有辦法personalize的一個intervention
那當然剛剛我們說的這些
通通都不是隻可以套用在behavioral science
它是可以套用在advertisement
或任何相關的東西上面
所以我這邊就是給大家一個
算是一個inspiration吧
就是你如果在思考怎麼樣去做
你的personalize的一些intervention的時候
你可以往RL這邊想
然後你可以思考說要如何把它
就是套用在mobile health
這樣的領域上面
好,所以這個interface也
所有的東西都有點就是
都在improvement上面
但他應該在很不久之後就可以publish
那有興趣的人可以歡迎私訊我的linkedin
然後我如果有任何
就是新的消息都會就直接再跟你們說
那今天就先跟大家講到這裡
謝謝大家