Transformer到底是個啥？一個動畫徹底搞懂

你有沒有好奇過GPT這樣的AI大模型 到底是如何理解我們的提示詞 然後一個字一個字蹦出來回答問題的 上一期視頻 我們介紹了在Transformer誕生之前的技術發展路線 如果你沒有看過上一期也沒關係 我們先來快速回顧一下 最開始是Ngram 他的思路非常簡單 就是統計前面幾個詞出現以後 下一個詞通常是什麼 但Ngram只會統計 他並不知道不同詞語之間有什麼語音關係 於是後來有了詞項量 也就是word embedding 詞項量把每一個詞變成了一組高維數字 詞語的含義被映射到了這組數字中 含義相近的詞在項量空間裏的位置也比較接近 有了詞項量以後 我們又把這些項量交給前窺神經網絡 讓神經網絡來學習更加複雜的語言規律 然後預測下一個詞 但是前窺神經網絡一次只能接收固定數量的token 前面的內容距離太遠以後 他就看不到了 所以後來又有了RNN 也就是循環神經網絡 RNN增加了一份不斷向後傳遞的隱藏狀態 相當於給模型增加了一份記憶 讓前面出現的信息可以一直往後傳 但是RNN的長期記憶能力又不太行 距離一長前面的重要信息就很容易丟失了 於是後來又有了LSTM LSTM增加了一條長期記憶通道和幾個門 讓模型自己學習什麼應該記住 什麼可以忘掉 以及什麼時候再把這些信息拿出來使用 一路發展到這裏看上去已經很不錯了 但是LSTM依然有兩個非常麻煩的問題 第一個問題是 它必須一個token一個token的順序計算 前面的token沒算完 那後面的token呢就沒辦法開始 如果輸入的內容比較長的話 那效率就會特別低 第二個問題是 兩個距離很遠的token想要交換信息 依然需要經過中間很多的token 一步一步把信息給傳過去 比如上一期我們舉過的這樣一個例子 這裏要說明一下 實際情況下 虎皮鸚鵡不可能作爲一個獨立的token 甚至前面這些詞都不一定會這麼拆分 咱們這個視頻是爲了方便講解屬於這樣舉的例子 大家知道這個意思就好了 最後的這個那隻 明明和前面很遠的虎皮鸚鵡直接相關 那我們爲什麼一定要讓虎皮鸚鵡這條信息 經過中間幾十個token 一步一步傳到那隻這裏呢 能不能乾脆一點 讓那隻這個詞和前面的虎皮鸚鵡這個詞 直接建立聯繫呢 有的兄弟有的 Transformer的故事就從這裏正式開始了 Transformer來自於2017年那篇非常知名的論文 今天這期視頻呢 我們就來徹底搞懂這個當今AI大模型的主事業 Transformer到底是個什麼玩意兒 歡迎一鍵三連不迷路 咱們開始今天的旅程 讓我們先暫時忘掉Transformer這個名字 還是回到我們的猜辭遊戲 當我們人類讀到 但他始終記得小時候養過的那隻的時候啊 大腦會很自然的回頭 尋找前文裏面和那隻相關的信息 但是我們不會把前面的內容從頭到尾 再一個一個再分析一遍 我們更像是在一瞬間把前面的內容給掃了一遍 然後迅速注意到了 虎皮鸚鵡和那隻的關係最強 那能不能讓神經網絡也這麼幹呢 我們可以讓一句話裏面的每一個token 都有機會直接查看其他所有的token 然後每一個token都問一句 這些詞裏面哪些和我最相關 爲了方便理解 我們換一個短一點的例子 假設現在有了這樣一句話 軒源養了一隻虎皮鸚鵡 他有綠色的羽毛 現在我們正在處理他這個token 人類當然知道 這裏的他大概率指的就是前面的虎皮鸚鵡 肯定不是軒源 那我們也讓模型把句子裏面的 幾個token全部都看一遍 具體怎麼看呢 一會兒你就知道了 模型看了之後可能會算出來 軒源和他的關係比較弱 養了和他的關係也比較弱 而虎皮鸚鵡和他的關係非常的密切 假設最終得到了這樣一組權重 軒源的權重是10% 養了的權重是5% 虎皮鸚鵡的權重是70% 其他token再分掉剩下的15% 接下來我們就按照這些權重 把不同的token攜帶的信息給混合起來 虎皮鸚鵡的權重最高 那就多拿一點他的信息 養了的權重很低 那就少拿一點他的信息 所有的信息按照不同權重加在一起之後 他這個token就會得到一份新的項量了 要注意哦 這個新的項量已經不再是最開始那個 孤零零的他的詞項量了 原來的詞項量主要表達的是 他這個詞本身大概是什麼意思 而經過剛纔這番操作以後 新項量裏面就融合了當前這句話的上下文 尤其是虎皮鸚鵡的信息會大量進入他的新項量 這樣一來模型後面在繼續處理他有綠色的羽毛的時候 就能夠知道這個他和虎皮鸚鵡有非常強的關係 同樣的方法可以運用到句子裏的每一個token 每一個token都可以直接查看其他token 然後把和自己相關的信息給拿回來 綠色這個token可以去尋找和自己關係最強的羽毛 養的這個token可以去尋找和自己關係很強的軒源和虎皮鸚鵡 一句話裏的token就這樣互相查看 互相交換信息 中間隔了一個token還是100個token 都不再需要像RNN那樣一路傳話 剛纔我們設計出來的這種機制就是authentic 也就是注意力機制的最核心的思想 所謂注意力說白了就是讓當前的token 判斷其他token對自己到底有多重要 然後重點讀取重要的信息 那上面的描述很美好 但問題來了 該如何實現這個方法呢 讓每個token去看其他的token 這個看要具體怎麼看呢 看的時候要關心哪些token 這些token的全中值又是怎麼計算出來的呢 接下來就是理解注意力機制的關鍵了 我們繼續剛剛的例子 模型在處理他這個token的時候 爲了完成接下來的預測工作 需要在前面的句子裏面尋找到這個他到底指代誰 那在尋找之前 他就需要先表達一件事情 我現在想要尋找什麼 這就像我們上網搜索東西一樣 我們得輸入搜索關鍵詞啊 所以我們需要給每個token都準備一份 專門用於查詢的搜索關鍵詞 比如他在當前上下文樁 可能想要尋找的是一個前面出現過的對象 一般來說他可能是一個物品 一個東西 大概率是個名詞 不太可能是一個形容詞或者副詞 和之前token的詞項量類似 這份搜索關鍵詞也不是文本支付串 它還是一組數字組成的該爲項量 而搜索的意圖就蘊含其中 這份用來表達我現在想找什麼的項量 就是query簡稱q 但是隻有查詢還不夠 每個token也得聲明一下 我這裏提供了什麼信息可供查詢 比如虎拼一五這個token 可以提供一份適合被查詢的信息 軒源也提供一份自己的信息 綠色也提供一份自己的信息 這份專門拿來和query做匹配的項量 就是k簡稱k 現在他這個token手裏有自己的q 而前面每個token 包括他自己都有自己的k 那接下來他就可以拿着自己的q 挨個去和別人的k做比較 如果他的q和虎拼一五的k非常匹配 那模型就知道虎拼一五很值得關注 如果他的q和綠色的k不太匹配 那這個綠色就少關注一點 那麼問題來了 這個q和k到底要怎麼匹配呢 我們可以讓這兩個項量做點擊 點擊以後會得到一個數字 這個數字越大 就認爲這兩個項量越匹配 比如他的q和軒源的k算出來是1.2 他的q和綠色的k算出來是0.8 他的q和虎拼一五的k算出來是6.8 那很明顯虎拼一五這個位置 更值得關注 我們再通過softmax 把這些分數轉換成對應的權重 於是模型就知道 每個token應該關注誰 以及應該關注多少了 看到這裏估計大家都會有一個疑問 怎麼就能保證他的q和虎拼一五的k 剛好匹配得上呢 答案還是靠訓練 一開始的時候肯定是胡亂匹配的 隨着訓練的進行 相關的參數不斷調整 q和k的計算匹配就越來越接近 語言中的規律了 那麼接下來呢 知道了該關注誰之後又怎麼辦呢 真正有用的是虎拼一五這個token 攜帶的具體信息 這份信息既不是這個token的q 也不是他的k 這兩個是用來做查詢和被查詢的 所以每個token還需要再準備第三份項量 這份項量他不負責搜索 也不負責匹配 他負責保存真正需要被別人讀取的信息 這份項量就是value 簡稱V 到這裏爲止 我們就湊齊了 注意你機制中關鍵的qkv三件套 q表示我想找什麼 k表示我這裏大概有什麼 V表示我真正攜帶了什麼信息 那還是要強調一下 這裏只是爲了幫助理解的一個簡單的類比 那真實的模型呢 並不會真的把寵物顏色人物 這些文本標籤寫到qkv裏面 他們的本質依舊是一組高維數字 那上面的這些信息都是藏在這組高維項量中 那新的問題又來了 每個token不是隻有一個詞項量嗎 怎麼現在每個token突然冒出來三個項量了 這個問題很好解決 假設虎皮鸚鵡原來是有一個幾百維的詞項量 我們把這個詞項量交給一個線性變換 得到第一組新的數字q 再交給另外一個線性變換 得到第二組數字k 然後再經過第三個線性變換 得到第三組數字v 每個token都會做相同的事情 渲染源有了自己的qkv 養了有自己的qkv 虎皮鸚鵡也有自己的qkv 那至於這三次線性變換到底是怎麼進行的 變換所採用的參數是什麼 同樣不需要程序員手工設計 模型會在訓練過程中 通過一次又一次的預測錯誤和反向傳播 慢慢把它們給學出來 有了qkv接下來就簡單了 用這些注意力的權重乘上每個token對應的v 然後把它們給全部加起來 權重高的token就多貢獻一點信息 權重低的token就少貢獻一點信息 最後得到的就是當前token融合上下文之後的全新的項量 在Attention is all you need 那篇論文中的注意力故事 它乾的核心事情就是這些 在這篇論文的公式裏面 Q和K點擊以後還會除以一個根號D 那這樣做主要是因爲 項量維度很高以後 點擊結果很容易就變得很大 通過softmax以後就可能會變得過於極端 所以先把它適量縮小一點 可以讓訓練更加穩定 另外還有一個細節 我們的qkv全部來自於同一句話裏的token 一句話裏的token自己查看自己 這種情況叫做self-automation 也就是自注意力 那與之對應的一句話跟別的話 做注意力計算 那就不是自注意力 它有別的叫法 我們等會就會看到 不過只有一套qkv還是不夠 我們來看這樣一句話 軒源小時候養過一隻虎皮鸚鵡 它有綠色的羽毛 這裏面token和token之間的關係非常複雜 它和虎皮鸚鵡之間是明顯的子代關係 綠色和羽毛之間存在修飾關係 軒源和養過之間又存在動作關係 養過和虎皮鸚鵡之間又存在另外一種關係 也就是說同一句話裏面 可我們剛纔只有一套qkv 很難同時兼顧多種關係 既然一套不夠 那我們就多整幾套 同一句話同時進行多組注意力計算 第一組可能主要關注子代關係 第二組可能重點關注附近的詞 第三組可能學會了一些長距離的關係 第四組又可能學到了一些 其他完全不同的模式 當然了 這些誰負責子代誰負責羽毛 依然不是程序員提前安排好的 每一組Rotation 最後到底學到了什麼 都是訓練自己決定的 我們只負責給他多個不同的觀察空間 最後再把這些不同的Rotation 得到的結果拼起來 形成更豐富的表示 剛纔這個一次從多個角度 同時做Rotation的方法 就是多頭注意力 所謂一個頭 可以暫時理解成一套獨立的注意力計算 一個角度看不明白 那就多個角度一起看 這樣看到的呢 纔是相對比較全面的 在Rotation is all you need 的這篇論文中 原始的測試方法就採用了八個頭 注意力的這種計算方式 把LSTM兩個問題都解決了 不需要再經過中間一大串Token傳遞信息 它們可以直接建立聯繫 而且一句話裏的Token 不再需要像RNN LSTM那樣 一個處理完再處理下一個 所有Token的QKV都可以一起算 也可以通過大規模的矩陣預算一起完成 所以Transformer相比RNN和LSTM 更容易利用GPU進行大規模的並行訓練 這也是後來模型能夠越做越大的 一個非常重要的前提 然而這樣並行計算 引出了一個非常關鍵的問題 Token之間的先後順序信息丟失了 原來的RNN LSTM因爲是串行處理 它天然就是有序的計算 但並行是把所有的Token一起進行計算 模型怎麼知道誰在前誰在後呢 比如下面這兩句話 軒源養了鸚鵡和鸚鵡養了軒源 這兩句話裏面出現的詞都是三個一樣的Token 只是順序不一樣 也正是因爲順序變了 表達出來的意思完全不同 注意力機制只是計算Token之間的相關性 它並沒有去處理詞語的順序 那怎麼辦呢 我們可以在每個Token原來的詞項量上 再增加一份專門表示位置的信息 第一個Token加上一份表示位置1的信息 第二個Token加上一份表示位置2的信息 以此類推 這樣模型收到的就不再是這個詞是誰 它同時還知道這個詞在什麼位置 剛纔這份額外加入的位置數據 就是position encoding 位置編碼 原始Transformer使用了正弦和餘弦函數 來生成位置編碼 現在的大語言模型又發展出了一些新的方案 這一期我們先不展開這些細節 當下你只需要記住 word embedding告訴模型Token的語意 而位置編碼則告訴模型Token的順序 到這裏 每個Token就已經可以帶着自己的語意和位置信息 通過多頭注意力和其他Token大規模交換信息了 不知道大家看到這裏能聽懂多少 可以彈幕來互動一下 到現在爲止看起來好像還不錯的樣子 但是這距離我們的目標還差得遠 我們是要完成猜詞遊戲 根據一句話前面的內容猜出後面的內容 而騰訊很擅長幫Token到處尋找信息 我們的猜詞遊戲要怎麼繼續下去呢 咱們接着往下看 我們來看下面這句話 軒遠買了個黑色的蘋果 花了一萬多塊錢 這裏的蘋果到底是水果還是蘋果公司的產品呢 聰明的你幾乎一瞬間就能察覺到 這世界上哪裏有可以吃的蘋果還賣一萬多塊錢 而且還是黑色的 所以這裏一定指的是蘋果公司的產品 那我們來看一下 計算機又是如何把這一點給分析出來呢 爲了方便理解 我們假設從蘋果原來幾百位的項量裏面 只挑四個特徵來進行觀察 分別是高價 黑色外觀 水果屬性 科技屬性 那需要說明一下 實際上的項量語義是非常複雜的 幾乎不會單獨存在某些維度 剛好就對應這四個方面 這裏只是爲了方便理解簡化的詞項量的維度設定 剛開始看到蘋果這個詞的時候 它可能是0.1 0.1 0.6 0.6 也就是說現在沒有什麼高價黑色的信息 而水果和科技這兩種行業 它可能都有 接下來經過注意力的計算 蘋果開始去看周圍其他Token 它從黑色那裏拿回了外觀信息 又從一萬多塊錢那裏拿回了很強的高價信息 於是它的項量就可能變成了 0.9 0.9 0.6 0.6 注意哦 到這裏Attention主要完成了一件事 把原本散落在其他Token裏的線索 拿到了蘋果這裏 現在模型知道了這個蘋果 它很貴 它也是黑色的 但是水果和科技產品這兩種可能性 還沒有真正拉開差距 那接下來怎麼辦呢 我們需要一個新的組件 來對這些線索進行進一步的分析計算 這個時候 上個視頻中的老朋友 潛規神經網絡 也就是FFN登場了 FFN不再去看其他的Token 它只看蘋果現在手裏 已經擁有了這些信息 然後去學習這些特徵之間的組合關係 比如這裏這個蘋果 價格非常高 還是黑色的 這兩個特徵組合在一起 就非常不像一顆水果 反而非常像蘋果公司的某種電子產品 於是經過FFN之後 這組項量可能就進一步變成了 0.9 0.9 0.1 0.95 高價和黑色這些線索還在 但是水果屬性被明顯壓低了 科技屬性則被大幅增強 所以Attention和FFN做的事情並不一樣 注意力機制負責讓Token之間交換信息 而潛規神經網絡 則負責把每個Token的這些信息給組合起來 進行分析研判 一個負責交流 一個負責思考 到這裏 這兩個零件就能拼成一個小單元了 先經過多頭注意力交換信息 再經過潛規神經網絡消化加工 這就是Transformer的基本單元 不過這一個單元處理還不夠 實際上Transformer會多累幾層 一層比一層理解的更深 在Attention is all you need 這篇論文裏面它累了六層 而現在的大預言模型動輒幾十層上百層 大預言模型的知識和能力 都蘊藏在這些網絡參數裏了 但是網絡一生 我們剛纔說了 爲了理解複雜的語言 Transformer會把注意力和FFM模塊疊很多層 讓模型逐漸抽取更加抽象的特徵 但是網絡一生 訓練就容易出問題 模型訓練靠的是反向傳播 預測產生誤差之後 梯度會從最後一層一路向前傳 告訴前面的參數應該怎麼調整 這個過程本質上是依賴練習求導 如果梯度經過一層又一層的計算 不斷變小 那傳到最前面的時候 就可能已經非常微弱 幾乎不起作用了 那前面的層收不到有效的調整信號 那也就越來越難訓練了 這就是深度神經網絡裏面 非常經典的梯度消失的問題 那怎麼辦呢 研究者們想出了一個乍一看很奇怪的辦法 把這一層原來的輸入直接加到輸出上 假設這一層的輸入是X 經過某個模塊計算以後 得到FX 正常情況下 Y等於FX 現在額外把原來的輸入給加回來 Y等於FX加X 誒等一下 直接把X給加上去 結果不就被改了嗎 我當初看到這裏的時候也是滿臉問號 這裏的關鍵就在於這個函數F 它並不是固定的 它本身是訓練出來的 假設我們原來真正想要得到的結果 是訓練一個大寫的FX 原來需要我們完整訓練出這個大寫的FX 但現在我們加上了這個X之後呢 訓練的目標就變了 就變成了我們只需要訓練一個 大寫的FX減去X就行了 最後再把X給加回來 剛好還是FX 所以可以把F理解成 現在只負責學習 在原來的X的基礎上還差多少 這個還差多少就是殘差 所以這種結構也叫殘差連接 這玩意兒真正厲害的地方在於反向傳播 我們對它求導以後就變成了這樣子 關鍵就在於後面這個加1 原來的時候 梯度只能經過F這條複雜路徑往前傳 而現在旁邊多出了一條 直接連接輸入和輸出的捷徑 而這條捷徑的導數就是1 所以即便F這條路上的梯度被削弱了 梯度依然還有一條更加直接的路徑 可以繼續往前傳 雖然不能保證梯度永遠不會變小 但是會大大緩解深度網絡裏面的 梯度消失的問題 而且在前向傳播的時候 原來的信息也可以通過這條捷徑 直接往後傳 不必每一層都徹底重新加工一遍 所以殘差連接可以理解成 給網絡修了一條高速公路 前向傳播的時候 信息可以沿着它往深處傳播 而反向傳播時 梯度又可以沿着它給反向傳回來 這樣一來 Transformer才能夠比較穩定的 堆到幾十層甚至上百層 實際的Transformer裏面 殘差連接通常還會搭配一個 規一化的模塊 讓訓練更加穩定 所以今年的結構圖裏面 經常會看到一個 Add and Normalization 這麼一個模塊 OK 到現在爲止 Token之間可以通過注意力交換信息 FFN可以進一步加工信息 殘差連接又可以讓這些模塊 不斷往上堆 但是我們是不是忘了一件事 我們忙活了這麼久 只是不斷的在處理每個Token的向量 可我們最開始的終極目標 是根據前面的內容 真正預測出下一個Token Transformer到底是怎麼把這些高位向量 變成一個具體的詞呢 今天的最後一部分 我們就來補上最後這塊拼圖 Attention is all you need 這篇論文最開始解決的是機器翻譯 比如把軒源養了一隻虎皮鸚鵡翻譯成 軒源 has a buggy 翻譯工作可以拆成兩步 先讀懂原文 再把譯文給寫出來 所以Transformer也被拆成了兩部分 負責讀的叫encoder 也就是編碼器 負責寫的叫decoder 也就是解碼器 編碼器就是我們前面搭好的那套結構 輸入先變成詞向量 然後加上位置信息 再經過一層層的自注意力和ffn 這裏的每個Token都可以查看 整句話裏的其他Token 包括這個Token後面的內容 這沒有什麼問題 因爲編碼器的任務呢 本身就是要理解一整句已經存在的原文 最後每個Token都會變成一組 融合了整句上下文信息的向量 編碼器不負責生成新的Token 它只是把原文是什麼意思 編碼進了這些向量裏 接下來輪到解碼器開始寫譯文 它不會一口氣把整句話給寫出來 而是一個Token一個Token的往外生成 比如前面已經生成了宣言還是呃 那接下來要預測八級 已經生成的這些Token同樣需要做自注意力 但這裏馬上會遇到一個問題 訓練的時候啊 原文和翻譯後的句子 正確答案整句話其實都已經存在了 因爲是做訓練嘛 所以模型在預測八級這個Token的時候啊 能夠提前看到後面的這個八級 那就等於直接抄答案了 所以編碼器必須遵守一條規則 它只能看到自己和前面的Token 它不能看到後面的 這個能理解吧 那要怎麼做到呢 在計算注意力分數的時候啊 我們直接把後面位置的分數 改成一個極小的數 經過softmax以後啊 這些位置的權重就幾乎變成了0 相當於就被遮住了 這種遮擋呢叫做mask 加了mask的自注意力啊 就是研碼自注意力 不過新的問題又來了 解碼器如果只看自己已經寫出來的英文 它怎麼知道原文到底說了什麼呢 比如宣源還是e這個後面 到底應該是cat dog還是budget呢 真正的答案其實在原文裏面 所以解碼器還需要一邊寫 一邊回頭看編碼器 它拿自己的q去查詢編碼器輸出的k和v 所以如果當前要生成budget 那這個q呢 就可能和原文的虎皮鸚鵡對應的k高度匹配 然後把那裏的v大量給拿過來 要注意了 這一次這裏的q來自於解碼器 而k和v呢 來自於編碼器 這種跨兩邊進行的注意力啊 叫做交叉注意力 所以解碼器每一層可以簡單看成三步 先用研碼自注意力 看看自己前面寫了什麼 然後再用交叉注意力回頭看看原文 然後接着呢 再交給ffn繼續處理 最後decoder得到的依然是一組項鍊 那它怎麼真的蹦出一個詞來呢 還是上一期那條流程 把最後一個位置的項鍊接到輸出層 給整個詞表的token打個分 再經過softmax變成概率 概率最高的呢 通常就是下一個token了 然後把這個新的token接到末尾 再繼續預測下一個 就這樣一個token一個token往外蹦 直到生成結束符 這就是原始transformer大致的工作過程了 不過現在以GPT爲代表的大模型 和最早的transformer又不太一樣了 這個呢 我們後面有機會再慢慢講到 現在讓我們整體回顧一下今天的內容 最開始啊 LSTM最大的問題啊 是信息必須一個token一個token的往後傳 而且計算也只是順序進行 於是我們想了一個辦法 讓每個token都能直接查看其他的token 這個辦法叫做自主引力 但token到底應該查看誰呢 所以每個token又產生了QKV Q用來發起查詢 K用來和查詢匹配 V則用來真正傳遞信息 實際的句子裏面可能同時存在多種關係 那一套QKV呢 很難覆蓋所有的關係 於是就有了多頭注意力 所有的token並行計算以後 先後順序不見了怎麼辦 那就額外把未知信息給加進去 於是又有了未知編碼 而騰行只負責找信息 信息拿回來之後還需要進一步處理 那就再接上潛規神經網絡 網絡越堆越深以後啊 原始信息容易丟 訓練也越來越困難怎麼辦呢 那就給信息增加一條 可以直接往後走的捷徑 於是就有了殘差連接 生成token的時候不能偷看未來怎麼辦呢 那就把後面的token給遮住 於是有了掩碼制注意力 今天的翻譯模型裏面 解碼器還需要讀取編碼器的內容怎麼辦呢 那就讓解碼器的Q去匹配編碼器的K和V 於是又有了交叉注意力 你看 看transformer結構圖的時候啊 裏面有一大堆讓人頭疼的名詞 但如果我們不直接背這些名詞 而是從前面一個問題一個問題往下推啊 你就會發現它們其實都不是憑空出現的 每增加一個東西都是因爲前面的結構 暴露了一個新的問題 而這些一個又一個的小改造 隨後組合在一起啊 就形成了今天幾乎所有大語言模型背後的基礎架構 最後跟大家留一個思考題 現在的大模型上下文動不動就100萬token 這樣龐大的輸入量 兩兩計算注意力 這將是一筆非常龐大的計算量 那有沒有什麼辦法可以優化呢 下一期視頻呢 我們就一起來揭曉答案 OK 以上就是今天視頻的全部內容了 視頻製作不易 如果覺得有用 別忘了一鍵三連 點贊越多更新越快 我是軒源 我們下期再見