生成式AI ChatGPT二部曲:變換器和模型訓練 GenAI Generative AI Transformer
2024年5月16日
完整內容請至 https://www.youtube.com/@YulandySpace 觀看
這是深層式AI的二部曲
在這個影片裡面我會介紹變換器還有模型的訓練
在首部曲的時候我們介紹了語言預測
就是我給你情境和內容
你幫我預測下一個詞
這是ChartGPT的基本運作模式
這時候我的情境內容就是提示詞
我的下一個詞next就是ChartGPT的輸出
首部曲也介紹了神機網路架構和使用
但是神經網路的預測正確率不是那麼高
所以工程師又想出了一個新的架構
是基於神經網路的架構
這個架構叫做變換器Transformer
那使用這個變化器
它就可以大幅提升神經網路
創造我們現在使用的ChartGPT
這邊有一個很有趣的事件
就是事實上Transformer變換器
它最早是從Google Research在2017年發明的
那發明這個神經網路的架構
它把它開源
所以任何人都可以去做使用
Transformer最早出現的論文
就是在這一篇
Attention is all you need
中文就翻譯成注意力的機制
那當然很可惜
Google並沒有把它做成ChartGP那麼有名的一個軟體
Google版本是這一個
但是可能很多人都不知道
有興趣的
你可以上網去看一下這篇論文
Google Research把它公開出來
你可以往下轉動去看一下變化器的這個架構
那其中這個變化器的架構裡面有一個藍色的框框
叫做Fit Forward
它就是最典型的神經網路
所以在某些層次上來說
你可以把它看成是神經網路的堆疊
或許你會有一個疑問
為什麼就不用一個比較大的神經網路就好
那這當然就是一些經驗上的法則
和一些Trial and Error
經過測試以後
我們發現這樣的效果是最好的
因為這個變化器是用來做語言預測
我們也稱為它為語言模型
那麼是怎麼樣產生語言模型的呢
它基本上可以分為兩步驟
第一個步驟就是收集很多的語料
Corpus
這些語料文字
你可以從Wikipedia
書啊
或社交網路平臺去做下載
那據說ChartGP T3.5這個版本
它總共使用3000一個字
那這是什麼概念呢
我們可以以人為例子
比如說我們人
假設我們每分鐘閱讀大概是400個字
那你需要花1427年纔可以閱讀完3000一個字
所以換句話說
ChartGP T涵蓋的知識量
其實遠超於人類很多
這也就是為什麼
ChartGP T可以產生出非常高品質的文案
因為它其實看的文件都比人類還要多
那當看那麼多資料還不夠
你必須要訓練出好的語言模型
訓練語言模型可以簡單的理解成以下的步驟
我們把這些語料的最後一個詞移除
然後我們去計算移除這個詞的機率
所以我們去調整我們模型
提高預測正確的機率
讓我們一直迭代這個步驟
使得正確率一直提高
這就是簡單來說
我們怎麼去訓練語言模型的過程
但是如果只單靠訓練一個語言模型
來去做語言的預測
它是沒有辦法像ChartGP T
目前我們使用的功能那麼強大
它可能會出現很多的錯誤
和很多不符合預期的結果
它其實必須要經過兩個非常重要的步驟
第一個就是預訓練pre-training
我們前面講過的使用編換器
然後很多的數據、語料、通用數據
產生出一個語言模型
但這樣還是不夠
我們會使用ChartGP T針對各種不同樣的工作
希望得到不同樣的答案
這時候我們就必須使用file tuning 微調
比如說我今天想要叫ChartGP T
產生一個撰寫商業分析的報告
那你微調過程
你就會把一些商業數據放進來
然後根據這樣一個通用模型做一點調整
使得我的編換器
可以根據這個特定的工作
產生特定的輸出
那事實上微調是一個非常困難的工作
過去ChartGP T可能會去找很多的員工
手動來去做微調
ChartGP T會幫你產生
兩個或三個你的問題對應的解答
那你會去選擇哪個是最好的
這個其實也是一種微調的過程
他透過使用者幫助他去做微調
這個是沒有辦法避免的
如果你沒有這個微調的工作
你會發現他訓練出來的結果
可能不是你想像的這個樣子
所以從這個層次來講
其實人在ChartGP T
生成式AI的使用上
他還是扮演一個非常關鍵的角色
你如果沒有這個微調的過程
他就沒有辦法產生出你滿意的這個結果
如果你把相關的關鍵字把它收集起來
第一個生成式Generative
第二個運行訓練Pre-trained
第三個編換器Transformer
就是我們的GP T
Generative Pre-trained Transformer
所以你就知道ChartGP T的概念
就是生成式預訓練的編換器
那他的目的是要跟你去談話
是要Chart
所以叫做ChartGP T
在ChartGP T出現以後
你可能會注意到一個詞叫做Big AI
什麼叫大的人工智慧呢
他其實概念就是越大越好
Bigger is better
ChartGP T的出現
主要可以歸咎於三個因素
第一個當然就是深入學習技術的突破
這邊講的就是我們剛剛前面說的
編換器的架構Transformer Architecture
如果我們還是用使用傳統的神經網路
他就沒有辦法那麼強大
可以做好很正確的預測
所以Google Research
一開始發明的Transformer Architecture
這是一個關鍵的一個技術上的突破
第二個很重要就是大量的數據Big Data
我們現在有太多太多的數據在網路上
我們透過這些大量的數據
可以幫助我們去訓練我們的模型
語言模型
所以比如說我們稱為
Large Language Model LLM
那除此以外
你有那麼多的數據也沒有用
如果你沒有可以負擔的計算能力的話
你也做不到
所以你還是要必須要很好的
Computer Power
可負擔的計算能力
所以這三樣因素
是讓我們這個實際
出現ChartGP T的主要的推力之一
在這個背景底下
有幾個我們值得專關注的點
第一個是所謂Big AI
擁有的湧現能力
叫Emergent Capability
有的時候我們會稱為頓悟的現象
什麼意思呢
當我的語言模型足夠大
足夠複雜的時候
在某一個域值以上
它能力就突然有一個大幅度提升
但在這個域值以下
比如說資料量不夠多
比如說網路架構不夠複雜的時候
它的效果就非常差
所以它不是緩慢的進步
而是在某一個域值的時候
它突然有一個很跳躍的頓悟現象
這叫做湧現能力
第二個是關於圖形處理器的使用
Graphics Processing Unit
或者簡稱於GPU
那有一家很大的公司叫NVIDIA
就專門製造GPU
比如說你今天在打很多高畫質的電動
它其實就使用GPU
那為什麼跟AI有關呢
因為AI裡面需要計算類神經網路
或者是變化器
我們發現GPU這個架構
特別適合去做這些計算
所以為什麼NVIDIA它的價值會突然提升
因為AI在這個世界是非常重要的工具
年代就把NVIDIA的股價往上飆升
最後一個比較值得注意的現象是
過去我們說的創新
通常會以學界為出發點
因為學界不用計算這個成本
時間上的成本
我可以去為了一個十年或者二十年
可能纔可以出現在市場的技術
就提前開始去做研發
可是業界通常會希望
我今天做了技術的開發
可能在三年甚至四年
就可以在市場上去佈局
去開始販賣
會得到一些利潤
但是這個Big AI
China GPT它完完全全沒辦法從學界開始
因為你可以看得到
它必須要有大數據
必須要有非常強大的計算能力
那這些都不是一般學界一個學校
或者是一個研究室它可以負擔的
所以從這個角度上來講
你可能也不意外
為什麼Transformer變化器的架構
是從Google Research發明出來的
而不是像這個Stanford或者是MIT
這些頂尖的學府發明
因為它需要很大量的成本
它纔可以做這樣的研究

