生成式AI ChatGPT首部曲:語言預測和神經網路 #GenAI Generative AI Language modeling Neural network
2024年5月16日
完整內容請至 https://www.youtube.com/@YulandySpace 觀看
我會使用三部影片
清楚介紹深層式AI的概念、運作原理
和可能遇到的問題和挑戰
最典型的深層式AI就是Chart的GPT
這是首部曲
我們會探討語言預測和神經網路
在開始之前
我們先了解什麼叫做深層式AI
Generative AI
我們把這幾個字把它拆開來
第一個 深層式 Generative
它是一個形容詞
動詞來自Generate
意思是產生還有創造
所以我們有時候像說一個創造性的藝術作品
藝術家 Generative Artist
一個深層數據的模型
叫做Generative Model
所以深層式AI就是會一個產生內容的一個東西
那這個東西是什麼呢
叫做AI Artificial Intelligence
我們常常說是人工智慧
那事實上人工智慧是一個非常廣的領域
它涵蓋了很多很多的技術
包含了我們在皮蛋裡面最主要的機器學習
以及在小以比較深度學習認知計算
還有自然語言的處理
所以當你把這兩個字放在一起
Generative AI就是深層式AI的概念
它是讓計算機能夠自然生成的內容
原創的一個內容
那這個內容的形式通常是以文本
就是文字、圖像、音訊還有影片
我們最常見的就是Chart GPT
那還有一個最近也出現的叫Cloud
他們號稱它的效果比Chart GPT還要好
所以有興趣的話
你也可以試試看Cloud這個線上的平臺
那我們今天就要針對Chart GPT
它怎麼樣產生相關的文本內容
來去做一個簡單的介紹
那事實上深層式AI不是隻是從Chart GPT開始的
在早先時候我們就有深層式AI的工具
比如說像Google翻譯
你如果在Google裡面打Google Translate
它就會跳到Google翻譯的網頁
你輸入中文
它可以幫你翻譯成英文或其他語言
或者是你輸入英文
它可以幫你轉換成中文
這種就是一種深層式AI
還有一種叫做Autocomplete自動填入
這個最常見在Google搜尋引擎
比如說你在打人工智慧
它在後面就會跑出一些新的提示詞
那你就可以直接去點
就可以自然而然去產生完整的一個搜尋關鍵字
另外一個你如果是使用Apple的手機的話
Siri Speech Interpretation and Recognition Interface
它就是根據你說的話
幫你去協助你去做一些日常生活的事情
語音辨識助理
也是一種深層式AI
那你會想說為什麼這些早就有的東西
那時候並沒有去造成
產生一個非常具影響力的一個現象
直到Chart GPT出現以後
人們才開始去警覺到
深層式AI可以改變我們的生活
主要原因在於早期的深層式AI工具
它並不能算是一個殺手級的應用
我們叫Header Application
就是可有可無
不會讓你對生活提升太多的品質
所以為什麼之前的早期的深層AI
並沒有造成那麼大的影響
比如說以Google翻譯好了
你必須把相關文字貼過來
它可以才幫你去做對應的翻譯
而且有時候貼的文字的數量也是有限的
那很多時候你再看一個網頁
它這個網頁本身就可以具有應翻中的功能
你就不需要使用Google翻譯
所以它沒有辦法幫你去節省太多的時間
那甚至假設你要去看國外的網頁
你有這個能力的話
你可以直接看英文也不需要再翻譯了
那第一個像自動填入Autocomplete
你雖然可以寫打一個字
它可以幫你猜後面要加什麼字
但是它其實沒辦法節省你太多時間
所以即便你有這個自動填入的功能
你也不會覺得它非常好用
Siri也是另外一個例子
甚至有些國粉
他甚至不喜歡開Siri這個功能
因為他可能有時候他辨識不是那麼準確
給的這個結果不是令你那麼滿意
所以它有跟沒有並不會影響太大
可是Chat的GP就非常有感了
你可能今天可能要生成一個文案
你就放一些關鍵字
就幫你生成一個非常完整的文案
所以它可以節省你大量的時間
相較之下早期的生成式AI
並沒有辦法節省太多時間
所以為什麼早期的生成式AI
並沒有造成一股旋風
這部影片的重點
就是要了解生成式AI的運作原理
它底層的原理跟語言預測
Language Modeling是有關的
首先要說明一下
這邊我翻譯成語言預測
你如果去把它Language Modeling
輸入到Google裡面去查一下
有些會翻譯成語言建模
但是我覺得語言預測是更符合
我們要做的事情
什麼叫語言預測呢
就是首先你會給個情境或者是內容
我們叫做Context
根據這個情境和內容
我們去預測下一個詞
或下一個句子是什麼
我們叫預測下一個詞Next
舉例來講
比如說我先告訴你我想要玩
那你就可以預測我想要玩什麼呢
可能是電動或者是吉他
那怎麼去預測
當然是根據過去的一些經驗
過去一些資料
我有可能好幾種不一樣的情況
我根據每種情況去給一個機率的分佈
如果電動的機率是比較高的
我就說下一個詞應該是電動
如果吉他的機率是比較高的
我就說下一個詞是吉他
所以變成我想要玩吉他
那這樣的工作就稱為
Language Modeling 語言的預測
那再舉兩個例子
我想要跳
可能是跳舞或是跳水
我想要喫香蕉或喫蘋果
所以深層是AI
它本身本質上
它就在做的是語言預測這件事情
以Chart GPT來講
什麼是我的context呢
就是你提供Chart GPT的提示詞
我們叫prompt
那這時候根據這樣子的提示詞
我會給的輸出就是Chart GPT的回答
就提供預測的文字
所以我們稱為是文字到文字的語言預測
當然你也可以有其他形式的輸出
其他形式的next
譬如說你直接提供prompt提示詞
我希望它產生出來一個圖片
譬如說在太陽底下
慵懶看報紙的貓
這就是你的輸入
它輸出圖片
這個就是我們說的Daily E3
你可以去查一下這個關鍵字
它也有像這樣子的一個
深層是AI的工具
那最近有一個更紅的叫做Sora
它的輸出就變成是影片
你現在就用一些文字描述一個情境
那Sora就會根據這個情境
產生一個很短的影片給你
所以它可以是文字輸入
文字輸出
就是Chart GPT
它也可以是文字輸入
圖片輸出
就是Daily E3
或者是文字輸入
影片輸出
就是最紅的Sora
但它本質上
它要做的事情
就是給一個情境和內容context
然後預測下一個輸出next
整件事情就要語言預測
那你有這個概念以後
下一個問題我們要問的是
我們要如何去找到一個合適的模型
讓它可以幫助我們去做預測
如果可以找到這個模型的話
那就可以建造我的Chart GPT
建造我的Daily E3
或者是Sora
接下來我們來說明
語言預測的最主要工具
神經網路
Neural Network
神經網路在人工智慧裡面
已經被廣泛的應用
譬如說在自動駕駛裡面
我們會使用神經網路
來去判斷前面的紅綠燈
或者是前面路況是不是有行人通過
這個叫典型的分類問題
那同時像我們前面談到的語言預測
給你目前的情境
告訴我接下來的圖片
文字或者影像
都可以使用神經網路的架構
簡單來說
你可以把神經網路想像成就是一個函數
我們在國中學過函數
我有一個輸入X
我的輸出是F of X
現在我的輸入可以是提示詞
影片或者是圖片
我的輸出可能就是我希望要的
文字、影片或者是圖片
但是裡面的構造
我們其實不太清楚
但是它會就產生我們需要知道的認知
所以它就像我們大腦一樣
當我有一個訊號進來做刺激的時候
我的神經元Neural
就會負責把這個訊號再往下傳送下去
最後產生我們的認知
為了讓電腦可以計算和模仿大腦認知的過程
我們使用左邊這種架構
就是神經網路架構
來去做訊號的計算
首先在這個架構裡面
我們在最左邊這一層
我們叫做輸入層
在右邊最右邊這一層
我們叫做輸出層
我的輸入層可以是一張圖片
那譬如說這一個神經元我們叫Neural
它可能就是真正的圖片
某一個點、某一個位置我們叫像素
它顏色是不是紅色
如果是紅色我就把這個訊號往下傳
那在第一層還有最後一層
也就是輸入層和輸出層之間的所有的層
我們都稱為隱藏層
Hidden layers
那Hidden layers裡面的神經元
它做的事情就比剛才前面的
一開始輸入層就更複雜了
譬如說這一個神經元
它可能是判斷這個像素
某一個圖形、某一個點的像素
它周圍附近的像素
是不是也都是紅色等等
那最後我們就把這些訊號
一層一層的往下傳遞
得到我們的輸出
這就是神經網路裡面的
訊號傳遞的過程
有個疑問就是
我怎麼樣去確定這些權重W
使得我的輸出符合我們的認知呢
這就必須要透過收集很多很多的訓練資料
因為這是訓練資料
所以我們知道正確答案是什麼
正確的輸出是什麼
利用調整這些W
使得我的預測輸出
和實際輸出的誤差越小越好
這個過程叫做訓練
叫做Training
所以所有的神經網路
基本上它都必須要有資料進來
然後去訓練我的權重
訓練完以後讓我的誤差越來越小
最後這個神經網路就可以去做預測
比如說像語言的預測
或者是分類
這是整個深層次AI的基本運作原理

