探索【深度學習】英文論文:Transformer和注意力機制
368 次觀看·2025年4月26日
深度學習(Deep Learning)在過去十年中經歷了快速的發展,其中Transformer和注意力機制(Attention Mechanism)是兩個重要的里程碑。這些技術在自然語言處理(NLP)、計算機視覺以及其他領域中取得了顯著的進展。
Transformer
Transformer是一種基於注意力機制的神經網絡架構,由Vaswani等人在2017年提出。與傳統的循環神經網絡(RNN)和長短期記憶(LSTM)網絡不同,Transformer完全擺脫了序列順序的限制,利用多頭自注意力機制來捕捉序列中各個元素之間的關聯。這使得Transformer在處理長序列數據時,能夠更有效地捕捉全局信息。
Transformer的創新在於其編碼器-解碼器結構,該結構包含多層自注意力機制和前饋神經網絡。編碼器負責將輸入數據轉換為特徵表示,解碼器則根據這些特徵表示生成輸出。這種架構在機器翻譯、文本生成等任務中表現出色,大大提升了模型的性能。
注意力機制
注意力機制是一種模仿人類視覺選擇性注意的技術,最初被應用於圖像處理領域,後來被引入到NLP中。其核心思想是根據輸入序列中的關鍵部分來動態分配不同的權重,以便模型能夠專注於最相關的信息。
自注意力(Self-Attention)是Transformer中的一個重要組成部分,通過計算輸入序列中每個元素與其他元素的關聯度來生成注意力權重矩陣。這種方法使得模型在計算過程中能夠靈活地選擇和整合信息,從而提高理解和生成能力。
好 各位觀眾 我們今天來研究一下
Transformer 變換器
機器學習裡面的 Transformer 變換器
所以呢 讓我們來研究論文
有一篇很有名的論文叫做
Attention is all you need
就是這個注意力機制
我們需要 Transformer 裡面的核心
就是注意力機制
好 我們先來看看這個論文
我們先在網路上可以找到這篇論文
好 我們現在已經打開了 Google 瀏覽器
我們就在搜尋網址上
鍵入 Attention is all you need
然後我們就可以找到 Attention is all you need
他的論文在網路上
隨便一個網址進去就可以找到
這邊是在 Cornell University 裡面
也可以找到
View PDF 我們看看是不是這個
是 就是這篇論文
我們把它下載下來
然後我們來研究一下這篇論文
還有我們機器學習裡面的運作原理是怎麼回事
我們大家今天來研究這篇論文
還有機器學習
我們就從這邊按下去下載
好 就可以下載了
好 我們已經下載了
這個 Attention is all you need 這篇論文
在我們的電腦上可以看到
好 這篇論文主要是第一句話
開宗明義第一句話
我們看一下他講什麼
第一句話 我把它 highlight 起來
他說 Dominant Sequence Transduction Model
are based on complex recurrent or
convolutional neural network
not include encoder and decoder
他意思就是說
這個主流的序列轉換模型
是根據複雜的循環
或者叫做convolutional
就是 等一下
這個 neural network
他裡面還包含了 encoder decoder
就是有所謂的編譯
就是編碼器跟解碼器
好 我們這邊繼續再看
他說 The best performing model also connect encoder and decoder
through attention mechanism
第二句話也很重要
第二句話是說
再一看
好 這樣子大家看得到
他意思是說
最好的 表現的最好的模型
Best performing model
也會怎樣
透過 attention mechanism
透過注意力機制
來將編碼器與解碼器連接起來
所以我們的transformer
我們的變換器
他的核心就是attention mechanism
就是注意力機制
今天我們來稍微探討一下
什麼叫做注意力機制
我們很快的看一下
這篇論文的核心
我們看到這篇論文的這個圖
這就是transformer的圖
叫做transformer model architecture
就是變換器的模型架構
我們今天來探討這個架構
他的一些基本原理
這邊你看input embedding
input這邊就是指的是編碼器
把我們的資料轉換成向量
我們上次有教過向量
輸入到裡面
然後經過multi head attention
就是我們的attention mechanism
還有注意力機制
他有好幾種注意力機制
把他最後整合起來
加起來
最後送到feed forward
neural network
送到這個feed forward的神經網路
然後再加起來
再把normalize
就是正常化常態化
然後直接傳送到這邊
這邊是一個叫做解碼器的東西
解碼器當然也會對應到
他這個編碼器
解碼器的一些關係
然後他這邊還在經過一個
attention mechanism
也是一個多頭機制
就是有很多種不同考量的
注意力機制的資料
全部放進去
執行注意力機制
然後再經過feed forward
neural network
然後再經過linear neural network
最後經過softmax
輸出機率
機率我們選他
一個機率最高的
就是那個值
我們大致瞭解了這個圖之後
看一下
他這邊
他這邊也有講解這個圖
一些基本
我們大概看一下
瞭解一下這篇論文
他說
most competitive neural network sequence
transactory model
他說最具競爭性的
神經序列轉換模型
具有have encoder decoder structure
具有編碼器和解碼器的架構
結構
structure 翻成結構
here 在這邊
encoder會map input sequence of simple representation
這是一個數值
他說S1、S、N
你就把它當作0.1、0.2、0.3
一些數值
把它對應到另外一個數值
sequence of continuous representation
representation
這個Z
也是一個數值
1、2、3
怎樣的
Z1到ZN
given Z
給了這個Z值之後
解碼器就可以產生輸出
Y1、Y2、YM
產生輸出了
好
我們大致先了解到這個
具體的基本意義
好
我們回到我們的word檔案
我們現在來講
開始來研究一下
這個論文裡面的
這個transformer
剛才的那個架構的機制
就是說
這個transformer
是由encoder跟decoder的架構組成的
剛剛已經
大家已經瞭解
就是encoder
encoder
他是一個叫做
這個是
寫一下好了
編碼器
encoder
叫做解碼器
好
我們
剛剛說transformer
就是這個
變換器
它裡面有
encoder跟decoder
編碼器跟解碼器
我們需
我們
是把我們的輸入
輸入值
把它先輸入到
這個encoder裡面
好
然後這個encoder
就把
我們的輸入的值
轉換成數值
就是我們上上次所教的那個影片
像量
如何轉換成像量
它的轉換成像量
是用不同的數學方式
但是都是原理都是一樣的
這個我們不用管
我們就把它想像成說
encoder可以把我們輸入的值
轉換成像量
然後encoder
轉換成像量之後
它就把這個值
這個像量值
送到
送到decoder裡面
它就把這像量值
送到decoder
我們這邊
應該有一個輸入的值
我們稱它叫
很麻煩
我們稱它叫input
好了
我們給它input的東西
比方說我們
一個句子
一個英文句子
比如說
I saw a snake
我們看到一條蛇
比方說我們輸入這個英文句子
這個英文句子
是由字母所組成的
它會把它轉換成像量
我們這邊也畫一下圖示
這個input值呢
打下來一點
比較像樣
input值先到encoder裡面
我假設我們的input值是
I saw a snake
經過encoder編碼器
先轉換成一種像量
像量就是
就是一種數值
比方說1.1
2.1
或-10
等等等
就是一個像量值
然後把這個像量值
再送到decoder去解碼
然後這個解碼器呢
就會輸出
就是output的意思
output
輸出一個值
比如說這個值
這個值
我們剛才說I saw a snake
輸出值
比如說它是做一個翻譯器的話
它就會翻譯成
我看到一條蛇
解碼器就會輸出成
我看到一條蛇
所以它基本的原理呢
是靠這個encoder decoder
就可以做一個變換
我們這邊舉的例子
就是一個翻譯器
簡單的翻譯器
我們輸入一個英文句子呢
我們輸入一個英文句子
然後它輸出就是一個中文句子
好
現在呢
我們是要更進一步的瞭解
就是說
在這個encoder跟decoder裡面
這個機制裡面呢
到底發生了什麼事
這個encoder decoder呢
在這個transformer裡面的encoder decoder
會把英文句子
轉換成中文句子
那在這encoder decoder裡面
到底發生了什麼事呢
現在我們就要繼續探討
就是說
下一步我們繼續探討
就是說
我們要更進一步的瞭解
第一步我們先了解encoder的細節
encoder的細節瞭解之後
我們再來研究decoder的細節
好
現在呢
我們下一步就是研究encoder
把字型放大一下
我們現在就來研究encoder
這個首先我們現在知道就是說
這個transformer就是這個變換器
它是事實上它是有
不是隻有一個encoder
它裡麪包含了一大堆的encoder
看你的設備
你的記憶體
你的GPU的多寡
如果你要設計好一點的話
你要很多的encoder
它這裡面就是一堆的encoder
一堆的編碼器
這encoder的輸出呢
就會送出
就會怎樣
送出
就會把資料送到
就是說它裡面有很多encoder
那encoder
比如說它有五個encoder
三個encoder
它會從encoder1
先把輸入資料
輸入到encoder1
再encoder2
再encoder3
依據的輸入上去
最後呢
encoder就會得到一個最後的
一個數值
一個向量數值
我們在這邊畫圖來解釋一下
這有點
可是
用語言表示是比較麻煩
我們用畫圖就比較清楚
看我們剛才給的例子是
I saw a snake
我以I saw a snake來舉例子好了
假設我們的輸入資料是
I saw a snake
好
我把它放大一下
這樣子解釋比較清楚
它是一個事實上
它是縮小才對
這樣子先畫一個圖
就是說
把這樣子畫好了
我們輸入的
是英文字
I saw a snake
直接複製就好了
很麻煩
離開一點就比較
這樣壓下來
I saw a snake
然後它上面
上一層就是encoder1好了
它有好幾個encoder
encoder1
然後再上面一層encoder2
最後假設我們有
有三個encoder
再畫一個就好
我們有三個encoder
一個input
這樣進去第一個encoder
把它編碼成數字
一多少
比方說
這個數字
它把這個
I saw a snake
這個英文字母
變成了
假設變成了
1
2
3
然後這邊還有
點點點點點
還有很多
然後
經過第二個encoder
它又把它再編成
又再編碼一次
比如說變成了
1.1
2.1
假設
3.1
這樣很多
然後再經過再下一個編碼
它又繼續再編碼
在這邊
所以它比方說
它變成了
-1.1
-2.1
-3.1
等等
最後的輸出值是
是這個項量
它經過很多次的編碼
我們這邊要畫一下箭頭
比較清楚
用用
這個就可以了
比如說input
輸入這個值
我們就複製就好了
直接複製
再把這個
箭頭放在這邊
再把這個箭頭放在這裡
就是
我們輸入的值是英文句子
ISOWERS那個
經過encoder 1
轉化成一個項量
1.2.3
經過encoder 2
變成另外一個項量
然後經過encoder 3
又變成另外一個項量
最後輸出是這個項量
然後這個項量
再到decoder那邊去
然後我們來看一下
我們剛才的這篇論文
這篇的論文是
叫做Attention is all you need
那我們剛剛解釋了
這個encoder input
輸到encoder的原理
我們來對應一下
在這個
它這邊架構
它這邊講說
The encoder is composed of
stack of n等於6
identical layer
就是說
這個編碼器
它們使用的編碼器是
用6個
6個層的編碼
編碼器
就是說
它是用6個
我們在這邊舉例
只用了3個
我們只用了3個
它這邊是說
用了6個
它這邊說
用了6個編碼器
我們是用了3個
我們是為瞭解釋用的
這個論文裡面
講的是這樣子
就是說你依照這個論文
它給的是6個編碼器
你就可以做出一個
很好的transformer
不管是做翻譯的原理
還是做什麼資料的分析
都是很好的
要用6個
依據他們試驗的結果
是用6個
我們這邊是因為解釋
我們假設我們用3個就好了
各位觀眾
我們現在已經分析好了
這個ISOLAR SNAKE
最後會變成這個向量值
然後我們還需要知道一件事情
就是說
每個encoder裡面
包含
都有包含一個
Attention Mechanism
都會包含注意力機制
就直接複製好了
都會包含這個
上面沒有寫
那我們就要寫
都會包含注意力機制
就是Attention Mechanism
每個encoder都會包含
Attention Mechanism
所以我們有3個
所以就有3個
就是說這個encoder
有包含Attention Mechanism
它這個我們輸入ISOLAR SNAKE
經過Attention Mechanism處理
就會變成這個向量
那我們現在下一步
就是要了解
就是要了解就是說
何謂Attention Mechanism呢
我們現在下一步
就是要了解這個
何謂Attention Mechanism
就是注意力機制
我們這邊舉一個例子
比方說我們有個句子叫做
A snake ate the frog
一隻蛇吃了一個青蛙
ate the frog
because it was hungry
當我們寫這個句子的時候
我們的AI
或是我們的Chair GPT
它如何判斷說
這個ate指的是什麼呢
這個ate指的是
這個代名詞
這個代名詞ate
是指的前面的snake
用別的顏色好了
是指的snake還是指frog呢
就有兩種可能對不對
代名詞ate
它指的是有兩種可能的
到底這個ate指的是哪一個
到底是指snake還是指frog呢
這個代名詞ate
到底是代表的snake還是frog
在我們的AI
在我們的Chair GPT裡面
它是怎麼樣運作的呢
它就是利用這個所謂的
Attention Mechanism
注意力機制的原理
現在就是來講
以這個為範例
我們來講我們的注意力機制
它的大致原理是怎麼樣
就是說
這個代名詞ate
我們在依據我們人腦來講
它會想說
這個代名詞ate
指的是前面有兩個物件
那個蛇跟青蛙
但是我們人腦很聰明
我們很快的就能判斷說
依據前後文
肚子會餓
蛇吃青蛙肚子會餓
所以我們很容易
依據我們的人腦
我們的人腦其實也是有注意力機制
只是我們不知道它的原理
它的ate
當然就是指的是snake
依據我們人腦的判斷
ate當然是指的是snake
可是我們在我們的AI
Chair GPT上面
我們的Transformer裡面
那它是如何學習我們人腦
達到這個能力呢
AI也可以判斷說
ate是指的是snake
而不會指flag
它的原理又是什麼呢
它這個原理就是說
首先它必須把每個英文字
先變成項量
比如說一開始這個a
這個2
它先變成項量
變成某個數字
比如說1、2、3
點點點
然後snake也是一樣
變成一個項量
比如說它變成
4、5、6
點點點
ate也是一樣
直接這樣複製比較快
ate也是一樣
也是可以這樣子
就是它也變成項量了
7、8、9
其他的單字就依此類推
這個the flag
because it was hungry
全部都是一樣變成項量
然後我們現在需要畫一個圖
就是說
我們每一個單字
會對每一個
比如說a這個單字
會對snake、ate
一直到最後
每一個單字做一個相關連
看誰的相關連
相關連最高
這個字就會跟那個字
有最大的相關連
比方說像我們這個it
要跟所有的英文字做相關連
結果它發現
it跟snake的相關連最高
所以就可以判斷說
it就是snake的意思
而it跟flag的相關連數值
低於snake跟it的關連
所以程式就可以判斷
it跟snake是
it才會代表snake
而不是代表flag
我們在電腦裡面
我們程式寫好之後
它可以顯示
顯示這樣子的一個圖
比方說
我把這個
就以這個來講
snake
每一個字排成直線
這樣排一次
it
我看這個好像格數不夠
又好像夠
snake、it、flag
然後又because
直接複製比較快
because
然後下個是it
這個it的同字
我們還是打字一下
it
然後下面是
was hungry
好
我們一樣
在這邊呢
也是一樣再打一樣的字
以它對應
但是它這樣
我們必須要做一個表格
看樣子
好
我們到下頁好了
這個長度太直
好
我們來
首先呢
我們插入表格一下
其實也不用插入表格
因為這個也是可以
這些字一定要往後一下才行
差不多這麼長就夠了吧
我們把這些字複製進去
這麼長
可能要長一點
差不多這樣就夠了
好
夠了
這個寬度
好
然後我們再複製一次這個
這樣子的話
我們就可以用圖解去解釋它了
好
我們剛剛不是問說
這個it到底是指snake還是flag嗎
再畫一下
先畫好
我們插入個箭頭
就可以表達這個概念了
很好
我們這樣子
我們每一個單字
都對每一個單字做相關聯的計算
待會會講它是怎麼如何計算的
現在先給大家一個概念
它是怎麼算出來的
就是它每一個英文單字都會對應
每一個英文單字
它的相關聯的值是多少就對了
比如說我們是以這個it來講
它會對應
要畫很多個
我們再畫一個就好了
其他e之類的
好
我們每一個英文單字
我們每一個英文單字都會做相關聯對應
a對a
snake對
就是a對a
a對snake
一直這樣對應下來
我這邊再畫一次這個
免得大家以為說
只有針對it
這it應該用
我們字會比較好
我們再畫一個來表示說
我們不是隻針對it
每個單字都是一樣
我們再舉一個例
我們的a就對a
然後我們就用別種顏色好了
然後呢
a又對snake
我們再畫一次就好
太多了
單字太多了
a對a
畫到這邊就好
我們只是舉例說明
這個a呢
也是一樣
有對應到的
對應到blog
我們是省略
因為太多了
我們這樣子最後畫出來
這個圖會很亂
我們這樣就很清晰了
只要知道說
這邊每個單字
都要產生互相的關聯值
好
在電腦裡面呢
他有個公式這樣計算
他的關聯值
我們發現
電腦發現就是說
it跟snake的關聯值最高
我用這個粗線表示
表示他的關聯值是很大的
粗線的話
用這個寬度來表示他的粗線
表示說他很粗
好
我們發現這個it跟snake的關聯性最高
所以他這個線特別粗
來表示說
他的關聯值
是高於什麼
高於flag值
你看flag這麼細
他的關聯值是很低的
每個關聯值都不一樣
所以他用這個
這個就是所謂的
注意力機制
Attention mechanism
注意力機制
現在講的就是注意力機制
他這樣計算出來
我們就可以知道
it指的是snake
而不會指flag
因為it跟snake的相關值
比it跟flag的相關值還要高
經過思索了一下
我覺得不需要
我們不需要再討論這個
Attention mechanism
他的數學
是怎麼算出來的
是怎麼用這個it
怎麼會指與snake相關聯的數值
是怎麼算出來的
我們在下一部影片
我們直接用程式來講解
會比較清楚
因為這些數學都已經在程式裡面
用公式呈現出來
所以我們根本不用去人腦去算
這個用人腦去算會很複雜的
很多矩陣
相乘又內積
又怎樣
乘然又轉換
矩陣又這樣顛倒
這樣轉換
我覺得你現在這樣子去講解他的話
又意義不大
因為我們已經把程式
就是
AI的
開展
程式
奇怪
今天
AI的程式
已經
有
程式
已經有程式庫
如何
計算
注意力機制
如何計算注意力
注意力
如何計算注意力機制
AI的Python程式
已經有了這個程式庫
他就幫我們計算了
我們根本不必去用手動計算
這個算他算很久很複雜
我們別小看這樣的一個英文句子
他的矩陣有多少
所以下一集的影片
將會使用
將會是
我們再舉一個就是翻譯程式
翻譯程式
我們就直接用他的程式庫去講解了
所以呢
我們今天
我們來
我們看這個右邊的論文
Attention is all unique
他最後結論就是說
他這個圖
就是這個Transformer的機制
我們已經
今天已經用一種很淺顯
很簡單的方法
讓大家瞭解
什麼叫做Transformer
事實上我們的目的已經達到了
就是這個原理
其他裡面都是一些程式庫
我們在程式裡面就可以
直接套用就可以執行了
不需要去用手去算
下一集
我們將使用翻譯程式來
我們用Transformer
來應用到翻譯程式
下一集
將使用
Transformer
將使用Transformer
來製作一個翻譯器
製作一個中音翻譯器
才對
中音翻譯器
好
我想各位時間也差不多了
我們今天就講到此
拜拜

