類神經網路原理
凌榮明
1粉絲
9 次觀看·2025年6月1日
類神經網路原理
這是一個3
它寫得蠢蠢欲絕 解析度非常低
28x28的屏幕
但你的腦子無法認出它是一個3
我想讓你瞭解一下
腦子有多瘋狂地不停地做這件事
我意思是,這個,這個和這個
也可以被認出為3
即使每個屏幕的特定值
從一個圖片到下一個都很不一樣
你眼睛中射出的那些特殊的光敏感細胞
你看到的這三個
與你看到的這三個不同
但有些東西在你那瘋狂聰明的視覺核心中
解決了它們代表著相同的想法
同時同時也認出了其他圖片
作為它們獨特的想法
但如果我告訴你
嘿,坐下來寫給我一個程式
使用一個28x28的屏幕
從0到10之間輸出一個數字
告訴你它認為的數字是甚麼
這項任務從幽默的複雜到驚人的困難
除了你已經活在一座石頭下
我認為我不需要鼓勵
機器學習和人工網絡的重要性和關鍵性
到現在和未來
但我這裡想展示
一個人工網絡的真實性
假設沒有背景
並幫助你觀察它在做甚麼
不僅是一個謎語
也只是一塊數學
我的希望是你離開後
感覺到這個結構本身已經被鼓勵
感覺到你瞭解它是甚麼意思
當你讀或聽到一個人工網絡
所謂的學習
這個視頻只會關注
這個結構本身
而下一個視頻會討論學習
我們將組織一個人工網絡
可以學習認識手寫的數字
這是一個相對經典的例子
為了介紹這個話題
我很高興與Status Quo一起
因為在這兩個視頻的結尾
我想向你提供幾個好資料
讓你學習得更多
你可以下載這個程式
並在你的電腦上遊玩
有許多種類型的人工網絡
近年來
研究對於這些種類的研究
但在這兩個介紹的視頻中
你和我只會看看
最簡單的普通的蜜糖形狀
沒有添加任何技巧
這是一個必須的前提
來瞭解任何更有力的
現代種類
相信我
它仍然有充足的複雜性
讓我們包圍我們的思維
但即使是最簡單的形狀
它也能學會認識手寫的數字
這是一個蠻酷的事情
讓一個電腦能夠做到
同時
你會看到它落後了
幾個我們可能有的希望
正如名字所示
人工網絡是由腦子啟發的
但讓我們分析一下
那些是 neuron
並且在什麼意義上
它們是連接在一起的
現在
當我說 neuron
我只想要你思考的
是一個有數字的東西
特別是一個 0 和 1 之間的數字
實際上它們並不是那麼多
例如
電腦開始時
會有一羣 neuron
適應每個 input 圖中的 28x28 pixels
共有 784 neurons
每個 neuron 都有一個數字
代表該 pixel 的灰色數值
從 0 給黑色 pixel
到 1 給白色 pixel
這個數字在 neuron 裡面
叫做 activation
你可以想像到的畫面是
每個 neuron 都會亮起來
當 activation 是一個高的數字
所以這些 784 neurons
都是我們網絡的第一層
現在跳到最後一層
這裡有 10 neurons
每個都代表一個數字
這些 neuron 的 activation
又是一個數字
是 0 和 1 之間的數字
代表了
系統認為一個畫面
和一個數字相符
還有幾層之間
叫做隱藏層
在這段時間
它們只是一個大疑問
在地球上
如何認識數字
才能處理
在這個網絡中
我選擇了兩層隱藏層
每層有 16 neurons
說實話
這是一個隨便的選擇
坦白說
我選擇了兩層
因為我想在一瞬間
啟動這個結構
16
只是一個不錯的數字
適合在螢幕上
實際上
有很多空間
來實驗
這個結構的特定結構
網絡的運行方式
啟動在一層
決定了下層的啟動
當然
網絡的核心
作為一個資訊處理機制
是如何
從一層啟動到下層
啟動到下一層
它是類似
在生物網絡中的 neuron
某些 neuron 發射的羣體
會引發其他羣體發射
現在我所展示的網絡
已經被訓練
去認識數字
讓我給大家看看
我的意思
意思是
當你在一張圖片中
發射出
所有的 784 個 neuron
在一層的輸出
根據每個 pixel 的光亮度
那些啟動的模式
會造成某些
非常特定的模式
在下一層
這會造成某些模式
在下一層
最後會造成某些模式
在輸出的層面
而最亮的 neuron
在輸出的層面
是網絡的選擇
所以說
這張圖片代表的是哪個數字
在研究
一個層面影響下一個層面
或是訓練的效果
我們來談談
為什麼這樣一個層面的結構
會有這樣的理由
讓它能夠有智慧的行動
我們在這裡期待什麼
那些中層層面
會做什麼
當你或我認識數字時
我們會組合不同的元素
一個 9 有一個圓弧
但它和另一個圓弧結合在下面
一個 4 基本上是分成三個特定的線條
等等
在一個完美的世界
我們希望每個 neuron
在第二層到最後層
都適合某個元素
任何時候你將圖片輸入
譬如說一個圓弧
譬如說一個 9 或一個 8
某個特定的 neuron
它的啟動會接近 1
我不是說這個特定的圓弧
我希望
任何一種通常圓弧的圖片
向上
可以解決這個 neuron
這樣
從第三層到最後層
只需要學會
哪個元素的組合
適合哪個數字
當然
這就讓問題越來越難了
因為你如何認識這些元素
甚至學會
哪些元素適合哪些
我還沒說過
一個層面影響下一個層面
但跟著我玩一下
認識一個圓弧
也可能會導致一些問題
一種合理的方法
就是首先認識
它們的各個小邊
讓它們向上
相同的
一條長線
像是數字 1 或 4 或 7
這只是一個長邊
或許你可以把它
視為幾個小邊的某種圖案
所以
也許
我們希望每個 neuron
在網路的第二層
都適合各個相關的小邊
也許
當像是這個圖案
它會發光
所有與 8-10 個小邊相關的 neuron
也會發光
所有與上游
和長直線相關的 neuron
也會發光
所有與 9 個 neuron 相關的 neuron
這是我們的最後的網路
到底會做什麼
是另一個問題
我會回答這個問題
當我們學會網路
但這是我們可能會擁有的希望
一種目標
與這種層面的結構
此外
你可以想像
如何能夠探測邊緣
和這種圖案
會非常有用
對於其他圖像認證的任務
甚至遠超於圖像認證
有各種聰明的事情
你可能想做
將它們分成層層的階段
例如碎碎念
牽涉到收集原始聲音
並選取不同的聲音
並將它們結合
來製作某些詞語
並將它們結合來形成詞語
並將它們結合來製作句子
和更多的細節思考等等
但回到
這實際上是如何運作的
你現在可以想像
如何在一個層面上的啟動
可以決定下一個層面的啟動
目標是要有某種機制
可以理想地將碎片融合成邊緣
或邊緣融入圖案
或圖案融入數字
而來看一個非常具體的例子
我們說希望
是讓一個特別的 neuron
在第二層
來探測
圖像是否有邊緣
在這個區域
問題在於
該網絡有哪些規格
該網絡有哪些鍵盤和鍵盤
讓你能夠改變
讓它能夠表現出
這個圖案
或任何其他碎片圖案
或幾個邊緣的圖案
可以做一個圓圈
和其他類似的東西
但我們會安排一個重量
在每一個 neuron 之間的連接
和第一層的 neuron
這些重量只是數字
然後
從第一層取出所有的啟動
然後根據這些重量
來計算它的重量數
我認為這些重量
是被組織成自己的小圈子
我會使用綠色的碎片
來顯示正面重量
和紅色的碎片來顯示負面重量
這個碎片的亮度
是重量的重量值
如果我們把所有碎片0的重量
除了一些正面重量
在我們關心的這個區域
那麼把所有碎片的重量數
只會增加碎片的重量
在我們關心的這個區域
如果你想知道
這裡有沒有邊緣
你可能會有一些負面重量
和周圍的碎片有關
那麼重量是最大
當中間的碎片是亮的
但周圍的碎片是暗的
當你這樣計算重量
你可能會得到任何數字
但對於這個網絡
我們想要的活動
是0和1之間有一定的價值
所以一件很常見的事
就是把這個重量數
泵進某個功能
把真正的數字線
泵進0和1之間的範圍
而這個功能的常見功能
叫做Sigmoid Function
也叫做Logistic Curve
基本上非常負面的輸出
接近0
非常正面的輸出接近1
它就會不斷增加
在0的輸出周圍
所以這個 neuron 的啟動
基本上是一個測量
重量數的正面數值
但也許你不希望
重量數的 neuron 會亮起來
當重量數大於 0
也許你只希望它會啟動
當重量數大於 10
也就是說
你希望有些偏見
讓它不啟動
那麼我們會加上
某個數字
例如-10
到這個重量數
再將它輸入
Sigmoid Function
這個新增的數字
叫做 Bias
重量數告訴你
這個 neuron 在第二層
啟動了什麼樣的 pixel 模式
而 Bias 告訴你
重量數必須有多高
在 neuron 啟動之前
而這只是一個 neuron
每一個 neuron 在這層
都會連接到
所有的 784 pixel neuron
在第一層
而每一個 784 pixel neuron
都會有一個重量
同時每一個 neuron 都會有一個 bias
就是一個數字
你將它輸入到重量數
再將它輸入到 Sigmoid
這實在太多了
在這 16 個 neuron 的隱藏層
總共有 784 x 16 重量
加上 16 個 bias
而這只是
第一層和第二層的連接
其他層的連接
也有很多重量和 bias 與它們相關
總結來說
這個網絡總共有
13,000 個重量和 bias
13,000 個鍵盤和鍵盤
可以改變
讓這個網絡行動不同的方式
所以當我們談論學習
我們所指的
就是讓電腦找到一個合適的設定
對於這些多多的數字
讓它能夠手動解決問題
有一個讓人感到驚訝的思考實驗
就是試著想像坐下來
把所有重量和 bias 都設定在手上
故意改變數字
讓第二層選擇邊緣
第三層選擇圖案等等
我個人覺得這很滿意
而不是把網絡當成一個黑箱
因為當網絡不如預期般行動
如果你建立了一些關係
跟那些重量和 bias 的意義
你會有一個開始位置
試著改變這個結構
或者當網絡行動
但不如預期般行動
探索重量和 bias 的做法
是一個好方法挑戰你的猜測
並且展示所有可能的解決方案
順帶一提
這個功能
有點困難寫下來
你不認同嗎
所以讓我給你展示一個
更加粗糙的方法
讓這些連接都能夠代表
這就是你會看到的
如果你想了解更多關於網絡
組織所有從一層開始的啟動
成為一個圖框
然後組織所有重量成為一個圖框
每一層的圖框
都符合一層的連接
和下一層的一個特定的 neuron
這意味著
把第一層啟動的重量總數
根據這些重量
符合一種
所謂的 matrix vector product
我們左邊這裡的所有東西
順帶一提
很多的機械學
只限於有良好的理解
linear algebra
所以如果你們想要一個
好的視覺理解
關於 matrices
和什麼是 matrix vector
多次複製
請看看我做的系列
關於 linear algebra
尤其是第三章
回到我們的表現
而不是說要把偏向
每一個這些價值
獨立地添加
我們把它代表
通過組織所有的偏向
成為一個數值
並將整個數值
添加到前面的
matrix vector product
然後作為最後一步
我會包裹一個 sigmoid
在外面這裡
而這應該代表
你將使用
這個 sigmoid 功能
對每一個特定的元素
所造成的數值內部
當你寫下這個重量 matrix
和這些數值
作為自己的標誌
你可以通過
全面的啟動
從一層到下一層
在一個非常緊繃
和可愛的小表情
這使得相關的密碼
變得更簡單
也更快
因為許多圖書館
使用重量 matrix 去
最佳化它們
記得我之前說過
這些元素只是
數字的東西嗎
當然
它們的具體數字
取決於你所投入的圖像
所以其實更正確的
是將每個元素
視作一個功能
一個元素將所有元素
在前面的層次中
排列出一個數字
之間的0和1
實際上整個網絡
只是一個功能
一個元素將
784個數字
作為輸出
並排列出
10個數字作為輸出
這是一個非常複雜的功能
一個功能包含了
13,000個元素
這些重量和偏差的形狀
在某些圖案中
並且包括了
多個 matrix vector 產品
和這個
sigmoid squishification 功能
但它只是一個功能
無論如何
而在某種程度上
它看起來有點複雜
如果它是更簡單的
我們有什麼希望
它可以承擔
認出數字的挑戰
而它如何承擔這個挑戰
這個網絡如何學會
適當的重量和偏差
只是靠看數據
這就是我下一個視頻
我還會研究
這個網絡
究竟在做什麼
現在的重點
我想我應該說
訂閱了
為了留意
那個視頻
或任何新的視頻
但實際上
大多數人
都沒有收到
YouTube 的通知
對吧
或許更誠實地說
我應該說
訂閱了
讓網絡中的
YouTube 推薦系統
被認為
你希望從這個頻道
被推薦給你
無論如何
請多多關注
非常感謝
所有支持
Patreon 的視頻
我最近的可能性系列
但我會在這個項目後
所以粉絲們
請多多關注
這段視頻
在這裡
我帶來了
Lisha Lee
她的博士生涯
是在深入學習的
理論上的研究者
她目前在
一家投資公司
叫做 Amplify Partners
他們很友善地提供了
這段視頻的資金
所以Lisha
我想我們應該
盡快提到的一件事
就是這個
Sigmoid 功能
據我瞭解
早期的網絡
是用來壓迫
相關的數量
在0和1之間的範圍內
你知道
被這種生物分析的
雖然雖然
但相對較少的
但現代的網絡
其實不再使用Sigmoid
對
那是舊式的
對吧
對
或者說
ReLU 似乎
比訓練更容易
ReLU
ReLU 代表
直循環系統
是的
它是一種
功能
在0和1之間
在你在視頻中
0和1之間
而我認為
它所引起的
啟發是
一部分的生物分析
是如何
將細胞
啟動或不啟動
如果它超越了
一定的範圍
它會成為
身體的功能
但如果它
不啟動
它就不會啟動
所以會是0
這是一個簡單的解釋
使用Sigmoid
並沒有幫助訓練
或者是
在某個時候
然後人們
只是嘗試ReLU
而它
很幸運地
非常適合
這些
非常
深奧的
網絡
好的
謝謝Alicia
