AI 視覺感知 CIS (CMOS Image Sensor) 的組成與架構 (影片有中英及多國語言文字幕)

513 次觀看·2026年4月15日 #百業分享堂 #百業分享堂
分享主題: 「AI 視覺感知 CIS (CMOS Image Sensor) 的組成與架構 」(影片有中英及多國語言文字幕)
分享人: Rober Liu / 台灣IC設計公司,影像系統軟體開發 / 台灣中央大學資訊工程學系碩士
Rober目前工作是專注於影像Camera系統規劃與整合。現任職於台灣科學園區IC設計公司,負責系統軟體的開發,確保晶片能順利在系統中運行.熟悉影像處理流程與系統架構設計,對於影像調整與影像品質分析也有相關經驗,具備跨部門溝通與專案執行能力,致力於提升影像產品效能與品質。
影片介紹:
主要是分享這幾年來在CIS領域學習的知識,本次分享主要是簡介關於CIS(CMOS Image Sensor)的核心架構,是由像素陣列(Pixel Array),類比數位轉換器(ADC),讀出電路組成.每一像素單元包含光電二極體(Photodiode)負責將光信號轉為電荷;隨後透過 ADC 進行在地化量化,實現高速並行處理,最後輸出變成數位影像.希望透過介紹讓大家對於CIS有更多的了解,科技日新月異,影像是現代計算與 AI 視覺感知不可或缺的硬體基石。
影片(有中英及多國語言文字幕)連結如下:
https://bit.ly/4clbN7x
聯絡方式:
email: [email protected]
影片(有中英及多國語言文字幕)連結如下:
https://bit.ly/4clbN7x
關於「百業分享堂」:
「百業分享堂」網址如下:
https://www.ganjingworld.com/@百業分享堂
「百業分享堂」頻道,如果希望以後在新的影片及短片上傳後得到通知,請按訂閱,如下連結。
https://bit.ly/3AGXwPA
以下是「百業分享堂粉絲團」的連結,你可以按追蹤,以後有新的貼文就會通知你
https://bit.ly/3wkZCCd
「百業分享堂」FB連結如下,歡迎參加與專家互動
https://bit.ly/3K6Ta7w
嗨大家好
我是Robert Liu
我目前
在
臺灣新竹科學園區工作
主要的工作是做
CMOS image sensor的系統
規劃
對的
感謝,
很感謝版主的邀請讓我今天來做這個分享與報告
那
希望對大家能夠有幫助
這是今天我要跟大家分享報告的一個overview
我會先大概講一下
image sensor是什麼
然後什麼是CMOS
那CMOS image sensor的architecture
然後呢
CMOS image
image sensor的architecture裡面包含了
的單元主要重要的
是什麼
然後最後,就是
我們的image sensor訊號出來之後,最後我們會經過一個
image backend的後製
process最後產生我們人眼可以看得到的照片
然後最後,再做一個
CIS image sensor的一個目前的
應用
的一個
報告,關於目前市場的應用
狀況
那我們
現在進入到主題,就是
image sensor是什麼image sensor其實就是
影像感測器
那影像感測器簡單講就是一雙
數位眼睛
那人是
有眼睛可以看得見東西
但是機器沒有
所以影像感測器其實
我們可以把他想成就是
機器的眼睛
那他的構造設計其實跟人的眼睛構造
大同小異
對那也是
有可以控制
亮度
可以控制感光度
可以控制進光量
等等的
一些相對應的構造
那人眼
有視網膜可以感光
那數位相機
其實他就是靠
image sensor
來做
感光
來做
感測的
工作
那以前的傳統相機他就是底片
所以
影像感測器的功能是什麼
其實就是
數位眼睛
當電腦(機器)的眼睛
然後,他的功能就是把光訊號變成電訊號然後再轉成
數位訊號
拿來做處理
那什麼是
CMOS呢?
其實CMOS是一種
半導體的製程的
製程的一個縮寫
他的中文其實是互補性氧化金屬半導體製程
那其實,是這樣的
這種半導體製程常常
被應用在影像
IC設計的感光元件中
所以久而久之他就變成一個感光元件的代名詞
其實同樣的技術.
也可以用來做CPU
或是記憶體
也可以做其他的感測器
只是說
CMOS image sensor(CIS)通常都是用這種
製程
所以他就變成久而久之變成他一個代名詞
那他好處是什麼低功耗,低成本
那CMOS sensor影像感測器,其實他
真正
如果要
指這個產品的話我們其實可以簡稱他叫CIS
就是CMOS image sensor的縮寫
這會比較
正確
那主要的
他這個CIS主要的區塊
其實會有
會有三大塊
第一個就是感光區
就是我們的畫素陣列
再來就是時序控制
然後ADC訊號處理單元
這個是做數位轉換的
那每一個區塊他的作用,其實是
這邊我大概有列出來主要區塊
就是比如說畫素陣列其實他就是主要負責感光
,將光
光訊號轉成電訊號
然後,
時序控制其實就是讀取這些
轉換完成電訊號,透過時序訊號控制電訊號的輸出和傳遞
那
ADC其實就是做訊號處理就是把類比的訊號轉成數位訊號
最後,我們會交給
後面的一個數位處理單元,我們一般常會聽到的DSP 或 ISP
然後由DSP來處理這些數位訊號,
Image Sensor讀取出來的數位訊號
那我們就可以來
做一些顏色亮度
清晰度
Noise等等的
各種影像處理的
Image process
那這邊,來講一下CMOS
Image Sensor Architecture
CMOS Image Sensor
CIS其實他就是這個
感測器其實他就是一個小型的系統
他分成
三個區塊前面有講到,
那第一個,就是Pixel Array
Pixel Array其實就是感光區
那我們下面這邊有一張示意圖,
其實,這個
這一大塊,其實就是,
我們所謂的感光區.
感光區是做什麼,感光區就是
就是會感測訊號,
就是收集外面的光訊號因為
Image Sensor在看外面的東西
他是
透過光感測
來感測外面的狀況
所以他就是一個
感光區
然後
感光區他會把
光訊號
轉成電訊號
所以你看圖上面會有一些電訊號
這每一個Pixel
每一個都會有電訊號
那感光區
感測完之後,我們當然是要把這一些電訊號給讀出來
所以會有一個readout的一個,
readout的一個circuit
那他就會把
一排一排一排的依序的把他讀出來
那讀出來之後,我們會再經過一個訊號放大器
然後最後送給這個
ADC的
訊號處理單元來做數位處理這樣子
大致上
目前的
CIS的感測器設計的
Architecture大致上都是會是長這樣子,
OK
接下來介紹,
CIS的這個晶片,其實他是一個垂直整合型
垂直整合型的晶片,他不是他除了剛剛前面我講的
那個他的Architecture以外其實他
從
CIS是一個從上到下還有不同的component組成,
最後才會你才會看到一個完整的
CMOS image sensor的晶片
如果你只有感光架構
只有那些感光區,那些資料其實是
沒有辦法達到
你想要的效果
你最後也沒有辦法產生出一張照片
那
這個整合型的晶片的他的垂直
垂直的
Component會是怎麼樣,
他基本上的最上層其實他會有一塊玻璃,會有一塊光學玻璃,
這個就是當然是讓光可以進來
那
光進來之後,
他接下來還會加一層
Micro lens,就是我們所謂的微型鏡頭
那加這個
的作用的主要是要讓你的光訊號更集中
因為他是打在每一個Pixel上面
他每個Pixel都會收集光訊號
所以讓他更集中
收集到更好的資料更多
的正準確的光訊號
這些光訊號進來以後,因為他是光他是沒有顏色的,
電子也沒有顏色,所以我們
之後,我們為了要讓電訊號可以分出顏色,
轉換成人也可以看到彩色的照片
我們會再加一層
彩色濾光片Color field
Color field其實會
有RGB這三個
不同的
彩色濾光片
那
一般來講這是業界標準的大概都是RGB
RGB這種
Bear pattern的濾光片
那比例上的就是綠色的會比較會多
如果我們把這個
四塊
當成一個Pixel的話
你就會看到有一個紅一個藍
但是有兩個綠
那原因是因為我們人眼對綠色的訊號會比較敏感
所以綠色的
綠色的訊號我們會多收集一點
最後,我們會把他蓋
在我們
Sensor的
感光陣列上
這樣就是一個
完整的
CIS
的一個
晶片
的組合
的組成這樣
那我們前面剛剛有講到,Pixel Array是一個感光的
區域.
那其實
他就一個Pixel,一個像素其實就是一個光偵測單元
那每個
Pixel,我們可以把他想成他就是可以接受光
產生電荷
轉成電子訊號
所以我們下面有這個示意圖
你就可以把他想成下面這個就是我們的感光區域每個Pixel
上面他有這個
Micro Lens
然後光進來之後他就會
照射
打在lens上面然後下面就會
產生電子訊號.
那每一個Pixel,其實就像一個小桶子
當你光越強產生電子越多
他的訊號就會有強有弱
那最後我們就會把他讀出來
然後再轉成
後續要處理
對應
的
數位訊號
感光區基本上
運作是這樣
接下來
我們剛剛前面有說到,
當我們的光轉成
電之後,
我們不是一直把他放那邊
我們會把他讀出來,
因為我們感測外面的資料是很大量的,
瞬息萬變的.
那CMOS Sensor,會有一個readout circuit(讀取電路)
這個電路
他就是來負責
把sensor
感光的感測到的資料
轉換成電子訊號後
他要把他讀出來
而且這個動作很快
那他基本上sensor讀取的方式他是逐行掃描的
每一個Pixel都有他對應的一個
位置控制器他可以選擇
要讀出哪一行哪一列的訊號
一般來講都是一排一排讀出來的
那由上而下
那讀取速度非常的快
人眼是看不出來,一列接一列
因為資料量其實
sensor在感測的時候其實資料是很多的,
因為
除非你今天是照一個靜態的東西如果,你今天是照動態的場景其實
資料量變化是非常大的
所以他讀取的速度是非常快的
他會是一直感測一直感測我們就一直讀這樣子
OK,接下來.
那我們這邊有一張圖我們來
解釋一下剛剛我們前面講的部分
這邊秀給大家看一下
這是在網路上找的資料
覺得還不錯分享給大家
基本上CMOS Sensor
sensor
readout的動作
就會像是這樣子
每一個感光Pixel當他
光感測以後產生電子
那產生之後,我們
就會透過readout的circuit去把他讀出來
他會依序一條一條
一個一個然後一列一列的去把他送出來
這一行
送到這邊
送出來
然後再透過這個放大機然後最後再送到ADC轉換
他就是依序一排一排一排這樣把他送出來
基本上
資料的傳遞就是這樣
OK
那前面,我們介紹了這個
(感光區,讀取電路)
Pixel Array的單元然後還有readout circuit的單元
最後單元,當然就是要講一下這個ADC
ADC其實就是, 訊號轉換
類比訊號把他轉成
數位訊號
那
每一個Pixel他接收了光之後產生的電荷
最後轉成電壓訊號
這都是類比的訊號
我們最後,還是要把他轉成
數位訊號
以便我們後面的一些數位處理
其實就簡單理解,就把訊號輸出0跟1的訊號
那ADC
類比轉數位這個應用,我們現在目前的生活上其實很多
的例子的應用,我們現在看到很多東西都叫數位化
我舉個例子比如說:像以前我們的溫度計是用水銀
刻度上這樣跑來跑去顯示溫度高低
那數位化後,我們現在的都是用數字顯示
其實這就是一個ADC
轉換的一個
應用….
一個方式
那ADC轉換當然他也有分
(解析度)粗跟細
如果你設計的解析bit數越多,你可以解析的資料當然越細
當然你的資料就會越
越完整
那下面這邊我有一個示意圖其實就是
你今天收集到的電壓是在哪一個level
他可以轉成一個數位的output
Output對應的code的數字.
這樣子對應數位輸出
基本上就是這樣子
就可以把
我們收集到的電訊號轉成
對應數位訊號
那個主要是
方便後面的image processing處理
OK(接下來)
那前面
介紹了這個CIS的一些architecture
的內容之後.
我們其實
image sensor感測器最主要的功能其實是將感受到的光
轉成電訊號
然後最後,轉換(光訊號/電訊號)
送出來數位訊號
但是,這樣的訊號其實最後,他還不足以成為一個
我們人眼看到的照片
因為他這樣子要集出來是一個raw data(電腦原始資料)
我們真正如果到時候去看到的
其實他會是一個黑白的
那最後,通常我們會再把這個
這個訊號,數位訊號再送給ISP
通常會再
有一個ISP處理單元
DSP/ISP 就是數位處理單元
他會負責接收這一些sensor
輸出的影像訊號,然後我們再來做影像處理
把他變成彩色的
然後把他產生不同
Format(格式)的圖片檔案.
方便我們存取傳輸
最後,
處理過…..
才會變成我們人眼看到的一張
色彩繽紛
一個
人眼可以平常看到的一張
數位照片這樣子.
接下來….
所以最後面,其實image
處理後,
backend最後,是由這個ISP處理
來處理這些事情
來處理這整個
系統的動作
而image sensor其實最主要的就是要把這些光電訊號轉換
最後原原本本的
轉成數位訊號
然後交給ISP來處理
OK(接下來)
那前面的大概都介紹完了這個
CIS的
整體架構
Architecture跟他的一個組成
那我們來
聊一下說現在目前CIS的應用是怎麼樣
那現在的數位化資料其實
很容易編輯
然後再加上
感測器ISP功能都提升很多,半導體製程
進步
所以創造出其實很多不同的影像
應用市場
以前的
CIS的產品可能僅僅就是數位相機
手機等等….
但是,其實現在越來越多的應用,不是著重在
拿來看照片,或是可以看到什麼
其實現在客戶
越來越多應用是
是給機器(電腦)看
然,拿來幫我們做一些生活上的改善.
比如說以前我們的
應用
影片/照片可能拿來做一些行車紀錄器
可以紀錄一些…..
行車安全的一些紀錄這樣子
但是現在
比較先進的可以用來做,車用先進輔助駕駛系統
如果加上AI的智能判斷加上
良好的演算法跟AI判斷,你可以讓他幫你駕駛
提示你有些危險的狀況
那以前
無人機
加上
CIS可能只是紀錄
或監控拍照片,拍風景
可是現在已經可以
應用到
可以去戰場上攻擊
突破
敵人的目標
這個是以前從來
都沒有的
然後
最多的現在就是應用在人工智慧上做智能判斷
Image sensor
當機器的眼睛
然後再加上AI判斷
AI的分析數位資料作後置處理
智能判斷軟體
我們就可以讓電腦(機器)
幫助我們
作處理動作
甚至可幫我們
做一些
Debug的動作
那接下來這個圖,是之前
有整理出來的各領域影像應用.
目前的
影像應用
相關的產品
那現在我們可以看到,其實越來越多的產品真的不是
用來只是單純給人
看照片或看影片
比如說像現在的
智慧駕駛系統
運用在自駕車上面
其實大家都明顯的感受到
對於人的那種行車安全.
真的是
幫助蠻大的
然後現在目前最夯的當然就是AI人工智慧模式
等於你就是透過這個
Camera,然後幫這個
電腦(機器)裝上眼睛
然後他就可以幫你做很多的判斷
像機器人開發
然後一些醫療輔助
所以現在的
CIS應用的
層面其實是越來越廣而且越來越多
尤其是AI這幾年
發展起來之後,
個人覺得
影像這一塊真的是越來越重要
那今天我的報告就到這邊
那大家如果有什麼問題呢?
我們就可以留言討論(email)
謝謝大家(感謝聆聽)