為甚麼AI大模型訓練離不開GPU

一說到顯卡,大多數人第一反應就是,這不是給打遊戲用的嗎? 其實顯卡除了用於加速圖形渲染外,還有一個王炸功能, 那就是它的GPU可以作爲AI芯片使用。 這期視頻我們就重點講解顯卡的AI芯片功能。 首先我們先來了解一下顯卡。 打開顯卡,裏面是一塊PCB電路板,電路板上最重要的元件就是這塊GPU芯片。 跟CPU芯片一樣,GPU芯片內部也集成了上百億的晶體管。 但是不同的是,GPU內部的核心數能達到上萬個, 而CPU一般只有少數的幾個核心。 爲什麼GPU的核心數需要這麼多呢? 這就跟GPU處理的任務有關係了。 我們以3D遊戲爲例,你在遊戲中看到的任何畫面,都是通過GPU渲染出來的。 遊戲裏面的每一個物體,都是由無數個小三角形相互連接組成。 每個小三角形擁有三個頂點,每個頂點在3D世界都有相應的座標值。 根據每個三角形在空間中的位置進行連線, 我們就能組合成一個3D模型。 然後再根據3D模型,給每個三角形貼上相應的皮膚, 一個3D模型就渲染出來了。 整個過程看似簡單,但是計算機處理起來卻非常複雜。 在現實世界中,人移動時,眼睛看到的物體是不斷變化的。 爲了模擬眼睛的效果, 在計算機圖形學中,是使用一個攝像機來代替眼睛的。 那攝像機看到一個物體時, 是如何將它渲染到一個2D視圖屏幕上的呢? 首先物體在模型空間中,爲了保持自己的形態, 自身擁有一系列的空間座標信息, 想要知道物體在這個世界上是什麼樣的, 就需要將物體從模型空間轉換到世界空間, 由於人眼睛看到的物體是不斷變化的, 所以物體在世界的座標還需要根據攝像機的移動進行變化, 因此世界空間最終還要轉化到攝像機空間, 最後攝像機空間會轉化爲視圖,從而顯示到屏幕。 重點來了,不同的空間是如何進行轉換的呢? 我們以模型的一個頂點座標爲例, 當它轉移到世界空間時,自身信息會發生變化, 我們可以獲取到模型變化時的位置,比例和旋轉值, 然後再轉移到攝像機空間, 同樣的我們也可以獲取到攝像機的座標和旋轉值的變化, 最後將這些座標,比例和旋轉值, 放入矩陣轉換中進行計算, 矩陣轉換聽起來高大上, 其實就是對這些值進行小學生都會的加法和乘法運算, 最終得到一個對應2D屏幕的XYZ值, 這只是對其中的一個頂點進行轉換, 但是在遊戲中,往往場景都非常的複雜, 動輒十幾萬,甚至上百萬個頂點需要並行計算, 但是這些大量的簡單的並行計算任務, 是完全沒有必要消耗CPU的計算資源的, 所以爲了解放CPU, 就誕生了專門爲簡單的並行計算而生的GPU, 它擁有成千上萬個核心, 當把大量的計算任務丟給GPU後, GPU會將這些任務, 立即分給核心上的計算邏輯單元進行計算, 從而快速得到輸出結果, 因此你在玩遊戲時, 感受不到任何延遲, 那GPU是如何做到大規模並行計算的呢? 這裏有100個計算任務需要GPU處理, 每個任務爲一個線程, 最理想的狀態就是將這100個線程任務, 分別給100個GPU核心進行處理, 問題是,GPU處理的都是海量的計算任務, 如果有100萬個任務要處理, 就需要100萬個核心, 這顯然是不現實的, 但是如果我們將100萬個任務, 發送給1000個GPU核心去處理, 可以看到整個分配過程又會極其複雜, 爲了方便, 我們將1000個GPU核心, 每100個一組, 分成10組, 再進行任務分配就會簡單很多, 對應的, 100萬個線程任務我們也可以進行分組, 每1000個任務一組, 分成1000組, 然後再進行分配, 分配過程就更簡單了, 但是問題是, 每組線程任務有1000個, 對應的處理核心只有100個, 爲了進一步優化, 我們可以將每組的1000個線程任務繼續進行分組, 每100個一組, 分成10組, 這樣100個線程任務, 就能對應100個核心進行處理了, GPU就是以這種極其高效的任務分配, 來提供高性能的計算服務的, 其實說到這裏, GPU還都是爲了圖形渲染而服務的, 那它是如何演變成AI芯片的呢? 這跟AI浪潮的來臨有很大的關係, AI模型需要不停地進行大量的並行計算, 特別是矩陣計算, 以此來完成模型的深度學習和快速訓練, 而GPU剛好契合了AI大模型計算的需求, 但是其他廠商也生產了很多專業的AI芯片, 爲什麼就英偉達能成爲AI領域的天選之子呢? 這就不得不說GPU的CUDA, CUDA纔是英偉達能起飛的關鍵, 爲了構建通用的並行計算架構, 英偉達早在2007年就推出了 CUDA並行計算平臺和編程模型, 並且之後的每一代GPU都支持CUDA, 有了CUDA後, 任何人都可以在這個平臺來進行開發, 開發者可以隨意調用GPU強大的計算能力, 來滿足自己的計算需求, 比如你編寫了一段這樣的CUDA代碼, 當代碼發送到GPU運行後, GPU會從內存拿到相關的數據, 接着CPU就會告訴GPU並行執行該程序, 那麼GPU就會按照需求, 自動將任務分成100個線程, 然後分配給100個核心去計算執行, 至於具體如何分配線程, 程序員完全不用去關心, 但是CUDA在當時推出時並不吃香, 因爲顯卡當時還僅僅用於圖形加速渲染, CUDA的商業價值並沒有顯現, 這也使得很多公司並沒有下場來做類似CUDA的平臺, 但是隨着AI的爆發, 開發者可以通過CUDA調用GPU強大計算能力的優勢, 以及本身GPU芯片性能過硬, 一下子吸引了大量的開發者湧入CUDA平臺, 其中最有名的就是ChatGPT, ChatGPT使用了上萬顆的英偉達GPU來訓練自己的AI模型, 這也使得ChatGPT一舉成爲全球最有名的AI大模型, CUDA也成爲了英偉達最大最深的護城河, 幾乎全球所有的大型科技公司都在通過CUDA來使用英偉達的GPU, 市場份額接近90%, 這也爲英偉達構建了一個牢不可破的巨大生態, 另外英偉達每年還在不斷的推出打破摩爾定律的超級AI芯片, 使得英偉達領頭羊的地位還在不停的擴大。 那麼問題來了, 你覺得想要突破英偉達的護城河, 國產GPU的出路到底在哪裏呢?