從零開始訓練一個大型語言模型 ｜ Stanford 公開課 ｜下集

大家好，我是 Jim，這裡是 AI Notebook。這是史丹佛公開課 CS336 系列的下集，也是最後一集。上集我們用一張餐巾紙，把訓練一個模型要花多少錢算了出來。中集我們把一個大到裝不進任何一台機器的模型，切開攤到幾千張顯示卡上面。可是走到這裡，我們手上這個東西，還只是一個很聰明，卻不太聽得懂人話的巨人。它讀遍了整個網路，什麼都會一點，但你問它一句話，它常常只是接著把你的句子往下寫，並不會真的回答你。這一集要走的，就是最後這一段路，怎麼把這個沉默的巨人，變成一個你能對話，也願意信任的助手。這段路其實只有兩件事，先看它吃的是什麼原料，再看它是怎麼被調教出來的。

📎 資料來源
• Stanford CS336, Spring 2025, Lecture 13: Data 1 https://www.youtube.com/watch?v=WePxmeXU1xg
• Stanford CS336, Spring 2025, Lecture 14: Data 2 https://www.youtube.com/watch?v=9Cd0THLS1t0
• Stanford CS336, Spring 2025, Lecture 15: Alignment - SFT / RLHF https://www.youtube.com/watch?v=Dfu7vC9jo4w
• Stanford CS336, Spring 2025, Lecture 16: Alignment - RL 1 https://www.youtube.com/watch?v=46f2QTDB08Q
• Stanford CS336, Spring 2025, Lecture 17: Alignment - RL 2 https://www.youtube.com/watch?v=JdGFdViaOJk
• Stanford CS336 course website (Spring 2025) https://stanford-cs336.github.io/spring2025/
• InstructGPT — Training language models to follow instructions with human feedback (NeurIPS 2022) https://arxiv.org/abs/2203.02155
• DPO — Direct Preference Optimization (NeurIPS 2023) https://arxiv.org/abs/2305.18290
• DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning (Nature, 2025) https://www.nature.com/articles/s41586-025-09422-z
• DeepSeekMath — GRPO 出處 https://arxiv.org/abs/2402.03300
• DataComp-LM (DCLM) — 240T pool 篩到 3.8T baseline https://www.datacomp.ai/dclm/
• Common Crawl — 每月網路快照 https://commoncrawl.org/

---
Jim AI Notebook | Note the Future
每日深度解析 AI 最新進展

#AI #CS336 #大語言模型 #史丹佛 #資料 #對齊

⏱ 章節
00:00 開場
00:49 資料才是護城河
02:41 網路的快照
04:36 淘金
07:31 版權大戰
08:35 AI 篩 AI
09:39 沉默的巨人
10:46 看著師傅做
13:36 高級資料的陷阱
14:37 請個評審
18:34 評審的陰影
20:30 給它一本習題本
23:21 那一天
27:25 aha 的兩種讀法
29:18 下一個十年