「沒有人知道為什麼行得通」《數學教你不犯錯》作者 Jordan Ellenberg：AI 骨子裡的數學簡單到不該有用

原素材（NOVA PBS《Particles of Thought》（訪 Jordan Ellenberg），76 分 30 秒）：https://www.youtube.com/watch?v=D4SG91asfwk

「沒有人知道為什麼它行得通。」
Jordan Ellenberg 是威斯康辛大學的數論學家，也是暢銷書《數學教你不犯錯》的作者。2023 年底 Google DeepMind 那篇登上 Nature 的論文，讓語言模型在一道數學難題上找到了人類還不知道的解，他就在作者名單上。這是今年八月美國公共電視 NOVA 的訪談，主持人是一位天文物理學家。

他先用 30 秒講完史上每一個 AI 系統是怎麼訓練出來的：給它一堆例子，讓它自己調參數，調到輸出跟你要的差不多。他說這套東西簡單到不該有用，可是它就是有用，而且沒有人知道為什麼。

再來是底下的數學。函數只吃數字不吃字，所以語言模型裡有一層專門把每個字換成幾百個數字，變成高維空間裡的一個點。他說這個想法 1950 年代就有人做過，只是當年是手工的。兩個詞像不像，量的是它們的夾角；一個字接一個字寫下去，靠的是數學裡一個老觀念叫隨機漫步。他還提到 Shannon 1948 年那篇資訊論的論文，裡面做的事就是今天語言模型在做的事。

最後是那個大問題：AI 算不算自己做出了發現。他反問，望遠鏡算不算？問題是我們問的，方向是我們決定的。他說 computer 這個字本來指的是人，一種靠計算領薪水的職業，機器接手之後，那件事就不再叫科學了。他不覺得這是壞事。

章節
00:00 他是誰：跟 DeepMind 一起發過 Nature 的數論學家
00:27 30 秒講完每一個 AI 是怎麼訓練出來的
03:11 每個字都是高維空間裡的一個點
06:17 語言模型的點子，1948 年就有了
09:07 望遠鏡算不算自己做出發現
10:49 腦袋變懶的未來，他為什麼還是不悲觀