陪我一起用AI來研究科學/寫英文論文(第1集) Join me in using AI to study science/write an English research paper (Part 1) 關注
577 次觀看 · 2025年5月7日
從語言理解到物理執行:連接自然語言處理與機器人模擬 兩個 Python 程式:第一個程式使用 Tkinter 建立圖形介面,並透過 PyTorch 實現了一個基於 Seq2Seq 模型(含注意力機制)的英文到中文翻譯器;第二個程式則利用 Pygame 建立了一個簡單的機器手臂模擬,讓機械爪可以按照預設邏輯抓取並放置物體。 這兩個程式看似獨立,一個處理抽象的語言,另一個模擬具體的物理動作。然而,它們正是建構一個更複雜系統的基礎:使用自然語言來控制機器人執行任務。 第一個程式的核心在於「語言的理解與生成」:它學習將一個序列(英文句子)轉換為另一個序列(中文句子)。在這個過程中,特別是注意力機制,展示了模型如何在處理輸出時,去「關注」輸入中的相關部分。 第二個程式則是一個「物理環境中的動作執行者」。它接收指令(目前是寫死的內部狀態),並在二維空間中移動機械爪來達成目標。 將兩者結合的切入點在於:我們可以把第二個程式中頂部顯示的文字指令(例如:「Pick up the ball on the ground and place it on the table」)視為輸入,而機器手臂的動作序列(移動到球上方、下降、抓取、上升、移動到桌子上方、下降、釋放、返回)視為輸出。 受到第一個程式語言處理能力的啟發,更深入的研究方向便是建立一個中間層或一個新的模型,這個模型不再是進行語言翻譯,而是將自然語言的文字指令解讀為一系列可由機器手臂模擬程式執行的低階動作序列。 這意味著我們需要: 語言理解模組: 利用類似第一個程式中的序列模型概念(可能需要修改架構和訓練數據),來解析指令中的關鍵資訊,例如:動詞("Pick up", "place")、物體("the ball", "the robot")、起始位置("on the ground")、目標位置("on the table")。 任務規劃與動作生成: 根據語言理解模組解析出的資訊,規劃出達成任務所需的步驟序列(例如:去目標物體位置 -> 抓取 -> 去目標放置位置 -> 釋放)。這個步驟序列就是機器手臂模擬程式所需的輸入。 機器人控制接口: 修改或擴展第二個程式的 RoboticArmSimulation 類別,使其不再僅僅按照寫死的狀態機運動,而是能夠接收並執行由任務規劃模組生成的動作指令(例如:move_to(x, y), grasp(), release())。 第一個程式提供的是處理序列數據(特別是文字)的思維和技術框架,而第二個程式則提供了物理模擬環境和可執行的動作。兩者的結合,正是從「理解語言」到「控制物理實體」的重要一步,是「語言控制機器人」(Language-Conditioned Robotics) 或「具身智慧」(Embodied AI) 領域入門研究的絕佳起點。您可以開始思考如何訓練一個模型,讓它看懂「Pick up the ball」這句話後,能夠輸出讓模擬機械爪移動到球位置的指令。
評論 文字稿
今天我們就是要寫一個論文
還有研究科學
我們再做一次
這個
我們輸入英文句子
然後機器人
電腦程式能夠理解
這個英文句子的文法
然後進了
依據我們英文句子的
句子的意思呢
來移動
各種物體
這邊有一個機器人
還有一個機械爪
機器人的玩具
還有一顆球
他們有一個桌子
我們再看一下
我們說
第二句話
就是說當我們說
這句英文
請把地上的機器人
拿起來
並且把它放在桌上
然後呢
我們的機器爪
就會依據
這句英文句子
去分析它的文法
最後理解我們英文的意思
理解我們人類語言的意思
就可以
依據我們的
人類的那個
語言
這個機器人的手臂呢
就會
去做這些動作
好
我們在寫這篇論文之前呢
我們要做一些
先從最簡單的
電腦
那個AI學習人類語言
用那個我們
之前的影片
常講的叫做
Attention Mechanism
就是注意力機制
來讓電腦瞭解
我們先從那邊開始研究
然後邊寫英文論文呢
邊執行程式
邊用AI
詢問AI
讓AI幫我們
寫程式
哈囉
現在呢我們要來
練習了
就是用我們的Cursor
那個
編譯器
這個Cursor的AI編譯器
來寫一個
應用
來寫一個AI應用
我們試試看
我們要說的文字貼在這邊
我說
寫一個簡化的
序列到序列模型
使用注意力機制
Attention
將英文句子
I saw you yesterday
翻譯成繁體中文
我昨天看到你
看我們的
Cursor Coder
會不會幫我們寫出
程式出來
然後我們就按
執行按Enter
就可以了
寫出來了
還在產生
我們大致看一下已經完畢了
他說要裝這些eLite
這些eLite我們
是已經裝了我們看看他這eLite有哪些
他已經幫你
幫你新增這個requirements
就是eLite裡面有哪些
talk
這個我在電腦上都安裝了
所以我們就不用安裝
如果你沒有安裝這兩個
程式庫的話
那你就要
執行這個命令直接按run就可以
他說
按run之後然後執行
就是執行
這個程式那我們現在
先要怎樣
接受他
這個程式
我們先把他
檢視一下
我們接受他這些highlight
這個背景的圖
顏色才會不見
accept all
表示我們接受了
他說我們來執行這個程式
看你是要按這邊
三角形按鈕還是說
按這邊run也都可以
按這邊看看run
好執行
我們看看有什麼問題
他這個執行
出現了一些錯誤
run time error
就是他設計那個
人間網路
的時候出現這個參數
沒辦法
匹配之類
我們不用管那麼多
我們就直接從這個traceback
這一行一直到
他出錯
完畢的這一行
然後這邊有個add to chain
add to chain按進去
add to chain按進去之後
他就會貼到這邊來告訴你說
line 2到42
42行
就是有錯誤的地方
我們就說
那麼你把我
這個問題給解決吧
我們就隨便做一個fix it
看看會怎樣
好他正在解決這個問題
他說I see the issue now
你看
不見了
太快了
他還在產生
他的思想
你要看他的思考內容
可以按這邊就會看到我剛才說的
I see the issue now
我看到問題了
888
不用看這些內容了
除非有必要
他這邊說我來修復
模型中的錯誤
主要問題是編碼器輸出
和解碼器輸入之間的
維度不匹配讓我修改
好我們就等一下吧
直接把它
刪除好了
已經修改了重新執行
還在跑
他說讓我重新
嘗試修復代碼
他遇到了還是遇到
錯誤但是他會自動判斷
所以他說讓我換
另一種方式
讓他去修改吧
我們今天就是要練習
如何用AI
Code的AI編譯器
來幫我們
設計程式
我們只要
詢問AI
就可以得到我們要的內容
他說已經完畢了
這次已經
接受
這次我們改用
這邊三角形這邊執行
出來了他正在訓練
訓練中
我昨天看到你
翻譯出來了
所以我們
這個程式
我們看一下我們剛
初問的問題是什麼
我們說寫一個簡化的
序列到序列
sequence to sequence模型
使用注意力機制
Attention Mechanism
將英文句子I saw you yesterday
翻譯成中文
我昨天看到你
他這個
輸出內容
他雖然已經成功了
太簡單我們現在把
讓程式給他複雜一點
讓他輸出
漂亮一點
不要只是這樣子一個內容
就直接到最後面
就直接到這邊繼續
跟他說
我們這次用英文詢問也可以
請
怎樣呢
Give me
App
Contain
Window
顯示一個視窗
要這樣子只是一個
文字我們叫他顯示視窗
Contain a window
Training
Process
Input
Output
Input
Output
Input
大概這樣子
叫他做一個
視窗程式
不要這樣說
只是用這樣文字
而且他沒有把
輸入的文字給輸出來
讓我們對比一下
我現在叫他
做一個修正
讓我們的輸出結果看起來
更美觀
然後我們就可以繼續
研究來寫我們的論文
他是用Tinder
他用Tinder的
GUI
介面
介面的程式庫
我們需不需要
理解Tinder呢
不需要
因為我們今天用的是
AI Coder
或是AI也可以
他就會幫我們設計好
我們只要知道
我們要詢問的內容
是什麼
高速AI
我們看看我們能不能
這樣子就產生一個
小型的結果
在一步一步的擴展下去
變成
讓我們的程式
輸出變得更美觀
變得更有創意
然後我們就可以拿來寫論文
創造出科學的理論
這就是我們今天的主題
我們要利用AI
怎麼樣
AI來研究科學
來寫論文
幫我們寫程式
輸出一個成果
讓我們有一種
心靈的享受
也順便練習我們的
思考力
這邊已經完畢了
這個Step All
就可以了
我們把這個關掉
執行看看
他現在有兩個了
我看一下這邊有什麼說明
他現在增加了另外一個程式
叫Translator APP
他是告訴你說
要先執行這個
Translator APP.py
我們
這個應用提供了
一個直觀的方式
來觀察
Sequence to Sequence
點擊開始訓練按鈕
在訓練過程中
損失
函數會下降
一大堆
沒錯我們就執行這個看看
按Run
我們出現一個
視窗程式了
這樣就漂亮多了
他說
把我們輸入的句子
I saw you yesterday
我們先用這個簡單的英文句子
來翻譯
因為這個簡單的英文句子
我們英文把yesterday
放在句尾
可是我們中文卻把yesterday
放在動詞的前面
我們昨天看到英文
I saw
yesterday
我們在測試說
我們的程式
他是怎麼樣去判斷
可以瞭解中英文的排序
來幫我們翻譯
他的原理是什麼
翻譯結果將顯示在這裡
我們按翻譯
還要說
開始訓練
翻譯結果出來了
我昨天看到你
這是他的損失
損失函數的
一些數值一直下降
就是他的損失
Loss的值越少
他就翻譯的
就越精確
一直到這邊
就是他的四代
到了這個第
大概是15世代的時候
就開始穩定下來了
他這注意力
全中
好很不錯
我們現在
我們看到這邊有
這個好像
字型好像沒辦法顯示出來
我們問他
如何把這個字型顯示出來
這個字型一格一格的
好像怪怪的
好我們就直接
就把他關掉
關掉
修改一下
我就說
怎樣
There
Is
Fun
Problem
The
Loss
Fact
修改一下
看他聽得懂嗎
我來修復圖表
上的字體問題
他聽得懂我的意思
他正在修改中
我們剛纔看到那個
方格方格的地方
可能是字型的問題
修改就會顯示出
那方格方格是顯示什麼字呢
就會顯示出
正確的字
好
完畢
我們再執行一次
看看
還是有啊
並沒有解決
看看是什麼原因
就是說
這次你用中文也可以
我
還是
發現
字體
不正確
顯示出
好的
方塊
好
看他會不會修正
這次是用中文來發問
按來字體
我會修改在
使用通用方式解決
中文字體顯示的方塊問題
好
再修改一下
快要完畢了
這個地方
停住就是完成了
等一下
網路上
可能出現問題
我們再按一下
好
完畢
我們再執行一次
看看
竟然不見了
又回到前面的
好奇怪
我們就說
you forget
你忘了
to
display
window
not
x
counsel
在這個
控制檯上面顯示的
啊我剛剛
執行錯誤
執行錯誤的檔案
應該執行translate app
結果我這邊顯示
當然不會顯示啊
我看
現在叫他中斷可不可以
剛剛弄錯了
先把他關掉
要執行這個程式
終於出來了
好
翻譯結果會顯示在這裡
好
我們就
是要按翻譯嗎
訓練開始
經過訓練就會正確
這邊寫training loss
已經把那個方框
的字型改成我們眼睛可以看清楚
原來這邊是顯示
training loss
這是訓練的損失
好
不錯
下面這個是代表
的是
下面這邊
這個
代表什麼意思呢
按不懂
我們問他
The progress bar on the button
我叫他解釋一下好了
Explain
The progress bar on the button
看他怎麼解釋
這是一個
強大的
熱力圖的方式
顯示模型在生成
每個中文輸出時
對英文輸入句子的
各個詞的關注程度
顏色
紅色
越深表示注意力權重
越高
我們剛纔看到紅色就是注意力的
那個值越高
即模型生成
某個中文詞
越關注
對應的英文詞
每個單元
中的數字的
GinFib
物理指令到
HP會議舉行顯示
中軸是中文輸出
軸是英文輸出
再實行一次看看
他是說這個
同字部分就表示他
權重值很高
這邊是權重值非常低的地方
好
我們先
我們這個
剛開始寫的程式
終於有一個
輸出的結果
我們來繼續
接著我們繼續我們的
英文論文科學研究