在大規模語言模型(LLM)如BERT中,句子向量化是一個重要的步驟。首先,我們需要將句子轉換成一系列的Token,即單詞或符號的向量表示,例如「Paris is a beautiful city.」和「I love Paris.」會被分割成不同的Token。接著,透過三種嵌入方式:Token嵌入、段嵌入(Segment embedding)、位置嵌入(Position embedding),我們可以得到每個Token的最終嵌入表示。 Token嵌入 代表每個Token的語義信息,像是詞彙「Paris」、「is」等各自對應一個嵌入向量。 段嵌入 用來區分兩個句子的來源。例如,第一句子對應於「A」段,第二句子對應於「B」段。 位置嵌入 用來表示每個Token在句子中的位置順序。 這三種嵌入會相加,形成最終的向量表示,讓模型能夠理解句子的結構與含義。 在應用程式中,這些嵌入向量可以被用來進行文本的匹配與分析。在程式碼中,利用BERT模型來將PDF中的句子轉換為嵌入向量,然後與查詢句進行比較,找出最接近的句子。最後,透過MDS(多維尺度分析)將嵌入向量降維,並以2D或3D的方式視覺化查詢句與其他句子的關係,方便觀察與分析。 關於影片中【sentence_embedding.py】或【中英文句子向量化.py】 的下載網址:github.com/deepmind-python/nltk 請手動複製 github.com/deepmind-python/nltk 至瀏覽器的網址列上,然後在鍵盤上按 Enter鍵。
從語言理解到物理執行:連接自然語言處理與機器人模擬 兩個 Python 程式:第一個程式使用 Tkinter 建立圖形介面,並透過 PyTorch 實現了一個基於 Seq2Seq 模型(含注意力機制)的英文到中文翻譯器;第二個程式則利用 Pygame 建立了一個簡單的機器手臂模擬,讓機械爪可以按照預設邏輯抓取並放置物體。 這兩個程式看似獨立,一個處理抽象的語言,另一個模擬具體的物理動作。然而,它們正是建構一個更複雜系統的基礎:使用自然語言來控制機器人執行任務。 第一個程式的核心在於「語言的理解與生成」:它學習將一個序列(英文句子)轉換為另一個序列(中文句子)。在這個過程中,特別是注意力機制,展示了模型如何在處理輸出時,去「關注」輸入中的相關部分。 第二個程式則是一個「物理環境中的動作執行者」。它接收指令(目前是寫死的內部狀態),並在二維空間中移動機械爪來達成目標。 將兩者結合的切入點在於:我們可以把第二個程式中頂部顯示的文字指令(例如:「Pick up the ball on the ground and place it on the table」)視為輸入,而機器手臂的動作序列(移動到球上方、下降、抓取、上升、移動到桌子上方、下降、釋放、返回)視為輸出。 受到第一個程式語言處理能力的啟發,更深入的研究方向便是建立一個中間層或一個新的模型,這個模型不再是進行語言翻譯,而是將自然語言的文字指令解讀為一系列可由機器手臂模擬程式執行的低階動作序列。 這意味著我們需要: 語言理解模組: 利用類似第一個程式中的序列模型概念(可能需要修改架構和訓練數據),來解析指令中的關鍵資訊,例如:動詞("Pick up", "place")、物體("the ball", "the robot")、起始位置("on the ground")、目標位置("on the table")。 任務規劃與動作生成: 根據語言理解模組解析出的資訊,規劃出達成任務所需的步驟序列(例如:去目標物體位置 -> 抓取 -> 去目標放置位置 -> 釋放)。這個步驟序列就是機器手臂模擬程式所需的輸入。 機器人控制接口: 修改或擴展第二個程式的 RoboticArmSimulation 類別,使其不再僅僅按照寫死的狀態機運動,而是能夠接收並執行由任務規劃模組生成的動作指令(例如:move_to(x, y), grasp(), release())。 第一個程式提供的是處理序列數據(特別是文字)的思維和技術框架,而第二個程式則提供了物理模擬環境和可執行的動作。兩者的結合,正是從「理解語言」到「控制物理實體」的重要一步,是「語言控制機器人」(Language-Conditioned Robotics) 或「具身智慧」(Embodied AI) 領域入門研究的絕佳起點。您可以開始思考如何訓練一個模型,讓它看懂「Pick up the ball」這句話後,能夠輸出讓模擬機械爪移動到球位置的指令。
在《將卡通人物的意識轉換成虛擬數位人》第3集中,我們將探討如何利用Kaggle平台進行機器學習,並製作一張超小的Excel資料表,以揭發修改卡通人物命運的方法。 利用Kaggle平台進行機器學習 Kaggle作為一個數據科學競賽和學習平台,提供了豐富的數據集和強大的工具,使得數據科學家和機器學習愛好者可以輕鬆地進行實驗和模型訓練。在這一集中,我們將使用Kaggle平台來重新訓練我們的模型,目的是將卡通人物的意識轉換成虛擬數位人。 數據集 我們需要收集和準備數據集。這些數據集應該包含卡通人物的行為、對話和決策等方面的信息。這些數據將用來訓練機器學習模型,以便模擬卡通人物的意識和行為。 影片中【rick_snake.ipynb 和 Ricksss2.csv】的下載網址:github.com/deepmind-python/nltk 請手動複製 github.com/deepmind-python/nltk 至瀏覽器的網址列上,然後在鍵盤上按 Enter鍵。
將卡通人物的意識轉換成虛擬數位人 第二集 在數位時代的進程中,將卡通人物的意識轉換成虛擬數位人已不再是科幻小說的情節,而是逐漸成為現實。隨著技術的發展,我們可以通過修改Excel資料表,利用機器學習技術,實現對卡通人物命運的操控,並讓其在虛擬世界中重生。 修改Excel資料表,重新機器學習 首先,我們需要準備一份包含卡通人物特徵和行為數據的Excel資料表。這些資料可以包括人物的性格特徵、台詞、動作等等。我們可以使用Excel進行數據清洗和整理,確保資料表中的數據準確無誤。接下來,我們會將這些數據輸入機器學習模型中,進行重新訓練,使模型能夠更準確地模擬卡通人物的行為和反應。 在這個過程中,我們可以自由地修改Excel資料表,調整卡通人物的性格特徵和命運走向。例如,可以改變人物的決策模式,讓其在虛擬世界中作出不同的選擇,從而改變故事的發展。這種方法不僅能讓我們深入了解機器學習的應用,還能夠帶來創意和娛樂的雙重體驗。 加載微軟DialoGPT大語言模型 在卡通人物的意識轉換中,我們還可以利用微軟的DialoGPT大語言模型。這款模型擁有強大的自然語言處理能力,能夠生成自然流暢的對話。我們可以將訓練好的模型加載到應用程序中,使其能夠與用戶進行交互,模擬卡通人物的對話風格和語言習慣。 Google Colab上傳程式至雲端的Hugging Face 為了讓更多人能夠使用我們的虛擬數位人,我們可以將Python程式上傳到Google Colab,並通過Hugging Face的平台進行部署。Google Colab是一個基於雲端的開發環境,方便我們進行機器學習模型的訓練和測試。Hugging Face則是一個開源的機器學習社區,提供了大量的模型和工具,便於我們分享和應用模型。 通過將程式上傳到Hugging Face,我們可以將虛擬數位人應用程序發布到雲端,供全球的開發者和用戶使用。這不僅提高了我們工作的影響力,還能促進技術交流和合作,共同推動虛擬數位人技術的發展。 將卡通人物的意識轉換成虛擬數位人,是一個結合了數據處理、機器學習和自然語言處理的創新過程。通過修改Excel資料表、重新機器學習、加載DialoGPT模型,以及在Google Colab上傳程式至Hugging Face,我們可以創建出更加智能和生動的虛擬數位人,帶來更多的驚喜和樂趣。 影片中【rick_huggingface.ipynb、RickAndMortyScripts2.csv、bert.py、bloom.py和codegen.py】的下載網址:github.com/deepmind-python/nltk 請手動複製 github.com/deepmind-python/nltk 至瀏覽器的網址列上,然後在鍵盤上按 Enter鍵。
深度學習(Deep Learning)在過去十年中經歷了快速的發展,其中Transformer和注意力機制(Attention Mechanism)是兩個重要的里程碑。這些技術在自然語言處理(NLP)、計算機視覺以及其他領域中取得了顯著的進展。 Transformer Transformer是一種基於注意力機制的神經網絡架構,由Vaswani等人在2017年提出。與傳統的循環神經網絡(RNN)和長短期記憶(LSTM)網絡不同,Transformer完全擺脫了序列順序的限制,利用多頭自注意力機制來捕捉序列中各個元素之間的關聯。這使得Transformer在處理長序列數據時,能夠更有效地捕捉全局信息。 Transformer的創新在於其編碼器-解碼器結構,該結構包含多層自注意力機制和前饋神經網絡。編碼器負責將輸入數據轉換為特徵表示,解碼器則根據這些特徵表示生成輸出。這種架構在機器翻譯、文本生成等任務中表現出色,大大提升了模型的性能。 注意力機制 注意力機制是一種模仿人類視覺選擇性注意的技術,最初被應用於圖像處理領域,後來被引入到NLP中。其核心思想是根據輸入序列中的關鍵部分來動態分配不同的權重,以便模型能夠專注於最相關的信息。 自注意力(Self-Attention)是Transformer中的一個重要組成部分,通過計算輸入序列中每個元素與其他元素的關聯度來生成注意力權重矩陣。這種方法使得模型在計算過程中能夠靈活地選擇和整合信息,從而提高理解和生成能力。
當使用 AI 訓練資料不夠充足時,可以運用英文文法分析來幫助解讀外星人傳遞的訊息。依賴像 dependency tree(依存樹)這樣的結構性分析工具,能讓我們通過句法解析來了解外星人表達的意圖。 借助 SpaCy 這樣的自然語言處理(NLP)框架,我們能夠建立一個意圖分類系統。這個系統可以基於我們已有的訓練數據來預測外星人在各種情境下的行為意圖,例如簽訂和平條約、發動進攻、進行貿易或探索未知領域。 透過 SpaCy 的文字分類器,我們可以使用標註過的訓練數據來指導模型學習如何區分不同的外星人意圖。訓練完成後,我們便能輸入新訊息來預測外星人當下的行為目標,從而快速解決溝通問題,避免誤解。 這個過程展示了 NLP 的強大應用,不僅能有效替代部分缺少訓練資料的問題,還能提供一個實際可行的方式來理解外星人的溝通訊息。 關於影片中【本影片的程式(intenta.py/ intentb.py/intentc.py】的下載網址:github.com/deepmind-python/nltk 請手動複製 github.com/deepmind-python/nltk 至瀏覽器的網址列上,然後在鍵盤上按 Enter鍵。
在Windows上使用Kali Linux (WSL 2 GUI) 在Windows上運行Kali Linux已經變得更加簡單,特別是利用Windows Subsystem for Linux (WSL 2)的功能。以下將介紹如何在WSL 2上設置Kali Linux並啟用GUI,以便您可以在Windows和Kali Linux之間無縫切換。 獲取IP地址 若電腦關機後重新開機,需要重新啟動xrdp服務並獲取新的IP地址: sudo service xrdp start ip add 安裝GUI 在Kali Linux文字模式內運行以下命令: sudo apt update && sudo apt upgrade -y sudo apt install kali-desktop-xfce -y 檢查WSL版本: wsl --l -v 安裝XRDP: sudo apt install xrdp -y sudo service xrdp start 獲取IP地址: ip add
將卡通人物《Rick and Morty》的思想和記憶轉換成虛擬數位人,載入微軟GPT語言模型:Google Colab和PyCharm設計程式介紹 隨著人工智慧和機器學習的進步,將虛構人物的思想和記憶轉換成虛擬數位人並賦予他們交互能力,已成為可能。本文將介紹如何將《Rick and Morty》中的主要角色Rick和Morty的思想和記憶轉換成虛擬數位人,並將其載入微軟的GPT語言模型,最終在Google Colab和PyCharm環境中設計程式來實現這一目標。 步驟1:角色分析與數據收集 首先,我們需要對Rick和Morty進行全面的分析,包括他們的性格特徵、語言風格和典型對話內容。我們可以通過觀看《Rick and Morty》的動畫,提取並標註大量對話數據,這些數據將用於訓練我們的語言模型。 步驟2:數據預處理 將收集到的對話數據進行清理和預處理。這包括去除噪音數據、標記對話參與者和分割句子。可以使用Python的pandas庫進行數據處理,並使用正則表達式進行文本清理。 步驟3:訓練語言模型 我們將微軟的GPT語言模型作為基礎模型,使用Hugging Face的Transformers庫來進行訓練。需要特別注意的是,由於Rick和Morty的對話風格獨特,我們可能需要對模型進行微調(fine-tuning)。 步驟4:部署和交互 訓練完成後,我們可以將模型部署到Google Colab或本地的PyCharm環境中,實現與虛擬數位人的交互。 透過上述步驟,我們實現了將《Rick and Morty》角色的思想和記憶轉換成虛擬數位人,並成功地將其載入微軟的GPT語言模型中。這種方法不僅展示了人工智慧在娛樂領域的應用潛力,也為未來虛擬數位人的發展提供了新的思路。利用Google Colab和PyCharm這樣的工具,開發者可以輕鬆地進行模型訓練和部署,實現與虛擬角色的高效互動。 影片中【RickAndMortyScripts程式和csv資料】的下載網址:github.com/deepmind-python/nltk 請手動複製 github.com/deepmind-python/nltk 至瀏覽器的網址列上,然後在鍵盤上按 Enter鍵。
(第二集) 英文論文( Attention is All You Need ),練習寫 transformer 程式 (深入研究Positional encoding程式篇) 在自然語言處理領域,Transformer模型中的一個關鍵組件是位置編碼(Positional Encoding)層。這一層用於描述序列中實體的位置或順序,使每個位置都有唯一的表示。在Transformer模型中,單純使用索引值來表示位置是不夠的,因為長序列的索引值可能會非常大。此外,將索引值標準化到0和1之間也會帶來問題,特別是當序列長度變化時,它們的標準化方式會有所不同。 因此,Transformer模型採用了一種巧妙的編碼方案,即使用位置編碼向量。位置編碼層的輸出是一個矩陣,其中每一行表示序列中的一個對象的編碼,這個編碼包含了對象本身的信息以及它的位置信息。 例如,對於短語「I am a robot」,位置編碼矩陣會將每個詞的位置信息編碼為一個向量。 位置編碼的實現使用了正弦和餘弦函數,不同頻率的正弦和餘弦函數被用於編碼不同的維度。對於位置k,位置編碼矩陣的第(k, 2i)個元素由sin(k / n^(2i/d))計算得出,第(k, 2i+1)個元素則由cos(k / n^(2i/d))計算得出。其中,n是一個用戶定義的標量,通常設為10000,而d是輸出嵌入空間的維度。 透過這種方式,位置編碼不僅在位置間引入了唯一性,還通過正弦和餘弦函數的周期性來捕捉序列中不同位置之間的關係。這種方法允許模型在不使用循環結構的情況下處理長序列,並保持對序列位置的敏感性。這對於理解語言中的句法結構和上下文依賴性至關重要。 使用Python和NumPy,可以很容易地實現位置編碼。通過這種實現,我們可以生成一個包含位置信息的矩陣,用於進一步的自然語言處理任務。這種編碼方法使Transformer模型能夠在多種語言處理任務中表現出色,例如機器翻譯和文本生成。









