Technology MLOps基礎:構建人工智能的平台與流程

老火锅军事
12粉絲
3 次觀看·2026年10月4日
感謝大家的到來。
首先,你知道,我們經常聽到這樣的話,
我們過去幾年在 GTC 上一直都在討論 MLOps,但 MLOps 仍讓人感到困惑。
這可能是因为很多人接觸MLOps的最初方式,就是這些類似架構圖的簡報。
你看到所有這些不同的組件以及
它們彼此之間的互動方式,讓你產生一種感覺,彷彿你確實需要
使用完全相同的組件構建您的 MLOps 或 AI 平台。
當然,這個問題在於,其中一些表徵僅由特定的
他們可能試圖向你銷售的組織或公司,你知道的,正是他們可能擁有的那些組件。
另一個與此相關的問題是,
讓我們看看,是的,另一個問題是那些極其詳細的建築幻燈片,對吧,那種
向你展示整個過程中的每一個步驟,也許他們只專注於某一種特定類型。
機器學習問題。
它可能變得非常細緻,讓人感覺不堪重負。更糟糕的是
令人感到壓倒性的是,你知道的,當你看著各種解決方案的整體面貌時
聲明他們屬於 MLOps 生態系統的一部分,其中一些是
彼此重疊,其中一些比另一些做得更多。
其中一些僅僅是略為相關而已
支援 MLOps,沒錯,所以在這個領域很容易感到不知所措。
而且這類寓言往往讓人感覺,你知道,
一群盲人摸象,試圖描述大象是什麼樣子,對吧。
因此在這次演講中,我們將試著避免這一點,並希望在演講結束時
你會對 MLOps 究竟是什麼以及它關注的內容有清晰的認識。
所以,
我們將從建立機器學習的流程開始。
在討論 MLOps 時,有一點需要記住的是,它結合了科學與工程,對吧。
必須應用科學方法,我們需要對自己的假設進行檢驗。
我們希望遵循一個嚴謹的過程,以確定我們所解決的特定問題的真相。
從工程學的角度來看,
僅僅達到真理是不夠的,因為我們必須部署某種能在現實世界中運作的事物,而
可能會有點類似於
一旦我們真正將其部署到現實世界中,這些假設就會受到挑戰。
因此,我們也必須以有效的方式設計解決方案,以應對這些挑戰。
到本演講結束為止,我們將探討您在建構機器學習平台時應考慮的各項元件。
它們將被分解為這種科學思維方式和工程思維方式。
這在我们的圖示中由以下內容表示
有點像資料科學家、業務分析師,以及工程師,例如資料工程師、機器學習工程師、SRE 和應用程式開發人員。
你首先要做的第一件事就是弄清楚問題是什麼,對吧?
而且,特別是當我們採用一種嚴謹的方法時,我們需要檢驗自己的假設。
我們希望建立一些我們試圖達成的指標,而不是某種隨意的標準。
在建立模型的過程中,我們後來卻騙自己,覺得我們創造出了某個非常了不起的東西,對吧?
因此,首先我們要明確我們試圖實現的目標,以及我們試圖達成的成功標準。
agents, and then we'll begin to explore all the data we have available to get a sense of
開始,你知道的,提出問題。
然後我們實際上會,特別是如果這是一個團隊在解決問題,我們會希望對數據進行聯邦處理。
這樣我們就能從多個地點存取它。我們想把它清理乾淨。
我們花了很多時間在這上面,而且還會繼續下去
最終為其標記,試圖建立一個可用於驗證過程的黃金數據集。
然後我們終於來到了這個階段,我想很多人會特別關注這一部分,對吧?
實際上正在建立模型的是這個過程,我們在這個過程中檢視資料,
檢視資料的某些特徵,並
選擇最適合用來實際訓練特定模型的選項。
我們還想選擇一個特定的模型,進行測試,並對其進行調優。
並最終進行驗證與模擬。我們可能需要在多種不同的環境中進行驗證與模擬。
特別是當我們在進行像建造自駕車模型這類工作時,對吧?光是純粹地建構模型是不夠的。
我們需要為它建立一個完整的系統。我們需要進行部署。
我們必須確保,由於這可能影響人類生命,我們需要以多種不同方式進行測試,對吧?
然後我們將部署我們的人工智慧系統。
而且我們還不止於此,因為一個良好的系統會持續監控並驗證這一點。
部署的系統正按我們期望的方式運作。
這被描繪成一個連續的過程,但請記住,在一個優秀的過程中,
如果你正在回顧之前的流程階段,那就表示你做對了。
因此,這有點像是循環的,你知道,是個圓圈,因為你發現,嘿,
我剛在生產環境中發現了一些新資訊,我需要將其納入我的模型中。
所以我需要重新訓練我的模型,或者我可能需要選擇一個完全不同的模型,又或者我可能需要收集更多數據。
對吧?所以你需要在進行的過程中不斷回顧並重新審視這個流程。
因此,我們可以從機器學習中學到許多教訓。
系統與機器學習模型,若我們回顧科學的歷史。
而且我认为從偽科學的歷史開始更有趣。
那我們來看看那件事。
歷史上第一個偽科學現象的例子是「神判法」的觀念。
而這裡的情況是,有人被指控犯下罪行,他們被置於危險的境地,卻假設如果他們是清白的,
他們會從神的介入中受益。
如果他們有罪,就不photoshop了。
這曾是刑事司法中非常普遍的一種做法,但其效果卻比你想象中要好得多。
一個引人入勝的近期理論指出,審判儀式之所以實際上非常有效,是因為所有參與者都相信審判儀式確實有效。
所以如果你被指控犯了罪,而你確實有罪,你絕對不會願意让自己被浸入沸水之類的刑罰中。
你剛才還打算請求從輕處罰。
如果你是清白的,你會相信自己會得到神的拯救。
於是你就會繼續進行審判。
而主持審判的人知道,真正同意這項安排的,只有無辜者。
所以,在我們的機器學習系統中,實際上是成功的。
我們有時也可能因為錯誤的原因而正確,例如僅在常見情況下測試一個不平衡的分類器,或在後面會看到的其他例子。
另一種偽科學現象可能對許多機器學習從業者來說格外熟悉,因為它涉及對未來的預測。
成功的占星術往往充滿模糊的陳 GURL 說,並依賴於聽者自身的確認偏誤。
如果你聽到某件模稜兩可卻又正面的話,結果發現它確實適用,你會記得這件事。
如果你聽到某件模稜兩可卻又正面的事情,結果發現並不適用,你會說,嗯,也許只是還沒看到罷了。
這與機器學習中的目標洩漏現象非常相似,也就是我們不小心使用了模型在進行預測時本不應具備的資訊來訓練模型。
我們將要探討的第三種偽科學活動,是所謂的探水術,也就是使用一根特殊的棒子或彎曲的枝條,據說當地下有水時,這根棒子或枝條就會震動。
這也是我們在建立機器學習系統時所面臨的另一個科學挑戰,也就是基率謬誤,對吧?
許多占卜術盛行的地區地下水源相當豐富。
因此,如果你進行一個控制實驗,或許會發現使用這根偽造的枝條,其實並不如隨意挖掘水源來得有效;或者,你根本無法進行控制實驗,也就無從比較兩種不同的尋水術方法。
我們在偽科學和機器學習中也看到迷信,對吧?
你有多少次是透過閱讀文件來學習新技巧的?
假設我們正在查看 XGBoost 的 scikit-learn 分類器介面。
而且這有大量文件說明,對吧?
如果我在筆記本中執行 help,將會得到大量文件內容,其中前半部分都是預設參數。
現在,理想的情況是,我們能夠理解這些參數是什麼,以及它們如何影響模型。
但實際上,我們並不會那樣做,對吧?
我們其實還是訓練了模型,只是使用那些預設的參數值而已。
這有幾個壞處,其中之一是新版本的函式庫可能會改變參數的預設值。
但我們也並未真正進行過控制實驗來驗證這是否真的在做正確的事。
一個較近的例子,也許你們有些人遇過,就是用於處理大型語言模型的提示範本概念。
如果你想想那些談論過如何運用大型語言模型取得成功的人都會有一套神奇的提示語彙,對吧?
到了2024年,說出「讓我們一步步思考」就像是竊取密碼一樣,能從大型語言模型那裡獲得更佳的回答。
但今天,這個模型將會自動一步一步地思考,無論你是否要求它這樣做。
我們現在使用推理模型,要求它逐步思考只會浪費令牌。
因此,當我們回顧科學史並思考這與機器學習有何關聯時,另一個值得思考的問題是:科學提供了何種類型的解釋?
並且我想在左側對比兩種不同的解釋。
我們有一個目的論的解釋。
什麼正在做?
它是否正在良好地執行其應有的功能?
如今,我們將這種解釋方式與亞里士多德及其他哲學家的自然哲學聯繫起來,當時哲學的範圍遠比今日廣泛。
然而,這種目的論的解釋至今在工程學、醫學以及機器學習系統中仍然具有實用價值。
另一方面,我們會想到機械論的解釋,這類解釋往往與以牛頓為代表的科學革命聯繫在一起,如右側所示。
我們的目標是弄清楚某事物運作的方式及其行為的原因,而不是僅僅關注它是否很好地完成了本應完成的任務。
在建構機器學習系統時,許多情況下都必須使用目的論解釋。
如果我正在評估我剛才展示給你看的這個系統,而沒有去尋找這些咖啡店,它們就根本不存在。
但如果你想評估這個系統,你根本無法判斷這些咖啡推薦在一般情況下,或是針對特定使用者而言,是否真的合適。
但你確實有一種方法可以了解使用者對這些建議的反應,也有一種方法可以知道使用者是否持續使用該系統。
我們可能需要在整個系統的背景下來考察一個模型。
相對而言,有時我們需要機制性的解釋,才能找出問題出在哪裡 конкурентна
一個來自影像分類器的重要教訓是,有時影像分類器會專注於你意想不到的東西。
例如,這裡有一個分類器,用來區分跑步鞋和正裝鞋。
頂排是跑步鞋,底排是正裝鞋。
但如果我們給它一個穿著翼tip鞋在跑道上的例子,它卻會將其識別為跑鞋。
為什麼我們要那樣做?
如果我們觀察模型實際回應的內容,可能會發現模型是根據是否存在跑道來判斷某個鞋款是否為跑步鞋。
因此,我們經常會因為在另一個情境中重複使用原本在某個情境下效果良好的建議或技術,卻沒有思考它們為何有效,進而產生許多機器學習的迷信。
而深入探究並識別這些事物之所以有效的原因,則涉及機制性解釋與工程學的嚴謹 disciplines。
那我再把話筒交還給邁克爾。
謝謝你,威爾。
是的,科學思維的另一面就是工程思維。
我們將通過一些已成為工程界傳奇的失敗案例來說明這一點,對吧?
例如,亞利安5號運載火箭的第501次發射,這枚火箭於1996年發射,僅37秒後便實際上發生了坍塌。
原因是有一套飛行計算軟體從亞利安4號火箭沿用過來,並被重新用於這款新型火箭。
而且它運作所依賴的感測器資料,遠比新火箭實際擁有的還要受到更多限制。
因此,當這些較極端的值出現在備用系統——熱備份機上時,它產生了一種類似溢出的反應,進而導致故障。
不久之後,主系統也遇到了相同的資料,同樣發生了故障。
失敗後,它尋找備用系統,看看我是否能將任務交給備用系統。
它不可能存在,根本不存在。
在那一刻,它將除錯輸出上傳至主飛行電腦。
不幸的是,飛行電腦檢視了所有的除錯資訊,並將其誤解為指令,導致自我崩潰。
那麼,我們能從中學到什麼呢?
所使用的軟體模組雖然已過時,但實際上仍在其規定範圍內運作。
說不對也沒錯,對吧?
但整個系統並未考慮到,底層元件內部可能存在需要升級的極端值,或者需要進行某種系統層級的變更。
一個類似的例子是火星氣候探測器,簡稱MCO。
這是一個極佳的例子,展示了MCO在前往火星途中,其推進系統的運作情況。
原本預期力的測量單位是磅英尺每秒,但實際上卻是牛頓米每秒之類的單位。
因此,公制與英制單位的換算。
這實際上導致了遠超出範圍的運算,結果MCO偏離過度,我們與它失去了聯繫。
一個非常相似的例子。
而且我认为這兩個例子說明了介面合約在機器學習系統中的一個重要觀點。
僅擁有技術上正確的模型或技術上正確的軟體是不夠的。
我們必須考慮我們所啟動的整體人工智慧系統中的每一個方面。
因此,我們必須考慮這些運算類似於不同值的矩陣乘法,但我們必須驗證自己的假設,即我們是否忽略了某種極端情況的值。
他們在射程範圍內嗎?
基本上,對於機器學習系統中的每個組件而言,每個組件所遵循的合約是什麼?
系統整體運作情況如何?
另一個工程失敗的絕佳例子是千禧橋。
在公元2000年,倫敦正在慶祝一座全新的橋樑落成,這座橋梁的設計極其精細地考慮了垂直力,卻未考慮水平力。
有趣的是,橋開放給公眾使用後,當人們開始在橋上行走時,橋開始出現水平方向的晃動。
而且,這產生了一種非常有趣的同步效應,人們開始不得不隨著這種水平搖晃的節奏前進,這反而使水平搖晃更加嚴重。
而且整個回饋迴路導致橋樑最終災難性地坍塌。
這讓我們想起了什麼呢?
它讓我想到我們線上使用的演算法所產生的反饋迴路。
很常見的情況是,你會陷入一種類似於泡泡的狀態,如果你喜歡某些事物,而不喜歡其他事物,你可能會越來越頻繁地看到自己喜好的事物或討厭的事物的極端版本。
因此,從工程角度來看,我們負有道德責任,同時也存在一種實際上的責任:當我們將模型或系統投入生產環境時,必須仔細考慮並持續監控該系統。
在此生產環境中,務必確保即使系統曾在某個時點運作良好,也並不意味著未來仍會表現良好。
這並不意味著使用者與此系統的互動不會隨時間實際上演變並逐漸累積。
這裡關於工程的最後一個例子。
Knight Capital 是一家交易公司。
他們開發了自動交易軟體。
並且在2012年,他們開始手動將某些節點升級至新的交易軟體版本。
他們錯過了幾個節點,而有趣的是,舊的軟體接收到的買入訂單與新軟體完全相同。
但它試圖與其他新軟體溝通,想問一下:嘿,我還需要買這隻特定的股票嗎?由於無法溝通,它便將此視為一個訊號,認為需要不斷買進更多股份。
這導致了另一次災難性的失敗,最終損失了4.4億美元。
有趣的是,真正關鍵在於建立完善的 DevOps 流程,例如開發、測試、生產環境的區分,擁有良好的持續整合與持續部署(CI/CD)機制,並具備一套有效的方式來發布軟體系統,畢竟人工智慧系統本質上也只是一種軟體系統。
擁有版本控制,擁有測試一切的方法,在這個時代仍然至關重要。
現在,我們將檢視一個案例研究,並觀察科學與工程在某一特定應用領域中如何結合。
我打賭你今天已經與推薦系統互動過了,對吧?
你與多少人互動過,有賭注嗎?
就伸出手指吧。
至少一個。
所以 Datum,如果你使用過社交媒體、串流媒體搜尋,或在網路上購買過任何東西,你其實已經接觸過推薦系統了,對吧?
因此,我們將用戶對產品的偏好編碼為矩陣中的一行。
您有一欄使用者的評分。
你擁有每一位使用者對某一特定產品所做出的所有評分。
大多數使用者不會評論大多數事物。
所以這是一個稀疏矩陣。
如果使用者點擊某個產品,我們可以透過尋找與該產品欄位向量相似的向量,來找出所有相似的產品。
現在,我們來看看解決這個問題所涉及的內容,請看一張適合放在簡報投影片上的矩陣。
這是一張路易·達蓋爾的低解析度影像,他是首個攝影技術的發明者。
這是一個 160 乘 125 的矩陣。
20,000 個值。
如果我們想要找到與此最相似的欄位,一個長度為 160 的向量,類似於尋找與某個產品最相似的產品,我們將需要進行大約 40,000 次算術運算。
此複雜度與矩陣中元素的數量相當。
現在有趣的是,如果這個矩陣中存在大量重複內容,我們可以將其分解為較低秩的因子,當我們將這些因子相乘時,便能得到該矩陣的一個近似版本。
這很不錯,因為它能為存儲矩陣節省一些空間。
但真正的優勢在於,我們也能在這個低維空間中執行相似性搜尋。
因此,若我們針對此壓縮表示進行相似性搜尋,大約節省了四分之三的空間與四分之三的運算資源。
而且,如果我們能處理更多的錯誤(我們通常可以),就能節省更多時間。
現在,我不會把這兩張照片當作我的 LinkedIn 大頭貼,但它們明顯還是路易·達蓋爾,對吧?
在推薦應用中,方向正確通常已足夠。
但我們處理的矩陣遠比這些能放在投影片上的微小矩陣要大得多。
我們處理的是比這裡所討論的這些要小得多的分解。
因此,我們通常不是節省75%或90%的時間與空間,而是節省99.9%甚至更多的時間與空間。
我們可以用這個來回答這個問題:既然你買了這件藍色的東西,那麼你可能會喜歡其他哪些橙色的東西呢?
不過,這個模型還是有些問題。
第一點是,無論是明確還是隱含的使用者反饋,我們都需要這些資訊才能做出任何推薦。
我的意思是,你上一次在網上評分是什麼時候?
我們可能會不公正地傾向於那些獲得大量評分的產品,或提供無用的推薦,僅僅因為這些產品的特徵相似。
例如,你買過一張書桌後,有過多少次後來看到另一張書桌的廣告?
好吧,你需要多少張桌子?
但我認為最大的問題在於,這個系統確實高度依賴於大量資料。
在沒有大量數據的情況下,你根本無法做出任何預測。
如果你有一個新產品或新使用者,你必須在系統中加入一些額外的複雜性,以處理這些情況。
因此,更好的方法是將用戶行為建模為一個序列,並使用變壓器模型來預測:根據用戶已經執行的這些操作、瀏覽過的產品以及放入購物車的商品,他們接下來會做什麼?
我們可以根據用戶會話訓練一個序列學習模型,以預測最可能的下一步操作,以及接下來與用戶剛才操作相關的內容。
他們接下來要做什么?
這部分的內容是在預測مبر使用者接下來行為的條件機率。
這只是推薦系統中重要的一環,但僅僅是推薦系統的一部分而已。
因此,我們將借用 NVIDIA Merlin 團隊的一些術語,說這個第一步其實只是根據用戶過去的行為,檢索相關內容。
下一步是過濾掉我們不希望顯示給使用者的內容。
我不想讓使用者知道他們可以購買缺貨的商品,對吧?
這只會讓他們感到挫敗。
我不希望使用者知道他們可以購買我無法運送到他們國家或州的物品。
基於我們希望出現在最終推薦內容中的各項要素,我們還有一個模型,用來預測使用者選擇其中某一行動的機率。
最後,我們還有一個基於規則的系統,根據商業標準對這些項目進行排序。
例如,先推薦利潤較高的商品,或者如果用戶購物車中已有來自同一倉庫的五件商品,我們便會推薦該倉庫的其他商品,以便全部打包發貨。
因此,我們在此處已經有了機器學習系統的雛形,透過匯總用戶行為,根據用戶已經完成的一系列操作來進行預測。
但在生產環境中,整個流程會變成一個由元件組成的子系統。
而且所有這些組件都是軟體,對吧?
我們各自獨立地為它們建立版本。
我們獨立開發所有這些。
但正如我們從阿麗亞娜5號火箭和劍橋資本的案例中所見,我們確實希望將所有這些事物同步部署。
因此,如果我將一堆元件升級到版本 2,而其中某個元件仍停留在版本 1,我的系統很可能會出現異常。
因此,我們確實需要一種方法來管理這些系統的版本控制。
我們需要一種方法,確保部署過程是自動化且有紀律的,並且要全部同時進行,或者完全不進行。
我們需要做的第二件事是追蹤系統各個版本的運行狀況。
因此,如果我们了解正在運行的各個組件,並掌握系統的運作狀況,我們就能說,根據這些限制條件,我們目前的表現與一個月前使用不同模型時相比如何?
我們將為此推薦系統中使用的兩個模型維持兩個獨立的訓練流程。
我們需要能夠大規模獲取歷史數據才能實現這一點。
但我們可能並不會用原始的歷史資料來訓練這個模型。
我們可能正在以某種方式對其進行轉換和分詞。
我們可能會隨著時間採取不同的方法。
因此,僅能說這是我們歷史資料的目前版本,並不如能夠說出我們可以回溯到先前用來訓練模型舊版本的資料處理流程來得有用。
這對於我們想要長期進行受控實驗,並觀察模型隨時間的進步或未進步情況而言,實在至關重要。
所以能夠回滾到之前的版本。
另一個關注點是,我們希望支援資料科學家。
我們希望支持致力於此建模方法的相關人員。
這意味著我們需要提供按需使用的計算資源,並建立一個受控環境,以便他們能夠重現自己的工作成果,與同事分享並協作。
我們需要讓他們能輕鬆地透過版本控制追蹤自己的工作。
你知道,我們在從事資料科學時,經常是站在巨人的肩膀上。
我們希望能夠讓使用者了解並審核在這項工作中所使用的開源程式庫。
最後,我們希望將訓練一個模型所涉及的所有細節都納入考量。
程式碼的版本、資料的版本、相依函式庫的版本,
以及我們在訓練模型時使用的任何超參數。
我們還希望將這些資料儲存在資料庫中,並同時儲存該模型在驗證過程中的各類結果。
因此我們可以進行一項受控實驗,並判斷這些方法中哪一種對我們的問題更有效。
在隔離狀態下進行,然後在實際系統中追蹤這些項目。
我們將從實際系統中收集反饋,從而為我們的模型獲取更多的訓練數據。
在未來也看看事情的發展情況。
我們開始對這個複雜的系統有了初步的認識。
我們有許多軟體組件在協同工作。
每一支箭都在承擔著沉重的負擔,而且在某個可能出錯的地方。
我們真的需要一種方法,確保系統能夠持續運行,且無需大量的人工干預。
而且我們希望在出現問題時收到警示。
好吧,這其實是一張非常簡單的圖片,.Statistics: 16 characters, 16 words
但你開始對機器學習系統中可能出錯的各種情況有了清晰的認識。
因此,我將把話筒交還給邁克爾,他將談談如何看出這個讓事情變得可管理的空間。
是的,讓我們重新回顧一下 MLOps 以及我們對 MLOps 的定義。
你會認出這個過程和那些人,對吧?
但這裡應該涉及哪些組成部分呢?
那麼,它們是如何促進科學過程與工程過程的呢?
你可能會注意到,頂層組件是與基礎設施無關的,並遵循科學方法。
有趣的是,底部部分具有基礎設施感知能力。
因為它們針對的是流程中的工程方面。
因此,從單一組件開始,特別是當我們考慮團隊合作時
並擁有可用的工具,
過程中非常重要的部分是資料整理、分析和標註,這類工作會花費大量時間。
因此,能夠真正促進這一點的工具對 MLOps 來說非常有用。
到機器學習開發流程中。
例如,在標記方面,你可以考慮那些有人工審核員參與的工具。
那些實際在標記資料的人,對吧?
這裡是關鍵所在。
互動式開發,你知道的,威爾提過這件事。
對於你了解科學方法來說非常重要
以及科學方法來大致驗證假設。
而如今的標準大致就像是使用 Jupyter Notebook。
有一個資源可供你隨意操作資料,你知道的,可以隨意調整資料。
調整模型,你知道的,以互動方式逐步開發。
威爾也談到了實驗管理。
超臨界。
你可以將這一點視為,在這個機器學習與人工智慧盛行的時代,
就像版本控制系統的核心一樣,你如何嘗試不同的實驗?
但你如何追蹤你所做各種事情的不同組合方式呢?
並達到某種類似實驗記錄的審計日誌,記錄下哪些實驗成功了
而哪種實驗則沒有。
還有你在過程中使用的資料以及軟體組件。
AutoML 只不過是對此的進一步延伸而已。
如果你想到那些運行許多不同排列組合的演算法
並遵循某種演算法,僅僅是實驗管理加上一個演算法。
然後這裡的底層,我們有資料管理。
對於機器學習開發週期的幾乎每個方面來說都至關重要,對吧?
你也希望這裡有版本控制,對吧?
如果你在儲存資料,這些資料就會改變。
你給它標籤,你知道,標籤可能會有問題。
甚至對於同一筆資料,也可能存在不同標籤的其他版本。
而且你希望追踪所有這些رب
如果你沒有追蹤資料,你也無法追蹤事物的版本,對吧?
功能管理與流程管理。
當您設計不同的功能時,您希望將它們提供出去。
並將其作為訓練生命周期的一部分。
擁有能促進這一切的軟體和工具實在太有用了。
至於管道管理,你可以想像為執行不同的任務
或以某種自動化方式處理此過程的不同方面。
因此,能夠例如擷取某些特徵,訓練一個模型,
部署該模型,或將該模型整合進一個完整的軟體系統中
然後以自動化方式部署,這就是整個流程管理的全部內容。
接著是模型操作,其實你可以將這視為模型服務。
並監控模型在生產環境中的運行狀況。
尤其是生成式人工智慧,這是一個非常受歡迎的領域。
因為你可以隨便從現成的模型中挑選,你知道的
並對它們進行微調,以極快的速度部署。
但仍然非常重要的是要監控並觀察它們的表現。
然後,最後,許多機器學習運維中默默無聞的英雄
是基礎設施管理與排程。
當然,在英偉達這家公司極其重要。
因為你想確保自己能夠充分利用這些資源
以您所能運用的最有效方式。
您是否有效利用了GPU?
您是否有效地使用了其他硬件?
您是如何安排所有工作負載的?
尤其是當團隊規模龐大且資源豐富時
或者是一個巨大的、你知道的擴展性問題,
這變得越來越重要。
因此,所有這些類型的元件都相當通用。
並且我們對每一個都有建議。
我們在往年提供的內容
不過,你知道的,有時候會讓人覺得有點不堪重負。
我认为如果你只是想開始的話,
只要知道有很多端到端的機器學習平台即可
這些大量使用這些元件的。
因此,如果你前往雲端服務供應商,你會看到 AWS SageMaker,
Google Vertex AI、Microsoft Azure ML
它們都提供了相當不錯的入門解決方案。
如果你想要提升自己,
你可以在其中查看專案管理的相關內容,僅供實驗管理使用。
模型運營、基礎設施管理與排程
而且你可以建立一個更複雜 }))
現在我把時間交給威爾,他將試圖說服你們
在這個大型語言模型與生成式人工智慧的新時代,
這是同一種描繪方式。
是的,對於那些認為現在是2026年的人來說,
你為什麼在談論傳統機器學習?
這是本来輪到你講的部分,對吧?
雖然如此,還是有很多相似之處。
生成式AI系統與傳統機器學習系統之間的差異。
雖然有一個重要的差異
你通常並不會訓練自己的基礎模型。
我的意思是,如果你在,就和我們說說話。
我們想聽聽你在做什麼。
但這過程中的許多環節仍然非常重要。
特別喜歡為你的問題獲得良好的評估,對吧?
你真的在解決你想要解決的問題嗎?
不過,我們會看到與傳統機器學習系統之間的類比。
在這個大語言模型的例子中,對吧?
大型語言模型一上手就非常令人印象深刻,
但僅憑一個模型本身並不足以解決問題,對吧?
一個大型語言模型看起來可能強大得多,也有趣得多。
比起我們之前進行的低秩矩陣搜尋,
但單獨來說,它只能回答問題。
它已被調整為根據其知識截止日期的資料進行回應。
那我來為傑克·道斯寫一首打油詩吧。
我無法想出一首關於傑克·道斯的打油詩。
與今天發生的事或我私人資料中的內容。
因此,我們需要找到一種解決此問題的方法,以便將此模型應用於系統中。
而且我們需要一種方法來識別與用戶查詢相似的文件,
將它們排序並過濾。
然後將它們與用戶的查詢結合起來
而且,你知道的,要给出一个回答,對吧?
一個有用的回覆。
如果這聽起來很熟悉,
因為我們談過一個非常類似的系統。
這在會話 earlier 也做了類似的事情。
因此,檢索增強生成是一種模式
用相關的上下文來增強大型語言模型。
而且結果發現它也是一個複雜的機器學習系統。
當我們發出一個依賴於這些嵌入表示的查詢時
讓我們能夠搜尋文件。
而且這個查詢引發了一系列互動
在不同模型與大型語言模型之間。
最後,我們希望設立一些保障措施
為了確保查詢內容合適,
我們並不是在向客服聊天機器人尋namese幫助完成作業。
並且確保回應基於事實且合適。
因此這裡確實有很多相似之處。
但我們也看到一些重要而微妙的差異
與大型語言模型系統及生成式人工智慧系統。
我們發現這些類似的地方非常多
有額外的責任和額外的事務
在這些情況下我們所關心的。
許多問題會變得更嚴重。
因此,我們希望您能從中獲得幾點收穫。
第一個是系統關乎事務。
無論你是解決大問題還是小問題。
我看到檢索增強生成,
這對於企業來說是一件相當複雜的事情
到2026年要做的事,令人擔憂的事實在太多。
但即使你正在訓練一個線性回歸模型
根據面積預測房地產的價格
任何一個人只要具形高中代數知識,再加上一枝鉛筆和一張紙就能做到的事,
你需要考慮該模型是否適用
超出其訓練數據集之外,對吧?
你不會想以每月負數美元的價格出售公寓。
系統方面的考量在每個部署規模下都至關重要。
如果我們有 10,000 個節點,
而且它們每台平均每10,000小時可能失敗一次,
我們每小時都會看到一次失敗。
你如何應對那場失敗?
你能在多快的時間內從那次失敗中恢復過來?
我們在騎士資本公司的案例中看到,如果你有八台伺服器
其中有一個沒有運行正確版本的軟體,
你將會遇到一個非常棘手的失敗。
我們能否以更自動化的方式處理這種情況?
但即使在小規模上,
您可能正在運行許多機器學習環境
在您的本機電腦上,以允許代理程式與您的程式碼進行互動。
你有給代理存取正確的東西嗎?
而且沒有讓他們接觸到錯誤的事物?
這是一個非常好的問題。
因此,我們一開始探討了許多人
對 MLOps 有獨特的見解
而且只關注了問題的一部分。
我們真的想做一個全面的評論。
我們發現我們可以從科學中受益
以及歷史上 throughout 的工程實例,
那些人在田裡尋找水嗎
18世紀的西歐
或是在火星大氣中尋找水。
我們看到科學與工程學結合在一起,
模型如何轉化為機器學習系統。
我們研究了一種分類法,用以理解這個領域。
並建立一個適合您組織的平台。
現在沒時間回答問題。
我們會在走廊跑道上拿一些。
但我們有一些絕佳的機會
讓您了解更多。
緊接在本次會議之後,
有一個 MLOps 201。
明天下午有一場 MLOps 202。
如果你參加這三個研討會中的全部,
你將會備受支援
繼續您的 MLOps 之旅。
我們還有一個特別的提問機會
星期三下午4點,
我們將舉行「與專家連線」環節。
麥可和我會到那裡
以及一大堆其他NVIDIA員工
與你談談你的挑戰
以及這個領域中的各種想法。
這確實是一段非常有收穫的經歷
對我們來說,過去我們這麼做的時候。
今天下午能和你共度一段時光,真是愉快。
祝你接下來的GTC過得愉快。
