Technology DGX Spark直播:專家問答 - DGX Spark上的Gemma 4

老火锅军事
12粉絲
1 次觀看·2026年7月21日
AI 生成·可能包含錯誤
視頻概述
AI 生成Experts from NVIDIA and Google DeepMind demonstrate the Jemma 4 model family, highlighting its multimodal capabilities, long-context processing, and accessibility across diverse hardware. The session covers technical optimizations like quantization, the transition to an Apache 2.0 license for commercial use, and the integration of reasoning capabilities to enhance agentic workflows and specialized applications.
大家好,我是來自 NVIDIA 的 Maitri,歡迎來到又一周的 TGX 节目。
Spark Live。今天為您帶來一場非常特別的專題座談。我們邀請了專家們
由英偉達與深度思考共同參與的專家問答環節,為您解答疑問
傑瑪 4。感謝您的參與,請在聊天室中輸入您所在的位置。
由我們這裡加入。我們很樂意聽聽世界各地的夥伴們來自哪裡。
歡迎加入我們,了解更多關於 TGX Spark 及其他精彩內容。請便
先在聊天中自我介紹一下,不多說了,我直接開始。
把它傳給我們的嘉賓。我們有來自 NVIDIA 的 Anu 和 Anusha。
深層思維的伊恩來做個自我介紹,然後我們就可以開始了。
演示。非常酷。我會很快地做個自我介紹,然後把時間交給下一位。
好的,我的名字是安努。我是我們開發團隊的市場經理,我負責與
我們所有大型開源模型的發布。Anusha,我可以把它交給你嗎?
啊呀,阿努莎,你被靜音了。好吧,現在你能聽得到我嗎?嗯,我們能聽得到。好的,太好了。
大家好,我是 Anusha,是 NVIDIA 的開發者推廣工程師。Ian,請。
自我介紹一下,歡迎來到我們這裡的嘉賓。我叫伊恩,我是開發者關係專員。
Google DeepMind 的工程師,我負責 Jemma 模型的開發,最近則專注於……
傑馬4號發射。好了,我想我們可以開始演示了。
今天就這樣。好了,我會快速為你介紹一下我的設定。我已經拉取了
Jemma 4 26b 模型。它正在 Spark 上本地運行,並提供服務。
透過 VLOM。這是一個相當簡單的設定,非常容易上手。那就是
讓模型在本地運行。如您所見,針對我的特定用途
此案例僅為此演示,我已將每頁限制為150張圖片。
提示,一個影片,沒有音訊。這只是這個示範的範圍而已。
從技術上來說,它支援所有這些模式,我們可以進一步討論。
關於這件事,我們稍後再跟伊恩談。那麼,話不多說,我們直接進入實際示範環節。那麼
我們將從一個非常簡單的圖像提示開始,並說明我們希望它實現的功能。
拿這張圖。好了,我們有這張圖,這是一份菜單,上面列出了所有
文字是印地語,我們將要求它查看這張圖片並
So translate the text in this image into English. So as you
看得出來,我其實並不是在談論這段文字的內容,也不是在談論它的語言。
讓我們看看它會做什麼。瞧,幾乎立刻它就能做到
識別文字,判斷其語言,然後繼續
同時也進行翻譯。這是一個長菜單,所以讓我們稍等幾秒讓它載入。
整個過程下來,我知道我們之前已經測試過了,所以我們確實有很好的
感覺翻譯已經結束了。你知道,我想這其中有一部分價值在於
示範提示,對吧?就像在所有發行版本中,一直以來都非常
多語種方面很強,對吧?伊恩,你想分享一下嗎?嗯,我們的意思是
在我们的訓練中,我們支援大約 140 種語言,然後如果
你使用了一個音訊模型,還有幾個我們可以使用的。
那樣的目標。所以,嗯,我想對我們來說,讓它變得更加……
盡可能地容易使用,並具備良好的基線,你知道的,也適合微調
調整也是一樣。如果你發現沒有支援的語言,你可以
調整它,以適應那樣的定制。但它具有非常出色的廣泛適用性。
多語言訓練資料,這對其每個組件都真的很有幫助。
要知道,你並不一定要用某一種語言來學習概念,它們可以
來自許多不同的來源。所以啊,對我們來說,這簡直是超級的。
重要的是,這是一個很好的例子。是的,好的,那麼接下來我們就這樣進行。
轉到下一個,這一個則更進一步。我們有這段影片來自
NVIDIA 的 Groot 機器人數據集,僅是兩個機械臂的短短片段。
以及一堆蔬菜和水果在它前面。我們希望它列出
它在這段影片中看到的東西。那麼,讓我們把所有東西列出來並實際上……
就到此為止吧。讓我們看看。好了,又一次,非常迅速地完成了。
它能夠辨識桌上有哪些物品。然後它 also 進行了分割
它們轉化為蔬菜和水果,而不是其他設備或物品。因此那些
是兩個快速的提示,用來大致展示冰山一角的情況
在Gemobor所具備的所有多模態技能中,我們還將嘗試一些有趣的內容
提示,這是我最近測試過最喜愛的事物之一。
少於15個字,技術上若剔除停用詞,大概如此
更接近10時,它立刻開始構建整個遊戲。我所說的僅僅是
為我建立一個經典的貪吃蛇遊戲,並生成 HTML。這裡有一個需要注意的地方是
我在系統提示中已明確說明,每次我要求遊戲時,我都想要
這是一款支援網頁瀏覽器的遊戲。這就是為什麼它會產生 HTML 的原因。但即使如此
然後非常簡短的提示,立刻生成了這個。這一點
課程還需要幾秒鐘時間,僅僅是因為這是一個非常長的 HTML 檔案,其中
它正在從零開始搭建遊戲。但我確實有一個此版本的我
在讀取遊戲之前產生的,如果我們開始載入遊戲……好了,它立刻就開始了。我發誓我真的是
更擅長……好吧,不,我是…… alright,讓我們看看。好吧,我根本不會彈奏這項樂器。
遊戲,但確實很好地打造了這款遊戲。好吧,也許我並不是那麼……
糟糕。這……我非常嫉妒。我從來沒真正學會怎麼做前端。
我以前在做後端工程,現在感覺簡直容易太多了。簡直是太……
簡單,而且我們這裡給出的簡短提示,其玩法是這樣
這遊戲太棒了,看起來真的非常酷。接下來我要展示的最後一個示範就是這個
現在每個人都在試著測試其長上下文處理能力
模型,這是我認為我們正在強調的重點。所以我有六個PDF檔案
這裡。它們都是長篇的PDF文件。它們都是Google的白皮書,我們接下來會進行……
先載入文件。這裡的想法是……你剛才展示的範例,就像是進行輸出一樣。
現在使用 HTML,接下來我們要進行一個完全不同的示範。
你正在進行大量的處理與理解。所以非常…… 許多
不同的使用情境。是的,是的。而且正如我所提到的,這僅僅是四個小型
像Jema4擅長的各種事情一樣,諸如此類的事情。因此我們肯定可以
多談談那件事吧。不過,是的,現在它有六份PDF檔。它們全都
已載入。這些PDF文件談到了代理程式。其中涉及嵌入和向量。
商店。這裡有許多酷炫的東西。現在我們想試著看看,考慮到它的長度,
上下文功能,我將提出兩種類型的提示。第一種更偏向於
就像大海撈針一樣,我們希望它能識別出特定的內容。
從這個龐大的上下文空間中獲得的東西。第二個則會
在這個語境中,更全面地總結一下,並提出一些想法。
一種能夠綜合所有內容的東西。好的,第一個是什麼
文件中描述了具體的汽車人工智慧代理。因此,這是
一個非常具體的問題,很可能僅在六個其中一個中提到。
我提供的文件。就這樣,它立即列出了這些代理人。
以及其來源。這裡正在引用其來源。第二個
一個,就像我說的,某種貫穿整個過程以得出結論的事物
文件描述的內容可以用一個答案總結如下:
這些PDF中跨多個推理框架。我們只是想創造一個
這裡我們提到的具體框架的統一清單,然後再談談
關於哪份文件討論了哪個架構以及在什麼背景下討論的。因此,這個,
當然,需要經過我們提供給模型的所有上下文。並且
如你所見,幾乎立刻,它就能識別出這些架構。
請再為我們列出這些來源的參考文獻。當然,這些僅是六份PDF檔案,你
同樣可以透過較小的模型以及中等規模的模型大幅擴展規模。
尺寸模型。所以,是的,這就是一些多樣功能的快速示範。
傑馬福確實非常擅長。
好的。其實我們已經收到幾個問題了。
首先,我认为我们已经在聊天中回答過這個問題了,但還是想問一下,您使用的是哪個模型?
實際上,伊恩和阿努沙,我非常想聽聽你們在合作中的經驗。
不同的小型模型。你正在使用2016年的那個以及這個,但還有其他一些
歷史來說,你知道,我們在最近的演示中已經見過行動友善的模型了。
發行。告訴我們更多關於這個選擇的細節,以及你所看到的狀況,你知道的,關於
社區中的支持與認可。
沒錯,絕對沒問題。我更樂意這麼做。沒錯。對我們來說,這就是……
關於讓模型能夠在各種不同的設備上均可存取,
從《傑森一家》那樣的風格,你知道的,樹莓派、手機、筆電,一直到
像雲端運算之類的東西。
對我們來說,行動裝置的故事同樣至關重要。
你知道嗎,我們每天都會使用手機。
擁有智慧助理是我們產品的核心之一,你懂的。
因此,我們希望建立一個模型,能夠在兩者上都有效運作。
那些。我們還有E2B和E4B型號,它們大致能完成這部分功能。
所以它們有點像較小的那種。
我們有一個快得多的。
就像在嬰兒那一側快得多,而且你會獲得更多。
智慧型,但需要更多的記憶體來運行和支援。
而且我們甚至有一種稱為「高效」的架構,也就是我們採用每
層次嵌入。而這些嵌入實際上與其他部分是分離的。
模型的核心架構。
因此,你可以做一些巧妙的事情,例如將嵌入資料放入類似快閃記憶體的儲存裝置中。
還有其他東西。意思是您不必全部載入。
所以你的初始佔用空間實際上小得多。
所以呢,我想对我们來說,像那種空間,你知道,就像這樣,
在消費級硬體上運行程式對我們來說非常重要。
你知道的,你知道的,這個世界裡,大家都是計算資源匱乏的狀態
想要運行,產生更多記號以及其他內容。
因此,希望我們能確保你有一個可以運行的東西。
機器,但也在某種程度上位於雲端。
安妮莎,我想你想要補充一下,我們在聊天中收到一些問題。
最大化每秒處理的記號數,這對我們 NVIDIA 來說非常重要。
你知道嗎,你們在試圖最大化推論時,通常會關注哪些方面呢?
好吧,我想我會回到你第一個問題,也就是關於我的
體驗設定這一切的過程。
而且我认为,正如我早先展示的那樣,設置過程非常簡單,因為它非常
在 Spark 上輕鬆載入 26B 模型,讓任務快速運行。
而且它非常快速,就像我之前分享的三行或四行命令一樣。
我也試驗了較小的模型。
這是第26b項。
我也試過那些小的,速度非常快。
此外,我這裡選擇26b型號的原因是,我想測試一下較長的款式
示範用的範圍上下文。
我只選了大約六個PDF,但我也有用更多檔案測試過。
而且我认为在較小的模型中,是128k個標記。
這個是256。
看到實際情況時,真的非常酷。
我也非常期待能用 GEMMA 4 對更多功能進行測試。
伊恩,我有一個問題剛才突然想到,正好你就在這兒。
談到 GEMMA 的歷史,顯然我這裡展示的示範程式就是……
正如我之前所說的,這只是GEMMA 4真正強大的能力中的一小部分。
在過去幾週裡,我想已經超過三週了。
GEMMA 4 已經推出,引發了眾多討論,人們紛紛嘗試。
結束了。你有沒有看到過某個特別的使用案例,讓你感到非常激動或印象深刻?
當模型最初推出時,你沒想到的東西是什麼?
是的,這是個好問題。
我的意思是,我會分兩部分來回答。
有些東西讓我感到興奮,那是人們所創造的,也有些東西讓我感到興奮,是我自己所建構的。
有點出乎意料。所以讓我感到興奮的事,我真的很喜歡語音代理。
擁有一個安裝在你的筆記型電腦或手機上的個人助理,你可以隨身攜帶。
與你在一起。許多人都在為這件事投入建設。
較小的模型,包括 E2B 和 4B 型,也內建了音訊輸入功能,因此您ischen
必須有一個獨立的語音轉文字功能。
你可以使用這個模型,它會理解。
而且,實際上,這額外的背景資訊在這方面產生了巨大的影響。
理解了。所以如果你只是讓它進行文字轉錄,它會有不錯的表現。
如此。但如果你不僅要抄寫內容,還要說明,例如,我正在製作購物清單。
清單,它對產品有更深入的了解,因此可能實際上會添加到您的清單中。
購物清單也是如此,因為你能夠將其與模型結合起來使用。
理解。這正是我感到興奮的一點。
我迫不及待想看看人們會做出更多那種東西。
令人驚訝的是,我真的很驚訝人們將這項技術迅速應用於代理的過程。
框架。例如 OpenClaw、Homey 的代理程式,我們已經開始看到這些技術的出現。
人們只是全力以赴,說著,你知道的,我整個人都投入進去了
工作流程現在僅由 Gemma 31B 或 26B 提供驅動,具體取決於
無論你追求的是智慧還是速度。
他們真的把這一點發揮得淋漓盡致。
我們原本以為人們會這麼做,因為我們具備函式呼叫功能,並能進行推理。
功能,所有你必須應對一大堆問題所需的工具。
但是,你知道的,其實你所舉的例子,正巧就是我原本以為人們會有的那些例子
最感到興奮的。
但實際上,就像是他們可以隨意讓自己的代理人去執行任務一樣。
也許他們可以直接說:喔,我有大概二十份文件,你隨便看看就好。
有些東西,你知道的,幫我總結一下它們。
而且你甚至不必特別說明。
這位代理人就會自己去把所有事情都處理掉。
所以,這有點像是我在思考那樣的推演。
是啊。
好吧,跟我們多談談吧,我知道你們在未來的 Gemma 更新中加入了更多模式。
來吧。實際上,告訴我們一下,關於吉瑪最近的歷史,以及你的經歷。
看到這個領域的發展,特別是在本地代理、本地模式方面。
是的,絕對沒錯。我們一開始這個專案的時候,天啊,幾乎快兩年了。
就在不久之前,就像我們是第四個版本一樣,但我感覺好像才過了幾天而已。
年。是的,我們一開始就明白,你知道的,以開放的方式建造事物,就像
創新之基礎。
這就像一種非常民主化的建模方式。
因此,我們認為同時擁有 Gemini 的產品與類似的產品非常重要。
邊界水平。但後來我們也有了開放模型,你知道,你可以
調整,你就可以進行調整,也可以進行研究。
而且我认为最初的幾代 Gemma 模型,很大程度上是由社群所打造的。
像是不同語言的翻譯之類的事。
因此我們有一個能支援東南亞語言的版本,例如保加利亞語。
有很多基於它的研究項目。
因此,我們試著為此建立一個良好的基礎。
但自Gemima 3至Gemma 4以來,我們發現這種轉變更加明顯。
也用於許多商業和个人應用場合。
因此,大家對該模型能具備更多類似思考的能力,需求也越來越高。
對其能夠採取行動的需求。
我們在進行其他事情的同時,也順便建立了這個。
谷歌也一樣,就像你知道的,在我們的作業系統中,像是 Android 之類的東西。
我們希望為此提供智能模型。
但我們也希望建立一個能在 iOS 上運作的模型,然後像這樣,你知道的
在你的筆電上運作。
因此,我們大致看到一種轉變,正如我所描述的那種傳統上
研究類似於使用 Opal 模型,會更像這樣,你知道的,你可以去
將 AIH Gallery 下載到您的 iOS 和 Android 手機上,現在您就擁有了一個類似於
口袋版,你只需指向事物,人們就能使用它來進行互動。
探索不同的方式,就像你所說的,例如拍攝影片。
或者拍照,又或者,你知道的,給模型留下語音訊息。
因此,我們認為,我們非常重視社區所提出的各種需求。
這就是 Gemma 4 背後的核心要素,你知道的。
因此,這其中的許多內容都像是來自那裡的直接反饋。
你說出了那句魔咒。
我們注意到,在這次發佈中,這是我認為首次使用 Gemma 的發佈。
標準的 Apache 2.0 許可證。
所以你是打算讓人們開始將這項技術用於商業用途嗎?
沒錯,絕對是這樣。
我簡直不敢相信我當初沒有跟著離開。
那可是我們其中一項重要組成部分。
噢,所以你是想問那些重大驚喜中的最大驚喜是什麼。
我的意思是,我們當時安靜地感到高興,因為搬遷到 Apache,似乎會開啟許多可能性。
為人們開門,那些原本必須經歷冗長法律程序的人們
試著像使用 Gemma 授權那樣去操作,會容易得多,你知道的,
Apache 無疑被廣泛理解。
我認為我們並未完全預料到人們對那件事的熱情,幾乎是興奮到極點。
就像模型本身一樣。
所以,顯而易見,我們當然同意那點。
這正是我們想要做的。
但確實,當社區整體表示:「沒錯,這正是我們所追求的。」
我們將以此為基礎繼續推進,這實在令人非常興奮。
非常酷。
其實我們收到的問題多到數不清。
那麼,讓我們來看一下起始問題。
哦,好的。
其實,有一件事我不得不問一下,就是版本之前的MDF是什麼?
三十一名B中,我相信其中的……
所以海森堡想知道,我們應該何時考慮使用量化模型?
哦,當然,絕對是。
嗯,我的意思是,這就是它的美妙之處。
我想我們剛才稍微談到了速度的問題。
這些模型大多存在權衡之處,如果你已經使用了一段時間的話,如果
你不是,我大概總結一下,就像量化那樣。
顯而易見,我們可以讓它們變得越來越小,就像記憶的足跡一般,然後
你還能獲得效能提升,具體取決於你所使用的加速器。
使用。但挑戰始終在於如何在過程中保持模型的品質。
那兩件事。對我們來說,我想,你們在影片方面的合作,我們都很清楚。
在針對特定硬體進行優化之前先擁有 NBF,我們會得到類似於
那種組合。因此,我認為我實際上在查看一些基準測試時,
我們正要出去,而我們正變得非常相似,甚至可能完全相同於某種情況。
我們較大型模型的四分之一大小
關於 BF16 模型,也就是 16 位元的模型,但仍保留了大量其推理能力
功能,其數學功能,程式設計功能。
所以,對那個問題我的簡短回答是,如果你有它並且能使用它,就用吧,因為
那就像最佳路徑,比起試圖拿到更大塊的東西,你知道吧
硬體來做同樣的事,否則你會運行較慢的 16 位元系統。
與例如 INT4 版本或量化版本相比。
是的,我想實際上我們應該快速定義一下什麼是量化,對吧?
所以模型出來了,對吧?
我們有大量的浮點數據,希望減少存儲量。
這就是我們在談論位元時的情況,對吧?
但它幾乎像一門藝術與科學,因為在進行量化時,我們可能會
由社區完成。也可以由模型的建構者來完成。
您可以將其量化為多種不同精度的類型。
你說的就是這個,對吧?
就像你所說的,確保我們仍然保持準確性。
我們內部有點類似玩笑,就像你可以把模型量化到,你知道,一個
位元。它在技術上仍然是個模型。
它根本不會給你任何有用的結果。
是的,絕對沒錯。我想這其中的一部分是,你知道,你會在過程中發現……
模型的使用,例如模型大小、量化方式等,哪些适合你的任务
是的,你知道,在手機和小型裝置上,記憶體(RAM)的用量確實很關鍵。
一種高級的。我想在某些情況下,我們有時在模型中會出現混合的情況。
所以不是像四個位元那樣全部都是。
某些層是八位元的,這類似於讓我們能夠保留更多內容。
品質,而不是犧牲一切的種類。
因此,有這麼多不同的量化策略,而且我看到有些人正在使用
聊天時談到了一些像 Onslaught 這樣的人所涉及的事情,多得數不勝數。
社區內各團隊採取不同方法的狀況。
所以,很大程度上就是嘗試不同的模型,然後看看哪種方法有效。
適合您且適用於您的使用情境。
而且我們看到,關於 FP8,正逐漸形成共識,你知道的,就像……
模型幾乎不會有任何損耗,幾乎沒有退化的情況。
因此,擁有一個專門針對此情況設計的方案,並能夠保持住
就像MVFP4是一個很好的例子,展示了我們在量化方面所做的工作。
步驟正確。不過,我確實看過,有點像 Q6,我也看到有些人使用 Q3。
如果你真的受到硬件的限制,可以降到3位。
嗯,沒錯,簡而言之,就是探索。
我們收到了查理·盧斯的提問。
他說:你有什麼建議或洞見,可以幫助我們微調這些模型嗎?
是的,好問題。
我說我們經常發現,使用像 Blora 之類的技術時,情況往往如此。
Qlora 確實是個不錯的起點,對吧。
當我們顯而易見地,模型越大,其成本就越高。
微調並優化。
所以如果你有一些技巧能夠實現較小的模型,但又能在類似
固定數量的硬體,透過使用可獲得許多優化技術
像這樣的工具。其實,Unsoft 就是我們其中一位合作夥伴的良好範例。
與那些在微調路徑上非常擅長的人合作,因為他們擁有
良好的平衡,既能使用壓縮模型,又能以一種如此方式進行
可以安裝在較小的硬體上。
就像 T4 或 L4 那樣,還是說需要更大塊的東西,你知道的。
硬體。因此,我通常給的建議是,先從使用通用的開始
提示策略,因為該系列中的所有模型實際上都非常出色
指令如下。
因此,你甚至可能會發現,在你需要調整之前,它實際上已經相當不錯了。
在特定任務上的能力。
但假設你有一個特定的資料集需要優化,例如你可能
擁有不同類型的多模態資料時,你或許可以從嘗試使用一個
適合心臟的適當尺寸模型,如同目標硬體一樣。
所以就從較小的一個開始,這樣管理起來稍微便宜一點,也比較容易上手。
評估一下,然後,你知道的,往上升到像 26B 或 31B 那樣的型號。
我认为這也稍微取決於專業程度,因為當你達到 31B 時
等級或26B等級,進行類似專家混合調優之類的任務,會非常不同。
從微調密集模型。
因此有時還是堅持使用較大較密集的模型來理解會比較容易
重點在於發揮能力,而非試圖調整混合專家模型(MOE)中的專家。
所以我認為,嗯,從小處著手,逐步推進,是這裡最重要的建議。
關於微調這個主題,我們下一個問題實際上與我們剛才非常簡略提及的內容有關。
早前提到的便是 OpenCLAW。
所以這是名字。
哦,好的。
LinkedIn上的用戶想知道,你是否有任何針對特定微調的建議或技巧?
OpenCLAW 已被用於哪些類型的任務?
你必須回答這個問題。
是的,一個非常好的問題。
我认为這其中棘手的地方在於,由於它對這些內容的定義極其開放,因此……
代理機制所能實現的功能,都是為了我們而存在的,我們並未為某個特定的機制打造模型。
我們建立了一個類似於通才的模型,使其能夠理解並推理各種問題。
問題出現後,便運用它所具備的工具來解決。
當然,對於特定的代理痕跡或特定任務,你可以對其進行優化。
進行某些序列。
但即使現在,我們發現像 26B 或 31B 這類模型在某些技能上表現也相當出色。
就像,你知道的,再次以提示的形式寫出來。
我確信未來一定會出現針對 OpenCLAW 優化的 Gemma 版本,雖然我目前還沒有……
尚未見到,但我確定社群一定正在努力解決。
但同樣地,這取決於它所使用的工具,以及你知道的,什麼樣的
您需要它具備的流程,因為它如此開放且可高度自定義,以至于我
想想看,你明白的,現在試圖調整模型來做到這一點,其實已經太晚了。
要讓這變得更加棘手,你不想因為過度專注而失去其他領域的能力。
索引編製就像一種活動,除非你只做這一種活動。
所以我認為,可以這樣來思考:先弄清楚你的工作流程是什麼,然後
找出它在哪裡失敗。
而且如果你能像調整技能一樣調整它,也能像調整設定一樣調整它。
或者像存取工具一樣,先做那部分。
然後,如果你真的需要從它那裡獲得可靠性,那時你就可以
開始針對特定追蹤資料進行微調。
但話說回來,舉個例子,如果你有很多多音調的對話內容的話,你
需要能夠做到這一點,你可以調整模型,使其理解應該做什麼,該如何做。
亦應針對該溝通或對話的每一階段作出回應。
這對於典型的代理情境來說,大概會有不錯的效果。
讓我們實際上把問題轉換成另一個問題。
因此,安東尼奧想知道,這項工作是如何深化科學文獻的相關內容的?
臨床疾病目標?
所以這一點也不具普遍性。
我的意思是,我知道那回事。
非常具體。
蓋瑪也針對類似醫學領域的模型,如 MedGemma,做了大量工作。
有什麼想分享關於那個地區的嗎?
是的,絕對是。
我的意思是,對我們而言,建立一個通用且極其智能的模型非常重要。
我們談談,你知道的,我們在打造 Gemini 的過程中學到了許多經驗教訓。
模型,這類模型在深度推理方面表現非常出色,就像你知道的那樣,
科學與數學類的方法。
而且對於某種類型的 Gemma 資料來說也是同樣的情況。
明顯的差異在於,你知道的,像 MedGemma 這類模型的調校,以及那些不了解的人。
了解MedGemma,MedGemma是由DeepMind團隊開發的Gemma模型的一個變體。
與能夠執行醫療分診及影像分析等工作的臨床醫生合作
就像醫學影像一樣。
因此它有專門針對此目的的資料集。
對我們而言,我們希望為你建立一個基礎,讓你能在其上進一步發展。
由於 MedGemma 擔任某類醫療資訊的處理工作,
功能上是如此,但並非適用於所有類型。
就像你可以做各種不同類型的東西一樣。
因此,所有不同的領域在某种程度上都適用於此。
因此,我們認為,這對我們來說就像有一個非常明確的使用場景,正是我們所期望的。
協助人們使用 MedGemma。
但如果妳有其他想法,可以使用 Gemma 4 模型來試試看,看看效果如何
它確實能跳出框架思考。
你知道,你可以让它解釋一下。
我前幾天在示範時剛用過它,只是在向我解釋弦理論。
我問了31B,結果它其實一開始就說,該從哪裡開始呢?
好。我首先來解釋一下量子力學。
然後呢,就像這樣,嗯,我會幫你省去麻煩。
這是一個非常長的輸出。
但這模型竟然理解這一點,對我來說更讓人覺得瘋狂。
因為我問問題時並未連接網路,就像我可以那樣問它一樣
這些非常深入的問題。
而且它理解這一點是透過其訓練資料。
因此,擁有這樣的基礎,當你將其應用於其他情境時,會覺得更有幫助。
領域,因為它所能做的就是利用其內建的訓練理解能力進行推斷
根據你提供的數據所得出的結論,以及你所調整的額外數據
無論是透過工具、文件存取,還是其他類似的方式提供給你。
話說回來,在這個使用案例中談到複雜的輸出,你最後真的使用了類似於……
推理能力?
羅傑想知道,嗯,羅傑想知道,思維能力怎麼樣?
是的。對我們來說,我想最好的描述方式就是像這樣去思考。
一般模式有助於提升模型獲得正確答案的能力。
但在很短的時間內,你基本上就在訓練由令牌產生的輸出
一個更為周全的解決方案。
我們所發現的,至少就 Gemma 的一般思考能力而言,是
你可能會發現,它在某些方面產生奇怪的影響,比如,假設你已經把它弄到手了。
產生一個SVG,對吧?
就像我們剛才看到的例子,它可以直接生成大量類似 HTML 或 JavaScript 的程式碼。
或像其他程式語言一樣。
因此,如果你需要它生成一個 SVG,你會知道,好吧,我需要加上線條
這裡,我需要在這裡放置一些形狀,不管什麼樣的。
如果啟用思考功能,它將推理如何執行該操作,然後產生 SVG。
圖像在生成之前先被呈現。
而這個額外的處理過程實際上最終能為你帶來更準確的結果。
因此我們發現,我們有一個非常出色的示範。
我想我們幾天前就發過,我們有一款會旋轉的26B型號。
開啟 10 個不同的終端機視窗,每個視窗都在產生一個 SVG,情況就像
在筆電上執行。
所以它們就像是同時在並行製作這些小小的標誌。
如果你為這些啟用思考功能,你會得到比原本更好的邏輯輸出結果。
如果你沒有打開它,它會以為:好吧,我要做點太空主題的東西。
SVG。我要做一個黑洞。
黑洞看起來是什麼樣子?
好吧,這部分的形狀需要一個事件。
地平線。然後它進一步思考自己是如何構建它的。
然後你會發現,最終產生的黑洞看起來更漂亮了。
但同樣地,我想對於思考與推理而言,顯然這有點像
對於代理行為和相關事物至關重要。
就像你在進行程式設計,或讓它執行任務時遇到問題一樣,
這種思考有助於它推理類似回應的內容。
就像 React 風格的代理迴圈的一般模式,你知道,這個模型
做某事,看到這個回應,然後做出決定,接著執行
另一個,執行另一個動作。
透過賦予其思考能力,你最終能夠對錯誤獲得相當不錯的回應。
它在想,哦,我為什麼會遇到這個錯誤?
或者,例如,當它發現自己試圖執行某個特定的函數呼叫時
無法運作,它能夠思考該函式呼叫可能無法運作的原因。
而且它讓它有了更好的路徑,就像其他路徑一樣。
因此我們發現,無論是26B還是31B,甚至包括較小的版本也是如此
模型也是如此,它能幫助他們更好地處理某些工作流程。
它卡住的情況較少,因為每次真的遇到問題時,它都會……
基本上,它能自己想出辦法來。
那是一種非常冗長的說法,其實就是說思考有幫助。
嗯,那引出了愛德華下一個問題。
所以你已經回答過這個問題了。
它能否處理具備多個工具的多代理工作流程?
而且我认为有許多不同的方式可以展示這一點。
因此,儘管推理確實有助於步驟審查,例如多步驟的 React 迴圈,但究竟會如何呢
你仍然看到的限制是什麼,這又如何影響你,你知道的
你將如何觀察、訓練以及展示未來的示範?
是的,這是個好問題。
我的意思是,有一點我想稍微說明一下,因為人們,你們
知道,他們可能會看著不同的型號,然後說,嗯,你們怎麼會有個26?
31?所以26是專家的混合,但有四十億個激活的參數。
因此,實際上對其進行推論時,所需的激活程度遠低於你原本預期的水平。
31B. 所以它有點像是專家們之間共享的智慧,但又
運行速度接近四百億參數模型的水平。
在這些情況下,你會得到一個非常出色的推理者,它能夠做出相當出色的回應。
快速且能迅速反應。
但31B模型的問題在於,它的輸出速度較慢,但卻能稍微好一點。
更多思考。它似乎能帶來更好的結果,以及可能經過某個過程
代理工作流程,或其可能如何推理程式碼庫,或類似的情況。
而且我认为目前一個主要的限制,有點像是架構上的問題。
這種模型的根本之處在於,當你面對極其冗長的內容時
語境,並試圖在這個語境中保留所有內容,顯而易見地,就像
上下文變得越來越龐大, hypnotically like一段更長的對話歷史,或者你知道的,
它從倉儲庫中拉取了更多的檔案,或者擁有更多的資料來源,這會導致耗時增加。
這些模型產生輸出所需時間更長,因為即使在處理完畢後
全部都是如此,即使你將其快取,它最終還是會逐漸膨脹起來。
因此,我认为其中一個挑戰在於,代理程式運作和執行的時間越長,就越困難。
目的是讓它們運行得更高效,並在輸出方面更具可靠性。
是的,我想你之前已經提到過這一點。
與較小的模型一樣,ETB 和 4B 的上下文長度均為 128k 個標記。
最大的是 256。
我們也看到有些人甚至將其推得更遠。
就像我們所說的,這大概就是我們推薦的空間。
但即使如此,當你擁有它們的時候,是的,當你擁有像 256k 個標記那樣的數量時,你知道,那樣的感覺
可能就像一個程式碼庫之類的東西。
但它不會像你們整個企業都是軟體一樣。
因此,在這個空間中仍然有足夠的餘地來進行建構、擴展和訓練。
讓模型做更多,甚至更進一步的上下文。
但我認為這對我們來說是一個理想的平衡點,就某種程度而言,是在...之間的權衡。
知道,像某種設定,在特定長度下合理,但同時也像很大的那種
多到足以處理大型文件,或像你知道的,多個影片畫格之類的,
你知道的,就像整座圖書館的書籍之類的東西。
嗯,不錯。
阿尼莎,麥特瑞,還有什麼要補充的嗎?
我知道我們曾遇到過一些關於將兩個 Spark 連接在一起的問題,而且我知道我們
有一些相關的作戰手冊可以分享,但你有運行過類似的經驗嗎?
設定?
不,我沒有運行過這種設定的經驗,但我一直在閱讀
評論给了我一些嘗試的靈感。
我超級興奮的。
是的,我沒有。
我也没運行過,但我清楚我們有很多劇本,而且我們有
管道中也包含使用者可參考的執行手冊,以了解如何實際運行這些內容。
大型模型,甚至您知道的,在一組 Spark 群集上運行的多代理系統。
因此,我們的製作團隊肯定會盡一切努力,提供你們所有需要的資源。
存取並學習如何將您的火花進行分組,從此開始操作。
是的,我們會發布一份戰術手冊,其中包含兩個火花的聚類。
我知道我曾在某個名叫「本地小駱駝」的平台上看到過,有人解釋他們已經將許多
更多的火花聚集在一起。
所以我很好奇那些結果會是什麼。
是的,我們還有一篇非常有趣的部落格文章,目前我們也提供
隨著我們軟體的發布,人們實際上可以建立由四個組成的集群,並大致實現相關功能。
建立一個小型的推理引擎並加載模型。
而且你有128乘以4的記憶體,還配備了外部切換開關。
所以,隨著你持續將這些火花聚集成群,你能做到的事情實在非常酷。
好吧,我們只剩下幾分鐘了,大家還有什麼結論性的想法嗎?
在我們結束之前,您想對觀眾說些什麼嗎?
我想伊恩稍微提到的一件事,是件非常令人興奮的事。
過去幾個星期我還注意到的一點,就是這種組合有多出色。
Gemma4 在 Spark 上並本地建構爪子。
這是我們曾經嘗試過的事情。
我也非常期待能進一步嘗試。
但確實,我想指出這一點,這是一個非常酷的應用場景,我們正在使用
看到大量採用。
是的,我同意那樣說。
就像這樣的部分,也讓我非常興奮。
你談到擁有好多個火花,就像……我的意思是,就算只有一個也已經夠了
對很多人來說簡直難以置信,因為你知道,128GB的記憶體實在太多了。
所以我覺得這就像,你知道的,這已經不單單是我們談論的那種情況了,你知道的,
這些模型佔用一定的大小。
但當你擁有足夠的記憶體時,也能夠支援長時間的上下文。
你可以處理長時間運行的事物,解決問題,提供服務,表達喜愛,並支援多個使用者。
所以,就像,我目前所有的經驗都集中在,你知道,我們能不能有,比如說,多個
使用者系統或多個系統,你知道,像爪子或代理程式同時運行,但卻是
本地托管,這正是令人興奮之處。
我們在模型能力上實現了顯著的躍進。
你知道嗎,今年我們從那幾個大型 31B 模型中得到的,不過是雲端上的東西罷了。
模型去年的狀況。所以我想這正是令人興奮的部分,你知道,到底有多少……
你真的可以,你知道,把這類東西,比如說,在你不同的設備上運行。
生態系統之類的東西。
它為你帶來一種額外的穩定感,就像多了一層穩定性一樣。
例如,如果你知道,你可以把它带走,或者你知道,你可以用它来
執行某些工作,並使用你重要的代幣來建構雲端的東西,你知道的。
這件事,真的很重要,真的需要深思熟慮,而不是像你,呃,
簡單的工作流程,你知道的,小型模型大概能處理得來。
所以對我來說,情況是這樣的。
當我們邁向一個世界,你知道,我們擁有這些GPU, literally 並非只是虛構的,而是真實存在的。
使用循環,你可能會在處理你的稅務,你知道,你知道,你知道,解決你的稅務,或
就像,你知道的,幫你處理影片製作之類的,或者說,這個,就像,這是我
目標。我只是想讓你知道,就像我的代理人為我處理各種事情一樣。
事情,然後把真正巨大且困難的任務留給,嗯,你知道的,那個大雲端
在我們能計算的地方,你知道,我們可以運行像 H100 這樣的裝置,並進行思考。
非常複雜的問題。
是啊。
非常酷。
好吧,我們真正開始繪製之前,最後一個問題,我看到一個快速提問關於
詢問是否有 SG-Link 支援,確實有。
因此我們將快速回答這個問題。
之前我們看到的是 VLLM,但再次強調,我們會盡力支援您所使用的任何推理引擎。
使用。因此,DayZero支援LLama和LLama CPP,你知道的,就是盡力確保
您將獲得最高效且功能最強大的使用體驗。
我知道JAMA在幾個版本中一直與這些推論提供者密切合作。
伊恩,你有什麼想說的嗎?
是啊,我的意思是,对我们來說,你也就說說你用的是什麼吧。
就像你提到的那樣,我們試著與所有這些團隊合作。
在NVIDIA,一起。
這根本不像一種雙向溝通。
這就像一種三方溝通。
那麼,你知道,我們該如何讓它在這個推理引擎上運行,同時又該如何讓它……
在 NVIDIA 硬件上快速運行?
所以,你知道的,這也非常重要,因為你知道的,這樣沒什麼好處
有一個,或另一個,或兩者都有。
嗯,是這樣,如果你知道的話,你提到的那些,像是 VLM、SGLang、LLama
Llama Studio。如果有其他您使用的工具,請告知我們。
我們很樂意,就像,想聽聽你對什麼事情覺得重要,以及你
需要在你的硬體上執行。
是的,我們會盡最大努力確保未來的JAMA版本能夠支援此功能。
非常酷。
好吧,我想我們今天就到這裡。
我把它還給你,迪米特里。
是的,謝謝你,阿努,謝謝阿努莎,也非常感謝伊恩加入我們。
並與我們這裡的社群分享您的專業知識與洞見。
我們進行這些直播的目的,是獲取所有資訊並取得對一切事物的訪問權限。ần
我們一直在與所有創造出這項傑出成就的人們合作,或致力於此。
社區的各位,非常感謝大家的參與,也感謝所有在評論區留言的朋友。
所有在直播中的人。
如果我們未能即時回答您的問題,我們一定會確保及時處理。
離線了。感謝您再次加入我們。
我們有幾張簡報會引導您找到正確的資源
你需要的。我知道關於如何將其中兩個進行聚類,有很多問題。
火花,或其中的三顆火花。
我們所有這些資訊都在 build.nvidia.com/slash/spark 的 GitHub 上。
我們有一系列操作手冊,讓你可以開始學習如何進行集群操作以及如何
在您的叢集上開始執行這些模型。
所以務必去查看一下。
那麼,今天就到此為止。
我想感謝背景工作人員扎克、賈米爾和巴里,感謝他們協助我們進行拍攝。
流暢地播放,下周再見。
謝謝,再見。
