Technology 構建、優化、運行:NVIDIA RTX AI PC本地生成式AI開發指南

老火锅军事
12粉絲
2026年10月5日
好的,下午好。希望各位在此次GTC期間度過了一段精彩的時光。在本次演講中,我們將要討論
談論如何在本地 GPU 上建立、優化和運行代理型 AI。這方面有著無窮的可能。
這個領域充滿了令人興奮的發展勢頭,今天我們非常樂意與大家分享其中的一些進展。一年前,
使用生成式人工智慧,意味著要在雲端管理API金鑰。這意味著,你知道的,得擔心……
資料隱私以及密切監控您的雲端運算帳單。這意味著開發人員必須
經常感到束縛,只能不斷地摸索與嘗試他們最狂野、最瘋狂的點子
想法,因為每一次實驗都伴隨著成本與風險。如今,一場範式轉變正在發生
正在發生。我們正從大型語言模型轉向小型語言模型,這正是……
由兩大趨勢推動。首先,我們正目睹小型模型智慧的飛躍性提升。
他們現在已達到實現有意義代理型人工智慧應用所需的品質標準,且差距正在縮小。
大型開源模型與小型語言模型(SLMs)之間的品質差距正在迅速縮小。例如,
看看最近發布的 Qwen 3.5 模型,270 億參數版本非常接近
其品質與較大的1220億參數版本相當。我們正處於一個轉折點。
小型模型也能處理先進的代理型人工智慧任務,且不會有任何品質上的折損。這導致
帶領我們進入一個全新的自主型人工智慧範式。舊有的方式需要你將提示傳送給大型模型。
新方法是將包含大量資料的長上下文傳送給智能的SLM模型,
因此,模型能夠隨著時間推移逐步推理。過去,儘管模型已經具備龐大的規模,
當上下文視窗增大時,其效能 commission 會下降,因為模型會忘記這些資訊。
這就在提示的中間。但這也正在迅速改變。
有效上下文窗口正在不斷擴大。所有最新的模型都具備更長的上下文處理能力。
12萬以上的視窗,你可以充分利用。這現在與第二個想法結合在一起。
使用者的本機系統中擁有大量資料,若能將這些資料全部提供給模型使用,將會極具價值。
相關的內容會帶來更高程度的智慧與個人化品質。這使得
讓AI擔任代理,從在您的本地系統上執行操作,到使用特定的工具和應用程式
在裝置上,並根據您的資料個人化其智慧功能。
我們正目睹從大型語言模型(LLM)轉向本地小型語言模型(SLM)的趨勢,由於此一轉變,工作負載正轉移至您的設備。
讓您能透過本地裝置存取完整的個人情境。此轉變已開啟三大主要突破。
使用案例。第一個是個人生產力。我們正從簡單的聊天機器人邁向代理程式。
使用像 OpenClaw 之類的工具,他們主動管理生活,發送提醒和每日更新,
以及整理您的本地檔案。由於此程式在本機上運行,代理程式能夠了解您的資料與您的
隨著時間posal,習慣與旋律會逐漸融入你的個人情境。其次,我們正目睹創意的興起。
協助。透過 Conf UI 以及本地影像和影片生成模型等工具,回饋
迴圈以及創作者可以進行的迭代次數都得到了極大增強。最後,透過程式設計
協助您,您可以將整個程式碼庫本地載入至模型的上下文視窗中。因此,現在模型已
能夠理解您程式碼庫的完整架構,而不僅僅是單一的解決方案
僅憑活躍檔案即可運作。開發者與愛好者正打造個人化的軟體。
並透過此方式自動化其工作流程。本地環境正逐漸成為快速試驗的沙盒。
實 HTC。那麼,你為什麼會想在本地的 NVIDIA 顯示卡上運行人工智慧?我們的顯示卡由
透過 CUDA,並提供最廣泛的軟體、工具、模型和 SDK 生態系統。此外,
所有模型從一開始就能在 NVIDIA GPU 上運作,因為它們就是在這些硬體上開發的。
第二是統一的堆疊,對吧?你可以在本地 GPU 上進行開發,並部署到雲端。
從小型 DGX 火花到雲端規模的多節點設置。而所有這些都基於完全相同的
軟體、程式庫、框架與技術堆疊。第三,我們擁有最大的人工智慧安裝基礎設施。
加速器。全球有超過一億塊RTX與本地GPU,我們也已上線雲端服務。
每一家雲端服務提供商的規模。最後,NVIDIA GPU 提供了人工智能最快的性能。
平均而言,我們的速度比最接近的競爭對手快 11 倍。這是 NVIDIA 的開發者平台
針對本地人工智慧,我們提供適用於每一項工作流程的工具,提供廣泛的選擇。
跨整個技術棧。如果你是一名應用程式開發者,透過我們的使用案例,新增人工智慧功能輕而易舉。
特定的 SDK。我們提供用於 3D 圖形、多媒體和遊戲的 SDK。一些範例包括
DLSS 與光學技術適用於 3D、RTX 影片與 AI4M 多媒體應用案例,ACE 則適用於遊戲應用程式。
假設你想進一步深入,僅僅是想將人工智慧模型整合到你的系統中。
工作流程或應用程式。我們有工具和模型可供您使用。我們有模型
就像我們所開發並支援的Nemotron和Cosmos等模型一樣,我們支援每一個。
開源模型,此外,針對頂級模型,我們已發布
經過優化的檢查點,針對我們的 GPU 進行調校,支援 NVFP4 和 NVFP8 量化,運行效果極佳。
利用硬體的好處。第三,假設你想做更多一點的事情
而且你真的想開始使用一些框架和函式庫。我們有
您可使用的各項功能,涵蓋訓練、推論和微調。
無論是使用 PyTorch,還是操作 OLAMA、ONNX 或 Onslaught 等工具進行微調。
所有這些均由 CUDAx 庫提供支援。您可以直接使用此工具並與之互動。
CUDA 庫,如果您想建立自訂解決方案或開發者工具並獲得
對硬體的更多控制。所有這些都歸功於GPU。我們所有的GPU
自2018年起,它們內建了張量核心,這非常出色,能加速人工智慧工作負載。
以下是我們如何在本地 GPU 上運行大型模型的方法。模型的數學運算正變得越來越智能。
量化技術。你可以在不損失品質的情況下,建構出更小、更快的模型。量化
將模型的精度從16位元格式降低至8位元和4位元格式。想像一下
就像你有一個高保真檔案,正在壓縮資料以便能夠
在不損失任何智能的情況下,適配到GPU的記憶體中。
量化模型時,有三個維度可以調整。可以量化其權重,
它的激活值,而在變壓器模型中,你還可以對其鍵值緩存進行量化。
接下來,利用這些尺寸,您可以使用量化技術。有兩種
大量常見的量化技術。首先是訓練後量化。
這是一個快速且簡單的解決方案。你基本上會使用一個高精度的模型
並將其權重和激活值縮放降低。這很有用,因為速度相當快。
而且所需的計算資源和數據量都非常少。但其代價是,有時會……
由於模型並未預期會失去其保真度和精確性,你有時會看到
精度略有下降,尤其是當你持續將其壓縮至4位元時。
格式。但對於大型語言模型類型的模型,這通常是首選技術。
下一項技術稱為量化感知訓練。這是一種訓練過程,其中
你在訓練過程本身中模擬模型的精度較低,以便讓
模型保留了更多的智能,並且在保持精度方面更具韌性。
這在你擁有對格式極為敏感的模型時非常有用。
開發人員通常在使用大語言模型的案例中,會採用訓練後量化技術。
模型對精度變化的敏感度較低。其中最流行的模型格式之一
GGUF 格式可在本地設備上使用。其精確格式為 4 位元的 Q4KM 格式,我們通常會推薦此格式。
在擴散應用場景中,開發者經常會使用 QAT 或量化感知技術。
訓練技巧以達到 NVFP4 量化,因為它們敏感度高得多
精確地來說,量化有兩點需要注意。
你壓縮模型,使其能夠適應無法擴展的受限環境。
超出該硬體實際可提供的資源。因此,你會獲得記憶體壓縮功能。
其次,由於模型較小,你可以基本上更快地通過數據處理
以更快的速度進行。因此,您可以獲得更快的推論速度、更高的吞吐量以及更低的延遲。
既然你已經了解了頂級模型格式,讓我們來談談你實際上該如何操作。
去挑一個模型吧。市面上有許多模型,每周都有新的模型推出。
但由於生態系統發展迅速,你需要一個可重複的明確流程。
這樣你就能始終獲得現有資源中的最佳選擇。首先,你得弄清楚
您希望在哪些裝置上執行應用程式或工作流程?因此請確定目標硬體。
以及可用的VRAM和工作流程的性能需求。
然後,有許多公開的基準測試可供你前往使用。
過濾頂級模型。其中一個是人工分析。這是一個非常出色的工具,
發布基準的公司。在這之中,我們建議您在
在本地GPU上部署時,您會偏好使用NVFP4或Q4KM格式。
第三步,也是 arguably 最為重要的一步,是評估你的模型。
特定的使用情境。模型對插腳和其應用情境非常敏感。
服務的目標。因此,明確「優秀」的樣貌至關重要。這可以透過以下方式實現:
建立一個針對您特定使用情境與工作流程的自訂評估資料集。
然後,利用這組數據,你可以進行評估,並傳送給不同的人以進行分析。
他們在回應方面所偏好的內容。要擴大這種方法,你也可以使用更大的
雲端大語言模型實際上評估該回應對於該提示是否具有實用性。
最後,您需要考慮一些部署途徑。在這張表格中,我們已標示出一些
頂級模型與精確度類型及針對不同硬_upload硬件的模型,我們所見到的
社群正逐漸傾向於。例如,最近推出的 Quen 3.5 型號就非常出色。
針對基於大語言模型的應用場景。Flux2 模型非常適合圖像生成。LTX2
為影片生成提供了一個引人注目的解決方案。至於3D領域,我們正看到大量進展
眾多使用者採用 Hanyan 和 Trellis 模型。因此,這總結了我們在人工智慧開發方面的產品與服務。
在本地 GPU 上。而且它們每一個都適合不同的使用情境。
我們加速了所有這些。一方面,我們有像 PyTorch 這樣的工具,它非常適合
框架內模型實驗、擴散模型推論以及微調。接下來,
我們有像 OLAMA 這樣的工具,稍後在這場演講中會進一步探討,它們非常出色。
用於在本地硬體上建立代理型人工智慧工作流程和大語言模型。如果你是一名遊戲開發者
而您若想存取圖形運算資源,我們有一項稱為 NB-IGI 的服務,
這是一種遊戲內的推論引擎,可在你的圖形環境背景下運行人工智慧。
這款遊戲。至於 ISV 應用程式部署,我們有 TensorRT 和 Windows ML 等框架,
這對於將模型帶入整個個人電腦生態系統非常有幫助。因此,我們提供選擇 Routing and scheduling for AI workloads across multiple GPUs and CPUs.
為您從開發到實驗的全部需求提供加速,讓我為您說明
關於您可使用 CUDA 堆疊進行開發的各種不同裝置的一些資訊。
我們有三種本地硬體。第一種是 DGX Spark,這是一款專為人工智慧開發者設計的硬體。
最喜愛的玩具與裝置。它能放置於任何書桌上,是完美的伴侶機器。
你的日常駕駛工具。這是一個非常腱全的設定,適合希望使用人工智慧進行原型設計與測試的開發者。
並且對於像 OpenCLoud 這類持續運作的代理程式非常有用。接下來是更大的 DGX Station。
它為滿足您所有的 AI 開發需求而打造,我們看到小型開發團隊
經常使用這款產品。它擁有 784GB 的記憶體,因此能夠運行最大的或是模型。
在最佳性能下運作,並非常適合作為團隊的微型本地伺服器。
最後,我們有RTX筆記型電腦、工作站和桌面電腦,這類產品可說是樣樣精通的萬能選項。
交易。這是一台單一的機器,你可以隨身攜帶,用於日常的工作流程。
無論是開發、創作,還是遊戲娛樂。因此,如果你想要一台多功能的機器,又不希望擁有多台設備,
要應對多種不同的裝置,這可能會是您的理想選擇。超過700款以上
那些平台上提供人工智慧應用程式和遊戲。這一切都關於選擇。你可以選擇去工作
無論您想要什麼,無論是像 Spark 這樣的伴侶機器人,還是其他需求
日常使用的桌面電腦和筆記型電腦,就像RTX系統一樣,它們都具有相同的統一開發環境。
讓我把話筒交給帕斯,他會為大家演示 OLAMA 以及如何在本地建立代理。
太棒了。非常感謝你,Shahnamalai。誰熟悉這件事,請快速舉手示意一下。
使用 OLAMA?好的,這裡大多數人。不管怎樣,我還是給大家快速講一下。OLAMA
是本地和雲端運行與部署大型語言模型最簡單的方式。
我們讓連接您最喜愛的工具(如 Clod、OpenClaw、OpenCode)變得非常非常簡單。
Codex,無論是什麼,我們都在努力開發。我們所做的其中一件大事就是……
建立一個開箱即用的模型,讓你無需思考如何設定推論。
我們為您處理所有相關事宜,包括資料流程與模型權重的取得。您只需聯繫我們即可。
我們開始了。我們與大多數主要的模型開發者及實驗室密切合作,以實現
確保我們已準備好迎接零日支援。有了零日支援,背後涉及的內容非常多。
讓它順利運作。當你聽到有新產品推出時,OLAMA 始終在第一線。
我們透過與他們密切合作來實現這一點。我們開發並建立推論流程。我們
重量對你來說是現成的。我們做的一件非常重要的事,就是確保它確實能運作。
非常順暢地與您的整合。正如我所提到的,這些整合包括 OpenCode 等。
OpenClaw 等。並確保無論你試圖執行何種操作,即使是在雲端本地執行,也必須如此。
它運作得非常好。我們內部有一個由各種不同硬體組成的叢集,
我們確保 OLAMA 能夠順利運行的日常電子設備。無論你使用的是哪種模型,
在 DayZero 上下載並執行,運作得非常順暢。因此,我們推出了一項新功能
今年早些時候推出了 OLAMA。只需一條指令,即可連titles到您最喜愛的任何工具。
而且你可以看到,這正是我一直在提到的那些。你不必擔心任何
這些設定通常才是你需要擔心的。它們非常笨重,你根本不知道
該怎麼做。你只希望它能運作。這正是我們所做的。那麼,讓我們快速示範一下
這樣。在這種情況下,你可以看到我僅啟動了 OLAMA 佇列。我正在使用 Clang 3.5 執行它。
我將在這裡做一個小範圍的運行,這樣你們就可以看到我讓模型打開了。
這款遊戲對我來說,就是我之前用 Clang 3.5 建立的這款小貪吃蛇遊戲。你可以
你看,我在玩這遊戲。它運作了,分數在增加。我能讓它運行起來。當蛇一出現
觸及邊界時,就會被重置。讓我們來看看這些較新的模型。大約一年前,小型
模型將很難有效地使用你所擁有的工具。你可以看到這正在運行。
在5090上。所以並沒有加速,完全是即時的。因此你可以看到它能夠做到
您在本地運行時對程式碼的修改。即使在六到八個月前,這也根本不可能實現。
之前。因此,我們正在看到這種智慧在較小的模型中不斷提升。能夠親眼見證這一切實在非常酷。
完全在本地執行這些事情。因此,你可以看到現在蛇成長時,它呈現出彩虹色。
顏色。還有涼爽感。好的。那我們來談談建構這些代理程式時,會涉及哪些要素。
而且,你知道的,你聽過各種不同的程式碼工具。真正讓人在意的是
它們內部是什麼?我們該如何真正挖掘出本地人工智慧的最大潛力?因此對於
架構上,一個代理程式其實相當簡單。你有一個整體的代理程式迴圈,位於最上方
如果你從一個目標和你的訊息歷史開始,這個目標,正如我們之前看到的,你知道,它開始了
僅列出檔案。因此,如果我輸入「列出檔案」,模型會接收這個指令,執行一次前向傳播,
許多前向傳播之後,便判斷出,嗯,需要產生回應。從該回應中,
我們來看看是否產生了任何工具呼叫。對於不熟悉工具呼叫的人來說,這就是
基本上是模型與世界互動的一種方式,讓它們可以說:好吧,我想要使用
bash 工具,或者我想使用讀取檔案工具。不同模型會以不同方式輸出此內容。
方式,以不同的格式呈現。我們負責解析工作,您無需擔憂任何相關事宜。
你看到一個工具呼叫,是或否。如果僅是列出檔案,模型就會這樣做,你
知道,請給我一個工具呼叫,讓我列出檔案給你。我執行該工具。這正在你那邊發生。
電腦端。然後我們將這個結果加回到歷史記錄中。現在模型就會覺得,好吧,
我已經完成了一個工具呼叫,並得到了結果。接下來我該怎麼做?在上一個範例中,情況也是如此。
列出檔案時,它顯示:「好的,我已經做過了,或者我已經開啟遊戲了。我已經列出檔案了。它就是……
能再多解釋一下它在做什麼嗎?這裡有幾個工具,
對代理來說相當受歡迎。我認為,這算是相對簡化的技術組合。而其中每一項
如今極為流行。因此,你所看到的幾乎每一個代理程式都配備了 Bash 工具。
尤其是當它在你的電腦上本地運行時。因此像 Open Claw、Open Code 之類的工具
它們全都有一個 bash 工具,幾乎是這樣。因為這是語言模型最簡單的使用方式。
與您的電腦互動。您當然具備檔案操作功能,例如讀取和寫入檔案。
您擁有網頁搜尋與抓取功能。這可以簡單到像是使用 curl 命令請求一個網址,或是使用其他方式。
服務,可為您提供搜尋與取得結果。此外,還出現了更為寬鬆的新趨勢,趨向於更為緊密的結合。
記憶並保存模型先前所執行的內容。還有諸如此類的事項
檢索增強生成,能夠瀏覽大量不同的檔案
先前已儲存,並能將其作為上下文的一部分加以利用。而且許多這些
工具,如果你正在建立這些代理,你將需要自己撰寫並提供
將它輸入模型。讓我們來實際看看它的運作情況。因此,我們發送了一個極其簡化的實驗性版本。
bash 工具搭配 Olama。讓我們來看看它的實際運作情況。我正在這裡運行 Nemotron 3 Nano,
這週初發布的。而我所做的只是列出檔案。再次強調,這是在執行中
我的 5090,速度非常快。你可以看到我給它設定了一個目標,它能夠成功執行。
多個工具,將它們串聯起來,然後向我解釋一下其中的原理。
在為本地環境進行開發時,我們需要關注幾件事情。這其實主要是一個記憶問題。
我們經常會遇到的限制。因此,你經常會有一個模型,以及一定的上下文容量。
長度。上下文長度本質上是指模型能夠理解、處理並回應的內容量。
你所得到的合理輸出,正是它被訓練的內容。除非你是在本地運行。
你很少能獲得模型的完整上下文長度。你正在使用較小的版本運行。
數量。因此它無法儲存那麼多資訊。而且我們有特定的方法來應對這一點
限制。這是由於對訊息歷史進行壓縮所導致的。
同時也限制了從工具獲取的輸出量。因此,你不能隨意地大量輸出。
裡面的一切。你必須對工具執行所產生的輸出稍微聰明一點地處理。
你還必須在選擇模型時稍微聰明一點。我之前就提過有關人們的這一點。
根據你的 VRAM 限制以及智能類型的考量,正在逐漸傾向於某種方向。
你必須優化的事項。而且,你知道,有些任務比其他任務更容易。你可能會選擇
選擇較小的模型但擁有較長的上下文長度,還是選擇較大的模型但上下文較短
長度以最佳化符合您的使用情境。我們還可以進行結構化輸出等措施,
這會強制模型的輸出符合我們所需的格式,我們可以加以利用。因此,深入探討
一點點進入上下文視窗,這確實是一場上下文視窗與智慧之間的權衡。
正如我先前所提到的。你必須選擇最適合你使用情境的方案。例如,
如果你只是想丟進一大堆文件,然後提取一些資訊
你可以使用結構化輸出,並將其放入像 Gemma 這樣的小型模型中。
或者你可能需要更多自主性的工作流程,这时你可能会倾向于使用 Clang 3.5。
接下來是壓縮。壓縮主要有三種新興方法,這是一個相對較新的領域。
技巧,人們經常使用它來管理自己的情境。這不僅僅是為了
本地模型的情況確實也適用於以完整上下文長度運行的雲端模型。
但這裡最重要的是,對於從事本地代理開發的任何人來說,這點尤為關鍵。
總共有三種主要方式。第一種是使用大語言模型進行總結。所以如果你曾經
之前使用過雲端程式碼,它通常會有壓縮限制,一旦達到該限制就會觸發壓縮。
當你達到某個數額時,就會有一個滑動窗口,讓你開始逐漸減少。
先前的訊息,接著是一種基於規則的壓縮方法,你可能會選擇保留
某些訊息而不保留其他訊息。因此,根據這個範例追蹤,請思考這一點
作為訊息歷史。所以我在問,你知道嗎,Rust 是什麼?最後我問,你知道嗎,
我如何將我的程式碼從 Rust 迁移到 Go?而且你可以把這段巨大的訊息歷史給我。
而且它已經被縮小了。以三種不同的方式進行了縮小。第一種,我使用了
摘要器。所以我把全部內容都放進摘要器裡,就能得到一個解釋。
被討論過了,現在你可以重新開始,好嗎?你想做什麼呢?所以,你有嗎
完整的上下文長度現在無法使用?滑動視窗只是直接開始截斷訊息
在基於規則的系統中,我們會捨棄某些工具呼叫。而這正是目前產業界所引領的趨勢。
最近的情況確實是根據你的使用情境,將各種有效的方法混合搭配使用。正如 Anamolai 所提到的。
先前,我強烈建議,如果你正在建立自訂工作流程或自訂代理,就應該建立
符合您使用場景的基準,以確保在開發新功能時
或者你嘗試一些新事物,你並不會倒退。因此,結構化輸出是一個非常重要的議題。
當涉及到本地模型時,特別是將大量非結構化數據收集起來,這非常有幫助。
資料,然後以某種方式進行結構化。在這種情況下,我有一個國家想要生成出來。
非結構化資料。在這一部分中,我完全沒有結構,我只是說,告訴我
關於加拿大。它能夠為我輸出一個結構,例如,名稱是加拿大,其
使用的語言是英語和法語。因此我們能夠從此處出發。所以這真的
對 PDF 檔案和文件處理很有用,當你有很多不知道的事情時
我想甚至只是把它放入一個表格中,例如。深入探討一下這類問題。
其背後的原理是,當模型進行前向傳播時,你會得到一組
生成的 logits。Logits 本質上是一種詞元概率。因此,對於每個詞元而言,其對應的 logits 表示該詞元的機率值。
應該選擇的代幣。因此,通常你會進行某種採樣。例如,頂K採樣、頂P採樣。
min p,這僅是不同的採樣方法。將會選擇一個詞元。這會有什麼變化?
結構化輸出是指存在一個架構,然後有一些基於規則的類似內容
引擎或狀態機,用於限制模型僅選擇特定的標記。而你
透過將機率設為無限大或零,然後進行採樣來實現。
在左側的剩餘標記上。因此,你可以看到上一張投影片與這張之間的差異。
問題在於我必須根據我的結構來選擇一個標記。好的,那麼現在把所有內容整合起來,
讓我們來看看我建立的一個極簡代理程式實際運作的情況,以了解這些技術是如何應用的。
啟動。所以我執行了 UV 的 agent.py。這裡我使用的是 Quen3.5,你可以看到壓縮效果
設定為 5,000 個標記。我所做的只是說列出檔案。現在我問它,agent.py 是什麼?
它正在讀取檔案。你可以看到,標記數量也在增加。它能夠讀取檔案並
然後告訴我檔案裡有什麼內容。現在我們看到壓縮正在發生。它說這是
約2,300個標記的壓縮。而且我實際上也為這部分使用結構化輸出。
因為這是本地模型,我能夠以特定格式提取它。因此,你會看到
JSON 位於上方,並為我提供摘要。接著它能夠告訴我發生了什麼事。
先前的訊息,即使它不再擁有完整的歷史記錄,僅保留摘要內容。
訊息。我確信,你知道,大家尤其是會議期間都感到非常興奮。
關於 OpenClaw,當然在演講中也少不了談到這一點。因此
我們很樂意為您詳細介紹如何使用 Olama 搭配 OpenClaw。再次強調,這些都是人工智慧代理。
在您的機器上本地運行。那麼,讓我們看看它是如何工作的。您有 Olama。我們
實際上,我們也可以透過 Olama 為您安裝 OpenClaw。我們最近也
位於 NemoClaweny OpenShell。因此我強烈建議您去查看一下。而這裡,
你可以看到,整個設定過程非常簡單。在這種情況下,它已安裝完成
OpenClaw 为我開啟。我能夠對它說話,說:「醒來,我的朋友。」我正在運行 Nemotron 3 nano。
4B,我想是這樣。而且我只需要說出 OpenShell 是什麼,使用網路搜尋工具,就能找到答案。
去為我取來不同的資訊。所以你可以看到它能夠自行找到那項資訊。而我
我剛才說的是「冗長的」。好吧,沒錯。現在你就能看到它之前所做的事了,那是能夠
進行網路搜尋,然後使用網路抓取工具。我們使用 Olama 時其中一件酷炫的事情就是……
安裝 OpenClaw 時,我們將其打包為網頁搜尋工具,讓您能同時在本地和線上使用。
雲端模型。我們已與您連接,並開始在(obtain local NVIDIA)上進行建構
GPU。Anamali 和我會一起閒晃。如果有問題,歡迎來跟我們聊天。我們還有
一整組貼紙免費送,是酷酷的 Olama 穿著 Jensen 夾克的樣子。快來找我們吧
olama.jensen.com。感謝各位蒞臨。
