如何打造Token Free 的AI 工廠 -- 把個人電腦串成地端的A I超級系統案例分享 (影片提供中英及多國語言字幕) 關注
695 次觀看 · 2026年6月14日 #百業分享堂 #百業分享堂 分享主題:「如何打造Token Free 的AI 工廠 -- 把個人電腦串成地端的A I超級系統案例分享」(影片提供中英及多國語言字幕) 影片簡介: 這支影片分享如何打造Token Free 的AI 工廠:把個人電腦、GPU 工作站、NAS 與邊緣裝置串成地端 AI 超級系統。 透過 「超級AI代理」(Super AI Agents)協調任務、分派模型與工具,讓 AI 不只是回答問題,而能在本地完成規劃、執行、驗證與持續改善。影片也說明從 Prompt 到 Loop Engineering 的觀念,適合想學 AI、降低雲端 Token 成本、保護資料不外流,並建立自動化開發流程的朋友與企業參考。 (Super AI Agents)將 DGX Spark、RTX 5090、Jetson Nano Super 與 PC 組成的異質 NVIDIA 算力叢集,轉換成可觀測、可派工、可驗證的 AI 工班,可自動開發程式、製作 demo 影片、管理網路、監控 WAN Load Balance,並產出可驗證的企業交付成果。 (Super AI Agents)不只是 AI 內容產生器,而是一個地端優先的 AI 作業工班,可支援程式開發、媒體生成、網路管理、WAN Load Balance 監控與企業交付資料產出。 影片(有中英及多國語言文字幕)連結如下: https://bit.ly/4vc97QL 「超級AI代理」(Super AI Agents)的網頁介紹如下 https://aispark.airlive.com/joe-hackathon/ 分享人介紹: 陳雅娟 (Joyce Chen )/ 台灣人工智慧協會創新育成委員/ 台灣清華大學生命科學碩士 /美國Bellevue College資訊學士 Joyce具備生醫、醫療器材、法規、專案管理與生成式 AI 應用經驗,目前主要專注於 Physical AI、地端大型語言模型、知識圖譜、醫療資料應用、RAG 系統與 AI 醫療實作方法,並投入 HIT 生醫創新實作社群之國際交流、研究發表、技術敘事與社群經營。在 HIT 中,協助將台灣醫師與臨床端需求轉化為可被 AI 工程團隊理解的系統問題,並進一步整理為 Demo、論文、簡報與國際合作機會。 聯絡方式 : Email:[email protected] LinkedIn: https://www.linkedin.com/in/joycechen001/ Joyce 之前分享的另外2個主題,影片連結如下。 分享主題: 「如何從台灣醫師臨床需求與 NVIDIA 全球夥伴接軌——從獲選 Top 8 技術發表成果的過程分享」 影片(有中英及多國語言文字幕)連結如下: https://bit.ly/4ttUZAo 分享主題: 「破圈:從生醫法規PM到AI工程師的旅程 」 影片(有中英文字幕)連結如下: https://bit.ly/4kZ7FeI 本次影片(有中英及多國語言文字幕)連結如下: https://bit.ly/4vc97QL 關於「百業分享堂」: 「百業分享堂」網址如下: https://www.ganjingworld.com/@百業分享堂 「百業分享堂」頻道,如果希望以後在新的影片及短片上傳後得到通知,請按訂閱,如下連結。 https://bit.ly/3AGXwPA 以下是「百業分享堂粉絲團」的連結,你可以按追蹤,以後有新的貼文就會通知你 https://bit.ly/3wkZCCd 「百業分享堂」FB連結如下,歡迎參加與專家互動 https://bit.ly/3K6Ta7w
評論 章節 文字稿
0:03 AI工廠概念與演進背景 3:18 地端AI工廠架構與核心基礎設施 8:50 可驗證執行與任務完成標準 12:16 Local First AI三大核心價值 14:37 可觀測性與持續改善儀錶板 16:28 醫療與製造業應用案例與未來展望
大家好,我是陳雅娟
我今天很高興接受到百業分享堂的邀請
來分享我的主題
打造自己的Token Free AI工廠
今天我想跟大家聊的一個問題
就是我們公司花了多少錢
在雲端的AI Token費用上呢?
到底我們每個月的帳單出來
你知道那筆費用是怎麼算的嗎?
還有到底是哪裡花了最多的資源呢?
其實大家都不知道
因為我們的Token的花費
常常都是一個黑箱
最後我們看到帳單之後
才會給大家一個驚喜
所以我今天就在思考說
到底我們的Token的使用
可不可以讓我們更能夠完全的掌握呢?
但是我是想要讓大家
有Token自由之前的話
我們其實是想到說
我們其實是用一個地端的方式
把我們目前的演算力資源
把它整合起來
然後蓋一個所謂的
自己專屬的AI工廠
那我可以自由在這個Token Free的地點
我可以自由派工、自由驗證
然後自己交付成果
而且我並不需要再額外的
付雲端的Token的錢
這就是我目前想要做的一個概念
而且其實在我目前來講
我已經把它開發出來了
這個系統它就叫做JOE
其實我們現在在探討這個JOE之前的話
我們其實也有看到一些實事的案例
我想在6月9號的時候
Anthropic它突然宣佈了一個
它非常厲害的Model叫做Fable 5
但是過了不到三天的時間
它就已經被封鎖了
被暫停使用了
而且在沒有預警
沒有過渡期的狀況之下
我們就被停止了
當時如果是有一些開發者
他的業務剛好是依賴這個模型
他覺得這個模型太棒了
剛好可以做出我要的東西
那做了一半之後
他的關鍵流程就沒了
他就沒有辦法再持續進行了
這個就是我們目前使用雲端模型的
一個最大的風險
就是模型可用性
它可能今天可以用
明天不能用
今天它可以用
但是明天突然之間被攻擊了
斷線了
我就隨時就要停掉
我目前現有的工作
再來第二看的東西
其實就是所謂的模型
越來越貴這件事情
以OpenAI的訂閱來講
過去的GPT 5.5
到GPT 5.5 Pro的時候
它的Token的價格
已經開始飛速成長了
例如像現在來說
我每100萬個Token的輸出
它需要180塊美元
如果你的AI Agent
每天跑了數千個任務的話
這些成本根本就無法控制
而且是無法預測的
很有可能
我一直都用最高級的Token
去做我的研究的時候
我可能我的
我反而是讓我自己的公司
或者是要付掉一些
非常的無法控制的巨額的帳單
這就是成本難以掌控的這件事情
然後第三個的話更根本
就是我們現在一直都在使用
我們自己的雲端的AI
雖然它的服務99%可以用
但是並不表示你可以掌控它
你的資料
你的模型
你的流程
通常都是在別人的基礎設施上
你一直把資料丟出去
你的流程丟出去
但是說實在話
它中間怎麼做了
它不會告訴你
然後並且說
它最後給你的結果
你也不知道
下一次有沒有辦法重新去複製
所以呢
企業它真正需要的
並不是一個只是接API
直接工作的工具
而是是希望我能夠掌握模型
資料流程成本
和交付能力的AI基礎設施
這也是我們想辦法
讓就來誕生的原因
因為我們想要了解
到底這個模型它運作的
整個的過程和流程
那其實我們會知道
像現在來說
大家都講到AI的能力的演進
所以剛開始的時候
第一階段
大家使用到的AI
都是所謂的Prime Engineering
就是說跟大家說
我只要懂得問問題
把問題問得很清楚
然後我就可以得到答案
這就是第一層的應用
接著呢
慢慢大家開始
所謂的Context Engineering
開始做上下文工程
還有連接工程
還有管理執行環境
還有Tool Engineering
以至於最後Harness Engineering
或者是Workflow Engineering
以至於到所謂的
Loop Engineering的
這樣子的過程
但是目前市面上的
大多數的AI解決方案
包含了RAG的問答系統
還有Tool Coding的Copliot
它大多都是停在二到四層
為什麼會這樣呢
因為其實你要做到第六層的話
你需要一個
你需要一個環境
你不能夠任由這個
任由我自己的AI
任由它自由的去耗Token
這就是一個
所以以至於說
大家沒有辦法去做
這個Loop Engineering
那Loop Engineering
它要做的事情呢
它其實不是執行任務
同時它也要觀測執行的流程
驗證結果
從失敗中學習
然後讓我的下一步
能夠跑得更快
它可以邊學邊做
就像是一個
很有經驗的工程師
他不是只會寫程式
他還會從Code Review中
反覆中進步
所以他們就
他每次執行完
都會產生他自己的Lesson
那自己的Lesson
會進入一個教育反饋的系統
然後下一步就會用得上它
所以它會是一個
越用越進化的一個AI工廠
那其實在這張投影片的時候
我只是想讓大家看一下
我這個24小時開放的
這個Joe的AI Factory
它其實
它目前來執行了多少事情呢
它其實現在來說
它已經有365個
載入的一個技能
然後並且它也完成了
303個拆解的任務
那同時它有了
66個APEX的原則
並且它有所謂的本地模型
它有目前正在使用26個模型
也同時在使用
33個服務正在在線
所以呢
它其實
這個Joe的核心的概念
它其實就是一個
Orchestration Hub
它主要的概念是
你把需求輸入進去的時候
它不是回答你要怎麼去做
它會把這個工作
它把它拿去派工給
一個所謂的研究人員的Skill
還有一個工程人員的Skill
還有測試員的Skill
或者是等等
我們目前來講
所有裡面有各種各式
樣的Skill的一些角色
然後讓它去幫助你
去分析你自己的問題
然後幫你交出可用的結果
包含了簡報報告
網頁程式碼
或者是儀錶板上面的數據
所以其實右邊呢
它其實就是那個
Joe的一個完整的架構
那這個架構呢
它其實就可以
就可以中間的這個
Joe Orchestration Hub的話
左邊的話
就會是各式各樣的工具
那右邊的話
就是各式各樣的算力設備
然後下面的話
就是它可交付的結果
所以這個就是Joe的AI Factory
它在這三個端點當中
它不斷不斷的去派工
去指派
然後把我們的結果
把它調動出來這樣
那我說一句話就是
Joe和其他的AI工具
最大的區別的話
就是說
AI是
其他的AI
它是幫你問問題
回答你的問題
那Joe它是幫你完成任務
所以當你對ChatGPT說
幫我準備一個AI導入的提案
它會給你一大堆文字
你還要自己去整理排版
補資料做成簡報
但是你對Joe
做同一件事情的時候
它會去拆解需求
規劃流程
研究資料
生成文件
製作簡報
然後會給你一個
可以直接完成
就是開會的一個資料包
通通都會幫你完整的規劃清楚
差別就是在於說
它其實可以調用PM
它可以調用研究員
可以調用工程師
調用設計助理
調用QA
同時調用來去驗證
它不是說
只是回答你的問題而已
它等於是調度了這大批人馬
幫你去做完
你所有的一個工作和任務
所以其實它的核心架構
其實它是一個所謂的
就是說
它其實是可以調動
所謂的模型
調動技能
還有調動設備
那因為其實我目前來說
我們都是用
很多很多的地端模型
它其實各式
都有各式各樣的功能
例如說
模型層它就有
我們目前的模型層
就是除了大模型之外
我們其實是還有
包括所謂的推理模型
還有專門寫程式的模型
還有專門判斷視覺的模型
專門處於Embedding的模型
這個資料庫的話
我都可以把它
在這個模型上面
由Joe去做調節
技能的話
它其實是我們是
不斷的在進化
例如說像現在的一些
讀檔案的技能
搜尋的技能
寫程式的技能
產檢報的技能
產報告的技能
還有驗證的技能
還有一些比較
for專業的技能的話
它其實都是在
我們的技能資料庫裡面
然後不斷的衍生
然後經過Joe
它就可以去調用到說
我現在執行這個工作
我到底需要哪個技能
我就可以把它
模型串起來讓它去執行
再來的設備的話
其實我們的設備
也是跨系統的設備
例如說
有些是Ubuntu系統
有些是PC的Windows系統
有些是Mac OS的系統
我們其實在這個
設備的串聯的過程當中
我們其實目前來講
就是跨系統的
而且跨Device
例如說我可以把Spark接進來
我也可以把5090接起來
我也可以把小片的
Jason orin nano Kit把它接進來
還有一般的PC工作站
還有Mac mini把它接進來
以至於讓它變成了一個
很完整的一個
執行的工作鏈
除了我有這樣子的一個
核心架構外的話
我其實是建立了一個
可驗證的執行管道
我的每一個過程
我都有包含了
Plan, Probe, Install, Run, Verify和Recode
而在每個執行的過程當中
它都會產生它的Artifact
就是它相關的一些
文件和資訊的軌跡
這些軌跡都會存到
我目前的Memory裡面
而且這個Cache
它其實是一直一直在儲存下來
Plan就是說會規劃
Probe就是檢查環境
前置條件
那Install呢
我就是要補齊
我執行這件事情
我所需的所有的工具
Run的話就會開始去正式執行
那Verify的時候
就會去產生說
我這個Run出來的結果
它是否能夠達到基本的條件
然後就跟它來回的去運作
那Recode就是把結果
以記錄回報
讓下一步可以繼續
而這樣子一個過程來說
我的每一個過程
我都有記錄
所以說每一個記
就是說我的一句話
就叫做沒有產物不算完成
每一個過程如果沒有報告的話
它都是沒有完成過程的
都必須要重新再執行
所以就它不是隻看
AI的文字回覆
而是在這個生產的過程當中
它有沒有產出可檢查的文件
或驗證的結果
所以就完成任務的判定標準
就是我有可查的產物
有執行的記錄
有可追蹤
以及修正的過程當中的時候
留給下一個使用
所以這就在企業來說的話
我其實就可以去知道說
每一個工作流
它到底做了什麼事情
然後它可以隨時去檢查
我過去的哪一個過程
它到底犯了什麼錯
以至於說
我可以做後續專案的基礎
所以這個其實就特別來說
就是解決了一個
特別可以感受到
落地的這樣子AI
和雲端的AI的話
的不一樣
就是我可以把中間的過程
全部都留下來這樣子
再來的話
我就要討論到一個
叫做Local First的AI的概念
其實我們從這張表的上面
可以看到
左邊是Cloud Only的AI
那右邊是Joe的Local First的AI
以至於在資料的
從我們的這些比較上面來看的話
對資料來說的話
Cloud Only的AI
它資料是一定上無的
那Joe的Local AI的話
資料就是留在地端
然後Cloud Only的AI來說
它的成本的話
Token是浮動的
你沒有辦法掌握
但Local First的AI的話
它的Token其實是
其實是不用額外再花錢的
就是Token Free的狀態
再來的話
它的模型的話
可能就是
就是會由供應鏈去決定
就是說
你不能跨模型在做
但是其實在我Local First的AI來說的話
我其實可以跨Nemotron
可以跨Gemma
可以跨各式各樣公司的
不一樣的這些Local模型
都可以互相的來教用
去使用它
然後在於說那個服務的話
服務中斷的時候會受到影響
就是說我如果有一些狀況的時候
這個模型沒有辦法使用
或者是它有一些
它有一些狀況的時候
必須停用的時候
我就會受到影響
但我自己本身地端的模型的話
我是不會受到這些
供應商的一些影響
同時我的執行的過程來說的話
在Cloud Only來說
執行的過程你是不會知道的
但是Local的First的AI來說
它執行的所有的過程
我們通常都會把它存在
我們自己的
自己的電腦裡面去這樣子
所以這帶來了三個主要的價值
就是AI主權
然後成本可控
還有資安和法尊
我們都可以完完整整的去抓住它
至於說在所謂的核心架構來說的話
我們其實有開發了所謂
可觀測性和持續改善的
這樣子的儀錶板
所以我們的企業導入AI的話
我們可以知道這個過程當中
發生的所有事情
例如說我可以監控
我到底使用了多少Token
我到底Call了多少次的Tool
我到底發生了多少的錯誤
並且我可產出了多少文件
還有就是我到底調用了哪些Model
還有使用了哪些裝置
還有最後我有所謂的Lesson
或Lesson到底學到了什麼東西
這樣子我們可以藉由Token的監控
我們知道我們成本花在哪裡
然後Tool Calling的話
可以讓我們掌握工具和流程
使用的情況
那Error Trace
它可以定位失敗點
以及修正的路線
Artifact Tracking的話
可以追蹤簡報、報告、程式與紀錄
那Model和Device Status
就可以顯示本地的模型
還有GPU工作站的
臨時資料庫的使用狀態
那最重要的其實
我們跟別人設計的不一樣的是
在於它有個Lesson還有Apex
就是說我這個Joe
他每次執行任務結束之後
他可以把所有的錯誤、修正方法
還有成功做法
通通把它沉澱下來
做成下一次的最佳做法
所以這個系統不是隻完成一次
而是他會越用越穩
因為他一直都有迭代的資料
在不斷地去學習
所以Joe的迴圈的話
他就是做完任務執行之後
我做錯誤的修正
然後再來的話
我會因為這個錯誤修正
由AI給他一些Lesson
然後下一次的任務就會更穩定
所以這就是所謂的Loop Engineering
就是在這個地方去呈現它
然後我想
因為在我們過程當中的話
其實在過去
我也是在醫療器材的產業裡面工作
那其實對於醫療器材的導入來說的話
比如說他們會很想要
希望能夠導入一個AI Agent
能夠協助一個整理研發文件
產生提案
或者是估算ROI
或者是做一套
所謂的內部的知識庫系統
那這個話其實是蠻抽象的
如果我直接把它交給工程師的話
通常都還要很多次的訪談和整理
也就是說
我如果是對一個
對一個做資訊的人
和對一個醫療器材的人
他們其實都有所謂的
所謂的那個知識庫系統的差異
這個東西的話
我要建立這個成果的話
我通常都需要很多的訪談和整理
那對於我們這套系統Joe的做法來講的話
它就會把這些需求
轉換成結構化的專案資料
例如需求摘要、系統架構
導入流程、風險資安
ROI簡報、HTML等技術報告
就把它自動把它歸檔
然後把它做一個完整的報告來說
而對於醫療器材的公司來說
這個就會非常有價值
因為醫療器材的開發
它本身就很重視規格風險驗證
文件審查流程
所以它就可以先把這些想法
整理成一個可以讓那個
醫療團隊接手的資料
所以其實它就可以做一些
比較複雜化的
根據我的法規的規範
然後做出一個適當的
一個專業的一個文件資料的
整合和資訊庫
那同樣來說在製造業的問題
它其實比較常就是一個資料
知識分散
很多重要的知識都在
老師傅的腦袋裡面
那SOP它其實也是在文件裡面
或者異常記錄在SL報告裡面
設備資料在PDF裡面
維修經驗在公司程式的腦中
腳本程式又放在不同的電腦裡面
所以這個東西的話
它就會變得相對來講的複雜
那就這個系統的話
它就可以把這些輸入來源
把它直接轉成工程知識庫
並進一步轉成現場助理
問程診斷
互動儀錶板或變院裝置支援
這樣子的話
我們就不會是單純的問答
而是可以把散落資料
可以做成一個可查詢可執行
可延續的一個現場的知識
所以在Local First
尤其是在有些重要的
像製造業尤其重要
因為很多工廠資料
都涉及了設備參數
製程條件
維修紀錄和內部的流程
不適合把資料送到雲端去
如果能夠在本地處理的話
可以降低延遲
也可以保留資料的自主權
那同樣的話
也可以接上邊緣裝置
就可以在現場設備感測器
工控以及知識庫
形成一個完整的AI的現場系統
這是我的第二個立方
那其實我們在想說
我們其實也是很希望
把我們這樣子的一個方式
能夠跟大家去分享去合作
找出一些更好的案例
那其實對Joe來說的話
它能夠做什麼事情呢
因為其實就可以縮短交付的時間
它可以幫你做需求的整理
規格的撰寫
然後交付包的生成
再來的話
它可以降低你雲端的依賴
比如說對重複的工作
還有敏感流程
我就可以先在本地端去處理
那同時它可以直接協助
保有這個所謂的公司的知識資產
例如說文件流程
還有Lesson
還有程式資料的話
我們可以持續的做累積
然後另外的話
它可以提升可自理性
同時在成本工具結果和錯誤
都可以隨時的做追蹤
這就是它的一些好處
所以其實我們的合作路徑的話
其實是說
我比較是希望說
我們如果要來嘗試去理解
這個地端模型的做法的話
我比較是希望
能夠先有一個明確的案子
聚焦一個高價值的場景
然後我們來體驗一下
快速交付的成果
再來的話
我們才會驗證一下
我們的這個執行的流程
和商業價值
然後去衡量成效
優化流程
然後擴大可複製的做法
然後最後呢
我才會把這樣子的系統
把它灌到形成
你自己的一個企業AI工廠
然後讓你的能力可以沉澱下來
做一個標準化的交付
然後擴展更多的場景與團隊
這樣子
那其實
如果我要導入的話
我是希望是能夠有這樣子
逐步的一個
逐步的瞭解
這樣我們纔能夠瞭解
大家的要求
所以這個我們也是可以是
希望能夠把它建築到企業裡面
讓他自己能夠產生自己的
AI產能
讓大家來體驗一下
Token自由的感受
這樣子
那同樣來說的話
我也是希望說
之後可以跟大家來聯繫
就是說
如果說
你有一個特別的想法
例如說
你想要打造一個
自動化的開發專案
成為企業AI的工作流
或導入這個
Local First的AI的話
我都歡迎與我洽詢
然後主要來說
我們主要的目標來說的話
就是說其實有四個重點
一個就是說
我是希望四週內完成
企業系統的原型的開發
雖然現在的Vibe Coding
他可能也許
數天之內就完成
但是你要讓企業去穩定的話
是需要一些時間去跟
跟這個Domain Know How的人
去做了理解
所以我定位在四週
但是往往可以更少
然後企業資料不離開公司
這是很多人的想法
再來的話
我們其實最大的想法就是說
我們很希望能夠降低
七成的雲端的AI成本
讓大家開始用地端
去處理事情的時候
其實這個雲端的成本
是可以省下來的
再來的話
我會是想說
就是說很多人是希望說
我在開發的過程當中
我不要依賴任何的SI廠商
而是我自己能夠
硬號時去開發
這樣我可以保留
我自己的所有程式碼
還有知識資產的所有權
這也是這樣子的資料
留在企業裡面
他才會是更好的
那再來的話
其實第五項的話就是說
我們到底要怎樣把一臺GPU
或者是幾臺
我自己的Local設備
把它轉換成一個
24小時的AI的開發團隊
如果對這些有興趣的人的話
都可以持續的再跟我聯繫
那我這邊有留下我的LINE ID
還有Email
也歡迎大家再跟我再保持聯繫
謝謝大家