直播回放 【直播回放】自動駕駛大模型DriveGPT技術演示 2023年4月12日18點場

追踪科技
1粉絲
1 次觀看·2026年3月27日
還沒人進來
我這輛車都沒開
開了那不忙
哦 打擾了
這不是顯示64人看過
這視頻號已經有人進來了
等等人吧
我們今天是
自動駕駛
生成大模型的
一個上手實測
給不知道的觀衆朋友們
先說一說
就是昨天毫默知情
我們國內的自動駕駛公司
發佈了這麼一個DRIVE GPT
算是全球首個自動駕駛
生成大模型
然後很多人對這個很感興趣
然後我覺得到底是不是什麼產品
它能做到什麼
然後今天我們就給大家來試試這個
對 然後我們今天也請到了毫默的科學家
一會兒就是讓
我們專家老師
給大家一起來解釋一下
這個產品吧
然後我們現在先等等人
七點的時候
我們正式開測吧
七點開始啊
七點我們正式開播
這個聲音還行吧
可以
隨着盯着有他彈幕
有人問這是什麼
DRIVE GPT是國外的嗎
不是國內
毫默知情的
自動駕駛公司
他其實中文名叫那個雪狐海若
稍等兩分鐘
然後七點的時候
相關股票有嗎
是毫默的股票嗎
對了毫默是
長城旗下的一家
智能駕駛公司
可能很多人不瞭解毫默是什麼
但是長城汽車大家都知道吧
然後毫默做的一些智能駕駛
也在長城旗下的一些車上
已經上車了
比如那個未牌的摩卡
應該有好幾十款車都有
可以去試驗室店體驗一下
包括那些坦克
什麼很硬派的越野車也都有
坦克300和500應該都有
對坦克300是
我有個同事有一輛坦克300
他經常跟我說
就是沒想到越野車上面
也會有L2級的智能駕駛能力
而且使用量還挺大的
很多開越野車的人可能都是開長途
所以他們比較願意用這個東西
你這個說的對
我那天就問我同事
我說你買一個越野車
你搞一個智能駕駛幹啥
然後他就跟我說
80%其實都是在長途上
20%是在越野
降低駕駛疲勞是非常有幫助的
現在好像時間差不多了
那我們就正式開始今天的直播吧
先給大家就是剛進來的觀衆朋友們說一下
今天這個活動的背景
就是昨天
我們國內的自動駕駛公司
豪摩智行也不是開了一場發佈會吧
就是在它固定的AI day上
發佈了這麼一個
全球首個自動駕駛生成大模型
它的中文名叫雪狐海若
英文名呢叫DriveGPT
然後其實有很多人
包括我們在內也比較好奇
就是這個DriveGPT
到底是做什麼用的
然後爲什麼要做
然後都能做到什麼程度
然後今天我們也是拿到了
豪摩給我們的企業要求資格
然後就是正好趁着這個機會
就是想給大家去
實際的演示一下
這個到底是怎麼回事吧
然後今天是我們的梁祖威
還有就是我們的不亂媒體
智能車參考的小姐姐
還有請到了我們豪摩的
數據智能科學家賀陽老師
對然後一會兒
一塊跟大家來講解這個事情
然後
我覺得人數差不多
我覺得先請我們賀老師
給大家就是自我介紹一下吧
就是你平時工作做什麼
然後在這個研發過程中
做的什麼事情
大家好
我是豪摩自行的數據智能科學家賀陽
我們
主要的工作其實就是在
做那種自動駕駛的
算法包括比如說我們
感知的算法決策的算法
就是傳統的算法
但是在過去幾年中我們發現傳統的
自動駕駛的這種
方式可能有一點點
問題所以我們在
過去大概一年多的時間裏面
逐漸的把這種傳統的這種
小模型的這種
思路逐漸的往大模型
這個方向去轉了
然後在過去的一年當中我們其實也嘗試了很多
一直到
最近我們才逐漸的把這個思路
收斂到GeoGPT這個
技術點上來應該說
就是您自己的工作室
具體是
我就是負責這個東西的
這個東西主要的
對對對
那就是還是
也是請您給我們
之前沒看發佈會的或者
沒了解過這個事情的觀衆朋友們
就是普通人就是介紹一下
GPT
就是儘量通俗一點
它是個什麼產品能做什麼
那我們就先從最
基本的開始講吧
大家都在講GPT是吧
我們首先講一個概念
什麼叫GPT
GPT實際上是一個縮寫
G是生成的意思
P是pre-training就是預訓練的意思
T是transformer就是那個大模型
就是transformer大模型
所以這三個字母連起來實際上是代表了一種
新的算法的
訓練的方式
叫生成式預訓練大模型
那麼這種
模式之前是OpenAI
一直在做的
然後一直到去年它發佈Chad GPT之後
才突然間火爆起來了
所以這是GPT這個概念
那麼Chad GPT
它做的是什麼呢
就是用GPT這種技術在自然語言上
也就是我們
普通用的那種文本
這樣的語調上
去做這種生成式的預訓練的
大模型
那麼它訓完了之後就可以做很多的工作
就是我們大家在Chad GPT可以用到的
這樣一些
事情它都可以去做
比如說回答問題
甚至做數學題
寫代碼等等
也就是說GPT是一種生成式的
預訓練大模型
然後Chad GPT是把它用在了
把這種技術用在了自然語言
這個方向
那麼GPT其實
跟Chad GPT或者說跟GPT
是一脈相承的
我們最早其實
用的不是GPT這個技術
我們從去年大概2002年
從4月份開始
就開始從這種小模型和大模型
這個方向去轉了
最開始我們都是
跟隨Google的這個方向
就是用的是BERT這樣的大模型
我們最開始也是嘗試了很多的方向
當然也取得了一定的成果
如果關心過Harmony的同學
可能之前如果看過我們的
AIDA的話 其實我們前幾次
第6屆第7屆這樣
AIDA上我們也講到了我們怎麼樣
用全程泡沫 怎麼樣去用這種
encoder decoder的這種方式
去做這種認知大模型的
這種嘗試
後來我們逐漸的發現
可能GPT這種模式是更適合於
這種我們現在
落地車我們應用的場景
爲什麼這麼說呢
我舉個例子大家就很清楚了
GPT因爲它是深層式的運行訓練
它的核心是深層
那麼我們開車的時候 比如我們在駕駛一個車
我們在車裏開車的時候
我們做出一個決策 比如說我要踩剎車
還是要踩油門 還是要打方向盤
我是有一個決策的依據的
那我決策的依據是什麼呢
就是我看到我周邊的環境
並且我預判未來會發生什麼事情
比如說我預判那個車要
切過來了 我可能要踩一下剎車
也就是說我需要對未來做一個預判
所以這個深層就是
對你get到這個點了
所以說我們就
結合這個駕駛的第一性原理
我們覺得自動駕駛也應該需要
做這個事情 也就是說我們如果能對
這個未來 深層未來的事情
也就是說我能對未來做一個預判的話
那我大概率就能夠
把我自動駕駛的策略做得很好
所以我們就把這個技術遷移到
GPT這個方向來了
最終我們用自動駕駛行業的數據
來訓練這個
預訓練的大模型
得到的就是J5 GPT
也是這麼一個歷史
那中文名字爲什麼會叫雪狐海若呢
這是我們顧老闆取的一個名字
顧老闆是一個非常有文化的人
這個名字是來自《莊子秋水》裏面
是說何伯去爲白海若
說何畏大小
然後白海若就說
不以天地爲大
不以豪默爲小
就表示這種包容萬象
海納北川的這種思想
所以老闆覺得這個詞
還是非常不錯的
而且你看跟我們的雪狐也是非常接近的
所以我們就叫雪狐海若
豪默這個名字其實也是從這來的
對也是從這來的
最好給我們的名字給映射上了
順便就是可能有一些朋友
特別是我感覺B站的朋友
可能對這個方面不是那麼瞭解
也請何老師幫我們介紹一下
豪默這家公司吧
豪默自行是一家
專注於做自動駕駛的這麼一家公司
我們是長城旗下的
我們主要是我們的業務
包括這麼幾個
第一個是我們的L2加的這種輔助駕駛
就是我們現在在長城的車上
很多都已經可以去體驗了
比如說剛剛說到的坦克300 坦克500
很多都有
我們最近也要發佈我們最新的
HPilot 3.0
就是城市的
城市領航的那種輔助駕駛
這種我們會在最新的車型
也會直接在世界世界應該能夠體驗到了
然後這是第一塊業務
第二塊業務是我們也會去做那種
低速的L4級別的
這種無人物流車
我們叫小摩托
比如說我們在順義或者在義莊
以及在一些封閉的園區裏面
都會看到一些小車在幫我們送貨
這種也是我們的一個
第二塊的
跟自動駕駛相關的業務
那我覺得
我們開頭介紹的差不多
我覺得我們還是進入
今天的主題吧
我們也做了一個
可以給大家體驗的這個界面
就是DRIVE GPC這個東西能幹什麼
相當於讓大家能有一個
比較直觀的認識
然後就是
這個東西現在還是有限的
像企業夥伴開放
還沒有完全的開放
因爲這個不是一個2C的產品
這是一個2B的
所以我們都是受邀一些企業
我們合作伙伴一起來用
然後我們就
你們調一下這個界面吧
就是現在
主界面就是這個
大家可以看啊
我們現在進入的是毫慕的官網
然後DRIVE GPC這個主頁
這個設計語言
我感覺有一點
跟GPC或者
DRIVE GPC那種類似吧
對
其實它這個設計是我們的設計師
從我們的那個
自動駕駛的一個技術裏面衍生出來的
我們自動駕駛我們現在車裝用的是
叫BEV這種感知的模式
BEV就是一種了槓圖
就是你從上往下去看到
我們的車道線
我們的車在上面不停的運動
大概就是這麼一個
理念從這裏面
簡化出來之後
變成一個藝術化
非常簡潔
能反映自動駕駛特點的
這麼一個圖
相當於從空中鳥看這個駕駛的
對對對我們的車道線
我們的車
這是哪家的
是國內一家叫毫慕之行的
自動駕駛公司開發的
然後我們現在就
開始試用
你好我是DRIVE GPT
雪狐海若
你可以這樣和我交流
所以我現在就是
找一張本地的圖片上傳
然後它可以
就是切分出
對是的我大概介紹
我們這個整個DRIVE GPT
我們可以大致的從功能上
我們可以把它分成兩個階段
第一個階段是說我需要識別
我們剛纔也說了我們駕駛絕對是需要
識別我周圍的環境的是吧
那DRIVE GPT也是一樣的我們第一個階段是需要
識別說我周圍到底是什麼樣的東西
比如說我需要知道我的車道線在哪
我周圍有什麼障礙物
哪些是行人哪些是三輪車
類似這樣的我需要知道我周圍的
環境然後基於這個
我對周圍環境的認知以及
對未來環境的預測才能夠
碰到我接下來去怎麼駕駛
對吧所以我們現在應該
是這個我們開放的是第一個
第二個功能就是我們怎麼樣去識別駕駛的場景
那我們還是就直接
這麼簡單有人說我磨嘰
那我們現在開始傳
對先用先用
那個我們還是用
毫磨官方給的比較標準的
這個圖來測試下它這個
識別能力吧一會我們有
更極端的環境的測試
大家不要着急我們先來測一些簡單
比較基礎的對先來讓大家看一下
這個東西到底是怎麼用的
對就是這是一個
駕駛的視角的圖片
我上樓一個圖片
可以先讓大家看一下這個圖啊
嗯這是一個非常標準的
這種前視攝像頭的圖
前視攝像頭的圖
然後也是白天光線也比較好
對這種識別效果還是不錯的
所以在這個DRIVE GPD識別的
就是裏面有主要的交通元素
對就是車道線紅綠燈
障礙物了
這是大概有
123456789
可以先數一下看看
對就是
看我們視頻的朋友們可以先自己數一下
然後再跟我們的AI對比一下
識別出的結果裏面有12輛汽車
一輛公交三輛三輪
兩個行人12個騎行人
這個圖能放大嗎
這個就是
這個紫色框是行人
對它不同的顏色代表不同的障礙物
識別還是非常準
而且召回率也非常的高
這個是屬於探照燈
這個不屬於
監視攝像頭
它不屬於交通信號燈
交通信號燈是在前面
就是它有點類似前一段
就是把所有圖像中的元素
切分出來是吧
對
有點像那個構圖的那個
有點像這個但是我們做的是說
我們需要識別跟我們交通駕駛相關的語音信息
對吧比如說識別這個大樓
對我們來說沒有意義
那這裏我注意到有一個交通
有一個60的限速牌
這個限速牌是交通標牌
現在我們還沒有做
交通標牌現在還不存在
再換一張別的圖吧
這個可能難度就比較大了
這個我們可以先
人工試一下看看
能變成什麼樣子
能識別出什麼東西出來
這有兩輛車
這張圖是
三輛車
有三輛車我只能看到三輛車
有人問這個切分的方法是什麼
這個就是屬於原理了
我們可以演示完之後再統一的
回答這些問題
這個原理會比較複雜一點
我們先來給大家演示
看它的效果到底怎麼樣
這個是切分的結果
三輛車確實都識別出來了
這個是
應該不止三輛車你看一下
這也是對
就很多非常小的障礙
我們都能識別出來
包括特別遠的那種特別暗的
就是很多我們用人眼
它們大概都能識別出來
包括那種遮擋的
如果不是這種車道的場景
如果我隨便給大家傳一個
黴關的圖
它是
可能也能識別
但是它可能效果沒有那麼好
因爲我們主要的應用場景還是在不同架勢裏面
這裏面有一個
這個我還真不清楚
試一下
這個能應該能夠識別出來
我的圖上沒有找到需要我今天準備的內容
它不是一個交通場景的
彈幕有人說這個跟賽姆是
就是那個摳圖的
外觀看起來是差不多
這個算是
過曝的
剛剛有一個遞光的是吧
這個肯定是
這個並不是交通場景的照片
這個肯定是
稍微有點遞光
這個出現質量稍微差一點
我輸掉了11輛車
這裏面交通元素也比較多
你看看
它識別了9輛汽車
1輛卡車
那它有兩輛車是應該沒有識別出來
它有兩輛卡車
卡車跟小車是分開的
對對對
因爲處理策略也不一樣
你看這種特別小的車它就識別出來了
在那
這是行人
這是電動車還是什麼
這好像是個行人吧
肯定是個行人
看一下大家
有人有問題
說這個能在車端用嗎
能不能做到實時
這個是這樣的
我們車端有車端的模型
雲端有云端的模型
我們現在演示的是雲端的大模型
我們車端基本上也能做到這個效果
你繼續下一張吧
切分的方法
這個就是原理
就是再講一遍
這個東西
是怎麼把這個東西給切出來的
切分大概大致是這樣
我們剛纔也講到我們整個交互GPT大概分成兩個階段
第一個階段實際上是我們對
整個周邊環境的感知
包括圖片
包括空間
包括交通元素的識別
這種是我們首先是預訓練的一個
非常大的那種
視覺的
大模型
我們叫它Backbone
大致的原理是這樣
我們會把我們所有采集到的
以及我們量產車回傳的視頻
都作爲素材
都輸到我們這個大模型裏頭去
進行預訓練
就是剛纔說的
Pretrain裏面的P
GPT裏面的P
基於這個之後
我們之前也標註了很多
跟交通相關的這麼一些因素
比如說三輪車
然後我們用這些
標註過的數據
在我們這個預訓練的基礎上再去做一個Funtune
那這樣我們這個大模型
就能夠識別各種各樣的問題
比如說原來我們可能是說
我們識別紅綠燈就要單獨一個模型
我們識別三輪車和電動車
也是要有單獨的模型的
那麼現在我這個大模型做完之後
實際上我用一個大模型
就可以識別裏面所有的東西
有人問
就是這個道路上的貓狗會不會識別
就是它識別的
判斷它能夠識別哪個內容
對 這個問題問得比較犀利
是這樣的
我們現階段還沒有打算去做這個事情
就現階段
因爲我們整個公司的成績的進度
以及我們研發的進度
大概是到現在這個階段
也就是我們首先
首要問題是要識別最主要的交通的參與者
車道線是最重要的
然後我們的行人
我們的車子
紅綠燈
先把這些東西做完了之後
我們接下來纔是考慮說
能不能去做一個更加泛化的
識別更多類型的
甚至說是我不需要標註任何類型
我能夠識別萬物的這麼一種
更強大的感知系統
這個是我們下一步
交付GDP可能接下來要做的一個事情
剛纔說了一張
公司自己的圖
我其實
前一會
就是
自己隨手拍了兩個圖
我就想試試它能不能識別出來
這是啥呀
就是三隻貓
看看行不行
這是什麼東西
它就是三隻貓
它上面又沒有交通要素
它這個應該識別不了
有人在問
我看一下大家的問題
你可能還要再說一遍
這裏GDP參與哪一方面
能否進行決策
GDP我們剛纔說了
GDP是分兩個階段
剛纔我們演示的實際上是第一個階段
就是我們怎麼樣識別我們周邊的環境
哪些是需要我去考慮的那種交通元素
這是第一個階段
第二階段實際上是我們的重頭戲
就是做自動駕駛的決策
這是我們交付GDP最核心的一個工作
我們昨天AID上講的
最核心的其實就是這一塊
哦對
就是跟我們今天一塊測這個的
還有我們的夥伴媒體
就是智能市場
他們平時就是
每天都在關注
這些智能駕駛相關的
然後聽說了一個熱身操
他們特意找了一些
比較極端的場景
說想試這個東西的能力極限
可以挑戰一下看看
那你來直接傳這個東西
好那我
對看看吧
我直接換這吧
我來找一張比較有挑戰性的
請坐這邊
這是夜晚的一個場景
高架橋下是吧
對有四輪車
也有二輪車
而且這個視角不是正常的
自動駕駛的視角
應該是能手拍的
它不是自動駕駛的視頻
它識別出來了五輛汽車
一輛公交
那差不多五輛汽車一輛公交
但是
三個行人確實也在
兩輛三輪車
但是你看它這個
二輪電動車就沒有識別出來
這個空出來了
最近的那個沒有識別出來
最近的沒有識別出來
它爲什麼沒有識別出來最近的這個
這個肯定是視角的問題
這個視角其實跟我們
那個傳統的自動駕駛的視角
我們叫前攝視角是不一樣的
它就是個測試
相當於說是有人站在馬路邊上拍的
所以可以理解爲這個車是離我們太近了
這個二輪車
對對對
這個按照理應該也是可以識別的
我們可以回去查一下
你們可以回去看看是不是有什麼
結果我這第一張照片就把你們難住了
對這個確實不是自動駕駛場景
我們還需要繼續努力
對繼續我再找幾張
我看這應該都是手拍的
站在路邊拍的
再找一張比較比較模糊的吧
就大家可以看這張照片上的
這個行人還有二輪車
它是很糊的
然後這個也是在行駛的過程中拍的
先看看識別結果
六輛汽車基本上都能識別出來
三個行人
識別出來了
這個特別糊的自行車也識別出來了
三個騎行的人
這還有一個擋住的棒
擋住的都識別出來了
我看到了
還有六個交通行爲
這張圖沒有什麼問題
這張圖還可以的
這個已經很不錯了
因爲這個視角完全跟我們的訓練語教是不一樣的
我要插一個問題
剛纔我們編輯部裏面有人提了一個比較犀利的問題
就是這個識別出來
比如會有車牌號什麼的
因爲這個圖片不是我們的
應該是你們提供的是吧
這種圖片
我們自己內部用的圖片都是做過合規的
就是會把門臉車牌全部抹糊掉
你們這邊如果提供的圖片之前沒有做的話
傳到我們系統裏我們在識別過程也會自動把這個事情做
只要進到系統裏面圖片都是做過合規的
就是說這個數據隱私是沒有擔心
這個完全沒有
就是我們在車莊就已經把這個事情做完了
圖片一回來就已經做了這個事情
還有更難一點的嗎
有找一張晚上的嗎
這種應該還好
估計應該問題不大
這種識別還可以
但是遠處的就沒有識別到
這種遠處的車沒有識別到
這幾個差不多串在一起了
這種可能遮擋應該太嚴重了
但是他的車在往前開的過程中他就會自動識別
因爲他在這個位置能夠識別這些
我們確實我們感知的距離是有一定的範圍的
就是說這幾輛車他其實已經過了感知的最佳的距離了
他在往前開的過程中他就會慢慢的識別前面的物體
我懂了
再找一張難一點的
感覺剛纔那幾張
這張有意思
這種是什麼東西
我都沒看清楚是啥
好像是個蚱蜢是吧
是一個晚上非常火
然後遠處還過曝了有點
對這感覺好像特別像今天的天氣
沙塵暴是吧
是今天拍的嗎
昨天拍的
而且這炫光很厲害
看一下
就看他識別結果
六個汽車基本都還可以
基本都能識別出來
交通燈漏了
這個很近的車也識別出來了
是不是有兩個交通燈漏了
對這張圖
這兩個
但是這兩個交通信號燈
我覺得還挺明顯的
所以說這個視角肯定會影響會比較大一點
再試試別的
再找張別的圖片
這個挑戰有點厲害
這個應該也是昨天沙塵暴的時候我們拍的
非常模糊
這應該是昨天能見度很低的時候
這個光已經把車在門口全部蓋住了
我們看看
這張圖片能識別出來啥
這個車確實識別不了
這個門口有點大
一個行人兩個騎行的人
這個行人
兩個騎行的人在哪呢
我也沒看見在哪
會不會是這個
對對
這可能是
兩條車道線
我們直播間裏有人問
我們開放的是識別圖片
不是識別視頻
實際上我們內部狀態是識別視頻
因爲我們對外開放的接口
現在並不支持識別視頻
原因有很多
一方面是說視頻的格式有很多種
我們現在支持的視頻是我們車裝的視頻
他不是說你手機拍一個視頻
他就我們去做識別
這是第一點
第二點是說
視頻的識別
確實對我們現在線上的
整個的壓力會比較大一點
因爲我們這個只是一個demo
是給我們的合作伙伴去體驗的
對吧
如果覺得這個效果好
我們接下來
實際對接的時候
我們就會直接去做視頻的識別
就這個在技術原理上是一樣的
剛剛也有人問
就是現在有哪些夥伴
已經用上這個東西了
能說嗎
這個應該我們已經有很多家
我記得是有北京交通大學
有高通
英特爾
有火山
有華爲
還有什麼的
我覺得應該是挺多的
現在我們開放是一個能力
就是以後還會考慮去開放更多的
對
是的
我記得這個是能實現4個
場景
對
應該是有一個是
就是現在演示的交通場景的識別
對
還有另外幾個
還有一個是自行駕駛的
那個應該是叫什麼
叫我們叫測試
對
還有一個是困難場景的一個脫困
還有一個是什麼來着
我還真忘了
這些大概什麼時候能上線
這些功能
這個我們後續會有一個
逐步開放的一個過程
具體的排期
我們得下來去對一下
好
對
應該會逐步的開放
有人問就是
我們和特斯拉比有什麼優勢
和特斯拉比是吧
這個問題也比較犀利
因爲首先我們定不清楚特斯拉
具體是怎麼做的
我們只能通過特斯拉他的AI
公佈的一些信息
來判斷說我們跟他比
有什麼樣的一些差異是吧
我覺得首先一個差異是說
整個JF-GPT這個方向
或者說這種思路
是跟特斯拉是不一樣的
特斯拉並沒有提出這樣的一些
想法出來
這是第一點
第二點是說
特斯拉可能
他的跟港資相關的一些技術
也是做得非常的先進
包括他的什麼佔用網絡
他的包括BV的港資
其實在業界做得非常的領先
而且做得非常的好
然後他的駕駛決策這一塊
它實際上是用的一種
叫護士搜索術的方式
它並不是用我們這種
單薄訓練方式去做訓練的
對
但是我個人判斷特斯拉可能
很快也會在這個方向做一些嘗試
我們可以期待一下
還有人問就是這個跟優酪比
就是自動駕駛目標檢測的
它跟它區別在哪
優酪是我們在車裝用的算法
這個跟這個不大一樣
我們現在這個是雲端的算法
優酪就是我剛纔說的
我做一個事情就要單獨訓一個模型
比如說我用優酪去檢測
那個障礙物或者
我就是去標一堆障礙物
然後訓練一個優酪的這麼一個模型
然後它就能檢測這樣的一個障礙物是吧
我們現在開放的交互GPT
它實際上是個雲端的大模型
它是一種通用的能力
它是用海量的
我們是用了幾億的圖片
去訓練的這麼一個
我們稱之爲基礎的大模型
基於這個大模型
我們翻透之後
它就會具備很多的能力
那這個成本會不會很高
非常的高
所以我們在去年
雖然我們規劃這個事情的時候很早
我們去年大概三四月份
就開始去往這個方向
就從小模型
往大模型這個方向去遷移
那就涉及到你說的這個問題
就是我們訓練大模型
因爲需要大量的數據
需要大量的創力
要訓練很久
那就涉及到我們這個成本的問題
就是我們創力當時是很貴的
所以我們在去年
就開始準備去建自己的操縱中心
也在我們上一次AI隊
就是第七屆AI隊的時候
向外界也是公佈了
我們這個操縱中心的建設的結果
我們跟火山引擎一起建的
做這個事情
做這個操縱中心
主要就是爲我們大模型訓練
提供創力的
有人提到了
就是我們這個大模型的參數量
參數量現在的話
這個其實我們內部也是跌到了很多輪
從最早的我們大概也是
我記得是一個多億
到十個億左右
現在大概已經到1200億了
1200億
對
還有人提這個識別速度的問題
現在就是還在優化嗎
還是
對
這個速度
因爲大模型它的性能
相對來說會比較差一點
所以現在整個的速度會比較慢一些
我們也在逐步的優化
就降低我們整個訓練成本
特許的成本
我們預計應該能夠
降低個
我們希望吧
能夠提升個10萬
對
還是有好多人在問這個雲端跟車端的問題
應該是可能得
就是這個兩個東西怎麼結合的
還是
就是說這個大模型
怎麼樣跟車端去結合是吧
現在實際上就是說
實際上我們做這個大模型
現在的目的並不是說
我現在就想上車
目前還是做不到的
因爲他對雙鈴的要求是比較高的
我們現在車端的芯片的雙鈴是遠遠達不到
想運行一個大模型這種能力
那麼我們現在是怎麼用的
我們現在是在雲端
我們搞了一個
類似於說我們現在在雲端有一個大模型的
它的能力非常的強
是吧
它就相當於是我們雲端的一個老師
他知道
我現在面臨的是什麼樣的情況
他也知道我在這種情況下
應該去
做什麼樣的駕駛決策
怎麼樣去開車是吧
他甚至可以對每一個駕駛決策
做出一個評分
這種開車的
他的那個
得分是多少
比如他是更安全還是更高效
還是什麼之類的
是吧
這是我們雲端具備的能力
那麼有了這個雲端能力之後
實際上我們車端的算法
我們更多的是去
相當於去向這個老師學習
對吧
如果我們現在實際上
真實的做法是說我們在
雲端構造了很多的這種測試的場景
然後用我們的大模型
去給出這種非常複雜的場景的
這種
標準的答案是什麼
然後我們車中的算法
就可以去複雜的模型裏面
去測試自己的結果是什麼
看他的
駕駛的效果
跟我們真正的雲端的答案有多大的差距
也就是說你如果學的
好的話
應該是跟我們的雲端的
大模型的能力是比較接近的
當然如果不好
你就可以繼續去迭代
一直到把你我們車端的算法的
效果不斷的去逼近
我們雲端的大模型老師的效果
對
然後我想問一下
就是在這個雪湖
就賽爾群這個雪湖海洛出現之前
像我們自動駕駛場景的標註
都是怎麼做的
之前其實
就是我們做小模型的這種方式
就是我們比如說
我要識別紅綠燈是吧
大家可能覺得紅綠燈
是一個非常簡單的問題
因爲紅綠燈特徵非常的明顯
但是你真的去做的時候
你會發現你會遇到很多的問題
首先紅綠燈的形狀各種各樣
就是沒有一個
標準分類
或者說是規整的
這麼一個紅綠燈的形狀
這是第一點
第二點是紅綠燈
它的掛的位置也不一樣
有掛在路上的
有掛在路的一邊的
有掛在馬路中間的
甚至有藏在大樹後面的
還有掛在高架橋上的
就掛在
各種各樣的地方都有
是吧
然後還有紅綠燈上面
顯示的東西也不一樣
它有些就是個圓餅
有些顯示的箭頭
有些顯示的文字
然後現在還有一些多媒體燈
它顯示的實際上是
就很複雜的信息
就這個東西看起來很簡單
實際上非常的複雜
所以我們傳統的做法
我們在識別紅綠燈的時候
是要花很大的精力
首先去採集
怎麼採集呢
開我們的採集車數據採集
就是人開着車
對 人開着車去採集
就是我要採各種各樣的紅綠燈
採完之後
我們會把這些數據
交給我們的標註公司去標註
在這個圖像裏面
把這個紅綠燈給框出來
告訴我們的雙法
說這是個紅綠燈
這是個紅綠燈
也是由每個人
對 自己手工去標
對 標完之後
我們標了很多
就各種各樣的紅綠燈
以及在各種場景下的紅綠燈
以及各種天氣
各種 比如雨天 霧天
包括沙塵暴
下着各種各樣的紅綠燈
然後纔會把這些雨量
放到我們的小模型裏面去訓練
然後我們這個小模型就具備了
識別各種各樣紅綠燈的能力
對
天 那這個過程
我感覺特別耗費
對 是的
精力 人力
是 所以以前
自動駕駛公司一個很高的成本
就是說我怎樣去採集數據
怎樣去標註數據
對 這是個成本非常高的東西
那這個DRIVE GPT
就是雪庫海豹出現之後
您預估就是能降低多少成本呢
這個我覺得可能跟每家公司的
那個模式不大一樣
豪默是一家
因爲豪默是在長征旗下的
就是一家以量場爲目標的
這麼一家自動駕駛公司
就是我們自動駕駛的
那個系統
是直接裝在我們的量場車上
直接就開出
直接就在外面
直接就跑 是吧
就是說這一部分量場車
它在我們在外面跑的時候
它會跟有些用戶
在用自動駕駛的過程中
如果遇到問題
它就會發生一次接管
對吧
一旦發生接管了
我們就會把周圍的環境給保存下來
並且上傳到我們的雲端
這樣的話我們就得到了很多
我們目前很難處理到的
一些非常難的問題
把這些問題
作爲我們這個大模型的雨料
丟進去進行訓練
訓練完了之後
再結合我們翻車的效果
這樣的話我們就對這種
覆蓋全國的各種各樣的
複雜的問題
都能夠比較好的去解決
所以對於我們來說
這個成本會降低得非常非常的多
因爲我們現在手裏
已經有很多的車在外面跑了
有很多的數據回來了
所以再結合我們大模型的能力
整個的成本
包括迭代的效率
都會指數級的提升
但是對於傳統的
比如說以前做L4的這些
這種駕駛公司
它根本沒有車在外面跑
它的數據主要是一代它的採集車
那它的成本可能就會
我覺得可能會
怎麼說對它的那個效果
我覺得可能沒有那麼大
就它的數據可能是比較封閉的
這是我個人的一個判斷
所以是對量產車
這種駕駛比較利用是嗎
對因爲它是大數據大模型
所以你的數據越多
你分佈的越廣
數據的多樣性越好
對它來說就效果也會越好
然後降低的成本也會越多
對
那有了這個東西
就比如說我們出去採集
或者是標註
可能就沒那麼需要人工了
對你可以這麼理解
那會不會造成說
很多這方面的工作人員
他被裁員失業之類的
對這個問題也不是很好回答
是吧
我是覺得項鍊就是說
技術肯定不是說
最終要把某一些人
或者某一個工種給取代
我覺得這個不是我們的目的
我們的標註其實
即使我們現在有了很
以我們公司爲例
即使我們現在已經有了
很強的自動標註的能力
但是實際上我們每年
花在標註上的經費和需求
也是非常非常大的
爲什麼這麼說呢
就是說
能大概說一下多少錢嗎
這個不能說
這個我們確實是
這個企業內部的信息
但是我們確實在這塊
花的成本是非常的高
因爲我們需要識別
各種不同的新的東西
是吧
比如我們原來能識別
就剛剛那個同學說的
我們能不能識別貓啊
狗啊之類的是吧
這些可能接下來
我們都可能需要
設計人工的標註
這是第一點
第二點是說
我們是在做交互GDP
在後面做駕駛決策的時候
以前是不需要對駕駛決策
去做標註的
但是一旦我們引入了交互GPT
我們需要去做那種
人工反饋的這種
強化學習的話
我們需要對後面的駕駛決策
也需要做一個標註
對吧
這一塊相對來說
我們就給標註
貢獻了一個新的標註的一個領域
它可以去幫我們去標
這個場景下
這種駕駛決策到底好還是不好
是吧
哪一個更好
哪一個更差一點
它可以去幫我們的模型
也就是幫我們的交互GPT
去設定更好的這種學習的目標
我們希望是說
我們交互GPT學到的
不是一個比較差的
或者說中等水平的司機
我們是希望說
結合我們人工的標註
能夠從這裏面
把我們真正開的好的
這種老司機的這種行爲
給標註出來
我們向他們去學習
最終我們交互GPT
它的駕駛的能力
應該是更像我們
開了十年代老司機的這種初林博士
而不是那種比較差的
普通的這種司機的水平
對
有人在問
就是這種標註的準確率是怎麼樣
而這種標註的準確率
實際上我們不能光靠準確率
我們一般是準確率和招貨率
都一起在抗的
就我們在跟
這種標註跟我們人工標註
其實做一個對比的過程中
你就會發現
就是能標註一般準確率比較高
因爲它標的一般不會錯
是吧
但是它的招貨率會比較低
包括我們剛纔在看這個圖片的時候
招貨率就是說它應該標
但它沒有標的
就是它可能不會標到
但是它只要標到了
就一定會對對對對對對對對對對對
尤其在比如黑暗的環境下
它跟人眼都分不出來
它有些遠處的
比如說遮擋的這些
比如說它的能工標註的時候
它的能夠招貨的概率
就會比較低一點
但是我們的機器
在這塊就會做得非常的好
對我們的招貨率
會比人工標註要高很多
大概能高
我記得應該都有10個點吧
我們再給大家試一下吧
這個這是一個夜晚的場景
車是不少
應該是
而且比較暗
14輛機車
對
這個確實框也比較多
都給畫出來了
這有好多車
嗯
大家可以看看有沒有漏
給它們抓住蟲
而且這個視角應該不是前視視角
應該是在路邊用手機拍的
對應該是能拍的
再試一張別的吧
可以找一張比較暗一點的
往下滑下面有黑點
這個好像剛纔都射了是吧
對我們之前能工標註的時候
就發現這個東西是特別暗的
以及特別小的特別遠的物體
能工標註就很差
這個沒射
這個是不是也是昨天拍的
對全都是沙塵暴那天拍的
你看這種就不是很清楚
這種
五輛汽車
那這個特別遠的也標出來了
嗯這個還好
車不是很密集
就很分散
但是這個信號燈也標出來了
這張還好
那我能問一下
它是怎麼做到標的這麼準確的
這就是我們大模型的能力嘛
因爲它看過的數據非常的多
它看了幾億張圖片
是吧
那它就沒有看得清是吧
就是我們樣本里面是有這樣的樣本的
因爲它看的樣本足夠多了
我覺得今天我這個試用啊
大概大家應該知道
哪裏能看出來這是一個做什麼事情的
然後這個GPT跟GPT有什麼關係
還有這個它對以後這個自動駕駛這個行業
是能起到什麼作用和意義
然後剩五分鐘
我們看看就是直播間裏觀衆有什麼問題吧
我也想問最後一個問題
就是這種產品在自動駕駛行業裏它普及
就讓大家都用上
就叫GPT這個產品是吧
對啊
大概要多久
對啊
這個我估計還得有一段時間吧
可能得多久
大概我拍腦袋覺得可能還得三到五年吧
這麼久
對
因爲我們現在這個時候就
這個能用上這個概念其實不好定義
就是普及嘛
對
普及你說是放在車上
我認爲普及是放在車上是吧
放在車上我覺得現在短期還很難實現
但是我們在雲端其實我們現在已經用上了
因爲我們現在車裝的模型都是經過我們這個大模型調教出來的
你如果說把這種也叫做用上了的話
那現在就已經用上了
好
對
包括我們現在比如我們車裝的那個
專用無識別的模型都是用我們這個大模型標註出來的數據去訓練的
這也算是我們大模型直接去賦能我們車裝的這個模型
也可以說大模型直接去普及到每一個車上去了
對
再問車道線檢測看看效果可以嗎
這個應該是一個
對檢測了
他剛纔說四條車道線吧
四條車道線
是幾條啊這裏頭
四條
他說的是四條
一二三
還有一條在哪
是不是這一條
有可能
有人問了一個比較細節的問題
這個檢測紅綠燈重影和樹狀黃斑怎麼處理
紅綠燈的重影和樹狀的黃斑怎麼處理
這是比較細節的
我都沒聽懂這個問題
樹狀的黃斑
什麼叫樹狀的黃斑
就這位朋友可以你在彈幕裏
再給我們解釋一下什麼是樹狀黃斑
然後我們可能不太理解
這個紅綠燈那個黃燈嗎
應該是吧
還有一條是這條車道
這個土
寶二在問
就是又問了
其實之前解釋過了
這個模型主要聚焦在視覺嘛
有沒有設計決策模型
您就再講一遍
今天演示的是視覺
因爲決策現在不好演示
對
決策我們是在一個雲端的一個
大家最大的問題就是
這個跟GPT有什麼關係
這個其實我們開頭解釋了一遍
那就是最後就是賀老師
您再解釋一遍
我覺得大家肯定有一個很大的誤解吧
就是說
之前也有媒體問過說
我們是不是把CHAT GPT用到了自動駕駛
這是一個非常常見的誤解
就是說很多人肯定一開始聽到這個GPT
肯定是以爲把CHAT GPT這種對話的方式
用到了車上
比如說我們可以跟汽車去對話
語音交換
對語音交換或者智能座艙這樣的
其實完全不是這麼一回事
也就是說我們跟CHAT GPT相似的地方
就是GPT這三個字
大家都是用深層式的預訓練大模型
這種技術來做的
我們沒有用任何的跟CHAT GPT相關的東西
我們並不是CHAT GPT
我們只是用GPT這種技術
來解決自動駕駛的那個場景的識別
駕駛的決策的問題
它也不是一個交互的問題
然後我們今天
還有一個問訓練量是幾億張圖片
現在應該大概有接近十億張了吧
十億張
我們今天就是
現在就是還是跟大家說一句
現在就是開放的
這個GPT開放能力就是這個識別檢測
對 因爲這個是比較有市場的
所以我們先開放了這個
以後可能還會陸續開放更多能力
然後這個GPT模型其實也在會
就像別的各種類GPT產品一樣會接着去優化和迭代
然後也比較高興
還看到我們越來越多的國內公司在往大模型這個方向發力
然後今天就是拿大模型做自動駕駛
這個其實我們也是第一次見
然後也是希望您這邊繼續努力
然後把這個東西繼續做出一點成果
這個在自動駕駛行業應該算是一種很領先的技術
對 反正我至少我沒有看見第二家在做這種事情的
然後那就行
今天的直播就差不多就到
然後謝謝何老師
好 感謝感謝
謝謝何老師
謝謝
那我們就解決了問題
大家歡迎在我們各種平臺的評論區留言
然後我們終於給大家解答
好 那今天就到這裏
好 拜拜
