🇺🇦科技改變未來:王吉賢做了AI視覺目標追蹤系統
吉贤在乌克兰
1320粉絲
大家好我是吉賢
這個好久沒見了
上次更新得一個多月之前了
一方面呢
跟您匯報一下平安
有那個特別神奇的玩意兒
說我們這什麼都被佔領了
好那天嚇我一大跳
沒這回事啊
這這好好的
怎麼就被佔領了呢
另外一方面呢
也跟您匯報一下吧
最近忙什麼呢
對吧
這不是什麼又犯事了
最近確實低著頭忙科研
沒看我這一桌子東西
弄了個什麼呢
我這啊
這有兩個小玩意兒
這個主要的這個主板呢
是樹莓派啊
上面就兩個惰機加一攝像頭
這個呢
是一個高精度一點的惰機
運行更絲滑一點
倆攝像頭
一個是熱成像的
哎不是
一個是那個那個紅外的
就是no IR filter
就是夜視的啊
一個就是普通光的
哎
那麼幹嘛呢
這個是一個圖像的追蹤系統
好
我把這倆玩意兒開個機啊
好
我現在拿了這個啊
老的PS3的手柄
是這我配對的是這個小設備
它的畫面呢
在這啊
你瞅瞅能看見我
看見人
然後呢
這幹嘛使呢
這個是這樣
哎
看見這個屏幕上面有一個小菱形塊了
對吧
我可以用
比如說我現在屏幕對著這兒啊
我用我右手的這個搖桿啊
在這呢
右手的搖桿
鎖定我的這個臉
然後我摟一下鎖定
哎
目標都鎖定了
我摟一下追蹤
這樣呢
這小玩意兒就追著我走了
哎
能看見吧
比如說我現在動動頭
哎
它就一直瞄著我
看了吧
這個玩意兒在這呢
我看怎麼同步啊
這樣呢
這樣能看見它
看沒
哎
特別好玩
這玩意兒不太好錄啊
因為我一手拿著它擋著臉
哎
你看
我這兒就動了
然後這個
這個
這個小機器人的頭
一直鎖定著我
對吧
然後更簡易的操作呢
就是我鼠標在這兒點一下我
哎
這目標都鎖定了
我說鎖定那個氣球去
哎
你看它自己就鎖定氣球了
但是氣球不會動啊
如果再鎖定我啊
我往這邊動
哎
你會看到我
我一直在畫面的正中間
對吧
它就等於一直在鎖定著我
那麼同時呢
這是這一個樹莓派4
這一個運算效果
這還有一個樹莓派5啊
在這兒
這也是那個啊
我拿那個控制器
拿這個控制器啊
這移著真不好錄
湊湊看
我先找到我自己
它這個光線不好看
是因為這個是一個夜視系統嘛
所以白天的就白不思列了
就哎
你看我動一動
它那個燈呢
是怎麼說呢
就是鎖定指示燈
如果它覺得它瞄準我了
我在正中間了
它燈就亮了
我們比如說現在我站起來
哎
你看這個玩意兒
它跟著我站
跟著我坐下
看吧
它跟著我來轉頭
好
哎
挺好玩吧
哎
就是這麼一東西
哎
當然了
有意思的東西
不光就這一個玩意兒啊
還有好幾樣
不過這個比較直觀啊
這個看起來比較好玩
呃
咱們也是有一說一了
跟您分享一下啊
首先有的那種高人
肯定就說了
這玩意兒誰沒見過呀
是吧
遊戲裏邊啊
那些武器裝備
全都是這種自動瞄準的
啊
對對對對對
那個現實生活中也有啊
美國那個最先進的武器
也是這麼幹的
但是那個我估計你們家可能沒有
還有我我們家這不是武器啊
我們家有一這個
呃
好
那個還是言歸正傳啊
這個確實這種科技啊
就是
呃
目標跟蹤
目標鎖定技術
打有響尾蛇導彈那年就有了
呃
就這麼挺老的技術
但它真正關鍵在哪呢
哎
這玩意兒還得在錢上
響尾蛇導彈和這個
呃
這個這個RPG火箭筒
你知道差價多大嗎
那就網上當然能查查啊
就這麼說吧
那種大耳提腳似的
那種光光的
就直的直的嘴啊
就是純火箭發射器這種玩意兒
呃
幾百美元
幾百美元就能買著
你要是到導彈那級
它能制導了
那這個援援助的這個友情件啊
美國對外輸出的
據說也得8000多美元的
對吧
您琢磨中間這都是
都是這個這個科技含量
技術成本
研發研發成本貴
對
呃
真的這是人家那個友情件
據說市場上好幾萬美元一發
是吧
哎
那麼這個關鍵點就在於
如何能把這麼能用的這種
視覺的這種AI的鎖定的系統啊
放到這個小樹莓派上
我特意拿的這個
就是樹莓派4這個級別的板子
做的這個性能測試
看數據呢
就是帶著鎖定
能夠跑到20多幀
要是樹莓派5
我比它貴10美元
啊
那就能上到30多幀
這個就非常了不起了
因為一般啊
就說
如果給你一個GPU
呃
要想實現這種級別的這種
呃
視覺鎖定算法
其實算法挺多的
呃
有人第一就反映到了YOLO啊
YOLO模型
哎
這上了就外行
當然這個好好說啊
YOLO啊
那個叫object detection
那個是在一個畫面內
有多個已經被訓練的目標
進行這個bounding box的鎖定
哎
YOLO是這個原理
它不是object tracking
它不負責追蹤
那它能追蹤是怎麼回事呢
一秒15幀畫面
30幀畫面
一張畫面的識別
那那是追蹤了
您琢磨這運算量得多大啊
你這個玩意兒
要是擱到4090上啊
那那完全沒壓力
你擱到一筆記本電腦上啊
呃
勉強也能跑的了
你要是擱到這麼一個價值
只有50美元的一個運算板上
哎
你甭說這個GPU了
就真沒GPU那上面
那上面是有一個
那個你這麼說
它有一個video core的GPU處理器
人家那是為了圖形渲染用的
完全不能用於計算加速
那麼如果我們用深度神經網絡啊
就會有好多這個需要矩陣運算的操作
載這小破玩意兒上呢
就幾乎用不起來
所以這破玩意兒
你能你看的剛才演示啊
呃
我能夠造作出這個效果
比較連續比較流暢
對吧
也是能跟著我這個鎖定的走
對吧
呃
這個還是用了很多工夫的啊
呃
關鍵技術呢
也可以跟你們說一點
就是首先你就就告訴你
就在這種小的邊緣運算設備上
盡量別碰大的矩陣運算
那小CPU扛不住
呃
那不碰矩陣運算
那怎麼來去實現這些個圖像的跟蹤識別呢
在openCV就是計算機視覺的這個框架
這屬於計算機視覺的領域
不太完全屬於這個純AI領域
當然也會用到一些AI技術
在這領域裡邊呢
會用到一些個叫呃
濾波器correlation
就是相關性濾波器等等吧
然後也會用到一些個算法
比如說HOG
就是Histogram of Gradient
總之呢
呃
你還還有一種叫Orb算法
就總之呢
就是這麼一張畫面
哎
特別是現在這個就是品質比較高的
iPhone拍的畫面啊
你看我這張臉
呃
首先呢
你不能進行假定義上的人臉識別
如果是人臉識別
這個算法已經被優化的差不多了
但是呢
往往我們在實際應用中需要鎖定的目標
有可能是一個車輛啊
叉車啊
比如比如叉車啊
不見得是人臉
所以他這個你要被識別的物體呢
你是不是已知的
不是已知的yolo就用不了
哎
他必須得先運算
或者呢
你就用別的深度網絡
他要要先學習再去去處理
那麼這塊的網絡呢
就是你先比如說選中一個點
他就會在這個點周圍去攤開了
去去算算找什麼呢
找明顯的key point和邊緣啊
像這些個點都屬於key point
這是orb算法裡邊的邊緣呢
就像我說的那個history
histogram of gradient
gradient這個梯度梯度指的就是色階上的梯度啊
那比如說像這個臉的這個邊緣
這明顯是這是黑的
假如這是偏白的
這倆的數值差是有明顯差異的
在這就會檢測到一個很強的梯度信息
在這就會很少
把梯度信息用histogram的方法呢
再去做一個分佈
你就可以相當於在最小的運算量裡面
能夠實現一個還不錯的功能
然後這裡面還要加上學習率啊等等
呃
我估計再說
您就該睡覺了是吧
反正哎
你不是想偷學技術
一般聽這個也沒用
呃
這就說到這兒吧
就是通過了很多啊
呃
工作纔能夠使得這樣的AI的這個模型做視覺跟蹤
能夠流暢的運行到這麼便宜的一個電腦上
我真是已經要了命了
呃
比這個配置再低
呃
基本上那個丟真率啊
或者按照這套算法就丟真率就沒法再用了
但比這個配置再低
在AI或者影像識別領域裡邊已經也就算是挑戰極限了啊
一般他們一動
這個就是都上什麼Jetson啊
甚至上什麼那個更大的那種GPU了都那個玩意兒吧
就比較受限
你比如你把它放到一個固定的
像什麼那種監控攝像頭上那都可以
監控攝像頭
它不是在攝像頭上算
它是高清的
呃
無損的數據
通過它裡邊的光纜
吧
傳回來
在他自己那服務器上算啊
這就是你們看那些個什麼大的攝像頭呢
能做這種監控的事
呃
另外呢
就是你就想吧
如果是一個很極端的條件
比如說一個飛行器
那上面的電一共它也不夠多
就沒多少用的
你就不能夠用太大功耗的玩意兒
在那上去做這種運算
還有個飛行器
它容易掉回來
甭管它是自己主動的
還是一不留神
啪掉下來了
那你那個GPU可就算廢了
所以這上面能夠做最低成本的邊緣運算的視覺跟蹤的技術
我覺得我自個兒覺得還是很不錯的啊
所以我這就算錄個小視頻
跟你想的一樣
民用啊
列位說到哪兒
這都是民用
對吧
你沒看見我那攝像頭上掛一機槍
對吧
這就是
這就是我自拍的時候啊
我有時候願意走
哎
他能跟著我一直
哎
讓我在畫面中間幹這用的
行了吧
啊
對
有時候我自拍的時候啊
這個天光線不好
所以我就有時候樂意用那個紅外紅外自拍
他也能鎖定我啊
這就是幹這事兒使的
好
這另外一個匯報視頻啊
你看我這是亂七八糟
呃
這是怎麼著呢
呃
我有一個
呃
在這邊的華人好朋友啊
呃
允了我這麼一個
玩具啊
玩具過來讓我幫他升級調試一下
讓我看看我的這個東西能不能裝到他的這個
這個上面
哎
那這樣不就好使了嗎
哦
這另外啊
呃
跟您哭個窮啊
呃
就是這玩意兒真燒錢
呃
所以呢
有的朋友就是說你這個東西做完了
應該給
呃
這個
一個被侵略的防禦者
守護者
給他們向他們開放使用
技術完全沒問題
代碼我隨時拷給他一份都行
關鍵是
我得去調試各種傳感器
買這堆傳感器花了不少錢啊
你看我這一堆一堆東西
呃
所以呢
呃
這個這玩意兒很少很少哭窮啊
所以就是您要是慷慨解囊的
你不
我不要錢
你能資本我一些個必要的什麼呃
單板機啊
什麼非控板啊
呃
這些玩意兒
我拿來去改裝這個更高級的
去把那個AI給這網上做適配
啊
這個東西確實是很有幫助
因為只靠我一個人的精力財力呢
我頂天了
我適配一兩款啊
這個飛行器
呃
但是其實無人載具呢
能夠用於
多種特殊用途的無人載具
我挨個適配
我自個的錢是燒不過來的
我也在那個和一些朋友呢
再去商量
反正這些個商務上的問題呢
我也需要有人能夠幫助我去解決
你們呢
該掙錢掙錢
反正對於我來說呢
我這個實驗室
我就需要實驗器材得全
我才能正常的產出
對吧
呃
另外呢
有些個特種的應用呢
就是
即便在烏克蘭
啊
受侵略的法治國家
人家也是有法律的
呃
這些東西呢
我們也會再積極的和政府呢
去呃
申報啊
協商
總之呢
你幫他一定要在法律許可的情況下
所以呢
在法律沒有授權的情況下
我是不會去越界
去向武器化去發展
啊
這個是向大家明確承諾的
那我現在呢
你看就是在電腦裡邊
在模擬器上
是吧
在家裡弄點民用的攝像頭
啊
也是AI技術
但是
哎
我肯定不會去
隨便的跨過雷池一步
這點呢
你們也大可放心
我知道有的朋友是很關心我的
好吧
啊
但是即便如此
這些技術呢
對於侵略者和支持侵略者的國家個人團體
我是絕不開放的
本身呢
呃
您看
咱雖然哭窮啊
咱也不差錢
啊
絕對不差
你這砸瓜拉棗的
貴賤不給你們用
願意自個兒用的
自個兒回家猜去
寫單板去
呃
也就這樣吧
好
沒了
再見
