悲劇谷歌:有自我意識的大模型算法起源於谷歌,而谷歌的大模型做得卻不怎樣

Software -丁哥开讲
709粉絲
2 次觀看·2024年12月6日
嗨 大家好
這個視頻我們聊一下這個大模型
這個NVIDIA它不是最近有那個GTC大會嗎
這個老黃 黃仁勳呢
跟transformer整個這個模型的設計者是吧
有八個啊 就谷歌的前員工進行了對話
當然其中有一個有事參加不了是吧
那這裡面第一件事我們要談的就是transformer
它跟之前的大模型 比如說RNC是吧
這些神經網絡學習有啥區別
之前的那個就一根筋 研究的是逐字逐句的去翻譯是吧
transformer的特點就是自我意識
all you need is the attention
attention is all you need 就是自我注意力
比如說這個transformer大模型它能夠做到什麼呢
兩個人在對話的時候 比如說你的計算機跟人在對話的時候
他不僅在聽你在說什麼 他還能夠分析
你同時在分析你說的話 短語字詞之間的這些關聯
這就是所謂的自我意識的覺醒
就有點像我們人類是吧 交流的時候
我們要注意他說話的語氣怎麼樣
他的這個用詞道具是吧 有什麼特點
他為什麼說那句話 他為什麼用那個詞是吧
有些聯想的能力叫self-attention
這個是非常關鍵的
正因為有了這樣的一個大模型
使得這個deep learning 整個人工智能的這一套東西
從所謂的蒸汽時代進入了內燃機時代
當然有人說工業革命是不是蒸汽機就能搞定 是吧
但是我發現這個內燃機是能夠提高效率的
讓我們過得更好 更舒服 是吧
你像以前的CNN RNN這些研究模型
這些網絡網絡 就所謂的神經網絡 是吧
能搞定一些事情 逐字逐句能翻譯
但是你過得很痛苦 你感覺他效率很低
然後準確率也不高 是吧
自從出了這個transformer之後
整個這個解決問題的速度上來了 效率上來了 是吧
他還有自我這個意識的這種能力
self-attention 還有一個fine tuning 是吧
微調的這種能力 使得整個這個大模型
在給人們提供這種所謂promote的結果的時候
產生了令人驚艷的這種效果 這就是革命性的東西
那這個比較有意思 是吧
這個模型是在谷歌產生的
而這八個人全部離開谷歌了
當然先後順序有 是吧
他們離開谷歌之後 就自己創建了類似人工智能相關的公司
當然據這個老黃 因為老黃也要邀請他們這些人來做談嘛
說明他做的還是不錯的 是不是
那比較悲催的 我們來看谷歌 是吧
谷歌實際上按理說 他應該是
最應該從transformer這個模型機制
這個機制裏面 self-attention這個機制裏面受益的 對不對
最終他沒有 說明什麼
說明谷歌裏面確實有很多牛人 很多好的項目
但是 不知道為什麼
搞了半天搞了個BERT 搞了半天搞了個GEMINI 是吧
到目前還是有點差距的
首先 你看openai發布了chain的GPT 3.5-4
這一下子佔領市場了
當然後來這居上的有 但不是谷歌
谷歌是整個transformer機制的創始公司
卻沒有拿出像樣的產品來
這個是谷歌的一個悲劇
這個也是比較悲催的 這是所謂的大公司病
谷歌一直標榜的所謂的工程師文化 是吧
工程師文化 你可以有一定的自由度
可以一起做些事情 發布論文 發布大模型 是吧
讓大家感覺到 喲 這個東西不錯 我們拿過來用
我可以讓它落地 比如說openai就幹了這個事情 是吧
相關的一些大模型都是基於transformer
所謂的自我審查機制
就是讓你的模型研究系統具有自我的意識
不僅關注你正在說什麼
還要關注你的內容裏面的一些關聯
你有了這些關聯以後
就跟我們人與人之間交流非常相近了
是吧 接近所謂人類的分析能力 人類的情感
因為我們說實在 我們人類是比較發散的一種思維
經常受各種因素的影響
比如說有噪音了 然後有情緒 是吧
有你的用詞不當哪些 是吧
我會有比較困惑的東西等等
這些會影響我們整個的conversation
我們會同樣的這個字 是吧
本身沒有什麼區別
但是因為你的這種tune 你的語氣發生了變化
意思可能是完全不一樣的
這就是整個這套大模型的一個基礎的理論
為什麼強於之前的大模型 之前的機制纔不行
那現在我們正在做的就是拼算力 是吧
基於self-attention這套機制
增加更多的GPU
使得我們整個一次性處理的文明內容更多了
能夠處理多模態 這些東西實際上都在拼算力
歸根結底 這個內核大家都是類似的
都在用內燃機 只是不同的品牌而已
現在是這樣子的 當然有的人說谷歌不是用這個呀
谷歌雖然這個東西是被openair發揚光大
被其他公司發揚光大 但是谷歌
自始至終這個事就沒搞好 是吧
他走了另外一條路 他覺得那條路更好
這個是比較悲催的事情啊 我們向谷歌表示這個
默哀吧 尤其是這個項目上是吧 谷歌是差了一步了啊
那當然說比谷歌更悲催的是所謂apple 是吧
apple搞了十幾年的自動駕駛也沒有搞長
現在又開始搞深層式人工智能
提到這個深層式人工智能
就是你整個一個problem的一個問題
或者是甚至一個難題扔給他
他能夠給你進行一系列的研究
這就是因為他有一個自我意識 一個發散的思維
那我們前段時間提到了比這個China GPT-4更好的
有那個Cloudys 3是吧 比較牛
他在這個科學領域 科學家在推演一些課題的時候
能夠用目前沒有公開的這些結論 這些方案
能夠給你回答問題 這個是比較牛的
他就有一定創新能力了 是吧
也所以有人說 哎呀 這個所謂的自我意識
self-attention機制可能會導致科學家也丟掉他們飯碗 是吧
那麼前面我說的 我們程序員有可能丟掉飯碗 是吧
當然目前來說還是比較安全 是吧
雖然你能讓他寫一些寫一些代碼
但是他還無法完全替代你的工作
因為跟業務綁定的這些代碼 跟業務綁定的這些產品
這些開發還是要有人類程序員來處理的
他可以 就是大模型可以提供一些樣例代碼 是吧
你如果在產品代碼裏面直接用的話還是有問題的
你要把這些東西能夠消化 能夠理解
這就是我們人類程序員能夠發揮力量的地方
當然有人說 我在我公司的代碼倉裏面使用我們公司的插件
就是類似大模型的 我分析代碼 這個行不行
這個是可以的 但問題是你公司的代碼量夠不夠 是吧
是不是足以支撐你整個的學習過程
當然有人說 我把外面的
stacker overflow上的代碼拉下來 是吧
塞到裏面 我讓他學習 是不是也可以
是可以的 是吧
並且你用了人家的資源 然後給你公司使用
這個相對來說 作為一個企業呢
這個也無可厚非 因為你要保護你自己的知識嘛
外面公開的就公開了 我拿過來用而已
當然對內部 你可以說我用了一些開放性的數據
這個無可厚非 就像所謂的git這些
很少公司直接用github的 對不對
都是自己搞一套git server
來做這種所謂分佈式的代碼的管理
跟大模型定製化是一致的
所以 微軟推出的coolpilot pro
它就有這種定製的能力 它就預示的
你有可能有這個需求 是吧
你創建了一個大模型 你可能要分享給你的朋友
這種大模型的分享能力 甚至你還可以賣出
你的這套數據
比如說有個科學家 他經常研究一些課題
說他的提問的方式比較有價值 是吧
他最後把他提問的方式和他的收集的結果打個包
共享給社會 或者是賣給別人
這都是很有賣點的一些所謂的定製化的模型數據
這個會引起一些人的關註
那基於這個大模型 另一塊我們要考慮的就是
對於資源的這種爭搶 已經到了白熱化的程度
之前 你比如說
我們用RNC這些東西 可以學東西 可以產生一些結果
但是它都是類似這個線性的
它不是這種網狀的或者多維的 是吧
那個結果是能用能看 只是學術性的
還不能到產品這一級 所以那個時候
我們能看到的所謂的人工智能
就像Siri這個級別的 或者是Alexa這種級別的
所以到最後導致這些產品並不能夠擁有巨大的客戶
我們只是把它當成一個toy
好 這個視頻我們就聊這些 謝謝各位
