AI開發者動態:Cursor帶來焦慮,Reflection大翻車,RAG落地思路

TechDL
11粉絲
19 次觀看·2024年9月9日
本視頻分享一下最近一週的AI開發技術相關的動態。
大家好本期視頻呢
咱們來分享一下
最近一週的與AI相關的技術動態
今天呢我們主要談兩個話題
第一個就是讓開發者們焦慮的Cursor
還有一個呢
是從號稱最強開源模型
到被質疑甚至都快翻車的reflection
好下面咱們開始
咱們先看一下兩個動態
第一個呢
就是OpenAI與Anthropic與美國政府
簽署了一個合作的協議
這兩家公司呢
與美國商務部
下面的
一個叫做美國人工智能安全研究所的
簽署了一個
針對人工智能安全研究的合作
我看呢最近有很多種說法
有的說呢
這只是一種合作協議嘛
搞共同研究
也有的說呢
這是美國政府
要審覈大約模型呢
那open AI的奧特曼呢
在x上發文講的是呢
美國人工智能安全研究所呢
會對模型進行預發佈測試
那麼這個預發佈測試的結果
會用來做什麼呢
只是研究研究呢
還是說
會被用來指導對模型進行調整呢
如果說是拿來指導模型調整
那麼就變成了實際意義上的
對大模型進行審覈
那最終呢
很可能大模型
就會成爲爲美國政府服務的工具
那第二個話題呢
就是最近
連續看了幾個報道
第一個呢是open AI的錢又燒完了
要融資10億美金
第二個呢是科大訊飛玩大模型
從盈利到虧損
第三個呢是英偉達發佈財報
收入利潤都暴漲
那正如羣裏的小夥伴們討論的那樣
AI火爆掙錢的也只有賣卡的賣
電的還有賣課的
其他的都在燒錢賠本賺吆喝
整個大語言模型這麼火爆
結果利潤呢都跑到英偉達一家去了
不知道這種情況會持續多久
下面咱們來看一下大模型與開發工具
第一個呢就是我們要提一下這個Cursor
這是一款呢
基於大語言模型的編程開發的工具
這幾天有小夥伴跟我聊天
說試了一下這個Cursor後
讓他感覺非常的焦慮
感覺呢
學習編程技術越來越沒有意義了
不知道該怎麼辦
最近我也注意到
有很多的文章和視頻
都在介紹這個工具
比如這篇文章
就對比了cursor和copilot的區別
我覺得呢特別形象
他這講呢
使用cursor
你就類似於一個團隊的領導者
只負責提供項目的方向
思路和詳細的任務
AI呢在這個過程當中呢
充當的是程序員
負責編寫代碼
解釋代碼
實現功能
而使用copilot時呢
使用者呢是程序員的角色
copilot呢
它充當的是輔助你編碼的角色
所以說這兩個工具它本質上是不同的
copilot呢是在增強開發者的能力
讓開發者變得更有價值
而cursor卻是在降低開發者的重要性
他最終的目標呢
就是將只會編程的開發者
給完全替代掉
聽到這裏
你就能理解
爲什麼前面的小夥伴
有這麼大的焦慮了
同樣是使用大語言模型開發的工具
一個可以幫助你
另一個卻要來替代你
今天
你可能還覺得他有各種各樣的問題
對他呢不屑一顧
但是過不了幾天
你就會突然發現
這傢伙早已經升級了幾十次了
並且已經開始搶走你的工作了
第二點我們要講的呢
就是大模型方面
大模型方面呢
就更熱鬧了
看過我們前兩期視頻的小夥伴
應該知道
最近出了一個叫做reflection的模型
這個模型
可以說
把這整個週末的流量都給搶走了
開始說呢
這是一個最強的開源大模型
甚至可以碾壓GPT4o
後來呢
有人爆料復現不出他們的結果
作者就出來講參數傳錯了
正在更新
後來又說哎
要重新訓練
也有人呢
跳出來指責他
他用的模型用錯了
還有人指責他呢
他的演示是套殼
反正
整個週末
給焦慮的小夥伴們帶來了很多的樂趣
那我也呢
做了兩個視頻來介紹這個模型
還做了一些對比
給我的最大體會是一個東西
要想引起別人的注意
第一要有顏值
第二要看起來很有道理
你看這個模型的輸出
它的顏值就特別的高
它不需要你進行任何複雜的提示詞
設計
就可以直接輸出思考的部分
並且呢
還可以進行reflection反思的功能
然後呢
基於前面的思考和反思生成結果
從這個輸出的格式上來看
這簡直就是大語言模型界的顏值代表
另外還有一點
他這個算法一看就覺得特別有道理
因爲這個思維鏈的思路
早已經被證明是非常有效的了
這個模型呢
它通過微調呢
直接改變模型的行爲
來完成
以前需要靠複雜提示詞
才能完成的功能
那用戶使用起來特別簡單
那這種給用戶省時間和省力氣的工作
他就是好工作
這就是爲什麼他一發布
就受到了這麼大關注的原因
不是說呢
他自己聲稱自己第一
別人就這麼關注他
而是呢他顏值高
看起來呢又有道理
這纔是最關鍵的
我覺得不管這個模型今後會如何
但是他這個微調模型的思路
還是非常有參考意義的
第三個呢
國內模型方面
有兩個新聞咱們簡單說一下
一個呢就是騰訊混元模型升級了
這個號稱在中文上呢可以對標GPT4o
好又來了一個對標GPT4o的
第二個呢
就是DeepSeek 2.5發佈了
這一次呢
它將這個編碼模型與通用模型呢
合併了
DeepSeek的模型
那絕對是性價比超高的一款模型
非常值得大家試一下
最後
分享一下與本頻道相關的內容
目前呢咱們的交流羣呢
7羣已經滿了
正式開始第八羣了
到今天爲止呢
這個羣呢
也快30人了
在此呢
特別感謝這麼多小夥伴的支持
第二點呢
是我發現最近羣裏的小夥伴們
分享用這個x inference
做本地部署的小夥伴比較多
這是羣裏小夥伴們分享的界面inference
看起來這個界面就非常的友好
對模型管理呢看起來也很方便
感興趣的小夥伴呢可以去試試
那第三個呢
就是在羣裏和星球裏都有小夥伴問
玩RAG
或者RAG有什麼實際落地的項目嗎
或者說
如何才能做出能落地的RAG來呢
看來呢大家對這個落地
還真是比較感興趣的
很多人都非常的關心
應該採用什麼樣的技術
開發RAG才能夠快速的落地
但是這個問題呢
真的不是那麼容易回答的
因爲要使用現代的AI
或者大語言模型的技術
進行落地實踐的話
這其實是一個非常精細的技術活
如果你對大語言模型落地這件事
很感興趣的話呢
我建議你再去聽聽
李牧大神最近在上海交大的分享
很多人
說喜歡聽他最後關於人生感悟的部分
我覺得他前面的信息
纔是真正的精華
那下面咱們針對RAG落地這個問題
再來看一下李沐大神的分享
第一個是評估很難
但很重要
李沐分享中說呢
評估是你最重要的事情
先把評估做好
再去做別的事情
那回到RG問題上
同樣的道理
你如果要做RAG落地的話
首先你要建立起對RAG的評估系統
如果你沒有評估
後面的事情一切都沒法談起
第二點就是數據決定上限
算法決定下限
咱先說數據決定上限
李沐在演講中提到呢
想讓一個模型在一方面做的特別好
就需要把數據準備好
它裏面提到一個比例
就是要用70%-80%的時間做數據
具體該怎麼樣做數據
這個你需要根據你的任務和你的目標
來定這件事情
第三個是算法決定下限後
訓練呢是個技術活
大多數人呢都只關心這一點
當然這也包括我們頻道
我們頻道呢分享的主要也是這裏
的一點
這是因爲呢
這個地方看起來是特別關鍵
特別重要
但是呢你如果要落地的話
這個技術本身的優先級呢
並不是特別高
你需要首先解決評估的問題
數據的問題
第四點李牧在分享中認爲
語言模型
100B到500B參數的纔會是主流
如果你偏向一個通用任務
差不多也要在這個範圍之內選擇
我覺得70B呢
其實也可以在這個範圍之內
第五點就是不是技術問題
是商業問題
他關於這一點呢
他舉的例子呢是因爲版權問題引起的
其實呢這點我們可以延伸一下
也就是說呢
你是如何看待
使用大語言模型在商業上應用的
是希望他來了就解決你所有問題
還是你能接受
有一個慢慢改進的一個過程
所以說呢
你要完成大語言模型任務的落地
它其實是一個系統性的工程
它肯定不是一個採用什麼技術
這麼簡單的一個問題
最後一點呢
是我們頻道呢最近分享的重點呢
側重於大語言模型的微調和訓練
那要真正的在實際項目中落地呢
我覺得大語言模型的微調
也是必須要做的事情
對這些內容感興趣的小夥伴
可以持續關注我們的分享
好以上就是今天的分享
感謝收看
我們下期視頻再見
