6850億參數混合專家(MoE)架構開源大模型!Deepseek V3全方位客觀評測文檔處理、邏輯推理、算法編程等多維度的真實能力水平!是卓越還是拉胯?真能超越Claude還是言過其實? #claude

AI超元域
10粉絲
26 次觀看·2024年12月26日
歡迎來到AI超語言域 deepseek發佈了最新的開源大模型 deepseek v3
現在可以直接在hugging face上來下載這款模型的全種文件了
而且我們可以直接在deepseek官方來使用v3這款開源模型
由於官方還沒有發佈詳細的參數介紹 我們目前只能訴說到關於這款模型的有限信息
這款模型採用了混合專家架構 總參數爲685B
包括256個專家模型 而且這款模型的截止日期是2024年7月
本期視頻我們將從邏輯推理 還有編程能力等多方面來測試deepseek v3這款大模型的綜合能力
我們先測試一下這款模型的版本號 我們直接提問他的版本號 然後發送
這裏他回答 他的版本號是deepseek v3 由深度秋索公司開發的智能助手 下面我們再問一下他的知識庫的截止日期
然後我們直接發送
這裏他給出的回答是 知識庫的截止日期是2024年7月
好 爲了驗證一下他說的他的知識庫是2024年7月是否正確 我們直接問他python最新版本的版本號是多少
我們這裏輸入的是在你的知識庫中 你所知道的python最新版的版本號是多少
然後我們直接發送 他這裏給出的python的版本號是3.12
也就是在他的知識庫的截止日期中python的版本號是3.12 這個是沒有問題的
這說明他給出的這個截止日期並不是瞎說
好 下面我們測試一下這款模型對pdf文件的處理能力
我們直接選擇一個pdf文件 讓他做下總結 我這裏上傳的一個pdf文件是最近接了一個aiagent相關的項目
這是一個項目需求 我們直接輸入總結這個文件的內容
然後我們直接發送 看一下他能否正確的總結這個pdf文件
這裏他很快對這個pdf文件進行了總結
他說 這個文件描述了一個基於人工智能的醫療問診輔助系統的項目概述
包括功能需求 非功能需求 實施重點 風險以及成功標準
然後下面就是他對這個文件做出的詳細的總結
這裏我們就不再具體去看了 他對這個文件總結的還是比較不錯的
下面我們再找一個非常大的pdf文件
然後這個pdf文件是關於機器學習方面的
然後這個pdf文件非常大 他總共有605頁
然後我們直接隨機選取這個pdf文件的第232頁中的這一段內容
然後讓他來總結 現在我們在上傳這個pdf文件 這裏要稍等一下
下面我們直接輸入提示詞
讓他用中文介紹這個pdf文件中這個主題的內容
然後我們直接發送
看一下他能否對這個文件中的這個內容做出總結
可以看到他這裏正在對這個文件進行詳細的介紹
這個是沒有問題的 他這裏還給出了一個提示
也就是他只能讀取這個pdf文件中的前17%
好 下面我們再測試一下deepseek v3 他的提示詞遵循能力
然後這裏我們的提示詞是一個基於思維鏈的提示詞
然後這個提示詞要解決的問題就是這個單詞中有幾個r
也就是在這個單詞中我額外增加了幾個r
看一下他能否根據這個提示詞正確計算出這個單詞中有幾個r
我們直接複製 然後粘貼 然後發送
現在他正在遵循這個提示詞
好 這裏他很快給出了這個結果
我們可以看一下他這個推理步驟
然後他這個推理步驟就完全遵循了這個提示詞的要求
我們這裏看一下他給出的最終答案是否正確
然後他給出的最終答案是
在這個單詞中有9個r 然後我們看一下是否正確
然後這一部分是8個r 然後再加上這裏的一個r
這裏是9個r 這說明他通過思維鏈這個提示詞
然後最終給出的這個結果是完全正確的
這說明他對提示詞的遵循能力還是非常強的
下面我們用幾道演繹推理題
來測試一下這款模型的邏輯推理能力怎樣
我們先測試第一題 然後第一題是
若風大就放飛風箏 若氣溫高就不放飛風箏
若天空不晴朗就不放飛風箏
假設以上說法正確 若放飛風箏則下列哪些說法是正確的
這個演繹推理題他的正確答案是b
然後我們直接複製這個問題 然後發送給deepseek
我們看一下他能否給出正確的答案
這裏他給出了正確的答案 正確答案是選b
下面我們再用第二道演繹推理題來測試一下
爲了節省時間 然後這道題我就不再去讀了
然後我們直接複製這個題目
然後這道題目的正確答案是d
然後我們直接發給deepseek
我們看一下他能否給出正確的回答
這裏他給出了這個答案
然後這個回答他給出了兩個選項
一個是b 一個是d 實際上應該是d
然後這個回答只能說他回答對了一半
下面我們再用這個十人足過河的這個問題來測試一下
他能否將這個複雜的問題進行分步驟推理
並且給出正確的回答
我們直接複製這個問題 然後粘貼然後發送
看一下他能否給出正確的回答
現在他正在進行推理
這裏我們要稍等一下
好 可以看到他這裏進行了持續的推理
還沒有推理完成 然後我們再點繼續
可以看到這個問題他已經推理了非常多的步驟
還是沒有正確答案 我們再點這個繼續
然後這個問題他始終在推理
並沒有給出最終的回答
然後到目前爲止
這個推理的過程已經消耗了大概4分鐘了
他還是在持續的推理
還沒有給出一個正確的回答
彷彿陷入了死循環
好 目前這個問題
他的推理步驟已經消耗了10分鐘了
他這裏還是沒有給出我們正確的回答
爲了節省時間
這裏我們就不再讓他繼續推理了
所以說明這個問題確實將deepseek v3給攔住了
但是這個問題在openai還有cloud中
是可以給出正確的回答的
下面我們測試一下他的算法能力
我們讓他用python寫個程序
找出這個數是第幾個質數
並且不要引入外部庫
然後我們直接發送
看一下他能否給出這個代碼
可以看到他這裏很快給出了這個代碼
但是這個代碼並沒有經過算法優化
我們直接複製這個代碼
看一下需要多久他才能運行出這個結果
在等待了大概20分鐘左右
這裏還是沒有給出這個運行結果
這說明他給出的這個算法並沒有經過優化
他只是用最常規的方式
判斷這個數是第幾個質數
下面我們再選一些其他類型的算法題
來測試一下這款模型的編程和算法能力
我們直接複製第一道算法題
然後發送給deepseq
這是他給出的這個代碼
然後我們直接複製
然後回到這裏
然後我們直接粘貼
然後我們直接點擊檢查
看一下這個代碼能否正確運行
可以看到他給出的這個代碼成功通過測試
下面我們再選擇這道算法題
然後我們直接複製
然後發送
這裏他給出了這個代碼
然後我們直接複製
然後粘貼
然後點擊檢查
可以看到他給的這個代碼並沒有通過測試
然後我們再用這道算法題進行測試
我們直接粘貼
然後發送
可以看到這裏給出了代碼
然後我們直接複製
然後我們直接粘貼
然後檢查
他給的這個代碼通過了測試
下面我們再複製這道算法題
然後粘貼
然後發送
這裏他給出了代碼
我們複製
然後粘貼
然後檢查
可以看到這道算法題通過了測試
下面我們再用這道算法題測試
然後粘貼
然後發送
下面我們複製他給出的代碼
然後粘貼
然後點擊檢查
他給出的這個代碼並沒有通過測試
下面我們再測試一下deepseq
解決複雜變成問題的時候
能否直接給出正確的代碼
然後這裏我讓他實現一個
賽博朋克風格的貪喫蛇遊戲
遊戲開始後
界面上會出現多個食物
食物顏色不一樣
分別是紅橙黃綠
當蛇喫到紅色的食物時
會增大兩倍
當蛇喫到綠色的食物時會死掉
然後遊戲界面的背景色爲藍色漸變
我們直接複製這個提示詞
然後粘貼
然後發送看一下deepseq v3
他能否一次給出可以直接運行的代碼
並且達到我們的要求
他這裏給出了完整的代碼
然後我們直接複製
這裏我們打開VSCode
然後將代碼粘貼
然後我們直接運行這個代碼
看一下能否正常運行
好可以看到運行之後
這裏會出現一個白色的貪喫蛇
然後這裏有非常多的食物
我們可以測試一下
先讓他喫這個紅色
好可以看到他這裏喫不到這個紅色
我們再測試一下經過綠色
好這裏他經過這些食物
但是沒有喫到食物
就說明這個代碼還是有問題的
好我們先關閉這個遊戲
然後讓他繼續修改
我們在提示詞這裏輸入
蛇經過食物的時候無法喫到食物
好直接發送
看一下他能否給出修復後的代碼
這裏他給出了修復後的代碼
然後我們直接複製
然後粘貼
然後我們再運行
看一下這次能否正常運行
我們先讓他喫這個紅色食物
好可以看到他還是沒有完全喫到這個食物
我們再讓他喫其他顏色的食物
好可以看到現在他經過這些食物的時候
並沒有喫到這些食物
他完全從食物上穿過了
並沒有真正喫到食物
下面我們再讓DeepSeek進行修改
我們再輸入框輸入提示詞
蛇經過食物的時候還是無法喫到食物
然後發送
因爲這個簡單的遊戲對DeepSeek
應該來說並沒有什麼難度
這裏給出了修復的代碼
然後我們直接複製
然後回到VSCode刪掉之前的粘貼
然後我們再運行
運行之後我們測試一下
可以看到他還是無法喫到這些食物
我們讓他經過這個綠色
看一下這個遊戲會不會接觸
這裏還是沒有喫到這個食物
就說明他實現了這個貪喫蛇遊戲的這個界面
還有我們能操控貪喫蛇
但是他無法喫到這個食物
我們再回到DeepSeek讓他繼續修改
我們輸入提示詞繼續修改
還是無法喫到食物
看一下這次他能否給出正確的代碼
這裏他給出了修復後的代碼
然後我們直接複製
然後粘貼
然後我們再運行
可以看到他經過食物
還是完全喫不到這個食物
還是存在很多問題
我們這裏關閉這個遊戲
就說明DeepSeek在解決
稍微複雜的編程問題的時候
他還是有所欠缺
然後爲了更直觀的對比
我們直接將這個問題發送給cloud
看一下cloud能否一次給出
我們可以直接運行的代碼
現在cloud正在爲我們生成代碼
這裏我們要稍等一下
這是cloud給出的代碼
然後我們直接複製
然後回到VSCode
然後粘貼
然後我們運行cloud給出的代碼
好可以看到cloud給出的代碼
這個蛇碩石化之後是一個很小的一個方塊
剛纔我們運行的時候
那個蛇已經有長度了
然後我們測試一下
好可以看到他喫到這個食物的時候就會增大
這個界面也是藍色界面的非常好看
然後這裏說明cloud
他一次就將這個問題給我們解決了
這個效果也是非常不錯的
因爲我們要求了藍色界面的背景
他這裏也實現了
要求出現多個失誤也出現了
而且他給出了我們這個計分系統
這裏我們就不再去測試了
好可以看到經過我們多個問題的測試
包括推理器
包括編程方面的問題
發現DeepSeek這款模型並沒有想象中的強大
然後他的表現只能說稍微好一些
在複雜的編程問題方面
然後他就無法一次性給出正確的代碼
而且經過多次人海修復
他也沒有修復
剛纔我們遇到的探視蛇方面的一些問題
好本期視頻爲大家測試了DeepSeek
在邏輯推理還有編程方面的表現
通過我們的測試發現DeepSeek
在複雜問題方面的表現還是有所欠缺
希望DeepSeek在後續的版本
能夠提升解決複雜問題的能力
好本期視頻就做到這裏
歡迎大家點贊關注和轉發
謝謝大家觀看
