本地AI又升級了!llama cpp+通義千問無審查模型實測:圖片識別+寫貪吃蛇代碼,4G顯存也能玩 | web3村長

以前我們在windows上折騰本地ai的時候 簡直是很難受的 不是顯卡驅動對不上 就是版本對不上 要麼就是cuda環境變量爆錯
或者是cmake編譯失敗 很多新夥伴遇到了根本就沒法解決 但就在最近呢 大模型本地推斷的老大哥拉拉馬點cpp憋出了一個大招
他一路瘋狂更新到最新的版本b9222 官方呢 這次是終於聽見了 徹底是把windows端的部署難度把它降低了
不管你用的是n卡 還是a卡 還是英特爾的顯卡 就連顯卡都沒有的本地的一個純的cpu電腦
官方這次直接把全套編譯好的免配置的全家桶直接搬到了我們的面前 那今天村長呢就帶大家來看一看
這個解壓機用的本地ai天花板 它到底有多爽 我們首先來到我的補課網站 那就是這個地址了
這裏有一篇關於拉拉馬點cpp的一篇文章 我們點進去
這裏面呢 有今天視頻裏面所有用到的一個資源鏈接 包括大冒星的一個下載
以及相關的代碼都在這個裏面的 估計很多夥伴呢 對拉拉馬點cpp呢 都不知道是什麼
那其實拉拉馬cpp呢 它是官方github 是目前最流行的本地gguf模型推理框架之一
我們很多熟悉的本地模型 像千萬 deepseek 金馬harmers等等
那都是可以通過拉拉馬點cpp來進行一個運行的 尤其是現在的gguf生態呢 越來越成熟
很多模型都會第一時間發佈在gguf量化版本上面 ok 那我們接下來就直接來下載進行安裝
我們打開官方的這個下載鏈接 它最新的版本是b9222 我們一直翻到下方 這裏有一個windows的版本
選擇對應我們自己的一個windows版本就可以了 不管你是n卡還是amd顯卡還是intel卡 那這裏面都有相應的一個說明
如果說你是n卡 不管是二聯繫三聯繫還是四聯繫的 我們就直接選擇
這個cuda版本的這個版本
那這個時候就根據你本地的cuda的版本來進行下載
如果說你不知道你本地的cuda版本安裝的是哪個版本 我們可以通過鍵盤上的溫家二 然後輸入cmd 我們來檢查一下
我們直接輸入
這樣一串代碼 然後回車 那這個時候它就會顯示我們的cuda的一個版本 你像我的話是12.6
所以呢 我們對應的 我們應該是下載這個
cuda12的版本 那如果說你的版本超過了13 你就是下載這一個 這個是關於n卡的一個下載 如果說你是amd的顯卡
那你可以下載這個hip的 或者是這個版本
如果說你是intel的顯卡呢 我們就可以下載這個sycl的版本
對於很多夥伴沒有顯卡的夥伴 就是純cpu的一個電腦 那你肯定是選擇上方的
它有64位的版本和一個二門結構的 這個根據你的實際的配置來進行下載
ok 因爲我這邊是cuda12 所以我選擇這一個 我們把它複製下鏈接idm這邊新建一個 大概有200兆 我直接來進行一個下載
下載好後 我們打開 它是一個壓縮包 我們直接把它進行一個解壓
解壓好了之後 它就是這麼多的文件 我們現在下載的只是它的一個外殼
這裏面是沒有本地模型的 所以那麼接下來要去下載一個本地的一個模型
那我這邊給大家準備了一個千溫的2.5的越一版的這個模型
我們直接把它放進來 很簡單 我在本地這裏新建一個文件夾 比如說就叫model吧
這個文件夾建好了之後呢 這裏面主要就是放置我本地的各種模型的
我直接把這兩個模型把它複製過來
做一個粘貼 但這裏面除開這兩個模型之後呢 其他的很多模型大家都可以去進行下載 我們把模型放進來之後呢 我們回到這個根目錄
我們這裏要來給它製作一個一鍵啓動的一個命令 這樣子呢 防止有的夥伴對命令行的一個操作 又要去弄很多的代碼 我們製作了一鍵啓動命令之後呢 這樣子就更簡單了
我們直接右鍵新建一個文本文檔 我們把這個文本文檔把它改成start.byte這樣子一個文件
我們再來進行編輯一下
把這段代碼粘貼進來 這是我們一鍵啓動的一個命令 點擊上方的文件 點擊另存爲
這裏面的文本文檔 我們要選擇所有的文件 下方的編碼大家一定是要選UTF-8 不要選其他的
選好了之後點擊保存
我們把這個關掉 我們直接來雙擊進行一個啓動 啓動了之後呢 它會讓我們選擇一個模型
那比如說我的本地的模型就只有第一個 我放在這個裏面的就只有千問的這個模型 如果說你的本地有其他的很多模型
那比如說我這邊選擇2
按數字鍵盤2 因爲我本地是沒有接碼的這個模型的 但是我來嘗試一下它會有沒有什麼問題 直接選擇2之後回車
那它這裏就會顯示在這個腳本當中呢是
沒有這個文件的 並且我們要去進行一個下載 然後再改成它的一個真實文件
沒有的話 我們就直接隨便按一個鍵 它就又回到了這個裏面 那同時呢 只要你的本地的這個模型裏面沒有相應的一個腳本
它都會出相應的一個問題 我們直接選擇鍵盤上的1 因爲我只有千問的這個多模態的這個模型 選擇1之後 然後回車
那它就會自動的彈窗 彈到這裏 我們看一下它的後臺 正在進行一個加載模型的這樣一個界面
包括這個上面也正在會顯示 加載了一會兒呢 它這裏就顯示出來了 這就是正常的一個工作的一個界面
那這裏的模型也看得到 是千問的2.5的這個漆壁模型
我們點進來看一下 這是總共的tokens 然後模型的一個名稱
4.36個gb 包括它的一個版本 也是圖形的一個版本 好 那我們接下來就來嘗試一下 我們把這個關掉
我們直接來問他一個問題 我們問他你是誰 他這邊就顯示
他是阿里雲的一個大模型語言 叫
同意千問 因爲千問的這個模型呢 它是一個視覺的模型 我們可以直接給他上傳一下圖片 讓他來幫我們分析 比如說我這邊
給他一張圖片 這是之前的一個視頻封面圖 我讓他來幫我看一下這個有沒有哪些改進的之處
我們直接回車 那他這裏呢就正在分析 這個時候就有點慢了哦 因爲我的本地的電腦是4G的一個顯存
對於跑很多的模型的話 這個顯存有點尷尬 所以大家如果說
電腦配置稍微好點的話 儘量去配置至少8G的一個顯存 或者是16G的 12G的也可以
我們就稍加等待一下 我們看他識別之後是怎麼樣的
過了一會兒 他這裏就會在顯示了 包括他的一個速度啊 這裏有大概一秒的話 大概有四個talking到五個
下方的回覆呢 他這裏會有顯示有多少個字 然後以及他的百分比 包括輸出的話大概有多少
所有的東西都一目瞭然 這就能看得到你本地的
配置好與壞的一個實際上的一個情況了 全部輸出完畢 他這裏面就會給出一些意見
那這個是對於圖片的一個識別 那我們接下來看一下他寫代碼的一個能力啊 比如說讓他幫我寫一個貪吃蛇的一個小遊戲
他對於文字的識別 他的一個反應速度還是很快的 如果說對於圖片啊 或者是其他的文檔
他識別的是像pdf文檔 word文檔 這些他都是可以識別的
然後這個是測試他寫代碼的一個時候
其實他的速度來講 如果說你不是追求很高速度的話 那這一個呢 還是ok的 你像我的電腦的配置也還能行
只說他的速度稍微慢一點 那速度慢了之後 在我們的體驗感上面就差很多
他這個代碼給我們寫完了 我們來測試一下他這個代碼到底怎麼樣哈
他代碼寫好了之後呢 我們來直接複製這個代碼 我們隨便找一個文件夾 我們這裏面要新建一個
文本文檔 然後把這個名字命名爲比如說
snack.py 這裏一定是.py的這個結尾啊 因爲我們要在本地的拍攝環境當中去運行
我們直接點擊是的 我們點擊右鍵
點擊打開方式 用機事本來打開 把剛剛的代碼粘貼進來 粘貼好了之後 點擊文件 點擊另存爲
這裏的保存類型呢 我們要點擊所有的文件 編碼格式是utf-8 點擊保存
點擊是的 把這個關掉
回到這裏之後呢 我們要按住鍵盤鍵的shift 然後點擊右鍵
這裏有一個在此處打開PowerShell窗口
那如果說你在鍵盤上 你不按住shift鍵 直接點擊右鍵的話 那他之後就沒有那個打開PowerShell的窗口了
所以是按住shift鍵 然後點擊打開 那接下來我們直接來運行這一個文件 直接輸入這樣子一串命令
點擊回車 我們看一下輸入好了之後呢 他並不能運行 不能運行 我們直接讓他給我們做一個修改 我們來
重新問他一下 上面的代碼不能運行 我們讓他重新寫一下 這裏會顯示
這個20682048 這裏的問題啊 是因爲我們在剛剛的窗口那裏 我做了一個限制
他的上下文的長度 我只是給他規定了2048 所以現在的已經超過了 所以呢 我們要去把那個
限制把它調大一點 我們回到這裏 那接下來我們要把這個要關掉了 我們得重新去進行一個設置
再一鍵啓動這個命令 我們做一個編輯
可以看到這個模型就是我們本地籤問的模型 我後面給他做了一個2048的
所以我們接下來把它比如說改大一點吧 改到8192 然後再做一個保存 那接下來我們再來啓動一下 還是選擇第一個
啓動了之後等待一會兒 等待他後臺加載完畢 這裏就可以了 我們回到這裏
剛剛應該是這裏吧
不是這裏 是這個模型 我們重新來給他複製一遍
再來問一下 那他現在呢 就不會出現剛剛那種情況了 他在你的上下文的一個長度
如果說上下文長度越長的話 他會佔用我們的一個顯存 所以這也是爲什麼很多人說
跑本地的模型 如果用自己的機子來跑的話 你的電腦配置一定要很高才可以
他這邊過了一會兒 給我寫完了 那我們接下來直接複製這個新的來看一下
把新的代碼粘貼進來 然後呢 我們另存爲這裏選擇所有文件 點擊保存
我們再來啓動一下在PowerShell窗口
直接使用這個命令來進行一個打開 打開了之後他就會彈出這樣子一個窗口 那隨便我們按一個方向鍵 他就會進行一個
探測蛇的一個運行 那比如說我按一個右鍵 他就會動了 然後上
按住鍵盤上面的上下左右 哎 我真的吃不上 吃不上 吃不上 哎 跑遠一點 過來吃
我天 我這個玩 哎 可以了 吃上一個 哎 還挺好玩的哈 哎 哎
不行 我這個玩遊戲的技術很差呀 我撞死
哎 撞掉了 撞了之後他又會重新到這裏來
再按一下他又開始了 這個還是可以哈 那這就是關於這個遊戲了 我們上面體驗了
圖片呀 包括他寫代碼的一些能力
所以這個還是在我們的各種優化當中 他寫代碼纔會給我們一些完善的一些內容
那大家呢 也可以來體驗一下 這裏面主要說明一點的是呢 我們把這個關掉 這裏面主要說明一點的是呢 就是我們在這個一鍵啓動這裏哈
它的設置和模型的一個位置 這裏要做一個說明
因爲我這裏只是放了一個測試模型 千溫的這個2.5的一個粵語版的一個模型
包括其他的一些不可展示的一些內容 大家都可以來進行測試 那我這裏就不做測試了
我們如果說下載了其他模型之後呢 直接把所有的模型文件都放在這個裏面
然後在啓動的這個功能裏面 我們要進行一個編輯 這裏面呢就是
他的一個名稱 大家一定要寫好 比如說我們來對照一下 前面這裏就是我的模型的一個名稱 對應的話
就是這個文件
那後面的這個位置就是對應的是他的一個圖形的一個模型 那就是這個模型
他的名稱大家要對好就可以了
本期視頻所用到的所有的免配置工具包 多模態以及無審查模型的一個純淨版件像呢 包括我寫好的這個一鍵的啓動腳板
我都全部打包了 放在我的博客網站裏面
那大家有需要呢 就可以直接來進行一個下載 同時還有其他的模型文件 我都會放相應的一個鏈接 大家可以直接來進行個下載
那以上呢 就是今天的一個視頻內容 如果說你覺得我的頻道對你有所幫助呢 也不妨點個關注 點個訂閱 ok 本期視頻到這裏結束 感謝大家收看 我們下期視頻再見