meta最新模型 llama3.1快速體驗,如何本地部署,注意事項

軟件開發 阿倫
10粉絲
2024年10月15日
视频信息:
视频中的链接:
https://ai.meta.com/blog/meta-llama-3-1/
chat
https://huggingface.co/chat/models
本地部署
https://ollama.com/
环境变量配置
https://ruanjianlun.xyz/windows%e4%b8%8a%e5%a6%82%e4%bd%95%e4%bf%ae%e6%94%b9ollama%e6%a8%a1%e5%9e%8b%e4%bd%8d%e7%bd%ae/
模型打分
https://chat.lmsys.org/
个人介绍:
朋友们好,欢迎来到我的频道,本人自2015年开始从事Android开发岗位,见证了移动互联网 如日中天 的时期,目前也面临着其,日薄西山的 境地。开创频道的目的是
1:想要分享一些我在本行业所学到的互联网知识,当然了都是对朋友们日常使用电脑,和互联网有所帮助的内容,非编程知识。
2:想要尝试做一做youtuber,使自己的收入分散化。
3:telegram群组,【不方便贴出来的内容】 会上传至群组,如果朋友们不想自己搜索,可以在群组提取:
https://t.me/+fY7KycQlQXYwMzU1
个人博客:
https://ruanjianlun.xyz
个人小工具: pdf word转换:pdf合并
https://alunpdf.com
嗨大家好 歡迎回到阿倫的頻道
本期我們來蹭一期熱點
所以說我們就說快一點
然後呢 這個拉莽3.1
這是Meta的一個大猿模型啊
Meta的大猿模型都是開源的
然後呢 它有三個模型
三個類型吧
405B 70B和8B的
然後我們說一下
如何最快的來體驗到這些模型啊
第一種方案呢
就是在Meta AI在這使用
需要一個Facebook的賬號
我現在的用的VPN
然後這個IP地址呢
它受限制
換成美區的IP啊
或者加拿大這種
肯定沒有問題
時間問題我就不再切換了
然後在這邊是在它的網絡上使用
然後呢
我們在本地使用的話
就是用這個OLAMA
用OLAMA在本地
我們只能使用這個8B的啊
8B的模型
我現在呢 是正在下載
命令的話
就是這個OLAMA run
LAMA 3.1
就開始下載了
它是4.7GB
這個OLAMA的使用呢
有一些注意事項
大家可以看我這篇文章啊
就是說在Windows上使用的時候
我們一定要把這個環境變量配一下
配的是它模型下載的位置
如果你不配呢
它直接就給你裝在C盤了啊
一個模型是好幾個
這很大的
直接裝在C盤的話
分分鐘C盤就爆了啊
然後下面呢
我又列舉了一些
這個OLAMA它常用的命令
其實我們正常要用的話
就是先去配環境變量
然後不要讓它裝在C盤
然後呢
我們再下載模型
下載完模型以後呢
我們再運行模型就可以了
如果我們不用的話
可以用OLAMA RM這個命令呢
把它刪除掉
然後第一條的話是
run一個模型
run的話
其實如果你沒有這個模型啊
run它會去下載
如果你有的話
它會啓動這個模型
然後底下呢
還有一些這個關於版本的
還有一些OLAMA list
會列舉出我們下載了哪些模型
比如說我這個list
是我之前下載的
有三個模型啊
好
本地的話就是這樣
在這下這個OLAMA
點進來的是這條命令啊
這是下載
前提是我們要用8B的啊
一定要用8B的
它這默認就是8B的
我選別的話
405B
上面會這個參數會發生變化
但是我建議大家啊
這個70B和405B
就大家就不要選了
因爲可以看到它佔用的內存啊
231G
這個70B呢是40G
就算我們磁盤有空間
能下載下來啊
但是對我們的顯卡
它也有一個極高的要求
運行70B的話
最起碼消費級別的顯卡
要頂配的啊
頂配的都不一定能運行起來
24GB的顯存
就算能運行起來
也是非常慢的
所以說我們呢
就體驗這個8B的本地
就可以了
然後下邊呢
我們再說一下
除了在Meta這個官方
然後還有OLAMA本地
我們還在哪些地方
可以快速的體驗
這個網站呢
我之前說過
在這個地方呢
我們需要登錄一下啊
到時候可以用谷歌賬號來註冊一下
這個地方
可以看到
我這邊是選了一個
3.1405B的這個大模型
如果想要切換呢
我們可以點擊左邊這個model
然後在這邊呢來切換
70B405B
比如說我們選個70B的
然後呢
他就這樣跟他回應就可以了啊
當然他是支持中文的啊
然後我們切換成這個405B
就是這樣
這個呢
是他支持的語言
然後這個hack and fake chat呢
這裏邊的這些模型呢
都是開源的啊
大家可以隨便用
他是不會有任何的限制的
然後我們來再來看一個
這個大模型的排行網站
也是我們之前做過一期
我們在這個網站上看一下
這個呢是關於大語言模型的
一些排名統計
因爲meta的話
他是發佈的新模型吧
然後他對自己呢
有一個定位
就是說他這個評分標準啊
具體的話我也不太明白
這些標準是怎麼來的
但是他是和一些模型呢
進行了比對
一般出一個新的大模型
都會有這種操作啊
就是說就是跟這個最火的
GPT-4和這個cloud 3.5
跟他們來進行比對
一般都是這樣
當然他是有他的標準
我們呢
在這邊可以看到
一些人工的打分
這個地方呢
他也是有很多的大模型啊
之前我們也說過
然後在這邊呢
他會有一個排名的網站
只不過這個
拉瑪3.1
他是23號纔出來的
到現在爲止呢
也才兩天
所以說這邊呢
還沒有太多關於他的數據
我們在這邊評分的這個列表呢
也不會看到
可能有個十天半月啊
過一段時間
這邊就會出現這個拉瑪3.1
然後我們體驗的話
就是在這邊啊
這個報錯了
沒關係啊
我們把它刷新一下
我們在這邊指定一下
他的這個模型
剛剛是發生了一個故障
我們刷新一下
他就可以了
比如說我們現在可以選擇
拉瑪3.1 405B
在這邊呢
我們也可以來體驗
你可以看到
我這邊呢
他是報錯了
也許是跟我
使用VPN的IP地址有關係啊
正常來說的話
這個網站是沒有問題的
他是可以正常使用的
就是選擇這個模型
然後用完以後呢
可以選擇A或者是B
哪個更好來給他評分
有可能是我的VPN有問題
OK
現在呢是刷出來了
那我們來問他一下
我們打了這個問題以後呢
他就開始工作了
然後可以看到他現在呢
使用的
哦
選錯了
Cloud 3.5
我們再看一下啊
再選一下
拉瑪3.1 405B
這個網站呢
主要就是給這些大元模型來打分的
我操有沒有什麼騷操作
他似乎是夾帶思過了啊
我們可以看一下
他在第一條就把自己給寫上去了
就是這樣啊
然後呢
A和B哪個更好呢
大家給他來打分
然後打完分以後呢
最終的結果呢
都會出現在這個地方
這個可能是一個月半個月以後啊
這邊呢
就會有拉瑪3.1這個模型數據了
好吧
本期視頻呢
就是完全是蹭熱度好吧
那麼我們就要有蹭熱度的樣子
叫速戰速決
這些視頻中涉及到的鏈接呢
我會貼在視頻的簡介下方
方便大家來觀看
最後呢
如果視頻對你有用的
那麼麻煩按贊來支持一下這個頻道
那我們就下期再見
拜拜
