43 小白入門 - 利用LangChain輕鬆集成HuggingFace模型

学习与实践
173粉絲
7 次觀看·2023年11月5日
huggingface目前是AI領域最火的模型和數據集的共享平台。目前已經共享了超100,000個預訓練模型,10,000個數據集,變成了機器學習界的github。
LangChain的HuggingFacePipeline能夠幫助開發者輕鬆集成HuggingFace上分享的模型。
大家好,我是小木頭
歡迎大家來到我的視頻頻道
過去一段時間
我分享了不少關於LanChain的入門知識
但至今有一塊還沒有涉及到
那就是與HuggingFace的集成
HuggingFace目前是AI領域
最火的模型和數據機的共享平臺
目前已經共享了超過10萬個域性鏈的模型
還有大量的數據機
儼然變成了機器學習界的GitHub
我現在所分享的呢
就是HuggingFace的模型這個頻道
或者這個板塊
其中對模型進行大量的分類
我們在這裏面可以選擇自己想用的模型
比如在自然語言處理方面的摘要部分
我們可以看到
當點擊其中一個模型呢
可以進入這個模型的頁面
這就是這個模型的項目的頁面
有對模型的介紹
以及如何使用
部分模型同時也開放了Inference API
可以在這裏通過自己的輸入
來試用這個模型
當前分享這個模型呢
是一個主要目的是做摘要的
Summarization的模型
可以看到這裏在API的調用處
輸入呢
有一段默認提供的一段文字
點擊Compute就可以計算
也就是生成摘要
在右上角可以看到這裏
可以選擇的呢
就只有Example這一個
那我們可以通過這個模型
當然這裏大家可以手動的去
拷貝粘貼一些文字
來看看摘要生成的效果
我們今天要所分享的就是
如何利用Luncheon與Hugging Face集成
能夠通過Luncheon來直接使用
Hugging Face上的這些模型
那我們先進入Luncheon官方文檔
在這裏呢就有一個叫
Hugging Face Local Pipeline
Luncheon提供了一個管道的概念
在這裏呢對管道做了封裝
有一個類Hugging Face Pipeline
可以很方便的通過模型的ID來集成
我們呢就按照文檔的介紹
通過一份Python Notebook執行
來分享究竟如何使用它
這就是今天我們會使用的
Python Notebook
當然了有一些包
其實是我們並不需要的
比如說OpenAI和SentencePiece
這個呢我可以先把它刪除
我們安裝一下這些包
接下來要用的模型
正是剛纔所分享的Facebook
這款模型BartLargeCNN
這是一個摘要模型
我們在後面的代碼中
會介紹目前Luncheon
它所支持的模型有哪些
安裝完成以後呢
就可以來到下一步
下一步非常非常的簡單
通過這個Hugging Face Pipeline
基於一個模型來構建一個AOM實例
也就是大語言模型
模型的實例
我們用的是這個Facebook的這個模型
通過調用FromModelID函數
來實例化這麼一個模型變量
那模型ID呢就來自於Hugging Face這裏
我們可以看到在這裏呢
有一個URL當中
比較實踐性的方式呢
就通過URL這裏
就能找看到這個模型的ID
這就是模型ID的使用
那另一個呢
是任務這個Task
Task參數指定這個模型的任務是什麼
我們在這裏使用的是Summarization
表示它是做摘要的
這個值呢是有意義的
且是需要我們指定
它也有一定的允許的值
如果我們點擊這個FromModelID
打開它的函數定義
會看到在這裏呢
FromModelID這裏通過提供一個Task
會去構建一個模型的實例
其中這個Task
我們繼續往下翻
會看到這裏
它會有一些判斷
在這裏就能夠看到
如果它等於TextGeneration
等於TextToTextGeneration
或者Summarization
都會對應的實例化一個模型實例
如果不是這三個值中的任何一個
就會出錯
表示目前這個任務是不支持的
同時這裏有個變量ValidTasks
如果我們翻到代碼的最上面
可以看到
目前LuncheonPipeline支持的
只有這三種
TextToTextGeneration
TextGeneration和Summarization
這三個有效的任務呢
對應了HackingFace上面
Model這邊在自然語言處理中的
三個標籤
Summarization
TextGeneration和TextToTextGeneration
因此這三個分類中的模型
是LuncheonHackingFacePipeline
可以集成的
這大家要注意
並不是所有的模型
HackingFace上的模型
LuncheonPipeline都可以集成
我們今天所使用的呢
就是Summarization中的
這個剛纔分享的
FacebookBarLargeCNN這個模型
摘要
那現在就來實例化
這個語言模型的實例
後面的實現都非常簡單了
那在這裏
我們來看看這個模型
Summarization
BarLargeCNN這個模型
這個模型的使用
就給我們一個引導
究竟該如何構建我們自己的代碼
非常非常的簡單
只需要準備一段
長長的文字
提問就好
那這個提問怎麼做呢
回到這個PythonNotebook這裏
就接下來的代碼
所要做的事情了
在Luncheon的LMChain的構建中
提供一個Prompt
一個LLM語言模型的實例
這個實例呢
就是剛纔Pipeline構建的實例
這Prompt怎麼構建呢
非常簡單就是輸入
就是我們長長的一段文字
這段文字呢
就作爲一個Prompt
這模板當中
沒有任何其他的參數了
因此在這裏
其實我們都可以
非常簡單的構建這麼一個鏈
然後開始提問
我們在這裏呢
提了一個問題
我將這個文字呢
稍稍做一個修改
在這裏剛剛打開了一篇文章
是世界盃的
女足世界盃的
我們將這長長的文字呢
拷貝過來
讓它爲我們做個摘要
拷貝過來以後
我們來運行一下這部分代碼
這個輸入
就是這一長串文字
那通過這個Chain的Run函數
就能夠完成問答
也就完成我們的摘要生成
稍等待一下
生成完畢
我們可以看看這個Answer
究竟是些什麼內容
它看起來應該是告訴了我們
一個摘要
The US Women's National Team
美國女足
等等等等
是什麼樣的一個情況
他們贏得了
2019年的世界盃
然後在東京奧運會上
得到了銅牌
這就是一個摘要的生成
接下來看看摘要的長度
到底有多少
250個字符
那原始的這個問題呢
是625個字符
那這就是
如何使用這個模型
進行摘要的生成
當然了這是一個
非常非常簡單的例子
那最近在業內非常火熱的
是Lama2
也就是Meta
發佈的開源的這個模型
這個模型呢
在Hugging Face上也有存在
也可以使用
如果我們點擊Text Generation
就可以看到
在這裏就有一些的發佈
那如果我們點擊這個Lama2
7db這個模型呢
可以看到它的描述
以及使用方式
有興趣的同學呢
也可以在我們
Python Notebook基礎上
對它進行一些修改
來嘗試使用一下這個模型
我在這裏呢就沒有演示了
這個模型會比較大
那麼在模型的下載的時候呢
也會花不少時間
同時呢
如果大家在Collab上運行
可能大家需要去購買
一些GPU資源
這樣呢才能確保
模型能夠正常的
比較順暢的執行
另外一個
在我的使用過程中發現呢
目前的一些模型
總體來講
功能性的使用
還是沒有問題
但是性能上還不夠快
因此呢
在更
在目前的這個階段
更多的還是一個
實驗性的使用
要商業化的使用
或者在自己的
大規模流量
或者是大用戶
那樣的流量的情況下
要使用這些模型呢
似乎還不能夠支撐
這個性能上的需求
除非大家可能需要
部署足夠多
足夠強大的硬件資源
來解決這個問題
那今天的分享呢
就先到這裏
HackinFace的集成
還是非常簡單的
使用Langent提供的
Pipeline包裝類
就可以很方便的
基於一個模型的ID
來加載
將模型的功能
集成到自己的代碼中
那在後續視頻中
我們再進一步
嘗試加載Meta
最新發布的Llama2
那同學們感興趣的呢
也在評論區
給我們留言
或持續關注我們的頻道
我們下次再見
同學們
拜拜
