Whisper 模型訓練:語音轉錄速度與準確率的終極指南!
2024年12月10日 #openaiwhisper
00:00 二次訓練模型效果展示
0:01:51 數據準備
0:06:55 訓練 Whisper
0:13:44 模型轉換
#openaiwhisper#語音識別#語音轉文字#本地語音識別#離線語音識別#免費語音識別#AI語音助手
各位朋友大家好
歡迎來到AI技術分享頻道
我們在上一期的節目當中
已經爲大家介紹了OpenAI Whisper
就是一個語音轉寫文字的工具
並且完成了Whisper的安裝以及簡單的測試
在測試的過程當中
我們就能夠了解到
Whisper爲我們提供了不同類型的模型文件
其中模型文件越大
那麼它的處理時間也就越長
同時處理的結果也是最好的
也就是正確率也是最高的
比如我們現在處理了一個10分鐘左右的音頻
選擇的模型就是最大的模型
現在它的處理時間就是95秒
這個結果基本上還是可以接受的
但是還會有一些錯誤
我們在上一期的節目當中也爲大家去說明過
那麼爲了進一步的提升它的正確率
以及提升它的處理效率
我們也可以通過二次訓練來實現這個目標
比如現在我們已經訓練出了一個模型
並且這個模型文件保存的位置
其實也是在我們當前這個目錄當中指定的位置
所以我們也能夠查看到這個模型文件
現在我們選擇這個模型文件對於音頻進行處理
首先我們能夠了解到處理的時間只有10秒
並且它的準確率能夠得到進一步的提升
那麼我們如何去完整一個新的模型的訓練呢
其實我們就可以參考這一篇文章來完整
那麼這一篇文章就詳細的爲我們去介紹了
如何準備數據集
以及對於數據集進行預處理
並且最後的話去完整模型訓練的過程
那麼我們要去實現這個目標
首先的話是需要去準備好一些樣本數據
並且對於樣本數據進行處理
比如在我們現在的這個環境當中
我們可以在這裏選擇對待進行查看
查看已經預處理的數據
我們選擇其中的一個數據
那麼它是一個文本數據
另外的話其實它也有對應的音頻文件
所以我們也可以選擇這個音頻文件
然後選擇對待進行播放
它的內核指定
其實我們就能夠了解到
音頻文件以及這一個文本
它是能夠一一對應的
那麼不同的數據
其實處理的方式可能是不一樣的
現在我們展示這裏的這些文件的處理過程
比如在這裏的話我們能夠查看到一些原文件
這些原文件當中就包括了字幕
所以我也已經編寫好了一個程序
那麼這個程序就會去拷貝所有的這些文件
拷貝完成之後
依據字幕當中的時間信息
對於所有的這些音頻以及文字
然後進行導出的操作
對於這個過程
其實我們也可以簡單的對待進行運行
我們運行的時候把它保存到這個位置當中
所以我們可以對待進行查看
能夠了解到
在這裏的話也包括了同樣的這些目錄
但是這些目錄當中
當前它是沒有任何文件的
所以我們在這裏就可以去運行
我們已經準備好的程序
那麼通過這個程序
對於音頻以及相應的文字文件進行提取
所以現在我們就能夠查看到
它就已經開始了這樣的一個處理的過程
那麼這個處理過程針對於不同的數據集
處理的方式可能是不一樣的
如果我們有不同的數據集
不同類型的這些文件的話
那麼我們也可以按照自己的需求
然後去編寫相應的一些腳本或者是程序
然後去完成處理過程
那麼我們就能夠查看到
這個過程的話其實就已經開始
首先的話它會幫助我們拷貝所有的這些不同文件
拷貝完成文件之後
然後再幫助我們分離出音頻文件
最後對於音頻文件
然後對它進行處理的過程
所以現在我們能夠查看到
它正在幫助我們分離音頻
分離完成音頻之後
最後的話我們就能夠了解到
這裏的話它也會出現相應的這些不同的文件
那麼現在我們也能夠查看到這些不同文件
當然這個過程依據我們不同的數據集
它的處理時間可能是不一樣的
現在我們就去中斷這個過程
首先準備好所有的這些不同文件
準備完成所有的這些不同文件之後
然後我們還需要對於這些文件
選取一些作爲測試的數據集
現在我們的這個程序
其實就是隨機的選取其中的1000個文件
所以我們又可以重新回來做一個查看
在這個目錄當中
我們已經完成了數據集的初步處理
總共的文件數量是7000多個
然後我們可以選取其中的1000個對它進行處理
所以我們又可以運行第二個程序
通過第二個程序
來幫助我們隨機的選取其中的一些文件
也就是1000個文件到這個位置當中
現在我們能夠查看到這個位置當中
是沒有任何文件的
那我們選擇回車之後
它就會幫助我們完成這個過程
我們能夠查看到它的數量就是1000個
並且對應的文字文件也是能夠對應上的
完成了這一步操作之後
那麼對於我們最初始的這個數據的處理就已經完成
然後接下來的話
我們還需要對於這一些文件進行預處理的過程
這個預處理的過程
就是對它進行重新的編碼
那麼就包括文字的文件以及音頻文件
編碼之後
然後它才能夠送入模型當中
對它進行二次訓練
那麼訓練的過程當中
我們也是需要有一個基本的模型的
現在我們在這裏就能夠查看到這個最小的模型
我們將通過這個最小的模型
作爲它的基礎模型
然後通過數據對它進行訓練
所以現在我們也能夠查看到它的信息
然後接下來的話
我們又可以重新回到代碼當中
簡單的做一個查看
現在我們也已經編寫好了相應的代碼
那麼這個代碼就需要使用到Hacking Face當中
爲我們提供的一些不同的Python的模塊
所以首先的話要確保這些程序能夠運行
我們在這裏還需要
對於當前的運行環境
然後對它進行進一步的配置
也就是去完成所需要的所有的這些不同模塊的準備
因爲這一篇文章其實是來自於Hacking Face
所以
那麼我們使用的基礎模型也是來自於Hacking Face
所以這種情況之下的話
使用它爲我們提供的這些不同的工具
其實也是能夠理解的
現在我們就能夠查看到
所有的這些基本組件
就已經完成了安裝的過程
代碼就沒有任何的問題
那麼這個代碼首先就會登錄到Hacking Face當中
所以也要求
我們使用同樣的代碼進行訓練的時候
要註冊一個Hacking Face的賬號
現在我們就已經登錄到了Hacking Face的運行環境
然後在這裏的話我們還需要去選擇設置
在設置當中
我們還需要有一個訪問的Token
我們可以在這裏選擇生成一個新的Token
並且設置它是可以寫的
然後指定Token的名稱
然後選擇創建Token就可以
這樣的話它才能夠登錄到Hacking Face的運行環境當中
然後在Hacking Face的環境當中
幫助我們創建新的模型文件
所以我們現在也已經準備好了對應的這個Token
我們在這裏可以選擇複製這個Token
在運行的過程當中
我們就需要使用到Token
所以我們可以選擇運行訓練的代碼
所以我們能夠查看到
這個過程就已經開始
首先它要求我們輸入Token
我們右鍵選擇粘貼就可以
然後選擇回車
這時候的話它就會幫助我們去完成初始化的過程
以及幫助我們去完成訓練的過程
那麼在這個過程當中
其實我們可以簡單的來查看一下這些代碼的邏輯
首先登錄到Hacking Face的運行環境
然後去定義好我們已經準備好的數據集
它的一些不同目錄
然後對於這些數據集來說
然後我們就可以通過
Hacking Face爲我們提供的數據集相關的工具
然後對它進行轉換
轉換完成之後
接下來的話就可以依次的讀取到數據集當中
所有的音頻以及文字
然後對於音頻進行分詞
然後對於對於文字進行分詞
然後對於音頻的話進行處理的過程
處理完成之後
那麼最後的話其實就是幫助我們去完成它的訓練
所以在這裏我們也能夠查看到這個訓練的參數
我們現在定義的其實就是訓練10萬步
並且每1萬步幫助我們保存一個文件
然後我們可以重新回到這裏就能夠查看到
現在它正在做的事情
其實就是對於音頻文件進行處理
那麼這個音頻文件處理的時候
就是我們在這裏查看到的這個編碼過程
只有完成了這個編碼之後
我們纔可以把它送入到模型當中
對它進行處理
也就是對它進行二次訓練
然後在這個過程當中
它也會幫助我們下載這個基礎的模型
所以我們可以重新回到代碼當中
也能夠查看到基礎模型
那麼當它保存的時候
實際上也會保存到我們當前的這個賬號當中
然後幫助我們去添加新的模型
因爲現在它正在進行預處理
所以它還沒有到達這個階段
現在我們就能夠查看到
很快的話就會幫助我們完成處理過程
現在我們查看到的這個模型
其實就是我之前訓練的一個模型
也就是我們在這裏查看到使用的這個模型
所以我們能夠查看到這個文件當中
所有的這些不同的文件
那麼它包括了很多不同文件
那麼這些文件都是
Whisper所需要的這些不同的文件
所以我們可以重新回來
然後再次選擇對它進行刷新
能夠了解到
其實它的訓練就已經開始
它已經開始幫助我們去完成訓練的過程
在這裏的話我們就可以選擇對它進行終止
因爲基本的過程其實是沒有問題的
那麼接下來的話我們還需要去做一步處理
因爲訓練出來的這一個文件
是我們在這裏查看到的一系列的文件
而最後我們使用的這個模型文件
那麼就是我們在這裏查看到的單個文件
最後一步的話
其實我們還需要對它進行轉換
那麼這一個轉換的程序
也是HackinFace爲我們提供的
所以對於這個轉換程序來說
我們也能夠查看到它所做的事情
就是幫助我們
獲取到我們指定的
HackinFace模型當中的這些文件
然後幫助我們去下載
並且去完成它的轉換
所以在這裏的話
其實我們也可以運行相應的命令
然後運行這個程序
接下來的話它也會幫助我們
首先連擊下載所需要的文件
那麼下載完成之後
最終幫助我們轉換出一個新的模型文件
轉換的位置
其實就是我們在這裏查看到的這個位置
所以在這裏的話
我們就能夠查看到這個文件
那麼這樣的話
我們就去完成了它的訓練過程
訓練結束之後
那麼我們就可以使用這個模型文件
然後幫助我們去完成語音
轉換成文字的過程
現在我們也能夠查看到它的結果
其實它的準確率以及效率
也就能夠得到一個大幅的提升
當然我們現在爲大家去展示的
是一個最基本的過程
那麼這個過程最主要的依據
就是這一篇文章
我們展示的這個目的
其實主要是爲大家去說明
對於Whisper的二次訓練來說
它是非常有效的
它既能夠大幅的提升轉寫的效率
也能夠幫助我們進一步的去提升
準確率
那麼對於這一期節目
如果大家有什麼問題
也可以在留言區隨時告訴我們
並且希望大家能夠
喜歡我們的這個節目
然後去關注我們的頻道
謝謝大家

