openai whisper辨識語音與opencc徹底解決正體中文字幕問題

An-Wen Deng
4粉絲
11 次觀看·2024年12月10日
openai whisper辨識語音與opencc徹底解決正體中文字幕問題
首先第一件事情當然就先回答這個問題嘛
什麼是OpenCC嘛
OpenCC是什麼樣的軟體
因為我們在提供的那個示範的code裡面
是有採用到OpenCC
那簡單的來講
他這邊他有提供一個服務
你看一下
這應該是他的一個網頁
你當然也可以Google
應該是都可以Google的到
那他這個是他開發的地方
在G Hub上面
他這裡面有大概的一個介紹
在不同的程式語言
他其實都可以安裝
好
那他主要是他這裡有個服務
你看一下
比方說我們這邊打一個字是軟體
那我們原文是繁體中文
點繁體中文
我們要把它轉成簡體中文
好
那地域用詞要不要轉換
我們當然建議轉換
因為你要轉換嘛
對不對
好
這邊一個按鈕
按轉換
軟體他就變軟件了
一樣你也可以以此類推
你都把它倒推回來
好
這邊是簡體中文
那你要轉回繁體中文
他不是逐字轉
他是連那個詞彙都會轉
然後
我們這邊應該是要轉成
臺灣的模式
來轉換
所以軟體
他不是隻是逐字去轉
他是連詞彙
不同的用法他都會轉
所以這個軟體
你當然知道他的用途
當然有些人真的就會拿他來做一些事情
那我們就不多說
好
所以
這邊OK嘛
接下來我們就
切到我們的這個範例
所以第一件事情我們也知道
所以你
當然是要在雲端儲存副本
好
那我們前面都很快的執行
因為我們在上禮拜講過了
那因為他這個程式是連GPU的
連GPU的
所以
你不要讓他那個閒置的時間太久
我們看這個有連到GPU
有連到GPU才會有出現這個這個表
下面是看他的
他編譯器
就是CUDA的
CUDA的編譯器
所謂的MVCC的板次
好
再來就是你要去安裝
OpenAI Whisper
這個是當然要做的事情
因為你就是連到
雲端
好
那Google Colab上
他是沒有預裝這個套件
所以這個使用上
你就必須要每次自行安裝
好
然後我們來看一下
我們在目前的資料夾有哪些檔案
哪些的資料夾
其實就是他預設的
好
再來
help功能
這上次都有講過
我就很快的讓他執行
好
那這裡有人多的
就是下面那個上傳檔案的文字說明
你如果不清楚
你當然這也可以去看
相關的語法部分
好
那這部分
當然我們已經講過是從這個
左下角這邊
你就直接去可以產生了
所以他應該是
open file your local system
因為我們這邊還是拉過來一點
來看的比較清楚
應該是這一段
是這一段
那我們就這邊直接插入
其實我們這邊所呈現的跟這邊是完全一樣
一個字都沒有改
好
那像這一部分
我們當然就需要上傳
上傳某個檔案
那個大概原則上
那這個需要一點時間
所以我把這個畫面先暫時還給同學
好
所以這個上傳需要一些時間
大概三分鐘的時間
好
那他這裡有個變數叫
我們就取fn
其實你這個一次上傳可以上傳好幾個檔案
但是我們只有上傳一個
所以基本上他就是第零個
第零個
好
然後你要看我們fn叫什麼
那如果是你自己的檔案
你當然就是說
最最下面這一段
你就要改
好
就是說你的檔名
當然當然要要改
你不要說你沒有那個檔
結果你用這個相同檔名
那個當然就不對
下面我們這個應該就上次
讓同學去試的
那我們
很快的我們就用Turbo
Turbo這樣的一個模型
就
你自己在用
當然就可以用Large
Large V3
Large V2都可以
甚至Large
但是那個作業時間會比較久
就比較
不方便我們那個課堂上展示
所以我們這邊用Turbo版的
Turbo版
有時候他產生的文字就是簡體中文
所以
我們如果說要處理文字轉換
我們其實乾脆就直接在雲端上
整個一次把它完成
所以他他這個其實也比較快
Turbo版他就是比較快
那當然的正確率沒有那麼高
正確率
那我們這邊就是讓同學
讓同學操作的經驗
相關的
程式的
一些東西內容
你大概知道是什麼
所以這個
這個影片你到時候看
這不是影片這是MP3
我們把它轉成MP3
MP3檔案比較小
那你那個影片的話
我們當然那個就太大了
你光上傳的時間就會很久
所以一分鐘就結束
你有沒有看到
那我們這個
MP3的長度大概九分多鐘
所以他一分鐘就
就將你整個的辨識完成
來
下面就是程式的用法
程式用法
你要
就是我們
要講的
好
那因為我們要用的是套件
所以前面你當然已經安裝好了
所以接下來做的事情是什麼
你要將這個套件
叫做whisper的
將他匯入
import
下面就是程式的用法
然後呢
再來這一行
我們就是我們要用的model
我們是用turbo
用turbo
就是剛剛的一樣的
你當然
當然也可以改
但我們現階段我們先用這個
在作業上的時間
比較不會那麼久
你要用large的話
大概他會
需要的時間就會
就會長很多
當然相對來講
他的精確度
準確率也會比較高
好
然後再來就是說
model裡面
我有一個方法叫transcribe
transcribe呢
我就把fn
fn就是前面的
我們那個
MP3那個檔
所以把他丟進來
然後我們去辨識
那我們其實語言部分呢
你這邊當然可以把他
把他拿掉
但是原則上
我們也不需要讓他去猜
好
那你說老師後面那個註解的是什麼
註解後面那個是比較
有點像
他那個逐字
逐字這樣
讓你去看
但是那個
因為他的
用turbo版的話
他辨識率不是那麼好
所以我們就把他拿掉
就簡單的辨識
然後再來就是我們辨識文字
將他列印出來
這跟上面其實也類似
這只不過說
這裡是把他用
程式的方式
把他寫出來
這邊是用程式的方式
前面是用命令列的方式
所以大約
會有一些作業時間
但是這個作業時間
也不會太久
大約跟前面的作業時間是一樣的
大概一分多鐘
應該就出來了
好
所以這邊就出來了
有沒有看到
那就說老師啊
這個文字很長啊
好
然後所以我們做什麼事情呢
我們要看
因為我們前面有講過
所謂的那個字典
那他儲存資料方式
他是有用字典的格式
所以我們就看這個result裡面
他有哪些字典
哪些key
相對應的value
我們把他列印出來
所以他有三個key
一個叫TXT
也就是你的文字的部分
第二個key呢
是segments
就是
所謂的那個
每個那個段句的部分
每個段所謂的token的部分
段句的部分
那我們如果說你要做比較細微處理
當然就要考慮
這個key
另外一把key呢
是language的部分
所以他總共有三個key喔
所以這個詞當然就是Chinese
這個其實
其實來講
因為語文應該
你告訴他什麼
他應該也不會誤判
如果沒有告訴他
他誤判的可能性也不高
誤判的可能性也不高
所以有時候
這個是可以省略的
這個有時候是可以省略
當你
抓到的那個
語音檔你不知道他什麼語文
你就直接丟上去
讓他去
去辨識
好
再來我們看我們這時候
我們就會有一些檔案
所以我們這個時候呢
我們
就有一些檔喔
檔案已經在裡面喔
已經有一些檔案
在裡面
VTT已經有了喔
這個VTT是在哪裡出來的
是在前面命音列那個地方出來的
命音列
那個時候
輸出他就是會有一個VTT的檔
就字幕檔已經有了
好
那
所以下面這個是更細微
的資訊
包括他的那個
裡面的可讀
可寫可執行的
相關的一些參數
再來
就是說我們要做
開始要做
檢中
變成繁中的一個處理
所以這個
這個套件他也沒有預裝喔
這個套件他沒有預裝
所以一樣也是要PIP
INSTALL
OPENCC後面這些東西
然後一樣要櫃入
那我們這邊
先看一下有關文字
的部分
好他應該
應該就出來了喔
所以我們再加一個命令格
那
我還沒有打完他已經
AI已經告訴我
我就是要打這個
所以這個時候你就要按TAP鍵
所以很方便喔
再按一次TAP鍵
齁
那我就看這個變數
出來的結果好不好嘛
不好的話我可能再
另外再處理如果好的話
我再執行下面的
看他
有沒有翻譯成功有阿
檢中變繁中
至少文字部分是OK的
所以這樣就成功了
證明這個套件是有
用的
先要確定他有用
好下面我們再做
什麼就是說你用
程式的方式去產生
字幕檔
當然跟前面的命令列方式
不太一樣命令列就很簡單
就是你把指令打對了
什麼就OK
程式的部分你要
個別參數要個別去調
個別去調
所以這裡面呢
裡面有個套件叫做
應該講
他的指套件叫
UTILS
當中的一個叫做
GAPWRITER
所以我們要用的是這個
所以這部分就是說
老師你怎麼會知道
老師當然是去查閱
查閱他的官網
一些
網友他有做
類似的那你自己要
試有些網友做的
他可能要版式太舊
可能用現在版本
有的是根本不行的
好
再來就是怎麼樣
再來就是我要去產生
VTT這個檔
所以這邊你要看得懂
我這邊就逐行解釋
第二行就是說我這個
WRITER呢
VTT這個WRITER呢
我是GAPWRITER
然後他的格式是VTT
寫到哪裡寫到
目前的工作資料夾
點就代表
目前的工作資料夾
然後呢
我就將那個result
result他有三個
三個key嘛
所以我不是隻有寫文字而已
我還要把那個
相關的東西寫進去
好
所以這個作業時間
應該不會太久
這邊就寫入VTT的檔
所以就產生了
那接下來我就用
Linux的指令
叫做CAT
CAT就相當於那個
DOS的指令
type一樣
所以這個至少我就會看到
欸
他還是簡體啊
為什麼是簡體
前面不是有換嗎
前面那個我沒有
沒有輸入到那個字幕檔喔
他只是顯示而已喔
來
下面我們這邊有說明
就是說
你要把他
字幕檔要做處理呢
你這邊還是要寫一小段程式
然後我們這邊有說明
就是我們是用
open
with open
那這個就是
R代表是可讀
代表是
讀的模式
我們要開的是
L.VTT這個檔
那
我們把他給他一個
簡寫的名稱叫做F
簡寫名稱叫F
方便嗎
然後呢我們在F裡面呢
我們就每一行
去讀readlines
然後X呢在readlines
裡面呢我們在做什麼
在做列印的動作
所以這個目前我們只是
做讀的動作
所以這部分是用
Python的方式去顯示
前面這個是用
Linux的系統指令
好
所以這邊還是跟
上面是一樣啊
來
所以下面你要真的要
處理就是檔案讀寫
來這一段就比較
長
所以我們這邊就匯入
opencc的當中的
opencc
好
那我們CC是opencc裡面的
S to T
所以這個應該是
簡轉繁
T的話應該是traditional
就傳統的漢字
S的話
代表簡
to的話就to
然後這邊
是用兩個with
所以我們要先開
L.VTT這個檔
假設他就叫
F然後用讀的模式
去開
下面我們要開另外一個檔
叫L2.VTT
然後是要寫進去
寫
所以兩個with
先開讀檔
再開寫的檔
然後呢一樣
逐行去讀
F裡面的
readlines
S
然後逐行的東西呢
去把它做翻譯
翻譯完
變成T
T再把它寫到
F2裡面
然後我們再去列印T
你看有沒有會不會轉成空
這樣就轉成空了
包括用法
也轉成空
下面
將這個字幕檔
下載到
你的本機端
好我就直接就
存到下載裡面
然後我這裡
開新
你看
所以字幕檔就完成了
確實也把它轉成
繁體
所以這個是整個作業流程
