這是克隆的聲音?我竟然聽不出來…

你好,歡迎來到Air學長的頻道,我是小寧
音頻克隆的開源項目雖然很多
但是每次真正需要使用的時候
卻總是不知道選擇哪個
所以能夠在音質、效率
和應用性之間取得最佳平衡
相信這個問題也困擾着許多用戶
所以這期視頻呢
就來分享一個
讓我眼前一亮的語音克隆項目
當我第一次聽到克隆出來的效果時
簡直驚呆了
就連我自己也難以分辨真僞
不僅還原度很高
操作也十分的簡單
這個工具絕對是提升日常生產力的利器
話不多說,我們直接來欣賞效果
你昨天的 performance 真是 outstanding
完全展示了你的 skills
上面三段都是克隆出來的音頻
這段當然也是
是不是非常逼真
接下來我們就一起探索
如何使用這個強大的工具吧
如果你覺得今天的話題很有意思
別忘了點個贊
這個項目的名字呢叫 F5 TTS
它是由上海交大開源的一個
語音克隆項目
特點呢就是語音克隆的速度快
音色還原度也極其的高
我們只需要給他一段
10秒到15秒左右的音頻文件
就可以克隆出剛纔所展示出來的效果
另外呢
他還能夠做到自由的去切換語言
比如說在一段文本當中
它是中英文混排的這種形式
那麼生成的這個語音
它也是中英混合的
還可以精準的控制語速
根據文本的內容含義
自動生成帶有相應情感的語言等等
這樣一些優勢
所以整體來說呢
它是一個質量非常高的語音克隆項目
包括使用起來也非常的簡單
他直觀的提供了這種可視化的管理界面
我們只要在這個界面裏面去上傳原音頻
然後輸入你要生成語音的文本
就可以一鍵生成
我們所需要的這個克隆語音
另外呢他在使用上也十分的友好
提供了這個在線使用版本
也就是官方的 demo
那如果說你是希望得到更快的推理
以及有一些影視方面的問題
我們也可以使用本地部署的方式啊
來部署這個項目在本地運行
待會我會在視頻演示一下
如何在本地去部署這個項目
接下來呢
我們先講解一下這個界面裏面的一些功能
包括給大家演示一下如何去使用這個項目
F5 TTS 呢
它主要是有三個功能
第一個的話就是最簡單的語音克隆
比如說我們散傳一段音頻文件
我這裏選擇的是一段龍某某的音頻
我們可以先試聽一下
皇上請三思
皇后娘娘都是爲了萬歲爺着想
好
那假設我們現在以這個音色作爲樣本
我們需要生成這樣一段語音
然後下面呢他是有兩個模型可以選擇
一個是 F5 TTS
一個是 E2-TTS
其中 F5 TTS 呢
它是使用 Combinator V2 的擴散模型
它的訓練速度和推理速度會更快
然後呢這個 E2-TTS 呢
它是使用平面 UNET 變換器
所以它更接近這個原音色
兩個各自有各自的音色
但是我實際使用下來
它們之間的差距其實並不是特別大
建議的話我們默認使用這個 F5 TTS 就可以了
好
然後下面的話是有一個高級設置
首先這裏的話
它是要求我們輸入這個原音頻的文本
這是一個可選項
可填可不填
如果不填的話
它會默認使用 OpenEye 的 WhatsApp
把這段音頻進行轉錄
轉錄成文字作爲一個參考
接下來這個操作呢是是否去除靜音
這個模型呢
它傾向於在較長的音頻當中會產生一些靜音
如果你不需要這些靜音呢
那麼我們就可以把這個功能給它勾選上
好接下來呢是速度參數的控制
我們可以調整這段語音最終生成的一個語速
如果是說你試聽完覺得它比較慢
那麼我們可以把語速調快一點
最後呢還有一個交叉淡化的持續時間
設置音頻片段之間交叉淡出的持續時間
這個正常來說默認就可以不需要做太多改動
好我們來合成一下
那這個時候呢因爲我是在本地啊
它就會使用本地的這個 GPU
去生成這一段音頻
然後這個項目它還有一個好處
如果你的文本內容比較長
它其實正常來說
一段文本只能克隆差不多30秒以內的音頻
如果文本比較長它會自動拆分文本
然後按多段來完成
最後幫我們合成到這樣的一個
一段語音裏面去
ok 這個結果已經生成出來了
它是有兩個內容
第一個是音頻
然後第二個是這個音頻的圖譜啊
下面這個對我們來說作用不是很大
現在呢我們先試聽一下效果
宛如雕塑般靜止
他的眼中閃過一絲動人的溫度
他深深的看了那位忠心耿耿的臣子一眼
終於開口諾
我會再考慮考慮的
他的聲音
低沉且堅定
留下空氣中隱隱的無奈與柔情
可以聽出來這個克隆
他的聲音是非常像的
那如果這個音頻你要去做一些改動啊
我們就可以在上面去設置
剛纔所講的這些參數都是 ok 的
接下來呢是第二個功能
就是他可以生成播客
比如說你的一段語音裏面
你是希望有多個人去發音的
那麼我們就可以用到這個播客的功能
在這裏呢是可以添加不同的發言人
然後針對每個發言人呢
可以添加他自己的音色啊
這裏我們也來演示一下
比如說我們讓這個
龍嬤嬤和太乙真人去進行對話
下面的話添加了一個太乙真人
這個是太乙真人的原音頻
然後這個是他原音頻轉入出來的文字
我們來聽一下這個太乙真人的原音頻
對這就是我萬人敬仰的太乙真人
那麼原音頻設置完成之後呢
我們在下面就可以輸入這個播客的腳本
現在呢我們讓他們對話
再一段內容
太乙真人龍嬤嬤太乙真人龍嬤嬤
總共是兩輪對話
好已經生成了
無奈太乙真人
今日敬玉蓉媽媽
豈也怪哉
你這老道看着奇奇怪怪
你這老媽媽
莫要小瞧無知神通
無知手段也非你能想象
是不是非常的逼真
這個音色幾乎是全部還原了
所以後面如果我們是有這一方面的需求
用 f dts 這個項目啊
它也是很合適的
整體來說我覺得功能確實是比較豐富
然後是最後一個功能啊
它是這個多種語音類型的生成
就是我們在這裏可以去上傳
不同類型的音頻
你可以上傳開心的音頻
氣氛的音頻
失落的音頻等等各種音頻
那麼上傳完成之後呢
後續我們可以在這裏
根據這個語意的含義
它會自動去識別調用對應的音頻
然後來最終合成一種混合的音頻
這樣克隆出來的語音呢
它就更加能表達內容本身的語意
帶有情緒的這樣一段音頻克隆文件
也會更加的逼真
接下來呢
我們就來講一下如何在本地部署這個項目
這個部署呢其實也不復雜啊
它的指令操作並不是很多
然後在部署之前呢
我們是需要在電腦上安裝
git 以及 conda 這兩個指令的
關於他們的安裝方法呢
其實就和在電腦上安裝軟件是差不多的
時長的原因呢
這裏我就不依次去演示安裝
那麼不清楚的話
你可以到這期視頻的筆記裏面
去看一下安裝方法
完事以後呢
我們進到 github f5 tts 這個項目裏面
去複製一下這個地址
然後呢我們打開文件夾
你希望這個項目安裝在哪個文件夾下
你就打開哪個文件夾
比如說我這邊呢
是希望它安裝在
d 盤的語音克隆這個文件夾下
我打開這個文件夾之後呢
右鍵用終端打開這個指令
然後輸入 git clone
git 指令呢
就是剛纔我們已經安裝好的這個指令
然後鼠標右鍵一下
他就會自動把項目的地址粘貼進來
點擊回車
ok 可以看到這個項目已經被拉取下來了
這個對應的話就是他的項目文件夾
接下來呢我們來打開這個
conda 的終端
當你安裝完 conda 以後呢
他會給你分配這樣一個終端指令
conda 的作用呢
就是可以在本地管理不同項目的
Python 版本安裝完成以後呢
我們就來創建一下
這個項目的一個依賴環境
也就是給他安裝一個對應的Python 環境
那麼我們可以輸入指令
conda creator 剛告 name
然後名字是可以自定義的
我叫 yyclone 就是語音克隆
後面的話指定這個Python 版本
Python 版本的話
只要大於等於3.1就可以了
那我這裏默認用3.1的這個Python 版本回車
他就會自動去安裝整個項目的Python 環境
好這樣的話就已經打開了
然後輸入 conda 的 tift yyclone
對應的話就是這行代碼回車
好可以看到前綴就已經變成 yyclone 了
然後我們通過 cd 項目
進入剛纔我們安裝的這個項目文件夾
我是安裝在第一盤的 yyclone 下面
然後 f5 tts 我們去進入這個項目
再輸入一下 ls 的這個指令
可以查看一下他是否進入這個文件夾目錄
好可以看到這個是沒有問題的
那麼接下來呢我們安裝一下PyTorch
就是後面生成語音
可以用這個因爲他的顯卡加速
我們需要去安裝一下這個PyTorch
進入PyTorch的官網
點擊這個開始往下拉
然後這邊選擇對應你電腦的版本
啊我這邊是windows
然後我是安裝conda
這邊的話是要求你選擇安裝cuda的版本
一般正常來說
新安裝的cuda都是在12.1以上的
那如果你不確認的話
你也可以在電腦上
中端裏面輸入這行指令
按vcc 剛剛微訊
就可以查看到你當前的這個cuda版本
比如說我是12.0.1的
那麼我就選擇這個12.1的版本
選擇完以後呢
他就會自動出來這一行代碼
我們複製一下
然後回到剛纔的這個中端裏面右鍵粘貼
我們就可以自動去安裝這個Torch
好現在這個加速的PyTorch已經完成了
接下來呢
我們安裝一下這個項目的依賴項
複製一下這個代碼
就是pip install
然後後面是依賴的一些目錄
回到中端右鍵粘貼一下
他就會自動開始安裝所有的依賴項
現在呢這個依賴項已經安裝完成了
接下來呢就到最後一步
就是我們去安裝這個項目的管理界面
把github的這個界面往下拉
拉到這個glideapp應用這裏
只要執行這一行代碼
他就會自動去安裝這個管理界面
他安裝管理界面的同時呢
也會去下載這個模型
ok 已經安裝成功了
可以看到這邊出來一個網址
按住contract鍵手錶一點擊
好他就會自動在網頁裏面打開
那這樣的話
我們就可以在本地去運行這個項目
好我給大家演示一下
這裏呢我就選擇自己的這個音色
你也可以在這邊
直接用麥克風錄製音色也是ok的哈
然後我們來實聽一下
你好歡迎來到AI學長的頻道
我是小林
就在剛纔呢
OpenAI發佈了最新的一代大語言模型
然後我希望他克隆這一段文本
ok 結果已經出來了
我們來實聽一下
頓時氣氛變得沉鬱起來
乍看之下
一切的困擾彷彿都圍繞在我身邊
我皺着眉頭感受着那份壓力
但我知道我不能放棄
不能認輸
於是我深吸一口氣
心底的聲音告訴我
無論如何都要冷靜下來重新開始
ok 那麼上面呢
就是關於FTTS這個項目的一個講解
包括如何在本地去克隆這個項目
如果你有語音克隆這方面的需求
我覺得這個項目一定要去試一下
好以上就是這期視頻的內容
希望對你有所幫助
如果你覺得內容還不錯
不妨點個贊訂閱我的頻道
每週都會大家帶來最新
最實用的AI應用技巧
那如果你想支持我的創作
想學習更多的AI應用和落地場景
或者遇到問題不知從何下手
希望得到幫助
那麼可以加入我的課程
簽了GBT實戰指南
創新應用與性能提升
課程包含了40節我精心設計的內容
諸如用GBT做微信客服
搭建信息批量收集
改編羣發機器人
直播實施AI幻臉
根據自身的工作需求
定製AI智能體
以及AI工作流等高級玩法
此外會員還有專門的交流羣
可以獲得問題答疑
精品AI工具推薦
羣員互動等特權
感興趣的同學可以在視頻簡介當中
找到報名方式
再次感謝各位的支持和關注
我們下期視頻再見