couqitts 微調結果演示,語音克隆

1 次觀看·2024年10月29日
视频信息:
视频中的链接:
alun的合作推广:
【银河录像局】合租平台:
说明:账号出现问题,可以更换。
建议:不要使用笔记类服务,或需要保存总要记录的服务。仅限娱乐
https://nf.video/eVOfG
折扣码:alun 享93折优惠
支持的平台:
流媒体:
Netflix,Disney,Youtube,Prime video,HBO GO
Paramount+,Spotify,TV伴侣
ai服务:
ChatGPT,Adobe全家桶,Office 365,Poe会员 ,Midjourney,GPT Plus
安全,无日志,正规vpn厂商
NordVPN:
https://go.nordvpn.net/aff_c?offer_id=153&aff_id=90005
ps:NordVPN中国大陆用户切勿购买,因为无法使用
surfshark vpn
https ://get.surfshark.net/aff_c ?offer_id=926&aff_id=20980
ps:内地用户【需要使用wireguard手动链接】不建议使用
个人介绍:
朋友们好,欢迎来到我的频道,本人自2015年开始从事Android开发岗位,见证了移动互联网 如日中天 的时期,目前也面临着其,日薄西山的 境地。开创频道的目的是
1:想要分享一些我在本行业所学到的互联网知识,当然了都是对朋友们日常使用电脑,和互联网有所帮助的内容,非编程知识。
2:想要尝试做一做youtuber,使自己的收入分散化。
3:telegram群组,【不方便贴出来的内容】 会上传至群组,如果朋友们不想自己搜索,可以在群组提取:
https://t.me/+fY7KycQlQXYwMzU1
个人博客:
https://ruanjianlun.xyz
个人小工具: pdf word转换:pdf合并
https://alunpdf.com
嗨大家好
歡迎回到阿倫的頻道
上期呢我們聊到這個Couqi TTS
用它來做聲音克隆
其中呢我們說到過這個Couqi TTS呢
它是可以支持微調的
今天這個視頻呢
我們就來展示一下它微調的結果
首先我們聲明一下
這個視頻呢並不會說詳細的
微調的這個過程
因爲在我總體操作下來呢
它這個過程呢太繁瑣了
而且呢還有各種各樣的限制
等於說呢我們耗費極大的時間和精力
來做這個事情
但是呢它的結果呢並不一定會讓人滿意
就這個東西呢
我前前後後搞了有一週
而且每天會花兩三個小時來
調它這個項目
最後呢才調通
等於說我們的這個投入和產出
已經不成比例了
所以說呢我也不建議大家來
親自上手來
但是看一下這個結果還是可以的啊
雖然它有各種各樣的限制
但是
它確實有它的厲害之處
我們先把這個項目來起一下
這個呢是在我本地來進行的
而且這個Couqi TTS呢
它對英文的支持比較友好
但是對中文呢就
也不是說中文啊
就是很多語言
因爲我看到過有這個調試日語的
還有調試這個其他語言的
都有各種各樣的錯誤
但是中文這個呢
確實是經過一番的這個操作啊
讓我調通了
我們來看一下它的結果
它這個第一步第二步就是
提取特徵
然後是訓練模型
大概微調訓練就是一兩個小時吧
就能搞定
我這邊呢已經有一個現成的模型啊
我們把它加載一下
這些東西呢
現在來說的話還處於初期
這個使用起來呢
是非常非常的不爽的
這邊我們選擇的是一個
讓它來模仿的一個聲音啊
這邊呢是它的模型
它是基於一個基本的模型
然後又經過微調的
而且生成的模型呢很大啊 5G
然後我們再挑一個正常的聲音
然後我們加載這個模型
來看一下它的效果
其實像做這類節目啊
像我這類節目就是很多時候呢
大把的時間呢 會花在這個前期的調研和測試上
最終呈現的結果呢
可能也就那麼幾分鐘
而且呢它不一定是
讓觀衆有一個滿意的效果
比如說我們今天這個事情啊
不是一個成功的例子
像做這個頻道的話
還是比較累的
我還是非常羨慕
我還是非常羨慕
那些就是做做口播呀
分享一下這個個人的觀點呀
比這一類頻道要好
比對了這一類頻道要好
我們扯的有點遠
然後這個模型呢已經load
現在已經加載成功了
下面我們就來讓他來說話就可以了
然後我準備了一些語音
這邊這個
我所說的限制就是這邊如果我們輸的文字過長
它有各種各樣的限制
就會直接報錯了
有沒有判斷我們這個顯卡在工作呢
大家在玩這些的時候呢
可以看一下我們這個性能裏邊的GPU
現在它有50%的使用
因爲我這個錄屏軟件它在使用
然後我們直接讓它來訓練
它馬上就會飆到90%
這個就證明我們這個訓練確實是用的GPU
已經完畢了
我們來聽一下先聽原音吧
然後我們聽一下這個訓練後的
這是微調後的
我們最簡單的使用的是
我上一期視頻裏面說到的克隆啊
只需要提供一個幾秒的語音就可以了
但是現在這邊咱們是微調後邊
可能會出桌面端的這個程序
因爲畢竟嘛
這個使用起來還是有一些繁瑣的
這個有興趣的朋友呢
可以去跟蹤一下後邊有什麼新的進展
發現沒有他後邊已經斷層了斷掉了
這個呢就是我說的他的問題
還有一個問題也很嚴重就是
後邊會出桌面端的這個程序
因爲畢竟嘛
這個使用起來還是有一些繁瑣的
這個有興趣的朋友呢
可以去跟蹤
聽證一下後邊有什麼新的進展呢
他肯定會發布
不知道大家感覺這個聽起來怎麼樣呢
然後我們來看一下它的限制啊
這也是我爲什麼沒有把它錄成一個視頻的原因
就是錄成一個這個類似的視頻啊
這個類似於教程類的吧
像平時我做這些呢
都會說一一把他們的步驟給說出來
但是這次呢
還是我們前面說到的啊
感覺我們這個投入和產出不成比例
所以說呢
我也不建議大家來嘗試這個東西了
這個時候呢
其實已經報錯了
因爲我們的GPU嘛
根本就沒有調用
我們來看一下它的這個限制
它這邊呢
說是限制400個token
但我不知道它這個token是怎麼算的啊
反正現在呢
是已經報錯了
而且這個事情呢
很多朋友呢
他遇到過這個錯誤
而且看起來
目前看起來呢
它近乎是無解的
因爲它這邊呢
它說是有一些限制
因架構限制
無法一次性提供這個常文本輸出
這個有沒有解決的辦法呢
這個其實細細的想
也有啊
比如說我們把這個輸入的這些
這個文字啊
給它簡單的截一下
我雖然是輸入了一段話
那我們可以
比如我們給它截成每五句話
就是每五句話
讓它執行一次
最終呢
這些音頻片段呢
再拼接起來
拼接成一個片段
但是這樣的話
就是使用起來就更加麻煩了
而且我們還要去搞它這些代碼
雖然
現在呢
它就是很複雜啊
這些輸入的音頻都是每十秒一個的片段
一個一個的切出來的
也是用腳本來切出來的
哈嘍大家好
我就覺得是投入和剷除已經不成正比了
所以說這個微調這個事呢
我們還是要等它後邊
看它這個扣起TTS
它後邊會不會出更加精簡的方案
畢竟這個程序啊
它還在一個初期的階段
很多軟件呢
它初期啊
就是這樣
初期的話
它這邊是沒有任何這個打好的包
它只有源碼
所以說這些應用呢
要想後邊這個普及開來啊
它肯定是要做成應用程序的
而不是隻是讓程序員來用的
就像那個chat gpt嘛
它原來也是剛出來的時候
也只是這個文本對話
但是現在呢
已經集成到了各個系統裏邊
比如說安卓14裏邊
比如說這個windows這邊那個colab
慢慢的融入系統
而最終的目的呢
可能是會和各個應用程序融在一起
比如說我們手機上的APP啊
也可以有這種人工智能的這種功能
這樣的話最終是一個圓滿的一個流程
一方面是針對這個企業 一方面是針對這個個人用戶
畢竟掙錢嘛 掙誰的錢不是掙的
好的扯的有點遠啊
這個東西呢
我們就是微調的話
就是暫時就是放棄它了
然後還有一個地方我想說一下啊
就是說最近這個因爲這個聲銀克隆嘛
他現在
他並不是說一個多麼多麼困難的事情
可能有一些這個有實力的啊
比如說有某些組織啊
他們有這個時間和精力來搞這些事
嗯
尤其是一些尤其是我們要小心一些這個詐騙的這個團伙啊
可能會把這個人工智能程序用來詐騙
比如說這個聲音是可以克隆的對吧
我們這個聲音比如說啊
這個詐騙團伙他得到我們的聲音
然後呢
就是通過各種方式啊
來聯繫說是啊
這個怎麼怎麼的要用多少錢啊
冒充你的親人啊
朋友啊
然後發這種釣魚郵件或者是打這種網絡電話啊
啥的這個我們一定要注意了
因爲這個事呢
他並不是說以前沒有啊
以前也有
但是現在呢
這個成本更低了
所以說有可能會造成這方面啊
這個詐騙啥的會用上這種技術
這一期視頻呢
更像是一個閒聊啊
那麼我們就聊到這裏了
最後呢
如果你喜歡這個視頻
那麼麻煩按贊訂閱支持一下這個頻道
那麼下期再見吧
拜拜