
AI超元域
10粉絲
🔥🔥🔥视频简介:
🚀【AI语音】零基础教你用F5-TTS克隆任意声音!本地部署+云端部署双方案,整合Colab免费算力,轻松实现数字人开发
🚀本期视频详细演示最新的开源文本转语音和声音克隆项目F5-TTS的功能和使用方法。
🚀演示了如何在本地环境和Google Colab上部署该项目,通过ngrok实现内网穿透,使项目可以在公网访问。
🚀视频详细讲解了F5-TTS的创新技术如flow matching和diffusion Transformer、sway sampling策略等,这些提升了其实时处理能力,适用于语音助手、交互式语音系统等场景。
🚀视频还展示了声音克隆的效果,包括情绪控制和多语种语音生成的应用。还对比了不同模型(F5-TTS和E2-TTS)的生成效果,并展示了中英文的声音克隆。
👉👉👉视频中所用到的代码 https://blog.stoeng.site/20241031.html
👉👉👉我的开源项目 https://github.com/win4r/AISuperDomain
👉👉👉请我喝咖啡 https://ko-fi.com/aila
🔥🔥🔥YouTube时间戳:
00:00:00 - 视频开场介绍
00:00:14 - 展示克隆声音效果
00:00:31 - 概述视频内容
00:01:09 - F5-TTS项目技术介绍
00:02:01 - 本地部署教程
00:03:01 - 使用演示
00:05:27 - Google Colab部署教程
00:07:15 - API接口使用教程
00:08:25 - 视频总结与结束语
#AI语音 #声音克隆 #tts #开源项目 #教程 #人工智能 #F5-TTS #ai #agi
歡迎來到AI超言語
支持文本專語音
還有聲音克隆的開源項目
F5 TTS最近發佈了更新
更新之後的這個版本比早期版本更好用了
而且我用這個開源項目實現了克隆自己的聲音
我們可以先聽一下克隆的聲音的效果
這裏是我克隆好的我的聲音
我們可以先聽一下這個效果
本期視頻將爲大家詳細演示最新的開源語音克隆項目
你現在聽到的聲音
就是這個開源項目克隆的我的聲音
可以聽出來這個聲音效果總體還是不錯的
總體和我的聲音還是非常接近的
除了語氣方面稍微有一些區別之外
本期視頻將爲大家詳細演示
我們如何在本地部署這個項目
在部署好的項目上使用它的接口
而且還會爲大家演示
我們如何在谷歌callup上來部署這個項目
並且在谷歌的callup中用ingrok實現內網穿透
這樣的話我們就可以在公網來訪問這個項目了
因爲很多小夥伴的電腦配置可能不是太高
所以想更好的跑這個項目的話
我這裏專門爲大家寫了
這個能夠在谷歌callup上運行的腳本
好視頻的開始我們先看一下這個項目的介紹
它是一款非自迴歸文本轉語音系統
採用了flow matching和defusion transformer技術
它摒棄了傳統的TTS系統中的複雜模塊
它通過將文本填充至與輸入語音相同的長度
並應用去噪方法實現語音生成
它最大的創新點是思維sampling策略
在推理階段顯著提升了效率
使其具備實時處理的能力
它的這種特性適用於需要快速語音合成的場景
比如說語音助手和交互式語音系統
它支持0樣本語音可容
無需大量訓練數據即可生成多種聲音和口音
還提供了情緒控制速度調整等功能
它特別適合需要生成多樣音頻內容的應用場景
比如說有聲電子書
電子學習模塊和營銷材料等
下面將爲大家演示我們如何在本地部署這個項目
首先我們先用conda創建一個虛擬環境
這個python版本是3.10
下面我們再用這個命令來激活這個虛擬環境
虛擬環境激活之後我們安裝transformer框架
下面我們再用pipinstall來安裝touch
touchvision
touchaudio
等e-line
下面我們再用git clone命令來clone這個項目
clone好之後我們用cd命令
進入這個項目的文件夾
再用pip命令來安裝這個項目
這個項目安裝好之後
我們就可以用這條命令來啓動這個項目的UI界面
我們直接運行
這裏它正在加載這個模型
這裏我們要稍等一下
這個項目所需的這些模型已經下載完成
並且這個項目已經啓動
我們在瀏覽器中輸入localhost
端口是7860就可以打開這個項目了
可以看到這裏是上傳音頻的區域
在這裏還可以錄製麥克風的聲音
這裏還支持多語音上傳
多語音克隆
這裏還支持語音聊天
語音對話
下面我們詳細演示一下
我們如何克隆自己的聲音
我們直接點擊這個上傳按鈕
然後選一段自己的聲音的音頻
我這裏選的是我自己的聲音的這個音頻文件
然後它只有10秒左右
選好之後我們直接點這個上傳
上傳成功之後
在這個文本輸入框
我們就可以輸入文字內容
讓它進行語音轉文字
並且克隆我們自己的聲音
爲了避免侵權
我這裏讓AI爲我生成了一段文字
這是一個描寫秋天的一個散文
將它粘貼到這個文本輸入框
在語音模型這裏
它有兩個模型
一個是ffile tts
一個是e2 tts
這裏我們先選擇ffile tts
選好之後我們直接點這個生成
讓它來生成我們的這個語音
可以看到在右上角會顯示這個進度
在這裏它開始加載這個語音文件
這個語音已經生成
我們可以先聽一下這個效果
可以聽出來這個效果還算可以
這個音色還是比較像的
剛纔我們選的是這個f5這個模型
我們還可以選擇e2這個模型
選好之後我們直接點這個按鈕
好可以看到這個音頻已經生成完成
我們再聽一下這個模型
生成的語音的效果
通過這兩個模型生成的語音的對比
可以聽出來還是這個f5 tts
這個模型生成的效果
在音色方面要更加接近一些
好下面我們再用這個散文的英文版
來測試一下讓它生成英文版的這個聲音可容
我們直接讓它生成
這個聲音已經可容完成
我們聽一下這個英文版的聲音的效果
好可以聽到這是它生成的
英文版的這個聲音的效果
這樣的話我們是在本地運行的這個項目
下面爲大家演示
我們如何在colab中來運行這個項目
在colab中我們需要使用ngrok來實現內網穿透
我們先執行第一條命令
來安裝ngrok還有transform
還有gradle等所需的依賴
下面我們再執行這段代碼
導入ngrok的依賴
下面我們再執行這段代碼
這段代碼會安裝這些依賴
並且將這個項目擴容到本地
並且進入這個項目的目錄
然後再安裝這個項目
我們直接執行就可以
這些都安裝好之後
下面我們需要執行這條命令
這條命令就是設置ngrok的令牌
這個令牌從ngrok的官方網站去找就可以
在ngrok註冊了賬號之後
我們直接點這個copy
就可以複製自己的令牌
這個令牌設置好之後
下面我們就可以來執行這段代碼了
這段代碼就是配置ngrok和gradle
我們直接運行這個代碼就可以
運行之後這裏就會顯示ngrok的鏈接
我們直接點擊打開
這樣的話就進入了這個項目的這個界面
就和剛纔我們在本地部署的時候是一樣的
然後我們可以點這個麥克風這裏測試一下
你好歡迎來到AI超越園域
好這樣的話我們就實現了
通過這個麥克風來錄製我們的聲音
我們可以聽一下這個效果
你好歡迎來到AI超越園域
下面我們再用這個AI生成的散文來測試一下
通過麥克風採集了我們的聲音
進行克隆之後效果怎麼樣
好這樣的話這個聲音已經生成完成
我們聽一下效果
秋風輕拂
金黃的落葉在空中翩翩起舞
這就是通過谷歌collab
來生成了這個音頻的效果
下面再爲大家演示一下
這個項目的這個接口如何去使用
我們就可以用這條命令
來實現用接口的方式來生成音頻
這條命令非常簡單
這裏就是設置這個模型
這裏我設置的就是f5 tts
第二個參數就是要加載的音頻文件
因爲我是在谷歌collab中運行的這個音頻文件
所以我將這個音頻文件上傳到了這個collab的目錄
這裏填寫這個音頻文件的絕對路徑
第三個參數這裏就是填寫的這個音頻文件
轉爲文字之後的文字內容
第四個參數這裏就是我們要生成的這個內容
我們直接運行這個項目
看一下它生成的效果怎麼樣
音頻文件就已經生成了
我們可以看一下它生成的目錄
它生成在這個tts文件裏
我們在collab中找到它生成的這個音頻文件
可以看到這裏就是它剛纔生成的這個音頻文件
我們直接點擊下載
將它下載到本地
然後我們聽一下這個效果
這裏下載完成
我們直接雙擊打開
歡迎來到AI超源域
今天將爲大家詳細演示另一款開源語音克隆項目
可以聽到這個效果還算是不錯的
好 本期視頻爲大家詳細介紹了f5 tts
這款開源的文本轉語音項目
並且它支持語音克隆的功能
通過這個項目我們可以克隆自己的聲音
用於有聲數集或者視頻的製作
或者數字人的開發
視頻中所用到的代碼和指令
我都會放在視頻下方的描述欄或者評論區
如果你在視頻的下方無法找到的話
說明這不是我的首發平臺
本期視頻就做到這裏
歡迎大家點贊關注和轉發
謝謝大家觀看
