用自己的聲音說話！Fish Speech模型訓練，輕鬆實現個性化語音合成！

各位朋友大家好 歡迎來到 AI 技術分享頻道 我們在上一期的節目當中 已經爲大家介紹過 Fish Speech 這一個開源的項目 它最大的特點 就是允許我們準備和 5~10 秒左右的樣本音頻 它在幫助我們完成文本轉語音的過程當中 就會使用我們準備好的樣本音頻當中的音色 並且最終幫助我們生成 相應的音頻文件 而這一個音頻文件當中的音色 其實與我們樣本音頻當中的音色其實是非常類似的 我們在上一期的節目當中進行測試的時候 也能夠了解到 它的效果其實還是非常好的 但是有時候 如果我們希望更加精準的去克隆音色 我們就需要去準備好更多的樣本文件 Fish Speech 它也能夠使用這些樣本文件 幫助我們訓練出一個新的模型 那麼以後我們推理的時候 就可以使用這一個新的模型對它進行推理 所以這一期的分享 其實我們主要就來查看一下 Fish Speech 如何去完成 新的模型訓練的過程 那麼在我們當前的這一個運行環境當中 我們打開了另外的一臺計算機 這一臺計算機當中已經啓動了 Fish Speech 的服務 然後的話我們也可以去輸入文本的信息 然後我們選擇生成 那麼生成的時候 其實我們去使用的就是一個 訓練的模型 也就是我們自定義的一個模型 然後我們也能夠查看到它的效果 我們選擇播放 現在他們像往常這樣圍坐在一起吃早飯了 現在我們就能夠了解到 其實這一個聲音就是我自己的聲音 然後我使用了幾個小時的音頻樣本 訓練了一萬步左右 得出了這樣的一個結果 那麼如果我們希望自己對它進行訓練的時候 我們需要去做一些準備的工作 那麼這一個準備工作主要就是樣本文件的準備 所以我們就可以在 Fish Speech 這個項目的目錄當中 創建一個新的文件夾 然後這個文件夾的名稱就叫做 data 接下來的話我們可以添加一個新的文件夾 那麼這個文件夾我們可以根據自己的需求進行指定 然後的話我們就可以去添加相應的音頻 以及音頻當中 所有的文字 比如在這裏的話我們可以選擇打開其中的一個音頻 同時的話去打開它的文字 所以我們在這裏可以對它進行查看 就能夠查看到它是文字 然後我們選擇音頻播放在這一節當中 就能夠了解到 它們是能夠對應上的 所以的話 首先我們需要去準備好所有的這些不同的樣本信息 準備完成這些樣本信息之後 其實我們又可以重新回到 Fish Speech 它的文檔當中 在它的文檔當中 那麼它也有專門的微調的選項 首先的話它也會告訴我們需要去準備好數據集 那麼這些數據集當中就包括了音頻文件 以及它的標註信息 它也會告訴我們音頻文件的格式 其實是支持多種不同格式的 那麼對於標註文件來說的話就是 這個格式 然後它也會說明 標註文件當中 其實包括的內容就是轉寫的文本 也就是 音頻當中對應的文本 所以我們在這裏也能夠查看到 第一步操作其實我們已經完成 而第二步的話就是去下載相應的權重 其實我們完成了 Fish Speech 的安裝 以及它的使用之後 這步操作的話就已經完成 因爲推理的時候也需要使用到這一個權重 然後接下來的話我們就可以去提取它的語義 我們可以複製這個命令 在我們當前的運行環境當中 我們也已經準備好了這一個命令 然後接下來的話我們就可以去完成它的運行過程 那麼這個過程它所做的事情 就是幫助我們 將剛纔已經準備好的所有的這些不同文件 也就是樣本的數據 幫助我們去生成 這樣的一個文件 所以我們在這裏也能夠查看到這一個文件 然後接下來的話我們又可以重新回來 回到命令提示符當中 因爲我們現在準備的這個樣本的數量並不是特別的多 所以很快就已經完成了這一個過程 接下來的話它也會告訴我們 它會在這一個目錄當中添加這個文件 所以我們現在也能夠查看到這一種類型的文件 然後第三步的話就是去打包數據集 我們也可以使用 它爲我們提供的這個命令 所以的話我們也可以選擇複製這個命令完成這一個過程 那麼這一個過程其實非常快 同時我們在命令當中也能夠查看到 它會在我們指定的這一個目錄當中 再去添加一個新的目錄 所以我們可以 在這裏查看到這一個目錄 它正在幫助我們完成打包的過程 打包完成之後我們就能夠查看到這一個文件 那麼現在數據集準備的過程其實就已經結束 然後的話我們就可以對它進行微調的操作 微調之前其實我們也需要去準備好相應的權重文件 那麼這一個權重文件我們在推理的時候也已經使用 所以現在也是不需要的 然後我們同樣可以去啓動相應的命令對它進行微調 在微調的時候它也會提示我們我們可以通過修改 它的配置文件 然後去調整它的步數 或者是其它的一些不同參數 那麼在這裏的話其實我們已經打開了這一個文件 那麼我們就能夠查看到訓練的步數 默認情況之下的話是一萬步 那麼現在爲了演示的方便我們對它進行了一個調整 我們把它調整成了一百步 那麼其它的選項我們也可以根據自己的需求進行 調整 我們可以按照這裏的參考說明 對它進行調整 另外的話對於 Windows 的計算機來說的話 其實我們還需要去指定這一個參數 也就是這個命令當中 我們需要去指定這一個參數 所以的話我們也已經準備好了這一個命令 然後我們就可以對它進行微調 所以我們重新回來選擇回車之後 就能夠查看到這個微調的過程其實就已經開始 因爲我們修改了它的參數只有一百步 所以它很快就會結束這一個過程 那麼我們在另外的一臺計算機當中進行訓練的時候 使用的就是一萬步 那麼一萬步的話 它大概花的時間可能是十個小時左右 不到十個小時的話也接近十個小時 現在我們就能夠查看到 經過六分鐘左右的時間之後 它的訓練就已經完成 然後的話我們又可以重新回來 回到它的目錄當中 也能夠查看到所有的這些不同文件 然後它也會有這個模型文件 那麼這一個模型文件 我們還需要對它進行轉換 所以在這裏的話也能夠查看到 我們可以通過下面的命令完成它的轉換過程 當然這裏的這個命令 我們指定的 就是模型文件的名稱 所以這個我們需要對它進行調整 在我們當前的運行環境當中 我們已經做了修改 然後的話我們就可以 在這裏選擇複製相應的命令 去完成轉換的過程 所以我們再一次運行相應的命令 那麼它的轉換過程其實就會非常快 轉換完成之後 其實我們也可以在指定的目錄當中 查看到這個文件 所以我們又可以重新回來 然後再一次選擇它的目錄 然後在這裏就能夠查看到它的文件 那麼這樣的話訓練的過程其實就已經結束 接下來的話如果我們希望使用這個模型進行推理 然後的話其實我們就可以運行下面的這一個命令 那麼這個命令當中 指定的模型文件所在的位置 其實就是我們現在的這一個位置 所以在這裏的話我們也能夠查看到這個信息 然後的話我們就可以在這一臺計算機當中 同樣運行相應的命令 最終的話去啓動 WebUI 的工具 所以我們能夠查看到 它的運行過程其實就已經開始 很快我們就可以在這裏選擇對它進行啓動 那麼這時候的話我們就使用 新的這一個模型完成它的推理過程 所以在這裏我們選擇生成 接下來的話它就可以幫助我們生成新的音頻 而這個音頻就是我們準備的 很多的樣本當中它的音頻 所以我們在這裏可以選擇播放 現在他們像往常一樣圍坐在一起吃早飯了 我們能夠查看到 它的這個效果其實與我們 樣本當中的效果還是有非常大的差距的 其實主要的原因是因爲我們現在訓練的步數非常少 所以纔會導致這一個結果 而我們這一臺計算機當中訓練了一萬步之後 那麼它的這個音色就是非常接近的 我們可以通過這種方式準備大量的樣本 那麼樣本越多 當然它的這個效果 其實也會更好 那麼好我們的這一期節目的分享到這裏就已經結束 如果你喜歡我們的這一個節目 也希望大家能夠點贊和分享我們的這一期節目 並且去關注我們的這一個頻道 我們下一期節目再見 謝謝大家