簡介這份資源是面向語音合成學(xué)習(xí)者的VITS-fast-fine-tuning訓(xùn)練樣例數(shù)據(jù)包適合希望快速上手模型微調(diào)、驗(yàn)證語音克隆效果的開發(fā)者與研究者。包內(nèi)共983個(gè)文件以979個(gè)wav語音素材為主體另含2個(gè)pth預(yù)訓(xùn)練模型權(quán)重、1個(gè)json配置文件與1個(gè)txt說明文件壓縮包約587.21MB。語音素材可用于教模型適應(yīng)新的發(fā)音人或語言環(huán)境pth文件提供已學(xué)習(xí)廣泛語音特征的基礎(chǔ)模型json配置則定義微調(diào)參數(shù)、優(yōu)化器與訓(xùn)練細(xì)節(jié)用戶可據(jù)此調(diào)整硬件適配方案。已有912人學(xué)習(xí)下載說明該樣例在社區(qū)中具備一定參考價(jià)值。借助這套數(shù)據(jù)讀者無需從零準(zhǔn)備素材即可跑通微調(diào)流程快速驗(yàn)證語音合成效果并以此為模板構(gòu)建自己的標(biāo)注數(shù)據(jù)集應(yīng)用于語音助手、有聲讀物或個(gè)性化配音等場景。1. 從零復(fù)現(xiàn) VITS-fast-fine-tuning這套樣例數(shù)據(jù)到底省掉了哪些臟活如果你最近在折騰語音克隆或者少樣本 TTS 微調(diào)大概率刷到過 VITS-fast-fine-tuning 這個(gè)名字。它最吸引人的地方在于用幾分鐘的語音素材就能把預(yù)訓(xùn)練模型微調(diào)成你自己的音色而且推理速度比原版 VITS 快不少。但真正動(dòng)手的人都知道卡住新手的從來不是訓(xùn)練腳本本身而是訓(xùn)練之前那一堆瑣碎到讓人想砸鍵盤的準(zhǔn)備工作——預(yù)訓(xùn)練模型去哪下、配置文件怎么改、語音素材要切成什么樣、采樣率不對(duì)怎么辦。這套樣例數(shù)據(jù)的價(jià)值就在這兒它把預(yù)訓(xùn)練模型、配置文件、語音素材三樣?xùn)|西打包好了你拿到手就能直接跑通一次完整的訓(xùn)練流程不用先去踩一遍數(shù)據(jù)準(zhǔn)備的坑。適合誰適合已經(jīng)看過 VITS-fast-fine-tuning 文檔但還沒跑通、或者跑通了但想搞清楚每個(gè)文件到底在干什么的人。下面我按實(shí)際拆包和復(fù)現(xiàn)的順序把這份資源講透。2. 拆開樣例數(shù)據(jù)包預(yù)訓(xùn)練模型、配置文件、語音素材各自扮演什么角色2.1 預(yù)訓(xùn)練模型不是“一個(gè)文件”而是三件套很多人以為預(yù)訓(xùn)練模型就是一個(gè).pth文件扔進(jìn)目錄就能用。VITS-fast-fine-tuning 的預(yù)訓(xùn)練模型實(shí)際上包含三部分生成器權(quán)重、判別器權(quán)重以及一個(gè)說話人編碼器speaker encoder的權(quán)重。生成器負(fù)責(zé)把文本和音色特征合成波形判別器只在訓(xùn)練時(shí)參與對(duì)抗說話人編碼器則決定了模型能不能“聽懂”你給的參考音頻是什么音色。這份樣例數(shù)據(jù)里的預(yù)訓(xùn)練模型通常是官方在大量多人語音數(shù)據(jù)上訓(xùn)練好的底模。它的作用是讓你不用從隨機(jī)初始化開始直接在一個(gè)已經(jīng)學(xué)會(huì)“怎么說話”的模型上用你的少量數(shù)據(jù)去微調(diào)音色。如果你跳過預(yù)訓(xùn)練模型直接從頭訓(xùn)哪怕只有幾分鐘的語音素材也幾乎不可能收斂到能聽的程度。常見做法是把預(yù)訓(xùn)練模型放在pretrained/目錄下訓(xùn)練腳本通過配置文件里的路徑去加載。這里有個(gè)容易翻車的點(diǎn)——生成器和判別器的權(quán)重文件命名必須和配置文件里的字段對(duì)得上否則腳本會(huì)靜默跳過加載你以為在用預(yù)訓(xùn)練模型實(shí)際上是在隨機(jī)初始化上訓(xùn)練loss 曲線會(huì)非常詭異。2.2 配置文件是訓(xùn)練流程的“黑匣子”改錯(cuò)一個(gè)字段就白跑配置文件通常是一個(gè) JSON 或 YAML 文件里面定義了訓(xùn)練輪數(shù)、batch size、學(xué)習(xí)率、音頻采樣率、mel 頻譜參數(shù)、說話人數(shù)量等。VITS-fast-fine-tuning 的配置文件比原版 VITS 多了一個(gè)關(guān)鍵字段speaker_count或者類似的說話人數(shù)量聲明。如果你只微調(diào)一個(gè)音色這個(gè)值要設(shè)成 1如果你有多個(gè)說話人就得按實(shí)際數(shù)量改。我一般會(huì)先檢查三個(gè)字段sampling_rate、n_speakers、pretrained_model_path。采樣率必須和你的語音素材一致常見的是 22050 或 44100。如果素材是 44100 但配置里寫 22050訓(xùn)練時(shí)不會(huì)報(bào)錯(cuò)但出來的聲音會(huì)變調(diào)像快進(jìn)了一樣。n_speakers如果設(shè)錯(cuò)模型會(huì)分配錯(cuò)誤的說話人嵌入維度訓(xùn)練 loss 會(huì)卡在一個(gè)很高的值下不去。樣例數(shù)據(jù)里的配置文件通常是已經(jīng)調(diào)好的一套參數(shù)直接能用。但你要知道每個(gè)字段的含義因?yàn)橐坏┠阆霌Q自己的語音素材至少得改采樣率和說話人數(shù)量這兩個(gè)地方。2.3 語音素材的格式要求比你想的嚴(yán)格語音素材不是隨便扔幾個(gè) wav 文件就行。VITS-fast-fine-tuning 對(duì)素材的要求可以總結(jié)為三條單聲道、固定采樣率、每個(gè)音頻片段長度在 1 到 10 秒之間。太長會(huì)導(dǎo)致訓(xùn)練時(shí)顯存爆炸太短則模型學(xué)不到完整的音素過渡。樣例數(shù)據(jù)里的語音素材通常是已經(jīng)切好的短片段采樣率也統(tǒng)一了。但如果你要換成自己的錄音建議先用ffmpeg做一遍標(biāo)準(zhǔn)化。我常用的命令是# 把任意音頻轉(zhuǎn)成 22050Hz 單聲道 wav并統(tǒng)一音量 ffmpeg -i input.mp3 -ar 22050 -ac 1 -af loudnormI-16:TP-1.5:LRA11 output.wav-ar 22050指定采樣率-ac 1強(qiáng)制單聲道loudnorm濾鏡做音量歸一化。這一步不做的話訓(xùn)練時(shí)不同片段的音量差異會(huì)讓模型學(xué)到的音色忽大忽小推理時(shí)聲音會(huì)飄。另外素材的文本標(biāo)注也要和音頻一一對(duì)應(yīng)。樣例數(shù)據(jù)里通常帶一個(gè)metadata.csv或類似的標(biāo)注文件格式是文件名|文本。文本里不要有生僻符號(hào)中文的話建議先做一遍文本正則化把數(shù)字、英文縮寫轉(zhuǎn)成中文讀法否則推理時(shí)遇到?jīng)]見過的字符會(huì)直接跳過或者報(bào)錯(cuò)。3. 把樣例數(shù)據(jù)跑起來從環(huán)境配置到第一次推理的完整命令3.1 環(huán)境依賴的版本坑torch 和 CUDA 要對(duì)齊VITS-fast-fine-tuning 對(duì) PyTorch 版本比較敏感。樣例數(shù)據(jù)里一般會(huì)附帶一個(gè)requirements.txt但直接pip install -r有時(shí)候會(huì)裝出和 CUDA 不匹配的 torch 版本。我習(xí)慣先確認(rèn)顯卡驅(qū)動(dòng)支持的 CUDA 版本再裝對(duì)應(yīng)的 torch。# 查看 CUDA 版本 nvcc --version # 假設(shè)是 CUDA 11.8裝對(duì)應(yīng) torch pip install torch2.0.1 torchvision0.15.2 torchaudio2.0.2 --index-url https://download.pytorch.org/whl/cu118裝完 torch 之后再裝其他依賴。注意ffmpeg要單獨(dú)用系統(tǒng)包管理器裝pip 里的ffmpeg-python只是調(diào)用接口不帶二進(jìn)制文件。Ubuntu 下apt install ffmpegWindows 下把 ffmpeg 加到 PATH 里。3.2 目錄結(jié)構(gòu)要對(duì)齊否則腳本找不到文件樣例數(shù)據(jù)解壓后建議按下面的結(jié)構(gòu)擺放project/ ├── pretrained/ │ ├── generator.pth │ ├── discriminator.pth │ └── speaker_encoder.pth ├── configs/ │ └── finetune_config.json ├── data/ │ ├── audio/ │ │ ├── 001.wav │ │ └── 002.wav │ └── metadata.csv └── train.py配置文件里的路徑通常是相對(duì)路徑比如pretrained_model_path: pretrained/generator.pth。如果你把文件放在別的地方要么改配置要么在訓(xùn)練腳本里加一個(gè)--data_root參數(shù)覆蓋。我一般不改配置直接按默認(rèn)結(jié)構(gòu)擺省得出錯(cuò)。3.3 啟動(dòng)訓(xùn)練命令行參數(shù)和日志觀察訓(xùn)練腳本的啟動(dòng)命令通常長這樣python train.py \ --config configs/finetune_config.json \ --data_root data \ --output_dir outputs \ --batch_size 4 \ --epochs 100--batch_size根據(jù)顯存調(diào)8G 顯存建議設(shè) 2 到 412G 以上可以設(shè) 8。--epochs不是越多越好VITS-fast-fine-tuning 在少量數(shù)據(jù)上通常 50 到 100 輪就能收斂再往后容易過擬合推理時(shí)聲音會(huì)變得機(jī)械。訓(xùn)練開始后重點(diǎn)看三個(gè)指標(biāo)loss_gen、loss_disc、loss_mel。loss_mel是 mel 頻譜重建損失它應(yīng)該穩(wěn)定下降。如果它震蕩或者上升大概率是學(xué)習(xí)率太大或者數(shù)據(jù)有問題。loss_disc是判別器損失它和生成器損失會(huì)此消彼長只要不出現(xiàn)一方歸零另一方爆炸就屬于正常對(duì)抗。日志里還會(huì)打印每個(gè) epoch 的保存路徑。我一般會(huì)在訓(xùn)練到 30 輪左右先停一下用保存的 checkpoint 做一次推理聽聽聲音有沒有雛形。如果 30 輪還是噪音那后面大概率也救不回來得回頭查數(shù)據(jù)。3.4 推理驗(yàn)證用訓(xùn)練好的模型合成一段話訓(xùn)練完成后推理腳本通常需要指定模型路徑和配置文件python inference.py \ --config configs/finetune_config.json \ --checkpoint outputs/G_100.pth \ --text 今天天氣不錯(cuò)適合在家訓(xùn)練模型。 \ --output test.wav如果合成出來的聲音有金屬感或者斷續(xù)先檢查推理時(shí)的采樣率是否和訓(xùn)練一致。另一個(gè)常見問題是說話人 ID 沒指定多說話人模型在推理時(shí)需要傳--speaker_id單說話人模型一般默認(rèn) 0。4. 避坑排查樣例數(shù)據(jù)跑不通時(shí)先看這五條4.1 現(xiàn)象訓(xùn)練 loss 一直是 NaN原因?qū)W習(xí)率太大或者語音素材里有靜音片段導(dǎo)致 mel 頻譜出現(xiàn)零值取對(duì)數(shù)。解決把配置文件里的learning_rate降到 1e-4 或更低同時(shí)在數(shù)據(jù)預(yù)處理階段過濾掉時(shí)長小于 0.5 秒的片段。4.2 現(xiàn)象推理出來的聲音和參考音頻完全不像原因預(yù)訓(xùn)練模型沒加載成功或者說話人編碼器權(quán)重路徑寫錯(cuò)。解決在訓(xùn)練腳本里加一行打印確認(rèn)generator.pth和speaker_encoder.pth的加載日志。如果顯示missing keys或unexpected keys說明權(quán)重和模型結(jié)構(gòu)對(duì)不上換回樣例數(shù)據(jù)自帶的預(yù)訓(xùn)練模型。4.3 現(xiàn)象訓(xùn)練到一半顯存溢出原因batch size 太大或者某個(gè)音頻片段異常長。解決先把 batch size 減半如果還溢出用ffprobe檢查每個(gè)音頻的時(shí)長把超過 10 秒的切掉。VITS 的顯存占用和音頻長度是平方關(guān)系一個(gè) 30 秒的片段能吃掉幾倍的顯存。4.4 現(xiàn)象metadata.csv 里的文本包含英文或數(shù)字推理時(shí)跳過原因文本前端沒有對(duì)應(yīng)的音素映射。解決在數(shù)據(jù)準(zhǔn)備階段做文本正則化把數(shù)字轉(zhuǎn)成中文讀法英文單詞按發(fā)音轉(zhuǎn)成中文音譯或者直接刪掉。樣例數(shù)據(jù)里的標(biāo)注通常是純中文換成自己的數(shù)據(jù)時(shí)這一步不能省。4.5 現(xiàn)象訓(xùn)練日志正常但推理腳本報(bào)KeyError原因配置文件和 checkpoint 的字段不匹配常見于改了n_speakers但沒重新訓(xùn)練。解決推理時(shí)用的配置文件必須和訓(xùn)練時(shí)完全一致尤其是n_speakers和sampling_rate。如果改了配置要么重新訓(xùn)練要么在推理腳本里手動(dòng)覆蓋這兩個(gè)參數(shù)。5. 進(jìn)階技巧用樣例數(shù)據(jù)做音色插值和批量推理樣例數(shù)據(jù)跑通之后可以玩點(diǎn)更實(shí)用的。VITS-fast-fine-tuning 的說話人嵌入是一個(gè)向量如果你有兩個(gè)說話人的模型可以對(duì)它們的嵌入做線性插值合成一個(gè)介于兩者之間的音色。具體做法是加載兩個(gè) checkpoint分別提取說話人嵌入然后按比例混合import torch # 加載兩個(gè)模型的說話人嵌入 emb_a torch.load(outputs/speaker_a.pth) emb_b torch.load(outputs/speaker_b.pth) # 按 0.7 和 0.3 的比例混合 mixed 0.7 * emb_a 0.3 * emb_b torch.save(mixed, outputs/speaker_mixed.pth)然后把混合后的嵌入傳給推理腳本。這個(gè)技巧在需要生成“介于兩個(gè)人之間”的音色時(shí)很有用比如有聲書里不同角色的旁白。注意混合比例不要極端0.5 比 0.5 有時(shí)候會(huì)得到一個(gè)四不像的聲音建議從 0.7 比 0.3 開始試。另一個(gè)技巧是批量推理。如果你要合成大量文本不要一條一條跑推理腳本那樣每次都要重新加載模型慢得讓人想砸鍵盤。我一般會(huì)寫一個(gè)循環(huán)把模型加載一次然后遍歷文本列表texts [第一句話。, 第二句話。, 第三句話。] for i, text in enumerate(texts): audio model.infer(text, speaker_id0) save_audio(audio, foutput_{i}.wav)這樣能把推理速度提升好幾倍。批量推理時(shí)注意控制單次合成的文本長度超過 50 個(gè)字的句子建議先切分否則顯存會(huì)漲得很快。從那以后我每次拿到新的語音素材都會(huì)先跑一遍ffprobe檢查時(shí)長和采樣率再用樣例數(shù)據(jù)的配置文件做一次基線訓(xùn)練確認(rèn)流程通了再換自己的數(shù)據(jù)。這個(gè)習(xí)慣幫我省掉了至少三次“訓(xùn)練一晚上發(fā)現(xiàn)數(shù)據(jù)有問題”的后悔藥。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取