人工智能語音音頻基礎(chǔ)模型本地部署【免費下載鏈接】tyger項目地址https://ai.gitcode.com/hf_mirrors/nineninesix/tyger點擊查看免費下載TYGER是 NineNineSix 開源的全雙工語音決策模型open-weight專為實時語音對話設(shè)計它一邊通過內(nèi)置的 NVIDIA Nemotron 流式語音識別聽你說什么一邊實時判斷何時該回復(fù)、何時繼續(xù)聽、何時被打斷、何時該嗯嗯附和。對于想構(gòu)建自然語音助手的開發(fā)者這是一個開箱即用的耳朵 對話節(jié)奏控制器。為什么語音助手需要全雙工大多數(shù)語音助手還是對講機模式半雙工你說完 → 等它想 → 它說完 → 你再開口。對話雙方輪流占線體驗生硬。而真正自然的對話像打電話一樣——全雙工雙方可以幾乎同時說話。這要求系統(tǒng)實時回答三個難題話輪結(jié)束檢測Endpoint用戶真的說完了嗎該我接話了。?打斷識別Barge-in用戶在助手說話時插話要立刻停下讓位。附和Backchannel用戶還在長句中間助手適時mm-hm一下表示在聽。TYGER 就是為這三個決策而生的模型。它同時接收兩路對齊的 16 kHz 單聲道音頻用戶麥克風(fēng) 助手的播放聲逐幀輸出四種話輪狀態(tài)LISTEN / HOLD / SPEAK / BACKCHANNEL和 endpoint、barge-in、backchannel 分?jǐn)?shù)。 倉庫本身只包含權(quán)重與配置不含推理代碼配套的開源語音助手項目 tyger-s2s 用它作為耳朵瀏覽器里即可對話詳見下文上手路徑。架構(gòu)拆解Nemotron ASR 一個 14M 參數(shù)的小 GRUTYGER 的巧妙之處在于大模型聽聲小模型做決策組件說明語音識別NVIDIA Nemotron 3.5 ASR Streaming 0.6B約 638M 參數(shù)原封不動復(fù)用話輪決策因果 GRU3 層、寬度 768約 14M 參數(shù)從零訓(xùn)練總參數(shù)量652MFP32 權(quán)重約 2.61 GB輸入兩路對齊的 16 kHz 單聲道流用戶麥克風(fēng) 助手播放幀粒度80 ms 一幀無前瞻l(fā)ookahead流式策略320 ms 一跳Nemotron 每次對 8 秒窗口重編碼會話狀態(tài)每路對話僅需 9 KiB 的 GRU 狀態(tài)語言英文Nemotron 側(cè)輸出第 15 層的 1,024 維聲學(xué)特征加上能量歸一化信號后喂給 GRUGRU 的每個時間步同時產(chǎn)出 5 個頭話輪狀態(tài)、即將開口的 hazard、讓話 yield、附和 backchannel、endpoint。架構(gòu)配置都記錄在 config.json 里Nemotron 的前端配置和分詞器完整保留在 nemotron/ 目錄。Nemotron ASR 部分的編碼器結(jié)構(gòu)如下圖所示FastConformer 編碼器 語言編碼融合 RNN-T 解碼器值得注意的細(xì)節(jié)狀態(tài)輸入只使用真實值助手在聽就標(biāo) LISTEN助手在說就標(biāo) SPEAK不讓模型用自己的猜測做狀態(tài)避免自我強化偏差內(nèi)置防誤觸發(fā)護欄6 幀熱身、至少 350 ms 高于 -50 dB 的語音、附和間隔不少于 1.2 s、靜默 1.2 s 強制兜底 endpoint。三大核心事件與默認(rèn)閾值TYGER 對外表現(xiàn)為三類事件應(yīng)用側(cè)直接消費即可事件觸發(fā)時機應(yīng)用動作默認(rèn)閾值Endpoint話尾用戶說完了開始回答0.91Barge-in打斷助手說話時用戶插話立刻停止回答0.50Backchannel附和用戶說話間隙適合嗯嗯播放附和話輪仍歸用戶0.40其中 barge-in 和 backchannel 的默認(rèn)值比離線評測用的更寬松0.93 / 0.80官方建議在你的應(yīng)用里自行調(diào)節(jié)——tyger-s2s 的網(wǎng)頁上就提供了對應(yīng)的滑桿。實測表現(xiàn)決策有多快、多準(zhǔn)離線評測在 Open Yap 1K 測試集、Full-Duplex-Bench v1.0CANDOR 子集及內(nèi)部集上進行閾值在開發(fā)集上選定并凍結(jié)。endpoint 延遲從用戶說完全計時如下評測集話輪數(shù)延遲中位 / 均值過早打斷1.2 s 內(nèi)無 endpointOpen Yap 1K 測試1,000252.5 / 465.0 ms29.90%7.40%FDB v1.0 CANDOR119307.5 / 383.0 ms25.21%5.04%內(nèi)部集未公開242252.5 / 286.5 ms12.40%0.00%其他關(guān)鍵指標(biāo)Open Yap 1K 測試集 話輪狀態(tài) macro-F10.9436 Endpoint ROC-AUC / AP0.9839 / 0.8149 Barge-in ROC-AUC / AP0.9797 / 0.6657? 速度GRU 決策部分在 RTX 4090 上中位僅0.805 ms/幀峰值顯存 108.76 MiB全部數(shù)字與口徑定義見 evaluation/metrics.json 和 evaluation/README.md。?? 注意官方對局限性的坦誠聲明這些只是離線診斷不是實時語音助手基準(zhǔn)僅一個訓(xùn)練種子內(nèi)部集不可復(fù)現(xiàn)。ASR 前端識別準(zhǔn)確率與多語言能力TYGER 的耳朵——Nemotron 3.5 ASR 0.6B——本身就是一款流式識別模型官方卡片中給出了多組參考數(shù)據(jù)。流式分塊越大識別準(zhǔn)確率越高延遲相應(yīng)增加在 FLEURS 多語言基準(zhǔn)上按語言覆蓋分層的平均 WER 對比TYGER 本體面向英文NVIDIA 原始模型卡含更多圖表與許可說明完整保留在 upstream/NVIDIA_MODEL_CARD.md。資源占用與部署一張消費級顯卡夠不夠僅 GRU 決策頭0.8 ms/幀級開銷可忽略整套模型含 Nemotron在 tyger-s2s 中4 路并發(fā)對話約占 4 GB 顯存部署方式官方建議直接使用 tyger-s2sApache-2.0提供的 Docker 鏡像或在瀏覽器/通話場景中作為語音后端 API。Nemotron 前端在單張 H100 上的并發(fā)能力參考分塊越大可支撐并行流越多 上手路徑git clone https://link.gitcode.com/i/4106b4461a67f023aa6042609bf6a7d3倉庫內(nèi)容速覽文件作用model.safetensorsTYGER 全部權(quán)重Nemotron GRU約 2.6 GBconfig.json模型結(jié)構(gòu)、前端參數(shù)、默認(rèn)策略閾值、去抖、護欄manifest.json每個文件的字節(jié)數(shù)與 SHA-256 校驗值nemotron/Nemotron 前端配置與分詞器evaluation/評測協(xié)議與全部指標(biāo)upstream/、licenses/NVIDIA 原始模型卡、圖表與 OpenMDW-1.1 許可證許可與致謝權(quán)重與文件采用OpenMDW-1.1許可見 LICENSE.md 與 NOTICE.md、licenses/OpenMDW-1.1.txtNVIDIA Nemotron 的原始許可、模型卡原樣保留未做改動訓(xùn)練數(shù)據(jù)來自 Open Yap 1K v1.01,395 訓(xùn)練 / 107 開發(fā) / 100 測試對話標(biāo)簽由雙方發(fā)言時間自動生成無需人工標(biāo)注。一句話總結(jié)TYGER 一個會聽的 0.6B 流式 ASR 一個 14M 參數(shù)的 GRU 決策器以 252 ms 級中位延遲判斷話尾、以 0.98 ROC-AUC 區(qū)分打斷與附和是構(gòu)建全雙工語音 Agent 的一個輕量、可復(fù)現(xiàn)、許可清晰的開源起點 ?贊分享人工智能語音音頻基礎(chǔ)模型本地部署【免費下載鏈接】tyger項目地址https://ai.gitcode.com/hf_mirrors/nineninesix/tyger點擊查看免費下載相關(guān)推薦Intern-Decision-2B 是什么一文讀懂 InternLM 開源多模態(tài)結(jié)構(gòu)化決策大模型Intern Decision 2B 是什么一文讀懂 InternLM 開源多模態(tài)結(jié)構(gòu)化決策大模型 Intern Decision 2B 是 InternLM人工智能大模型多模態(tài)微調(diào)本地部署Macaron-V1-Tall 是什么一文讀懂 MindLab 開源 Mixture of LoRA 個人智能模型Macaron V1 Tall 是什么一文讀懂 MindLab 開源 Mixture of LoRA 個人智能模型 Macaron V1 Tall 是 Min端側(cè)大模型初體驗一文讀懂 Qwen3-8B_rai_1.8.0_npu_4K 是什么端側(cè)大模型初體驗一文讀懂 Qwen3 8B_rai_1.8.0_npu_4K 是什么 Qwen3 8B_rai_1.8.0_npu_4K 是 AMD 官方發(fā)布創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 TYGER 是什么？一文讀懂 NineNineSix 開源全雙工語音決策模型
人工智能語音音頻基礎(chǔ)模型本地部署【免費下載鏈接】tyger項目地址https://ai.gitcode.com/hf_mirrors/nineninesix/tyger點擊查看免費下載TYGER是 NineNineSix 開源的全雙工語音決策模型open-weight專為實時語音對話設(shè)計它一邊通過內(nèi)置的 NVIDIA Nemotron 流式語音識別聽你說什么一邊實時判斷何時該回復(fù)、何時繼續(xù)聽、何時被打斷、何時該嗯嗯附和。對于想構(gòu)建自然語音助手的開發(fā)者這是一個開箱即用的耳朵 對話節(jié)奏控制器。為什么語音助手需要全雙工大多數(shù)語音助手還是對講機模式半雙工你說完 → 等它想 → 它說完 → 你再開口。對話雙方輪流占線體驗生硬。而真正自然的對話像打電話一樣——全雙工雙方可以幾乎同時說話。這要求系統(tǒng)實時回答三個難題話輪結(jié)束檢測Endpoint用戶真的說完了嗎該我接話了。?打斷識別Barge-in用戶在助手說話時插話要立刻停下讓位。附和Backchannel用戶還在長句中間助手適時mm-hm一下表示在聽。TYGER 就是為這三個決策而生的模型。它同時接收兩路對齊的 16 kHz 單聲道音頻用戶麥克風(fēng) 助手的播放聲逐幀輸出四種話輪狀態(tài)LISTEN / HOLD / SPEAK / BACKCHANNEL和 endpoint、barge-in、backchannel 分?jǐn)?shù)。 倉庫本身只包含權(quán)重與配置不含推理代碼配套的開源語音助手項目 tyger-s2s 用它作為耳朵瀏覽器里即可對話詳見下文上手路徑。架構(gòu)拆解Nemotron ASR 一個 14M 參數(shù)的小 GRUTYGER 的巧妙之處在于大模型聽聲小模型做決策組件說明語音識別NVIDIA Nemotron 3.5 ASR Streaming 0.6B約 638M 參數(shù)原封不動復(fù)用話輪決策因果 GRU3 層、寬度 768約 14M 參數(shù)從零訓(xùn)練總參數(shù)量652MFP32 權(quán)重約 2.61 GB輸入兩路對齊的 16 kHz 單聲道流用戶麥克風(fēng) 助手播放幀粒度80 ms 一幀無前瞻l(fā)ookahead流式策略320 ms 一跳Nemotron 每次對 8 秒窗口重編碼會話狀態(tài)每路對話僅需 9 KiB 的 GRU 狀態(tài)語言英文Nemotron 側(cè)輸出第 15 層的 1,024 維聲學(xué)特征加上能量歸一化信號后喂給 GRUGRU 的每個時間步同時產(chǎn)出 5 個頭話輪狀態(tài)、即將開口的 hazard、讓話 yield、附和 backchannel、endpoint。架構(gòu)配置都記錄在 config.json 里Nemotron 的前端配置和分詞器完整保留在 nemotron/ 目錄。Nemotron ASR 部分的編碼器結(jié)構(gòu)如下圖所示FastConformer 編碼器 語言編碼融合 RNN-T 解碼器值得注意的細(xì)節(jié)狀態(tài)輸入只使用真實值助手在聽就標(biāo) LISTEN助手在說就標(biāo) SPEAK不讓模型用自己的猜測做狀態(tài)避免自我強化偏差內(nèi)置防誤觸發(fā)護欄6 幀熱身、至少 350 ms 高于 -50 dB 的語音、附和間隔不少于 1.2 s、靜默 1.2 s 強制兜底 endpoint。三大核心事件與默認(rèn)閾值TYGER 對外表現(xiàn)為三類事件應(yīng)用側(cè)直接消費即可事件觸發(fā)時機應(yīng)用動作默認(rèn)閾值Endpoint話尾用戶說完了開始回答0.91Barge-in打斷助手說話時用戶插話立刻停止回答0.50Backchannel附和用戶說話間隙適合嗯嗯播放附和話輪仍歸用戶0.40其中 barge-in 和 backchannel 的默認(rèn)值比離線評測用的更寬松0.93 / 0.80官方建議在你的應(yīng)用里自行調(diào)節(jié)——tyger-s2s 的網(wǎng)頁上就提供了對應(yīng)的滑桿。實測表現(xiàn)決策有多快、多準(zhǔn)離線評測在 Open Yap 1K 測試集、Full-Duplex-Bench v1.0CANDOR 子集及內(nèi)部集上進行閾值在開發(fā)集上選定并凍結(jié)。endpoint 延遲從用戶說完全計時如下評測集話輪數(shù)延遲中位 / 均值過早打斷1.2 s 內(nèi)無 endpointOpen Yap 1K 測試1,000252.5 / 465.0 ms29.90%7.40%FDB v1.0 CANDOR119307.5 / 383.0 ms25.21%5.04%內(nèi)部集未公開242252.5 / 286.5 ms12.40%0.00%其他關(guān)鍵指標(biāo)Open Yap 1K 測試集 話輪狀態(tài) macro-F10.9436 Endpoint ROC-AUC / AP0.9839 / 0.8149 Barge-in ROC-AUC / AP0.9797 / 0.6657? 速度GRU 決策部分在 RTX 4090 上中位僅0.805 ms/幀峰值顯存 108.76 MiB全部數(shù)字與口徑定義見 evaluation/metrics.json 和 evaluation/README.md。?? 注意官方對局限性的坦誠聲明這些只是離線診斷不是實時語音助手基準(zhǔn)僅一個訓(xùn)練種子內(nèi)部集不可復(fù)現(xiàn)。ASR 前端識別準(zhǔn)確率與多語言能力TYGER 的耳朵——Nemotron 3.5 ASR 0.6B——本身就是一款流式識別模型官方卡片中給出了多組參考數(shù)據(jù)。流式分塊越大識別準(zhǔn)確率越高延遲相應(yīng)增加在 FLEURS 多語言基準(zhǔn)上按語言覆蓋分層的平均 WER 對比TYGER 本體面向英文NVIDIA 原始模型卡含更多圖表與許可說明完整保留在 upstream/NVIDIA_MODEL_CARD.md。資源占用與部署一張消費級顯卡夠不夠僅 GRU 決策頭0.8 ms/幀級開銷可忽略整套模型含 Nemotron在 tyger-s2s 中4 路并發(fā)對話約占 4 GB 顯存部署方式官方建議直接使用 tyger-s2sApache-2.0提供的 Docker 鏡像或在瀏覽器/通話場景中作為語音后端 API。Nemotron 前端在單張 H100 上的并發(fā)能力參考分塊越大可支撐并行流越多 上手路徑git clone https://link.gitcode.com/i/4106b4461a67f023aa6042609bf6a7d3倉庫內(nèi)容速覽文件作用model.safetensorsTYGER 全部權(quán)重Nemotron GRU約 2.6 GBconfig.json模型結(jié)構(gòu)、前端參數(shù)、默認(rèn)策略閾值、去抖、護欄manifest.json每個文件的字節(jié)數(shù)與 SHA-256 校驗值nemotron/Nemotron 前端配置與分詞器evaluation/評測協(xié)議與全部指標(biāo)upstream/、licenses/NVIDIA 原始模型卡、圖表與 OpenMDW-1.1 許可證許可與致謝權(quán)重與文件采用OpenMDW-1.1許可見 LICENSE.md 與 NOTICE.md、licenses/OpenMDW-1.1.txtNVIDIA Nemotron 的原始許可、模型卡原樣保留未做改動訓(xùn)練數(shù)據(jù)來自 Open Yap 1K v1.01,395 訓(xùn)練 / 107 開發(fā) / 100 測試對話標(biāo)簽由雙方發(fā)言時間自動生成無需人工標(biāo)注。一句話總結(jié)TYGER 一個會聽的 0.6B 流式 ASR 一個 14M 參數(shù)的 GRU 決策器以 252 ms 級中位延遲判斷話尾、以 0.98 ROC-AUC 區(qū)分打斷與附和是構(gòu)建全雙工語音 Agent 的一個輕量、可復(fù)現(xiàn)、許可清晰的開源起點 ?贊分享人工智能語音音頻基礎(chǔ)模型本地部署【免費下載鏈接】tyger項目地址https://ai.gitcode.com/hf_mirrors/nineninesix/tyger點擊查看免費下載相關(guān)推薦Intern-Decision-2B 是什么一文讀懂 InternLM 開源多模態(tài)結(jié)構(gòu)化決策大模型Intern Decision 2B 是什么一文讀懂 InternLM 開源多模態(tài)結(jié)構(gòu)化決策大模型 Intern Decision 2B 是 InternLM人工智能大模型多模態(tài)微調(diào)本地部署Macaron-V1-Tall 是什么一文讀懂 MindLab 開源 Mixture of LoRA 個人智能模型Macaron V1 Tall 是什么一文讀懂 MindLab 開源 Mixture of LoRA 個人智能模型 Macaron V1 Tall 是 Min端側(cè)大模型初體驗一文讀懂 Qwen3-8B_rai_1.8.0_npu_4K 是什么端側(cè)大模型初體驗一文讀懂 Qwen3 8B_rai_1.8.0_npu_4K 是什么 Qwen3 8B_rai_1.8.0_npu_4K 是 AMD 官方發(fā)布創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考