戰(zhàn)指南：如何用它訓(xùn)練LLM、構(gòu)建AI Agent用戶(hù)模擬與防m(xù)odel collapse)
數(shù)據(jù)集【免費(fèi)下載鏈接】Nemotron-Personas-UK項(xiàng)目地址https://ai.gitcode.com/hf_mirrors/nvidia/Nemotron-Personas-UK點(diǎn)擊查看免費(fèi)下載Nemotron-Personas-UK 是由 NVIDIA 基于英國(guó)真實(shí)人口普查分布生成的開(kāi)源合成人物Synthetic Personas數(shù)據(jù)集包含 100 萬(wàn)條記錄、600 萬(wàn)個(gè)合成人物總計(jì)約 6.18 億 tokensCC BY 4.0 協(xié)議可自由商用。本文帶你快速掌握三大核心用法訓(xùn)練 LLM、構(gòu)建 AI Agent 用戶(hù)模擬、防止 model collapse。1. 數(shù)據(jù)集一覽100 萬(wàn)條有血有肉的合成人物 Nemotron-Personas-UK 由 NVIDIA 與倫敦 Locai Labs 合作構(gòu)建使用 NeMo Data Designer 框架 概率圖模型PGM gemma-4-31B-it 模型生成嚴(yán)格錨定英格蘭及威爾士 Census 2021、蘇格蘭 Census 2022、北愛(ài)爾蘭 Census 2021 的真實(shí)人口結(jié)構(gòu) 覆蓋4 個(gè)國(guó)家、12 個(gè)地區(qū)、372 個(gè)地方行政區(qū)104 個(gè)職業(yè)組SOC 2020× 86 個(gè)行業(yè)SIC 2007全部對(duì)齊官方勞動(dòng)力統(tǒng)計(jì) 每條記錄包含 6 類(lèi)自然語(yǔ)言人物畫(huà)像專(zhuān)業(yè)、運(yùn)動(dòng)、藝術(shù)、旅行、烹飪外加一個(gè)精煉的通用persona字段 附帶age、municipality、education_level、occupation等 10 個(gè)結(jié)構(gòu)化上下文字段可精準(zhǔn)篩選目標(biāo)人群下方的專(zhuān)業(yè)人物畫(huà)像聚類(lèi)圖HDBSCAN UMAP直觀(guān)展示了數(shù)據(jù)多樣性不同職業(yè)、地域、背景的人物描述自然聚成大量簇而不是千篇一律的模板文本。2. 數(shù)據(jù)快速上手三步拿到 150 萬(wàn) personas方式一clone 倉(cāng)庫(kù)7 個(gè) Parquet 分片共 1.5 GBgit clone https://gitcode.com/hf_mirrors/nvidia/Nemotron-Personas-UK方式二通過(guò) datasets 庫(kù)加載from datasets import load_dataset nemotron_personas load_dataset(nvidia/Nemotron-Personas-UK, splittrain)數(shù)據(jù)結(jié)構(gòu)每條記錄 23 個(gè)字段核心字段如下完整定義見(jiàn) README.md 的 Schema 章節(jié)字段說(shuō)明persona精煉的通用人物畫(huà)像professional_persona/sports_persona/ …5 類(lèi)主題人物畫(huà)像cultural_background/hobbies_and_interests自然語(yǔ)言背景描述skills_and_expertise_list技能列表JSON 編碼age/sex/marital_status/household_type人口屬性字段occupation/industrySOC 2020 職業(yè) / SIC 2007 行業(yè)代碼municipality/region地方行政區(qū) / 地區(qū)數(shù)據(jù)文件位于 data/ 目錄例如 data/train-00000-of-00007.parquet共train-00000至train-00006七個(gè)分片。3. 訓(xùn)練 LLM用真實(shí)分布的人物畫(huà)像做 SFT 語(yǔ)料最典型的用法是基于 persona 的指令微調(diào)SFT——讓模型學(xué)會(huì)在不同用戶(hù)畫(huà)像下生成自然的對(duì)話(huà)、推薦和內(nèi)容篩選用結(jié)構(gòu)化字段圈定目標(biāo)人群如region Scotland或education_level為學(xué)位級(jí)構(gòu)造 prompt將professional_personaskills_and_expertise注入 system prompt 作為用戶(hù)設(shè)定生成訓(xùn)練數(shù)據(jù)以 persona 為種子生成多輪對(duì)話(huà)再與真實(shí)數(shù)據(jù)混合用于 SFT上圖的年齡分布與真實(shí)英國(guó)人口高度一致中位年齡 48 歲25–64 歲每個(gè)十年區(qū)間均勻分布 16%–17%18–24 歲占 10.6%——有效避免了常見(jiàn)合成數(shù)據(jù)年輕化偏置的問(wèn)題。4. 構(gòu)建 AI Agent 用戶(hù)模擬給 Agent 造一批虛擬真人這是 Agent 開(kāi)發(fā)者最常用的場(chǎng)景評(píng)估 AI 客服、助手類(lèi) Agent 時(shí)需要大量虛擬真實(shí)用戶(hù)來(lái)做壓力測(cè)試。按occupationage抽樣目標(biāo)用戶(hù)群用persona作為測(cè)試用戶(hù)的背景設(shè)定用cultural_background、hobbies_and_interests控制其話(huà)題偏好與表達(dá)風(fēng)格讓模擬用戶(hù)與 Agent 進(jìn)行多輪對(duì)話(huà)評(píng)估不同人群上的表現(xiàn)差異由于數(shù)據(jù)覆蓋全部 4 國(guó) 372 個(gè)行政區(qū)你還可以評(píng)估 Agent 在不同地區(qū)文化語(yǔ)境下的表現(xiàn)——這是普通合成數(shù)據(jù)集很難做到的?；橐鰻顟B(tài) × 年齡的分布與真實(shí)人口吻合65–74 歲已婚率 64.4%、85 歲喪偶率 59.3%意味著模擬出的用戶(hù)人生階段真實(shí)可信。5. 防 model collapse把統(tǒng)計(jì)上像真實(shí)的合成數(shù)據(jù)回灌訓(xùn)練Model collapse模型坍縮指反復(fù)用模型自身輸出去訓(xùn)練模型時(shí)質(zhì)量逐代退化。預(yù)防關(guān)鍵在于回灌統(tǒng)計(jì)分布貼近真實(shí)數(shù)據(jù)的合成語(yǔ)料。Nemotron-Personas-UK 正是為此設(shè)計(jì)每個(gè)國(guó)家獨(dú)立建立 PGM保證年齡 × 性別 × 地區(qū) × 職業(yè)等聯(lián)合分布與普查一致通過(guò)迭代比例擬合IPF恢復(fù)被隱私抑制的長(zhǎng)尾分布46.7 萬(wàn)組合全名2.7 萬(wàn)名字 2.5 萬(wàn)姓氏防止人名同質(zhì)化家庭類(lèi)型分布隨年齡呈現(xiàn)真實(shí)的生活形態(tài)變化——年輕人合租、中年有子女家庭、85 歲 50.2% 獨(dú)居——正是這種細(xì)粒度多樣性在對(duì)抗坍縮。6. 許可與注意事項(xiàng) ??? 協(xié)議為CC BY 4.0可用于任何模型的訓(xùn)練商用或非商用均可?? 僅覆蓋 18 歲以上成人?? 民族、宗教、姓名、地址等敏感字段未發(fā)布僅用于人物文本的條件生成?? 所有數(shù)據(jù)均為完全合成的虛構(gòu)人物不代表任何真實(shí)個(gè)體 完整的字段統(tǒng)計(jì)、數(shù)據(jù)來(lái)源與質(zhì)量評(píng)估參見(jiàn) README.md把 Nemotron-Personas-UK 加入你的合成數(shù)據(jù)工作流一次獲取訓(xùn)練語(yǔ)料 評(píng)測(cè)用戶(hù) 抗坍縮數(shù)據(jù)源三合一能力從 100 萬(wàn)條真實(shí)分布的英國(guó)人物畫(huà)像開(kāi)始你的下一次模型迭代吧 贊分享數(shù)據(jù)集【免費(fèi)下載鏈接】Nemotron-Personas-UK項(xiàng)目地址https://ai.gitcode.com/hf_mirrors/nvidia/Nemotron-Personas-UK點(diǎn)擊查看免費(fèi)下載相關(guān)推薦5個(gè)實(shí)戰(zhàn)用例如何用Nemotron-Personas-Korea做合成數(shù)據(jù)生成、模型去偏與LLM訓(xùn)練5個(gè)實(shí)戰(zhàn)用例如何用Nemotron Personas Korea做合成數(shù)據(jù)生成、模型去偏與LLM訓(xùn)練 Nemotron Personas Korea 是 NVMatrAIx_Persona_1M應(yīng)用實(shí)戰(zhàn)用它為L(zhǎng)LM做用戶(hù)模擬、評(píng)估與Prompt工程MatrAIx_Persona_1M應(yīng)用實(shí)戰(zhàn)用它為L(zhǎng)LM做用戶(hù)模擬、評(píng)估與Prompt工程 MatrAIx_Persona_1M 是一個(gè)開(kāi)源的百萬(wàn)級(jí) PersTRADES防御機(jī)制從理論到實(shí)踐的魯棒性革命TRADES防御機(jī)制從理論到實(shí)踐的魯棒性革命 技術(shù)原理深度剖析 在對(duì)抗性機(jī)器學(xué)習(xí)領(lǐng)域TRADES框架通過(guò)創(chuàng)新的替代損失函數(shù)設(shè)計(jì)重新定義了模型魯棒性的優(yōu)化范創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 Nemotron-Personas-UK實(shí)戰(zhàn)指南：如何用它訓(xùn)練LLM、構(gòu)建AI Agent用戶(hù)模擬與防m(xù)odel collapse
數(shù)據(jù)集【免費(fèi)下載鏈接】Nemotron-Personas-UK項(xiàng)目地址https://ai.gitcode.com/hf_mirrors/nvidia/Nemotron-Personas-UK點(diǎn)擊查看免費(fèi)下載Nemotron-Personas-UK 是由 NVIDIA 基于英國(guó)真實(shí)人口普查分布生成的開(kāi)源合成人物Synthetic Personas數(shù)據(jù)集包含 100 萬(wàn)條記錄、600 萬(wàn)個(gè)合成人物總計(jì)約 6.18 億 tokensCC BY 4.0 協(xié)議可自由商用。本文帶你快速掌握三大核心用法訓(xùn)練 LLM、構(gòu)建 AI Agent 用戶(hù)模擬、防止 model collapse。1. 數(shù)據(jù)集一覽100 萬(wàn)條有血有肉的合成人物 Nemotron-Personas-UK 由 NVIDIA 與倫敦 Locai Labs 合作構(gòu)建使用 NeMo Data Designer 框架 概率圖模型PGM gemma-4-31B-it 模型生成嚴(yán)格錨定英格蘭及威爾士 Census 2021、蘇格蘭 Census 2022、北愛(ài)爾蘭 Census 2021 的真實(shí)人口結(jié)構(gòu) 覆蓋4 個(gè)國(guó)家、12 個(gè)地區(qū)、372 個(gè)地方行政區(qū)104 個(gè)職業(yè)組SOC 2020× 86 個(gè)行業(yè)SIC 2007全部對(duì)齊官方勞動(dòng)力統(tǒng)計(jì) 每條記錄包含 6 類(lèi)自然語(yǔ)言人物畫(huà)像專(zhuān)業(yè)、運(yùn)動(dòng)、藝術(shù)、旅行、烹飪外加一個(gè)精煉的通用persona字段 附帶age、municipality、education_level、occupation等 10 個(gè)結(jié)構(gòu)化上下文字段可精準(zhǔn)篩選目標(biāo)人群下方的專(zhuān)業(yè)人物畫(huà)像聚類(lèi)圖HDBSCAN UMAP直觀(guān)展示了數(shù)據(jù)多樣性不同職業(yè)、地域、背景的人物描述自然聚成大量簇而不是千篇一律的模板文本。2. 數(shù)據(jù)快速上手三步拿到 150 萬(wàn) personas方式一clone 倉(cāng)庫(kù)7 個(gè) Parquet 分片共 1.5 GBgit clone https://gitcode.com/hf_mirrors/nvidia/Nemotron-Personas-UK方式二通過(guò) datasets 庫(kù)加載from datasets import load_dataset nemotron_personas load_dataset(nvidia/Nemotron-Personas-UK, splittrain)數(shù)據(jù)結(jié)構(gòu)每條記錄 23 個(gè)字段核心字段如下完整定義見(jiàn) README.md 的 Schema 章節(jié)字段說(shuō)明persona精煉的通用人物畫(huà)像professional_persona/sports_persona/ …5 類(lèi)主題人物畫(huà)像cultural_background/hobbies_and_interests自然語(yǔ)言背景描述skills_and_expertise_list技能列表JSON 編碼age/sex/marital_status/household_type人口屬性字段occupation/industrySOC 2020 職業(yè) / SIC 2007 行業(yè)代碼municipality/region地方行政區(qū) / 地區(qū)數(shù)據(jù)文件位于 data/ 目錄例如 data/train-00000-of-00007.parquet共train-00000至train-00006七個(gè)分片。3. 訓(xùn)練 LLM用真實(shí)分布的人物畫(huà)像做 SFT 語(yǔ)料最典型的用法是基于 persona 的指令微調(diào)SFT——讓模型學(xué)會(huì)在不同用戶(hù)畫(huà)像下生成自然的對(duì)話(huà)、推薦和內(nèi)容篩選用結(jié)構(gòu)化字段圈定目標(biāo)人群如region Scotland或education_level為學(xué)位級(jí)構(gòu)造 prompt將professional_personaskills_and_expertise注入 system prompt 作為用戶(hù)設(shè)定生成訓(xùn)練數(shù)據(jù)以 persona 為種子生成多輪對(duì)話(huà)再與真實(shí)數(shù)據(jù)混合用于 SFT上圖的年齡分布與真實(shí)英國(guó)人口高度一致中位年齡 48 歲25–64 歲每個(gè)十年區(qū)間均勻分布 16%–17%18–24 歲占 10.6%——有效避免了常見(jiàn)合成數(shù)據(jù)年輕化偏置的問(wèn)題。4. 構(gòu)建 AI Agent 用戶(hù)模擬給 Agent 造一批虛擬真人這是 Agent 開(kāi)發(fā)者最常用的場(chǎng)景評(píng)估 AI 客服、助手類(lèi) Agent 時(shí)需要大量虛擬真實(shí)用戶(hù)來(lái)做壓力測(cè)試。按occupationage抽樣目標(biāo)用戶(hù)群用persona作為測(cè)試用戶(hù)的背景設(shè)定用cultural_background、hobbies_and_interests控制其話(huà)題偏好與表達(dá)風(fēng)格讓模擬用戶(hù)與 Agent 進(jìn)行多輪對(duì)話(huà)評(píng)估不同人群上的表現(xiàn)差異由于數(shù)據(jù)覆蓋全部 4 國(guó) 372 個(gè)行政區(qū)你還可以評(píng)估 Agent 在不同地區(qū)文化語(yǔ)境下的表現(xiàn)——這是普通合成數(shù)據(jù)集很難做到的?；橐鰻顟B(tài) × 年齡的分布與真實(shí)人口吻合65–74 歲已婚率 64.4%、85 歲喪偶率 59.3%意味著模擬出的用戶(hù)人生階段真實(shí)可信。5. 防 model collapse把統(tǒng)計(jì)上像真實(shí)的合成數(shù)據(jù)回灌訓(xùn)練Model collapse模型坍縮指反復(fù)用模型自身輸出去訓(xùn)練模型時(shí)質(zhì)量逐代退化。預(yù)防關(guān)鍵在于回灌統(tǒng)計(jì)分布貼近真實(shí)數(shù)據(jù)的合成語(yǔ)料。Nemotron-Personas-UK 正是為此設(shè)計(jì)每個(gè)國(guó)家獨(dú)立建立 PGM保證年齡 × 性別 × 地區(qū) × 職業(yè)等聯(lián)合分布與普查一致通過(guò)迭代比例擬合IPF恢復(fù)被隱私抑制的長(zhǎng)尾分布46.7 萬(wàn)組合全名2.7 萬(wàn)名字 2.5 萬(wàn)姓氏防止人名同質(zhì)化家庭類(lèi)型分布隨年齡呈現(xiàn)真實(shí)的生活形態(tài)變化——年輕人合租、中年有子女家庭、85 歲 50.2% 獨(dú)居——正是這種細(xì)粒度多樣性在對(duì)抗坍縮。6. 許可與注意事項(xiàng) ??? 協(xié)議為CC BY 4.0可用于任何模型的訓(xùn)練商用或非商用均可?? 僅覆蓋 18 歲以上成人?? 民族、宗教、姓名、地址等敏感字段未發(fā)布僅用于人物文本的條件生成?? 所有數(shù)據(jù)均為完全合成的虛構(gòu)人物不代表任何真實(shí)個(gè)體 完整的字段統(tǒng)計(jì)、數(shù)據(jù)來(lái)源與質(zhì)量評(píng)估參見(jiàn) README.md把 Nemotron-Personas-UK 加入你的合成數(shù)據(jù)工作流一次獲取訓(xùn)練語(yǔ)料 評(píng)測(cè)用戶(hù) 抗坍縮數(shù)據(jù)源三合一能力從 100 萬(wàn)條真實(shí)分布的英國(guó)人物畫(huà)像開(kāi)始你的下一次模型迭代吧 贊分享數(shù)據(jù)集【免費(fèi)下載鏈接】Nemotron-Personas-UK項(xiàng)目地址https://ai.gitcode.com/hf_mirrors/nvidia/Nemotron-Personas-UK點(diǎn)擊查看免費(fèi)下載相關(guān)推薦5個(gè)實(shí)戰(zhàn)用例如何用Nemotron-Personas-Korea做合成數(shù)據(jù)生成、模型去偏與LLM訓(xùn)練5個(gè)實(shí)戰(zhàn)用例如何用Nemotron Personas Korea做合成數(shù)據(jù)生成、模型去偏與LLM訓(xùn)練 Nemotron Personas Korea 是 NVMatrAIx_Persona_1M應(yīng)用實(shí)戰(zhàn)用它為L(zhǎng)LM做用戶(hù)模擬、評(píng)估與Prompt工程MatrAIx_Persona_1M應(yīng)用實(shí)戰(zhàn)用它為L(zhǎng)LM做用戶(hù)模擬、評(píng)估與Prompt工程 MatrAIx_Persona_1M 是一個(gè)開(kāi)源的百萬(wàn)級(jí) PersTRADES防御機(jī)制從理論到實(shí)踐的魯棒性革命TRADES防御機(jī)制從理論到實(shí)踐的魯棒性革命 技術(shù)原理深度剖析 在對(duì)抗性機(jī)器學(xué)習(xí)領(lǐng)域TRADES框架通過(guò)創(chuàng)新的替代損失函數(shù)設(shè)計(jì)重新定義了模型魯棒性的優(yōu)化范創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考