最近幫某團(tuán)隊(duì)做醫(yī)療AI項(xiàng)目碰到一個(gè)很現(xiàn)實(shí)的難題模型效果已經(jīng)到瓶頸想再提升就得拿更多真實(shí)病歷來(lái)訓(xùn)練可醫(yī)院那邊的數(shù)據(jù)管理非常嚴(yán)格別說(shuō)導(dǎo)出原始數(shù)據(jù)連在開(kāi)發(fā)機(jī)上查看脫敏后的樣本都要走審批流程跑一輪下來(lái)一周時(shí)間就沒(méi)了。后來(lái)我們換了思路讓原始數(shù)據(jù)留在內(nèi)網(wǎng)先用字段統(tǒng)計(jì)和分布分析把數(shù)據(jù)規(guī)律摸清楚再用CTGAN訓(xùn)練一個(gè)生成模型把模型參數(shù)帶出來(lái)批量生成合成醫(yī)療數(shù)據(jù)用于后續(xù)開(kāi)發(fā)。整個(gè)過(guò)程走完我最大的感受是合成數(shù)據(jù)不是“憑空造數(shù)據(jù)”而是把真實(shí)數(shù)據(jù)的統(tǒng)計(jì)規(guī)律“遷移”出來(lái)。這篇文章會(huì)把我的方案選型、訓(xùn)練配置、質(zhì)量評(píng)估方法、隱私風(fēng)險(xiǎn)控制以及幾次翻車后總結(jié)的排查經(jīng)驗(yàn)都整理出來(lái)給正在做同類事情的讀者一份能直接抄作業(yè)的參考。1. 項(xiàng)目背景與整體設(shè)計(jì)思路1.1 醫(yī)療數(shù)據(jù)為什么這么難用醫(yī)療數(shù)據(jù)有兩個(gè)天然痛點(diǎn)隱私等級(jí)高和樣本分布極不均衡。我參與的這個(gè)項(xiàng)目屬于慢病管理方向原始數(shù)據(jù)集來(lái)自某合作醫(yī)院的信息系統(tǒng)字段包括年齡、性別、主診斷、合并癥數(shù)量、收縮壓、空腹血糖、總膽固醇、是否30天內(nèi)再入院等?？倶颖玖考s為12000條聽(tīng)起來(lái)不算少但真正“再入院”的陽(yáng)性樣本只有800條左右。直接把這種不平衡數(shù)據(jù)丟給模型訓(xùn)練模型很容易偷懶把所有樣本都預(yù)測(cè)成“不再入院”因?yàn)檫@樣準(zhǔn)確率也能到百分之九十以上。想解決樣本不均衡常規(guī)做法是先做上采樣或者過(guò)采樣。但問(wèn)題是醫(yī)療字段之間不是簡(jiǎn)單的線性關(guān)系比如血糖異常和主診斷類別之間、合并癥數(shù)量與再入院風(fēng)險(xiǎn)之間都存在復(fù)雜的交互。用傳統(tǒng)插值方式生造出來(lái)的樣本醫(yī)生一眼就能看出不合理放到模型里反而會(huì)引入噪聲。另一個(gè)更棘手的問(wèn)題是數(shù)據(jù)出不了內(nèi)網(wǎng)。醫(yī)院允許你在內(nèi)網(wǎng)環(huán)境里查看統(tǒng)計(jì)結(jié)果但原始記錄級(jí)數(shù)據(jù)不能直接拷貝到外部開(kāi)發(fā)環(huán)境。這就意味著要么開(kāi)發(fā)團(tuán)隊(duì)全部搬進(jìn)醫(yī)院駐場(chǎng)要么找到一種能把“數(shù)據(jù)規(guī)律”帶出來(lái)但不暴露個(gè)體記錄的方法。合成數(shù)據(jù)正好卡在這個(gè)需求點(diǎn)上。1.2 合成數(shù)據(jù)在項(xiàng)目里的實(shí)際定位很多人對(duì)合成數(shù)據(jù)有誤解以為它是用來(lái)“以假亂真”糊弄項(xiàng)目的。其實(shí)不是。在我們這個(gè)項(xiàng)目里合成數(shù)據(jù)的定位非常明確作為研發(fā)階段的模型訓(xùn)練原料和算法調(diào)試數(shù)據(jù)而絕對(duì)不替代真實(shí)數(shù)據(jù)做臨床驗(yàn)證。具體用途有三個(gè)第一個(gè)是模型訓(xùn)練。我們把合成數(shù)據(jù)下發(fā)到外部GPU服務(wù)器上用來(lái)做特征篩選、超參數(shù)搜索、模型結(jié)構(gòu)對(duì)比。這些實(shí)驗(yàn)每天要跑幾十輪如果都用真實(shí)數(shù)據(jù)光審批流程就夠讓人崩潰。第二個(gè)是算法演示。項(xiàng)目要做成果匯報(bào)需要跑一個(gè)交互式demo給業(yè)務(wù)方看。真實(shí)數(shù)據(jù)不能出現(xiàn)在演示環(huán)境里合成數(shù)據(jù)可以放心展示字段結(jié)構(gòu)、統(tǒng)計(jì)分布都跟真實(shí)數(shù)據(jù)高度接近演示效果不打折扣。第三個(gè)是跨團(tuán)隊(duì)協(xié)作。標(biāo)注團(tuán)隊(duì)、算法團(tuán)隊(duì)、測(cè)試團(tuán)隊(duì)分散在不同地點(diǎn)原始數(shù)據(jù)無(wú)法共享。合成數(shù)據(jù)作為“公共數(shù)據(jù)集”讓各團(tuán)隊(duì)在統(tǒng)一的數(shù)據(jù)形態(tài)下工作避免每個(gè)人都去申請(qǐng)?jiān)紨?shù)據(jù)權(quán)限。但這里必須提醒一句合成數(shù)據(jù)再怎么逼真也不能用于診斷決策支持系統(tǒng)的最終臨床驗(yàn)證。它保住了分布的“形”但未必保住了所有醫(yī)學(xué)邏輯的“神”尤其是罕見(jiàn)并發(fā)癥、極端生理狀態(tài)這些長(zhǎng)尾情況合成數(shù)據(jù)很難覆蓋完整。項(xiàng)目里一定要把這條邊界劃清楚。1.3 為什么最終選了CTGAN而不是其他方案做表格式合成數(shù)據(jù)的方案其實(shí)不少我在項(xiàng)目初期也做過(guò)一輪對(duì)比包括SMOTE、VAE、貝葉斯網(wǎng)絡(luò)和CTGAN。簡(jiǎn)單說(shuō)下我的判斷依據(jù)。SMOTE的原理是在現(xiàn)有樣本的近鄰之間做線性插值適合處理連續(xù)值主導(dǎo)的小規(guī)模不平衡數(shù)據(jù)但它幾乎不會(huì)產(chǎn)生“新組合”只是在已有樣本的鄰域內(nèi)打轉(zhuǎn)而且對(duì)離散特征的支持很差。放在醫(yī)療數(shù)據(jù)這種離散列多、類別組合復(fù)雜的場(chǎng)景里效果不好。VAE訓(xùn)練穩(wěn)定生成速度也快但生成的數(shù)值普遍偏“糊”連續(xù)變量的分布會(huì)被過(guò)度平滑類別變量容易出現(xiàn)模棱兩可的概率輸出。對(duì)于需要精確模擬多峰分布的場(chǎng)景VAE不夠用。貝葉斯網(wǎng)絡(luò)這類方法擅長(zhǎng)描述離散變量之間的條件依賴可一旦連續(xù)變量占比高網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)就會(huì)變得困難而且對(duì)字段間復(fù)雜非線性交互的表達(dá)能力有限。CTGAN屬于GAN家族專門為表格數(shù)據(jù)設(shè)計(jì)。它最大的優(yōu)勢(shì)是同時(shí)處理離散列和連續(xù)列連續(xù)列的多峰分布有對(duì)應(yīng)的歸一化機(jī)制離散列的稀有類別有專門的條件生成策略。雖然訓(xùn)練不穩(wěn)定、調(diào)參成本高但在生成質(zhì)量上限上明顯優(yōu)于前面幾種方案。方案連續(xù)值多峰分布離散稀有類別生成新組合訓(xùn)練穩(wěn)定性SMOTE差差差穩(wěn)定VAE中中中穩(wěn)定貝葉斯網(wǎng)絡(luò)中中中穩(wěn)定CTGAN好好好需調(diào)參實(shí)際項(xiàng)目里我們也不是完全排斥其他方法。數(shù)據(jù)量只有幾百條時(shí)貝葉斯網(wǎng)絡(luò)反而比CTGAN更實(shí)用但如果要生成幾萬(wàn)條且要求分布接近真實(shí)數(shù)據(jù)CTGAN是更合適的選擇。2. CTGAN核心機(jī)制拆解它到底改進(jìn)了什么2.1 把GAN用到表格數(shù)據(jù)上難在哪GAN的基本思路是讓兩個(gè)網(wǎng)絡(luò)互相博弈生成器負(fù)責(zé)從隨機(jī)噪聲中偽造樣本判別器負(fù)責(zé)分辨輸入是真實(shí)樣本還是偽造樣本。訓(xùn)練的目標(biāo)是讓生成器產(chǎn)出的數(shù)據(jù)越來(lái)越接近真實(shí)分布直到判別器分不出來(lái)。打個(gè)通俗的比方生成器是印假鈔的判別器是驗(yàn)鈔的假鈔印得越真驗(yàn)鈔的水平也被逼得越高最后兩邊達(dá)到動(dòng)態(tài)平衡。但圖像GAN可以直接把像素矩陣當(dāng)作連續(xù)向量處理表格數(shù)據(jù)就不一樣了。表格里每一列都有明確的業(yè)務(wù)含義變量類型混合有的列是連續(xù)值比如血糖的數(shù)值有的列是離散值比如性別、診斷類別。離散值不能直接走梯度下降因?yàn)椤叭∧膫€(gè)類別”是一個(gè)不可微的選擇。更麻煩的是連續(xù)變量往往不是簡(jiǎn)單的高斯分布血糖數(shù)據(jù)可能出現(xiàn)“低、正常、高”三個(gè)峰訓(xùn)練時(shí)如果拿單一正態(tài)分布去擬合生成出來(lái)的數(shù)值大概率都會(huì)聚集在平均值附近完全丟失多峰信息。CTGAN在論文里提出了三個(gè)關(guān)鍵設(shè)計(jì)來(lái)應(yīng)對(duì)這些問(wèn)題模式歸一化、條件生成、以及離散列的softmax映射。下面逐個(gè)說(shuō)。2.2 模式歸一化先選“峰”再定“值”模式歸一化是CTGAN處理連續(xù)列的核心手段也是它區(qū)別于普通GAN的關(guān)鍵設(shè)計(jì)。面對(duì)一個(gè)多峰的連續(xù)變量CTGAN不會(huì)嘗試用一個(gè)高斯分布去描述整個(gè)分布而是先用變分高斯混合模型估計(jì)這個(gè)變量的概率密度分布自動(dòng)找出若干個(gè)高斯分量每個(gè)分量對(duì)應(yīng)一個(gè)“模式”。以空腹血糖為例模型可能學(xué)出“低血糖區(qū)間”“正?？崭箙^(qū)間”“偏高區(qū)間”三個(gè)模式每個(gè)模式都有自己的均值和方差。生成數(shù)據(jù)時(shí)分成兩步第一步根據(jù)模式權(quán)重隨機(jī)選擇一個(gè)模式第二步在選定模式對(duì)應(yīng)的歸一化空間里生成一個(gè)連續(xù)數(shù)值再逆變換回真實(shí)范圍。這樣一來(lái)生成器不需要直接預(yù)測(cè)血糖數(shù)值而是先做一次“模式選擇”再在模式內(nèi)部做精細(xì)的數(shù)值生成多峰特性就能被保留下來(lái)。這里有一個(gè)人工干預(yù)的小技巧如果業(yè)務(wù)上你知道某個(gè)連續(xù)變量的峰數(shù)或者大概分布形態(tài)可以在預(yù)處理階段做一次對(duì)數(shù)變換或者分組統(tǒng)計(jì)幫助模型更穩(wěn)定地?cái)M合。但別做過(guò)頭比如手動(dòng)把連續(xù)變量強(qiáng)制分箱會(huì)讓CTGAN的模式歸一化失去意義生成質(zhì)量反而變差。2.3 條件生成與按頻率采樣保住稀有類別醫(yī)療數(shù)據(jù)里類別不平衡是常態(tài)。比如“30天內(nèi)再入院”這個(gè)標(biāo)簽只有6.7%的陽(yáng)性率再比如某個(gè)主診斷類別只出現(xiàn)了十幾次。傳統(tǒng)GAN訓(xùn)練時(shí)生成器會(huì)傾向于只生成高頻類別因?yàn)檫@樣最容易騙過(guò)判別器結(jié)果是合成數(shù)據(jù)里罕見(jiàn)類別幾乎消失相當(dāng)于把本來(lái)就稀少的信息又丟掉了一部分。CTGAN的做法是引入條件生成機(jī)制。每一條訓(xùn)練樣本都對(duì)應(yīng)一個(gè)條件向量用來(lái)指定當(dāng)前批次里應(yīng)該生成哪個(gè)類別。訓(xùn)練時(shí)不是按原始頻率均勻抽樣而是按類別頻率的對(duì)數(shù)來(lái)采樣讓稀有類別被“強(qiáng)制”分配到訓(xùn)練批次中。這就是log_frequencyTrue這個(gè)參數(shù)背后的邏輯原始頻率做log變換后高頻類別和低頻類別的采樣差距被壓縮稀有類別不再被淹沒(méi)。我直觀測(cè)試過(guò)一次同一份數(shù)據(jù)集log_frequency關(guān)閉時(shí)占比0.5%的某個(gè)診斷類別在生成數(shù)據(jù)里幾乎消失只剩幾條打開(kāi)之后能恢復(fù)到接近真實(shí)比例。如果你發(fā)現(xiàn)合成數(shù)據(jù)的離散列分布明顯偏離真實(shí)數(shù)據(jù)第一排查點(diǎn)就是這里。2.4 離散列如何參與反向傳播離散列的問(wèn)題在于“選擇類別”這個(gè)動(dòng)作不可微。CTGAN讓生成器為每個(gè)離散列輸出一個(gè)softmax概率分布代表各個(gè)類別的概率再用Gumbel-softmax之類的技巧做近似采樣從而讓梯度能穿過(guò)離散選擇回流到生成器。判別器側(cè)也做了配套處理連續(xù)變量和離散變量經(jīng)過(guò)嵌入映射后拼接在一起再送入全連接網(wǎng)絡(luò)。這里的目的是讓離散列不再以孤立的one-hot向量形式參與計(jì)算而是先映射到一個(gè)稠密向量空間便于神經(jīng)網(wǎng)絡(luò)捕捉類別之間的潛在關(guān)系。理解了這套機(jī)制你就明白為什么CTGAN的輸入不能帶空值、不能帶純粹的文本長(zhǎng)字符串。它本質(zhì)上是一個(gè)數(shù)值和類別概率的處理框架文本字段必須先做編碼或者直接剔除。3. 數(shù)據(jù)準(zhǔn)備與關(guān)鍵預(yù)處理3.1 字段設(shè)計(jì)不是越多越好很多人在做合成數(shù)據(jù)的第一步就栽了跟頭把能拿到的字段全塞進(jìn)去幾十列往CTGAN里面一丟訓(xùn)練時(shí)間翻倍生成質(zhì)量還稀爛。表格GAN對(duì)字段數(shù)量非常敏感。字段越多生成器需要學(xué)習(xí)的聯(lián)合分布就越復(fù)雜但訓(xùn)練樣本沒(méi)有等比例增加最后每個(gè)字段都學(xué)了個(gè)皮毛。我在項(xiàng)目里的做法是先明確業(yè)務(wù)問(wèn)題需要哪些字段再做回退。比如項(xiàng)目模型預(yù)測(cè)的是“是否30天內(nèi)再入院”那么核心輸入字段就是年齡、性別、主診斷、合并癥數(shù)量、收縮壓、空腹血糖、總膽固醇、再入院標(biāo)簽共8個(gè)字段。其它像住院編號(hào)、科室代碼、醫(yī)生編號(hào)這類純標(biāo)識(shí)性字段統(tǒng)計(jì)意義不大全部剔除。一個(gè)實(shí)用的字段清單示例字段名數(shù)據(jù)類型說(shuō)明ageint年齡genderstr性別diagnosisstr主診斷類別comorbidity_countint合并癥數(shù)量blood_pressure_systolicfloat收縮壓glucosefloat空腹血糖cholesterolfloat總膽固醇readmissionbool是否30天內(nèi)再入院布爾字段要轉(zhuǎn)成字符串類別“是”/“否”或者0/1CTGAN對(duì)離散列和連續(xù)列的識(shí)別方式不同分類邏輯要明確。3.2 清洗原則別把缺失模式也“洗掉”CTGAN本身不接收空值所以缺失值必須提前處理。但處理方式?jīng)Q定了生成數(shù)據(jù)能否保留真實(shí)數(shù)據(jù)的缺失規(guī)律。我見(jiàn)過(guò)兩種極端做法一種是把所有含缺失值的行直接刪掉簡(jiǎn)單粗暴但樣本量小的場(chǎng)景會(huì)損失太多信息另一種是用均值填充所有缺失結(jié)果缺失比例較高的字段被強(qiáng)行填成一個(gè)人為的集中值分布被人為拉瘦。更推薦的做法是把“是否缺失”本身作為一個(gè)類別特征保留。比如“血糖”字段缺失的樣本不要填血糖均值而是給血糖設(shè)一個(gè)“missing”類別或者在另一個(gè)字段上標(biāo)記。這樣CTGAN能學(xué)到“什么情況下血糖容易缺失”這種真實(shí)模式生成的合成數(shù)據(jù)里缺失分布會(huì)更貼近原始數(shù)據(jù)。還有一個(gè)細(xì)節(jié)離群值的處理尺度要控制。血壓值超過(guò)300、血糖值為負(fù)數(shù)這類物理上不可能的值直接過(guò)濾掉但年齡偏大、血糖偏高等業(yè)務(wù)合理性范圍內(nèi)的“看似異?！辈灰p易刪它們往往是長(zhǎng)尾分布的重要組成刪除后生成數(shù)據(jù)會(huì)把極端風(fēng)險(xiǎn)人群丟掉后續(xù)建模反而會(huì)偏樂(lè)觀。3.3 分布檢查提前知道數(shù)據(jù)長(zhǎng)什么樣訓(xùn)練前我會(huì)做一張單變量分布概覽把每個(gè)連續(xù)字段的直方圖和離散字段的柱狀圖打印出來(lái)先做到心里有數(shù)。重點(diǎn)關(guān)注三件事連續(xù)字段是否多峰、是否嚴(yán)重右偏、離散字段的類別是否過(guò)于稀疏?？辞宄笤?zèng)Q定是否需要預(yù)處理。CTGAN自帶的模式歸一化能處理多峰所以一般不需要手動(dòng)分桶但是如果某個(gè)連續(xù)字段嚴(yán)重右偏比如住院費(fèi)用這種動(dòng)輒偏到幾百倍的字段生成器擬合起來(lái)還是有壓力。這種字段可以提前做log變換讓分布更集中。不過(guò)要注意變換后的數(shù)值在生成之后還要逆變換回原始業(yè)務(wù)單位否則業(yè)務(wù)方拿到的不倫不類。3.4 樣本量參考幾百條和幾萬(wàn)條策略完全不同CTGAN對(duì)樣本量的容忍度比想象中高但質(zhì)量分水嶺很明顯。樣本量低于500條時(shí)生成結(jié)果幾乎沒(méi)有實(shí)用價(jià)值模式學(xué)不完整類別組合稀疏。500到5000條時(shí)能跑通但需要反復(fù)調(diào)參產(chǎn)出只能用于粗篩。5000條以上時(shí)生成的合成數(shù)據(jù)基本可以在研發(fā)階段替代真實(shí)數(shù)據(jù)使用。我們這次用12000條原始數(shù)據(jù)生成了50000條合成樣本分布對(duì)比各項(xiàng)指標(biāo)都達(dá)標(biāo)。如果你的數(shù)據(jù)量很少建議先用貝葉斯網(wǎng)絡(luò)生成一版做基線不要一上來(lái)就硬上CTGAN。4. 完整實(shí)操過(guò)程訓(xùn)練、生成與評(píng)估4.1 環(huán)境準(zhǔn)備和安裝安裝CTGAN只需要Python環(huán)境和pip但它依賴PyTorch所以機(jī)器的顯卡驅(qū)動(dòng)和CUDA環(huán)境要提前確認(rèn)。如果有GPU訓(xùn)練速度快很多沒(méi)有GPU也能跑只是epoch要適當(dāng)減少。pip install ctgan我用的Python版本是3.9。需要注意ctgan的版本差異0.x版本和1.x版本的API有些許變化比如個(gè)別參數(shù)名不同、默認(rèn)值不同。建議安裝后先輸出一下版本再對(duì)著版本查文檔避免看著別人的老代碼報(bào)錯(cuò)。4.2 訓(xùn)練代碼與關(guān)鍵參數(shù)直接放核心訓(xùn)練代碼這段是從項(xiàng)目里抽出來(lái)的可用版本。import pandas as pd from ctgan import CTGAN # 讀取原始數(shù)據(jù) real_data pd.read_csv(medical_data.csv) # 指定離散列 discrete_columns [ gender, diagnosis, readmission ] # 初始化CTGAN ctgan CTGAN( epochs300, batch_size500, log_frequencyTrue, verboseTrue, cudaTrue, ) # 訓(xùn)練 ctgan.fit(real_data, discrete_columnsdiscrete_columns) # 生成50000條合成數(shù)據(jù) syn_data ctgan.sample(50000) # 保存 syn_data.to_csv(synthetic_medical.csv, indexFalse)參數(shù)選擇這里說(shuō)下我的經(jīng)驗(yàn)。epochs不是越大越好。300輪在這個(gè)數(shù)據(jù)規(guī)模下已經(jīng)足夠繼續(xù)增加到500輪以上生成質(zhì)量提升非常有限訓(xùn)練時(shí)間卻成倍增加。判斷標(biāo)準(zhǔn)不是loss而是看生成數(shù)據(jù)的分布指標(biāo)是否收斂。我試過(guò)一輪200場(chǎng)的實(shí)驗(yàn)真實(shí)數(shù)據(jù)和合成數(shù)據(jù)在各項(xiàng)指標(biāo)上的差異在300輪之后幾乎沒(méi)有變化。batch_size建議在256到1024之間嘗試。醫(yī)學(xué)數(shù)據(jù)字段不多的話500是一個(gè)比較穩(wěn)妥的中間值。batch太小生成器容易被單批次帶偏batch太大訓(xùn)練過(guò)程變慢而且稀有類別的條件生成效果會(huì)下降。log_frequencyTrue一定要開(kāi)上一節(jié)已經(jīng)解釋過(guò)原因這里不再重復(fù)。cudaTrue在有GPU的環(huán)境下打開(kāi)。CPU環(huán)境下也能訓(xùn)只是同一份數(shù)據(jù)可能要多等幾個(gè)小時(shí)。4.3 生成樣本時(shí)的兩個(gè)注意事項(xiàng)sample()函數(shù)接收你想要的條數(shù)但一次性生成幾十萬(wàn)條可能會(huì)把內(nèi)存吃爆。建議分批次生成每次生成一兩萬(wàn)條然后拼接保存對(duì)后續(xù)處理也更友好。另外CTGAN的生成過(guò)程還依賴隨機(jī)種子。如果你希望實(shí)驗(yàn)結(jié)果可復(fù)現(xiàn)在訓(xùn)練前設(shè)置好隨機(jī)種子import numpy as np import torch np.random.seed(42) torch.manual_seed(42)不過(guò)要說(shuō)明受PyTorch底層并發(fā)影響即使設(shè)了種子跨機(jī)器環(huán)境也不保證完全復(fù)現(xiàn)但同一環(huán)境下基本穩(wěn)定。這個(gè)特性在做實(shí)驗(yàn)對(duì)比時(shí)很重要。4.4 訓(xùn)練過(guò)程中的觀察點(diǎn)CTGAN訓(xùn)練時(shí)會(huì)打印一個(gè)個(gè)epoch的進(jìn)度但GAN的loss不像普通分類任務(wù)那樣單調(diào)下降。生成器和判別器在互相博弈loss上下抖動(dòng)是正常的。我見(jiàn)過(guò)很多人在這個(gè)階段被嚇到以為模型崩了。實(shí)際上你更應(yīng)該關(guān)注的是每訓(xùn)練幾十輪后生成一批樣本人工看一下字段分布有沒(méi)有逐漸向真實(shí)數(shù)據(jù)靠攏。loss數(shù)值本身沒(méi)有絕對(duì)意義生成結(jié)果才是檢驗(yàn)標(biāo)準(zhǔn)。實(shí)操中還有一個(gè)冒煙測(cè)試的思路拿真實(shí)數(shù)據(jù)里隨機(jī)抽200條做一個(gè)極小規(guī)模訓(xùn)練把整個(gè)pipeline跑通確認(rèn)代碼沒(méi)報(bào)錯(cuò)、生成數(shù)據(jù)能保存再上全量數(shù)據(jù)。這樣能省下大量排錯(cuò)時(shí)間。5. 質(zhì)量評(píng)估與隱私風(fēng)險(xiǎn)控制5.1 相似度評(píng)估從三個(gè)層面打分很多人覺(jué)得合成數(shù)據(jù)“看起來(lái)像”就行了這不夠。我用三個(gè)層面的指標(biāo)來(lái)評(píng)估缺一個(gè)都不放心。第一層是單變量分布。對(duì)連續(xù)字段比較真實(shí)數(shù)據(jù)和合成數(shù)據(jù)的均值、標(biāo)準(zhǔn)差、分位數(shù)再用KS檢驗(yàn)看分布是否一致p值大于0.05通常說(shuō)明沒(méi)有顯著差異。對(duì)離散字段對(duì)比每個(gè)類別的占比計(jì)算相對(duì)誤差。第二層是多變量相關(guān)性。單變量分布一致不代表變量之間的關(guān)系也一致。我計(jì)算真實(shí)數(shù)據(jù)和合成數(shù)據(jù)的Pearson相關(guān)系數(shù)矩陣然后對(duì)比兩者差值。比如真實(shí)數(shù)據(jù)中“年齡”和“再入院”之間有0.3的正相關(guān)如果合成數(shù)據(jù)里這個(gè)相關(guān)系數(shù)變成0.05說(shuō)明變量關(guān)系丟了。出現(xiàn)這種情況通常要回去調(diào)整epochs和網(wǎng)絡(luò)結(jié)構(gòu)。第三層是模型效用。這是最貼近業(yè)務(wù)的一關(guān)把合成數(shù)據(jù)當(dāng)作訓(xùn)練集真實(shí)數(shù)據(jù)當(dāng)作測(cè)試集跑一個(gè)簡(jiǎn)單的邏輯回歸或者樹模型看AUC表現(xiàn)是否接近真實(shí)數(shù)據(jù)訓(xùn)練出來(lái)的基準(zhǔn)。如果能達(dá)到基準(zhǔn)的90%以上說(shuō)明合成數(shù)據(jù)保留了足夠的預(yù)測(cè)信息。如果連60%都不到說(shuō)明合成數(shù)據(jù)只是“形態(tài)像”內(nèi)在關(guān)系沒(méi)學(xué)好。5.2 隱私風(fēng)險(xiǎn)評(píng)估別只看分布像不像合成數(shù)據(jù)項(xiàng)目的出發(fā)點(diǎn)往往是為了保護(hù)隱私但如果不做風(fēng)險(xiǎn)評(píng)估可能會(huì)鬧出“偽匿名”的笑話。我主要做兩類風(fēng)險(xiǎn)測(cè)試。第一類是最近鄰距離檢查計(jì)算每一條合成記錄到所有真實(shí)記錄的最小歐氏距離。如果大量合成記錄與某條真實(shí)記錄的距離幾乎為零說(shuō)明生成器把原始樣本“背下來(lái)了”這屬于嚴(yán)重的記憶泄露。正常情況下合成數(shù)據(jù)和真實(shí)數(shù)據(jù)的最小距離分布應(yīng)該與真實(shí)數(shù)據(jù)內(nèi)部的最小距離分布接近不能出現(xiàn)大量距離遠(yuǎn)小于正常水平的點(diǎn)。第二類是成員推斷測(cè)試。拿一部分真實(shí)數(shù)據(jù)訓(xùn)練一個(gè)簡(jiǎn)單的二分類器特征保持不變標(biāo)簽是“該樣本是否在訓(xùn)練集中”用合成數(shù)據(jù)和剩下的真實(shí)數(shù)據(jù)做對(duì)照看分類器能不能猜中樣本來(lái)源。如果準(zhǔn)確率明顯高于隨機(jī)水平說(shuō)明合成數(shù)據(jù)攜帶了太多容易被識(shí)別的個(gè)體特征。如果你打算把合成數(shù)據(jù)對(duì)外公開(kāi)這些測(cè)試必須做。如果只在公司內(nèi)部研發(fā)使用風(fēng)險(xiǎn)等級(jí)可以適當(dāng)降低但對(duì)極端值字段還是建議做一次最近鄰檢查。5.3 差分隱私擴(kuò)展什么時(shí)候值得上CTGAN本身不提供數(shù)學(xué)意義上的隱私保證它只是“讓數(shù)據(jù)不那么容易被還原”。如果業(yè)務(wù)方要求強(qiáng)隱私保證比如對(duì)外發(fā)布數(shù)據(jù)集那就得考慮差分隱私版本。差分隱私的核心思想是在模型訓(xùn)練過(guò)程中加入受控噪聲讓輸出結(jié)果對(duì)“某一條具體樣本是否存在”不敏感。聽(tīng)起來(lái)很完美但代價(jià)是生成質(zhì)量明顯下降。我們項(xiàng)目評(píng)估過(guò)DP方案的合成數(shù)據(jù)單變量分布還行多變量相關(guān)性損失較大模型效用比普通CTGAN版本低了差不多十個(gè)百分點(diǎn)。我的態(tài)度是內(nèi)部研發(fā)用普通CTGAN數(shù)據(jù)不出內(nèi)網(wǎng)的前提下風(fēng)險(xiǎn)可控外部共享或發(fā)布再上DP方案同時(shí)接受效果折損。不要一上來(lái)就追求最強(qiáng)隱私否則業(yè)務(wù)效果可能會(huì)被犧牲到?jīng)]法用。6. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄6.1 生成結(jié)果全是同一類樣本這是典型的模式崩潰。CTGAN的訓(xùn)練本質(zhì)上是對(duì)抗博弈如果生成器找到一個(gè)能穩(wěn)定騙過(guò)判別器的“捷徑”它就會(huì)放棄探索其它模式只輸出同一種樣本。排查時(shí)先確認(rèn)判別器和生成器的結(jié)構(gòu)是否平衡?？梢栽龃骲atch_size讓判別器看到更多樣的真實(shí)樣本也可以調(diào)整discriminator_steps參數(shù)增加判別器每輪更新的次數(shù)逼它變得更強(qiáng)迫使生成器提高多樣性。還有一個(gè)笨但有效的辦法把embedding_dim和gen_dim調(diào)小一點(diǎn)限制生成器的容量減少它“死記硬背”的能力。6.2 連續(xù)變量生成出負(fù)值或離譜數(shù)值如果生成數(shù)據(jù)里出現(xiàn)血糖負(fù)數(shù)、收縮壓3000這種物理上不可能的值多半是預(yù)處理階段出了問(wèn)題。最常見(jiàn)的原因是原數(shù)據(jù)里的離群值沒(méi)有清干凈模式歸一化被極端值帶偏導(dǎo)致某個(gè)高斯模式的方差被拉得過(guò)大。另一個(gè)原因是對(duì)連續(xù)字段做了過(guò)度變換。比如先做z-score標(biāo)準(zhǔn)化再訓(xùn)練CTGAN自己會(huì)再做歸一化一來(lái)一回反而放大誤差。建議只保留業(yè)務(wù)上必要的變換比如log變換其他交給模型自己學(xué)。6.3 類別占比和原始數(shù)據(jù)差異大出現(xiàn)這種情況優(yōu)先檢查log_frequency是否開(kāi)啟。我在項(xiàng)目里做過(guò)對(duì)照實(shí)驗(yàn)關(guān)閉后低頻類別在合成數(shù)據(jù)中的占比會(huì)顯著下降。如果已經(jīng)開(kāi)啟但問(wèn)題依舊考慮把樣本量過(guò)少的類別適度合并。比如某種主診斷只有幾十條可以合并到“其他”類別里先讓主干分布學(xué)對(duì)再去補(bǔ)細(xì)節(jié)。6.4 訓(xùn)練速度慢得離譜訓(xùn)練慢通常不是機(jī)器的錯(cuò)而是參數(shù)和數(shù)據(jù)規(guī)模不匹配。字段數(shù)量多、batch_size大、epochs高都會(huì)讓訓(xùn)練時(shí)間成倍增長(zhǎng)。我的做法是先用1000條數(shù)據(jù)、50個(gè)epoch跑通流程確認(rèn)管線沒(méi)有問(wèn)題再用全量數(shù)據(jù)正式訓(xùn)練。正式訓(xùn)練時(shí)初始epochs不要直接飆到1000先用200一輪的配置跑一遍質(zhì)量評(píng)估如果分布指標(biāo)還在明顯提升再往上加。醫(yī)學(xué)數(shù)據(jù)字段間的非線性關(guān)系并不像圖像那樣復(fù)雜多數(shù)場(chǎng)景300輪已經(jīng)夠用。6.5 問(wèn)題排查速查表現(xiàn)象可能原因建議解決方式生成樣本類別單一模式崩潰調(diào)大batch_size增加判別器更新次數(shù)限制生成器容量連續(xù)值范圍異常離群值未處理或過(guò)度變換清洗極端離群值減少不必要的歸一化/標(biāo)準(zhǔn)化稀有類別比例偏低條件生成未生效確認(rèn)log_frequencyTrue合并過(guò)少類別訓(xùn)練loss嚴(yán)重震蕩GAN對(duì)抗正?，F(xiàn)象不只看loss定期生成樣本并檢查分布訓(xùn)練時(shí)間過(guò)長(zhǎng)參數(shù)或字段設(shè)置不合理用少量數(shù)據(jù)冒煙測(cè)試先跑200輪看趨勢(shì)模型效用差距大變量關(guān)系學(xué)得不充分增加epochs檢查關(guān)鍵字段之間的相關(guān)性指標(biāo)最后再分享一個(gè)這幾個(gè)月積累下來(lái)的習(xí)慣每次訓(xùn)練完我不會(huì)直接拿生成數(shù)據(jù)往下游業(yè)務(wù)丟而是先跑一遍“真實(shí)數(shù)據(jù)內(nèi)距離分布”和“合成數(shù)據(jù)到真實(shí)數(shù)據(jù)最近距離分布”的對(duì)比圖如果后者出現(xiàn)明顯的左移峰值說(shuō)明模型開(kāi)始記憶個(gè)別樣本了需要重新清洗或調(diào)整訓(xùn)練策略。合成數(shù)據(jù)這件事把它當(dāng)成一個(gè)統(tǒng)計(jì)工具來(lái)用比把它當(dāng)成“數(shù)據(jù)魔術(shù)”要踏實(shí)得多。你可以先從小規(guī)模項(xiàng)目試起把分布對(duì)比和質(zhì)量評(píng)估流程固定下來(lái)再去挑戰(zhàn)更復(fù)雜的場(chǎng)景。