模型上線后預(yù)測(cè)效果悄悄變差大部分情況下都不是模型本身算錯(cuò)了而是喂給它的數(shù)據(jù)和訓(xùn)練時(shí)不一樣了。數(shù)據(jù)漂移Data Drift聽(tīng)起來(lái)是個(gè)學(xué)術(shù)詞落到現(xiàn)實(shí)里就是你辛辛苦苦調(diào)出來(lái)的模型在測(cè)試集上跑得很好一到真實(shí)場(chǎng)景就開(kāi)始“翻臉不認(rèn)人”。這兩年我在好幾個(gè)項(xiàng)目里被這個(gè)問(wèn)題折騰過(guò)回頭總結(jié)出一個(gè)習(xí)慣在建模流程里加一道特征層面的分布檢查用featexp把訓(xùn)練集和測(cè)試集的差異攤開(kāi)來(lái)看很多隱患可以在上線前就被攔住。這篇文章就圍繞這個(gè)題目展開(kāi)講清楚什么是數(shù)據(jù)漂移、為什么訓(xùn)練集和測(cè)試集分布差異值得專(zhuān)門(mén)檢查以及怎么用featexp快速定位有問(wèn)題的特征。這篇文章適合正在做風(fēng)控、營(yíng)銷(xiāo)、推薦這類(lèi)業(yè)務(wù)的數(shù)據(jù)分析師也適合所有被“線上效果不穩(wěn)定”折磨的機(jī)器學(xué)習(xí)工程師?？赐曛竽阒辽倌芑卮鹑齻€(gè)問(wèn)題手上的特征到底變沒(méi)變變了之后對(duì)模型影響有多大下一步是該刪特征、重訓(xùn)練還是重新采集數(shù)據(jù)。1. 先搞清一個(gè)問(wèn)題訓(xùn)練集和測(cè)試集的分布差異到底會(huì)帶來(lái)什么后果很多團(tuán)隊(duì)其實(shí)根本沒(méi)有認(rèn)真檢查過(guò)訓(xùn)練集和測(cè)試集的分布差異。大家默認(rèn)“隨機(jī)切分”就能代表未來(lái)或者干脆只關(guān)注AUC、F1這些指標(biāo)。但分布差異不是“統(tǒng)計(jì)上不好看”那么簡(jiǎn)單它是一個(gè)會(huì)在生產(chǎn)環(huán)境里慢慢侵蝕模型效果的真實(shí)過(guò)程。1.1 一次讓我印象深刻的線上事故去年我在參與一個(gè)內(nèi)容推薦系統(tǒng)項(xiàng)目時(shí)離線訓(xùn)練階段模型表現(xiàn)很好AUC穩(wěn)定在0.78左右測(cè)試集上的各項(xiàng)指標(biāo)也都正常。可模型上線后的第三天點(diǎn)擊率直接掉了三分之一。一開(kāi)始所有人都在懷疑排序策略出了問(wèn)題花了大量時(shí)間調(diào)線上參數(shù)完全沒(méi)效果。后來(lái)我們拉出線上日志把所有特征都做了分布對(duì)比才發(fā)現(xiàn)問(wèn)題出在一個(gè)很不起眼的特征上用戶過(guò)去7天對(duì)該類(lèi)目?jī)?nèi)容的點(diǎn)擊次數(shù)。這個(gè)特征在訓(xùn)練集里的分布整體偏小均值大概在2.5左右但上線以后因?yàn)榭蛻舳烁陌鎸?dǎo)致曝光量劇增這個(gè)值的中位數(shù)直接翻了三倍。模型在訓(xùn)練時(shí)學(xué)到的“點(diǎn)擊次數(shù)高就是高意愿”這個(gè)規(guī)律在線上變成了“點(diǎn)擊次數(shù)普遍偏高”于是大量中低意愿用戶被誤判成高意向人群。這件事讓我徹底明白訓(xùn)練集和測(cè)試集分布差異不是理論問(wèn)題它是會(huì)讓業(yè)務(wù)直接損失的真問(wèn)題。而等到線上出問(wèn)題再去排查往往已經(jīng)晚了。1.2 為什么分布差異很難提前看穿訓(xùn)練集和測(cè)試集分布不一致的原因很多常見(jiàn)的有三類(lèi)。第一類(lèi)是時(shí)間變化比如用戶的消費(fèi)習(xí)慣隨季節(jié)變化、商品價(jià)格隨市場(chǎng)波動(dòng)這些都會(huì)讓特征自然漂移。第二類(lèi)是采樣偏差比如訓(xùn)練數(shù)據(jù)來(lái)自某個(gè)渠道的日志而測(cè)試數(shù)據(jù)可能混合了其他渠道的樣本兩個(gè)渠道的用戶畫(huà)像本來(lái)就不同。第三類(lèi)是特征工程不一致比如訓(xùn)練時(shí)用的缺失值填充規(guī)則和生產(chǎn)環(huán)境不一致或者某個(gè)統(tǒng)計(jì)窗口的計(jì)算口徑悄悄變了這類(lèi)問(wèn)題最隱蔽因?yàn)樗鼘儆诖a層面的bug不是數(shù)據(jù)自然變化。問(wèn)題是單靠肉眼看兩個(gè)數(shù)據(jù)集的均值、方差幾乎不可能發(fā)現(xiàn)上述問(wèn)題。特征一多一個(gè)特征的小幅漂移很快淹沒(méi)在幾百列數(shù)據(jù)里。更麻煩的是很多情況下測(cè)試集是手動(dòng)挑選的它反映的是建模那一刻的分布而不是真實(shí)上線后的分布。1.3 常規(guī)檢驗(yàn)手段為什么不夠用我以前也試過(guò)用KS檢驗(yàn)、PSI指數(shù)去監(jiān)控特征漂移。這些方法確實(shí)能告訴你兩個(gè)分布“是否不同”也能給出一個(gè)數(shù)值但你拿著這個(gè)數(shù)值回到業(yè)務(wù)里去解釋時(shí)很容易卡住一個(gè)特征KS值很大到底該不該刪如果它和目標(biāo)變量的關(guān)系很強(qiáng)刪了模型效果會(huì)下降如果不刪它又在漂移很可能在線上引入風(fēng)險(xiǎn)。這就是傳統(tǒng)檢驗(yàn)辦法的盲區(qū)它只管“分布有沒(méi)有變”不管“這個(gè)變化對(duì)模型意味著什么”。分布變了不一定是壞事也不一定是好事關(guān)鍵要看這個(gè)特征和目標(biāo)變量的關(guān)系是否同步發(fā)生變化。在這件事上工具本身是否足夠貼近建模決策比“檢驗(yàn)是否顯著”重要得多。2. featexp的核心思路把漂移變成一個(gè)能指導(dǎo)建模決策的報(bào)表我第一次接觸featexp是在一個(gè)開(kāi)源工具列表里當(dāng)時(shí)以為它只是一個(gè)畫(huà)圖工具實(shí)際用下來(lái)才發(fā)現(xiàn)它把“數(shù)據(jù)漂移檢測(cè)”“特征目標(biāo)關(guān)系分析”“特征篩選”這幾件事揉在了一起。它不會(huì)只給你一個(gè)冷冰冰的P值而是給你一組可以直接用來(lái)做決策的圖表和指標(biāo)。2.1 featexp到底做了什么featexp本質(zhì)上是一個(gè)針對(duì)單特征做探索性分析的Python庫(kù)。它的核心動(dòng)作很簡(jiǎn)單把每個(gè)連續(xù)特征劃分成若干個(gè)分箱bin然后分別統(tǒng)計(jì)訓(xùn)練集和測(cè)試集在每個(gè)分箱中的樣本比例。接著再把目標(biāo)變量的均值也按同樣的分箱畫(huà)出來(lái)這樣你就能在一張圖里同時(shí)看到兩個(gè)信息特征分布形狀有沒(méi)有變化以及特征在不同區(qū)間上對(duì)目標(biāo)變量的解釋能力有沒(méi)有變化。配合這個(gè)可視化過(guò)程featexp會(huì)輸出一系列統(tǒng)計(jì)指標(biāo)包括特征均值差、PSI、相關(guān)性、相關(guān)性變化等。它把所有特征的結(jié)果匯總成一個(gè)表你可以一眼看出哪些特征需要重點(diǎn)關(guān)注。與手寫(xiě)檢驗(yàn)?zāi)_本不同它特別強(qiáng)調(diào)“目標(biāo)變量”這個(gè)維度這正是建模人員最關(guān)心的點(diǎn)。2.2 特征分箱和目標(biāo)均值為什么是關(guān)鍵分箱是漂移分析的基礎(chǔ)。原始特征值往往噪聲很大有的特征分布極不均衡直接比較所有樣本的均值容易掩蓋局部變化。分箱之后每個(gè)箱內(nèi)的樣本更純凈比較起來(lái)更穩(wěn)定。打個(gè)比方你觀察一座城市的人口年齡結(jié)構(gòu)。如果只看全市平均年齡你很難發(fā)現(xiàn)某個(gè)區(qū)域突然涌入大量年輕人但如果把城市按行政區(qū)劃分區(qū)看變化就非常明顯。特征分箱就是把這個(gè)“行政區(qū)”的概念引入特征分析。featexp默認(rèn)把特征分成10個(gè)箱每個(gè)箱覆蓋約10%的樣本然后對(duì)比訓(xùn)練集和測(cè)試集在同一箱上的比例。目標(biāo)均值曲線解決的是另外一件事特征分布變了不代表模型的預(yù)測(cè)邏輯變了。比如一個(gè)“年齡”特征訓(xùn)練集和測(cè)試集的年齡分布都變了但如果每個(gè)年齡段的購(gòu)買(mǎi)率曲線還是和訓(xùn)練時(shí)一致那模型還能繼續(xù)用。真正危險(xiǎn)的是特征分布沒(méi)怎么變但目標(biāo)均值曲線徹底反轉(zhuǎn)這意味著舊規(guī)律失效了。2.3 和手寫(xiě)PSI腳本相比它的優(yōu)勢(shì)在哪里我早期監(jiān)控漂移時(shí)寫(xiě)過(guò)一套PSI腳本核心是根據(jù)訓(xùn)練集分箱邊界統(tǒng)計(jì)測(cè)試集落到每個(gè)箱的比例再把比例差換算成PSI值。這個(gè)腳本本身沒(méi)問(wèn)題但它只能輸出一個(gè)數(shù)值遇到幾十個(gè)特征同時(shí)漂移時(shí)我還是要手動(dòng)去看每個(gè)特征的分布圖效率很低。featexp把這套流程集成在了一起幾行代碼就能跑完所有特征。它還會(huì)用顏色、條形圖、均值標(biāo)記等方式把變化直觀呈現(xiàn)出來(lái)省去了我人工篩選異常特征的大量時(shí)間。更重要的是它可以按“和目標(biāo)變量的相關(guān)關(guān)系”來(lái)排序讓我優(yōu)先處理那些真正影響模型輸出的特征而不是被一批無(wú)關(guān)緊要的漂移干擾判斷。3. 動(dòng)手實(shí)操用featexp給訓(xùn)練集和測(cè)試集做一次全面體檢理論說(shuō)再多不如上手跑一遍。這一節(jié)我會(huì)從環(huán)境準(zhǔn)備開(kāi)始給你一套可以直接復(fù)制的代碼然后解釋怎么看結(jié)果、怎么定位風(fēng)險(xiǎn)特征。3.1 環(huán)境準(zhǔn)備和數(shù)據(jù)格式featexp是一個(gè)Python第三方庫(kù)安裝非常簡(jiǎn)單。需要說(shuō)明的是它依賴pandas、numpy、matplotlib這些基礎(chǔ)庫(kù)所以建議在已經(jīng)裝好科學(xué)計(jì)算環(huán)境的虛擬環(huán)境里安裝避免依賴沖突。數(shù)據(jù)格式是這樣的你需要一個(gè)DataFrame每一行是一個(gè)樣本每一列是一個(gè)特征另外有一列是目標(biāo)變量。在分類(lèi)任務(wù)里目標(biāo)變量通常是0/1二分類(lèi)如果是回歸任務(wù)也可以傳給featexp它會(huì)按目標(biāo)均值來(lái)分析但使用體驗(yàn)上更偏向二分類(lèi)場(chǎng)景。在使用之前有幾個(gè)數(shù)據(jù)清洗要求要注意。第一測(cè)試集和訓(xùn)練集必須包含完全相同的特征列如果特征沒(méi)有對(duì)齊會(huì)直接報(bào)錯(cuò)或者出亂圖。第二缺失值處理要提前做我自己習(xí)慣用均值填充或中位數(shù)填充確保訓(xùn)練集和測(cè)試集用的是同一套填充規(guī)則。第三分類(lèi)變量不能直接當(dāng)作字符型傳入需要先轉(zhuǎn)換成數(shù)值編碼比如用LabelEncoder或映射字典。3.2 最小可運(yùn)行代碼下面是一個(gè)最小可運(yùn)行示例。我模擬了一份用戶留存預(yù)測(cè)數(shù)據(jù)train代表訓(xùn)練集test代表測(cè)試集target取0或1。import pandas as pd from featexp import get_univariate_results # 假設(shè)你已經(jīng)準(zhǔn)備好 train 和 test train pd.read_csv(train.csv) test pd.read_csv(test.csv) # 需要檢查的特征可傳入列表 features [age, active_days, total_orders, last_login_gap, member_level] # 核心調(diào)用 stats_df, plots get_univariate_results( datatrain, targettarget, featuresfeatures, test_datatest, num_bins10, min_bin_size100, ) # 輸出每個(gè)特征的統(tǒng)計(jì)匯總表 print(stats_df)不同版本的featexp對(duì)參數(shù)名會(huì)有一點(diǎn)調(diào)整比如有的版本用bins而不是num_bins有的還需要顯式傳入categorical_features。我建議第一次使用時(shí)先打印一下函數(shù)簽名help(get_univariate_results)確認(rèn)參數(shù)名后再跑。這個(gè)小動(dòng)作能幫你省掉很多調(diào)參時(shí)間。3.3 看懂返回的結(jié)果和四類(lèi)特征畫(huà)像運(yùn)行完成后featexp會(huì)為每個(gè)特征生成一張圖并返回一張匯總表。你需要關(guān)注的字段一般包括特征名當(dāng)前檢查的特征。均值差訓(xùn)練集和測(cè)試集在該特征上的均值差異絕對(duì)值越大說(shuō)明整體偏移越明顯。PSI群體穩(wěn)定性指數(shù)PSI越小越好通常小于0.1視為穩(wěn)定0.1到0.25需要警惕大于0.25則說(shuō)明分布變化很大。相關(guān)性特征與目標(biāo)變量在訓(xùn)練集上的相關(guān)性。相關(guān)性變化測(cè)試集和訓(xùn)練集在該特征與目標(biāo)變量關(guān)系上的差異變化越大說(shuō)明特征的解釋力越不穩(wěn)定。結(jié)合分布圖和目標(biāo)均值圖可以把特征分成四類(lèi)第一類(lèi)是“分布穩(wěn)定、目標(biāo)關(guān)系穩(wěn)定”的健康特征。這樣的特征可以放心留在模型里也是最重要的信號(hào)特征。第二類(lèi)是“分布漂移、但目標(biāo)關(guān)系穩(wěn)定”。分布變了但每個(gè)分箱里的目標(biāo)均值曲線形狀沒(méi)變說(shuō)明模型學(xué)到的邏輯仍然適用不過(guò)數(shù)據(jù)覆蓋范圍可能發(fā)生變化建議關(guān)注重訓(xùn)練時(shí)機(jī)。第三類(lèi)是“分布穩(wěn)定、但目標(biāo)關(guān)系變化”。這往往意味著業(yè)務(wù)環(huán)境變了同一個(gè)特征值對(duì)應(yīng)的轉(zhuǎn)化率已經(jīng)不同這是最容易被傳統(tǒng)PSI方法漏掉的危險(xiǎn)情況。第四類(lèi)是“分布和目標(biāo)關(guān)系同時(shí)變化”這類(lèi)特征基本可以認(rèn)定為高風(fēng)險(xiǎn)要么刪除要么用最新數(shù)據(jù)重新訓(xùn)練模型。3.4 如何確定哪些特征是真正的風(fēng)險(xiǎn)項(xiàng)實(shí)際項(xiàng)目里一次要跑幾十甚至上百個(gè)特征如果每個(gè)特征都打開(kāi)圖片去看根本看不過(guò)來(lái)。我的做法是先用匯總表排序篩選出PSI大于0.1或者相關(guān)性變化超過(guò)閾值的特征再針對(duì)這些特征打開(kāi)具體的分布圖。結(jié)合業(yè)務(wù)理解也很重要。比如某些特征的漂移是周期性造成的像周末流量、節(jié)假日消費(fèi)金額這些即使PSI偏高也不見(jiàn)得是壞事。真正需要緊張的是那種沒(méi)有業(yè)務(wù)先兆、突然變化的特征尤其是與用戶行為、金額、頻次直接相關(guān)的強(qiáng)特征。特征漂移是否危險(xiǎn)不能只看統(tǒng)計(jì)量還要看它背后有沒(méi)有可解釋的業(yè)務(wù)原因。4. 拿到漂移結(jié)論之后從分析到模型維護(hù)的完整動(dòng)作分析不是終點(diǎn)拿到featexp的結(jié)果之后你得知道怎么把這些發(fā)現(xiàn)落到模型迭代里。這一節(jié)講三條處理路徑以及我建議的落地方式。4.1 漂移特征的三條處理路徑對(duì)于已經(jīng)被判定為高風(fēng)險(xiǎn)的特征通常有三條路可以走。第一條路是直接從模型里刪掉。如果該特征與目標(biāo)的訓(xùn)練集相關(guān)性本身就低只是偶然出現(xiàn)在特征列表里刪除它可以降低模型復(fù)雜度減少上線后的不確定性。第二條路是保留特征但要縮短模型重訓(xùn)練的周期比如原本一個(gè)月更新一次現(xiàn)在改成一周一次用最新數(shù)據(jù)把漂移吸收進(jìn)模型。第三條路是回到數(shù)據(jù)生產(chǎn)端去檢查特征計(jì)算邏輯是不是出了問(wèn)題尤其當(dāng)特征漂移是由特征工程口徑不一致引起時(shí)修復(fù)源頭比在模型側(cè)修修補(bǔ)補(bǔ)更有效。選擇哪條路主要看特征的重要性和漂移速度。一個(gè)高重要性的特征發(fā)生大幅漂移你不能簡(jiǎn)單刪除否則模型效果會(huì)驟降這時(shí)候更適合重訓(xùn)練或者做分群建模一個(gè)低重要性特征漂移得再厲害直接忽略或者刪除即可不必耗費(fèi)精力。4.2 把featexp放進(jìn)建模流水線我通常會(huì)在兩個(gè)環(huán)節(jié)跑featexp。第一次是在特征工程完成之后、正式訓(xùn)練之前用來(lái)檢查訓(xùn)練集和測(cè)試集的分布一致性發(fā)現(xiàn)問(wèn)題特征就提前處理。第二次是在模型上線前用一份接近線上分布的近期數(shù)據(jù)作為驗(yàn)證集再跑一遍featexp專(zhuān)門(mén)驗(yàn)證該模型是否還能適應(yīng)當(dāng)前環(huán)境。這個(gè)流程看起來(lái)多花了幾分鐘但能提前避免很多上線后的問(wèn)題。你可以把它寫(xiě)成一個(gè)獨(dú)立的檢查腳本在每次數(shù)據(jù)刷新或特征更新后自動(dòng)執(zhí)行。輸出結(jié)果除了打印匯總表最好保存成CSV方便對(duì)比不同時(shí)期的漂移趨勢(shì)。某天你發(fā)現(xiàn)某個(gè)特征的漂移程度逐月在增大你就能提前準(zhǔn)備重訓(xùn)練計(jì)劃而不是等指標(biāo)跌了才開(kāi)始排查。4.3 用時(shí)間序列切出的測(cè)試集判斷標(biāo)準(zhǔn)要放寬很多場(chǎng)景下訓(xùn)練集和測(cè)試集不是隨機(jī)切分而是按時(shí)間切分。比如模型用1月到6月的數(shù)據(jù)訓(xùn)練用7月的數(shù)據(jù)測(cè)試。這樣切出來(lái)的測(cè)試集其實(shí)代表的是未來(lái)樣本特征分布天然存在一定漂移因?yàn)閮蓚€(gè)時(shí)間段的市場(chǎng)環(huán)境、用戶構(gòu)成多少會(huì)有些不同。這種情況下不宜用統(tǒng)一的PSI閾值去卡所有特征。我會(huì)把特征分成兩組來(lái)看一組是“時(shí)間無(wú)關(guān)特征”比如用戶性別、注冊(cè)渠道這些理論上不應(yīng)該劇烈變化一組是“時(shí)間敏感特征”比如消費(fèi)金額、活躍天數(shù)、距離上次訪問(wèn)間隔這些本身就會(huì)隨用戶生命周期變化。時(shí)間敏感特征的漂移閾值可以放寬但一旦時(shí)間無(wú)關(guān)特征發(fā)生漂移就一定要重點(diǎn)檢查。5. 實(shí)際項(xiàng)目里踩過(guò)的坑和對(duì)應(yīng)的排查經(jīng)驗(yàn)再好的工具拿到真實(shí)數(shù)據(jù)里都會(huì)遇到各種意外。這一節(jié)分享幾個(gè)我實(shí)際踩過(guò)的坑后面再給你整理一個(gè)快速排查表方便出問(wèn)題時(shí)對(duì)照查。5.1 坑一分類(lèi)變量沒(méi)處理成數(shù)值我第一次用featexp分析一個(gè)包含“用戶等級(jí)”的特征時(shí)因?yàn)榈燃?jí)是字符串形式直接傳入后圖出來(lái)全是亂的分箱邏輯也完全不對(duì)。后來(lái)才知道featexp按數(shù)值特征來(lái)分箱字符型數(shù)據(jù)需要先映射成數(shù)值。做法很簡(jiǎn)單用pandas的astype(category).cat.codes轉(zhuǎn)一下就行。不過(guò)要特別小心訓(xùn)練集和測(cè)試集必須用同一套映射否則“高級(jí)用戶”在訓(xùn)練集變成3、在測(cè)試集變成1分布對(duì)比就沒(méi)有意義。5.2 坑二缺失值處理和訓(xùn)練不一致有一個(gè)項(xiàng)目里訓(xùn)練集某個(gè)特征缺失率是20%測(cè)試集缺失率卻只有5%。模型訓(xùn)練時(shí)用均值填充了訓(xùn)練集的缺失值而測(cè)試集大部分都有值導(dǎo)致填充出來(lái)的分布和訓(xùn)練時(shí)完全不同。這個(gè)變化會(huì)被featexp當(dāng)成漂移顯示出來(lái)實(shí)際上就是特征管道的問(wèn)題。后來(lái)我規(guī)定所有缺失值處理邏輯必須寫(xiě)成一個(gè)公共函數(shù)訓(xùn)練集和測(cè)試集統(tǒng)一調(diào)用絕不在一個(gè)數(shù)據(jù)集里單獨(dú)處理。這一步雖然簡(jiǎn)單但能排除掉大量假漂移。5.3 坑三特征相關(guān)性變化比整體分布漂移更值得關(guān)注只看PSI容易漏掉一類(lèi)重要風(fēng)險(xiǎn)特征分布完全沒(méi)變但特征與目標(biāo)變量的關(guān)系已經(jīng)變化。我碰到過(guò)一個(gè)“注冊(cè)時(shí)長(zhǎng)”的特征訓(xùn)練集和測(cè)試集的分布高度一致但用戶對(duì)這個(gè)產(chǎn)品的接受度在半年里發(fā)生了明顯變化同樣注冊(cè)時(shí)長(zhǎng)的用戶轉(zhuǎn)化率卻比訓(xùn)練時(shí)低了很多。如果只看PSI這個(gè)特征會(huì)被判定為“穩(wěn)定”可實(shí)際上它對(duì)模型輸出已經(jīng)產(chǎn)生了錯(cuò)誤引導(dǎo)。所以我現(xiàn)在每次分析漂移時(shí)除了看分布差異一定還會(huì)看目標(biāo)均值曲線。曲線形狀變了就是你的業(yè)務(wù)規(guī)則變了這比任何統(tǒng)計(jì)檢驗(yàn)都更能說(shuō)明問(wèn)題。5.4 常見(jiàn)疑惑快查表現(xiàn)象可能原因用featexp怎么查某個(gè)特征PSI很高特征分布漂移可能因?yàn)闀r(shí)間變化或口徑調(diào)整打開(kāi)該特征分布圖看漂移集中在哪個(gè)分箱分布沒(méi)變但模型效果下降特征與目標(biāo)關(guān)系變化看目標(biāo)均值曲線是否和訓(xùn)練集有差異很多特征同時(shí)漂移數(shù)據(jù)源變了、采樣規(guī)則變了或業(yè)務(wù)環(huán)境整體變化看匯總表里漂移特征占比先查公共原因只有個(gè)別特征漂移該特征計(jì)算邏輯或缺失值處理不一致對(duì)照特征工程代碼重點(diǎn)檢查填充和統(tǒng)計(jì)窗口圖上分箱數(shù)量異常少特征有效樣本太少或缺失值過(guò)多檢查清洗邏輯適當(dāng)增加min_bin_size參數(shù)只要按照這個(gè)表格去定位絕大多數(shù)分布問(wèn)題都能快速找到方向。6. 一點(diǎn)個(gè)人體會(huì)featexp并不是什么復(fù)雜的框架它解決的也只是一個(gè)非常具體的問(wèn)題訓(xùn)練集和測(cè)試集之間的分布差異到底值不值得你緊張。但它最大的價(jià)值是改變了我的工作習(xí)慣。以前我在項(xiàng)目里討論“效果為什么下降”大家只能靠猜測(cè)現(xiàn)在我會(huì)直接打開(kāi)一張?zhí)卣鞣植紙D指著某個(gè)分箱說(shuō)“這個(gè)特征的分布已經(jīng)偏移了而且和目標(biāo)變量的關(guān)系也變了必須重新處理?！边@種基于證據(jù)的討論方式比任何優(yōu)化技巧都更能提升團(tuán)隊(duì)效率。如果你現(xiàn)在正被線上效果不穩(wěn)定困擾我的建議很簡(jiǎn)單不要急著換模型、調(diào)參數(shù)先把訓(xùn)練集和上線后的近期數(shù)據(jù)跑一遍featexp找到真正漂移的特征再說(shuō)。很多時(shí)候數(shù)據(jù)變了才是模型失效的根因。