簡(jiǎn)介隨機(jī)森林MATLAB代碼壓縮包面向希望在MATLAB環(huán)境中實(shí)現(xiàn)隨機(jī)森林分類與回歸的學(xué)習(xí)者和開發(fā)者適合機(jī)器學(xué)習(xí)課程實(shí)驗(yàn)、算法復(fù)現(xiàn)及小規(guī)模數(shù)據(jù)建模練習(xí)。包內(nèi)共14個(gè)文件約211KB包含m函數(shù)腳本、txt示例數(shù)據(jù)、Fortran源碼、dll動(dòng)態(tài)庫(kù)以及readme和doc說(shuō)明文檔其中m文件對(duì)應(yīng)分類、回歸與模型打印入口txt提供訓(xùn)練測(cè)試樣本dll與Fortran部分承擔(dān)底層計(jì)算便于理解從接口調(diào)用到核心實(shí)現(xiàn)的完整結(jié)構(gòu)。該資源已有6072人學(xué)習(xí)配套示例覆蓋分類與回歸兩條使用路徑讀者可借此觀察隨機(jī)森林的樣本與特征采樣、決策樹集成輸出及特征重要性查看方式并對(duì)照說(shuō)明文檔梳理目錄組織、依賴配置與模型評(píng)估思路作為算法學(xué)習(xí)和代碼研讀的參考資料。1. 一段跑不通的腳本暴露了隨機(jī)森林 MATLAB 代碼的三個(gè)前提很多人找隨機(jī)森林 MATLAB 代碼拿到的第一份東西通常是三五行l(wèi)oad 一份數(shù)據(jù)TreeBagger 建三十棵樹predict 完打印一個(gè)準(zhǔn)確率。這段腳本在自帶示例數(shù)據(jù)上能刷到 0.9 以上換到自己的表上就翻車——要么類別變量直接報(bào)類型錯(cuò)誤要么準(zhǔn)確率死死卡在多數(shù)類占比上不動(dòng)看著像模型沒(méi)學(xué)實(shí)際上是數(shù)據(jù)和接口沒(méi)對(duì)齊。隨機(jī)森林在 MATLAB 里上手門檻很低但 TreeBagger 與 fitcensemble 兩條路線各有硬性輸入約束樹數(shù)、葉子大小、每次分裂的特征數(shù)這三個(gè)需要調(diào)整的參數(shù)又互相牽制調(diào)錯(cuò)一個(gè)結(jié)果就不可信。這篇按「選哪條路 → 數(shù)據(jù)怎么喂 → 參數(shù)怎么調(diào) → 報(bào)錯(cuò)怎么查」的順序給一份能改能跑、踩過(guò)坑再寫出來(lái)的實(shí)現(xiàn)說(shuō)明適合手里已經(jīng)有一張?zhí)卣鞅?、打算?RF 當(dāng)基線模型的從業(yè)者也適合課設(shè)階段需要一份既能運(yùn)行又能解釋清楚的同學(xué)。2. 三條實(shí)現(xiàn)路線的選型TreeBagger、fitcensemble 與手寫腳本MATLAB 里做隨機(jī)森林本質(zhì)上是三種東西一個(gè)封裝好的老牌類、一個(gè)能接進(jìn)交叉驗(yàn)證流水線的建模函數(shù)、一份可以完全控制分裂準(zhǔn)則的自寫腳本。選錯(cuò)路線不是精度問(wèn)題而是后面每一步都別扭——想算 OOB 誤差卻發(fā)現(xiàn)沒(méi)開預(yù)測(cè)、想接超參搜索卻發(fā)現(xiàn)接口不兼容、想把模型導(dǎo)出到別的語(yǔ)言卻只能對(duì)著對(duì)象干瞪眼。所以先把選型擺清楚。2.1 TreeBagger分類回歸一套接口的老牌實(shí)現(xiàn)TreeBagger 是最直接的入口一行構(gòu)造自動(dòng)完成自助采樣bootstrap、隨機(jī)特征子集、多樹匯總投票還內(nèi)置了袋外樣本out-of-bagOOB的評(píng)估能力。它的價(jià)值在于「不用自己寫循環(huán)」每棵樹的訓(xùn)練樣本由有放回抽樣產(chǎn)生約 36.8% 的樣本不進(jìn)袋這些樣本天然構(gòu)成一個(gè)不花錢的驗(yàn)證集能在不切分?jǐn)?shù)據(jù)的前提下給出誤差估計(jì)。對(duì)樣本量小、切出去一塊驗(yàn)證集就心疼的場(chǎng)景這一點(diǎn)很實(shí)用。% X: n×p 數(shù)值特征矩陣Y: n×1 的 categorical 標(biāo)簽 rng(2024); % 固定隨機(jī)種子保證結(jié)果可復(fù)現(xiàn) rf TreeBagger(200, X, Y, ... Method, classification, ... % 分類任務(wù)回歸改成 regression OOBPrediction, on, ... % 開啟袋外預(yù)測(cè)后面才能算 OOB 誤差 OOBPredictorImportance, on, ... % 同時(shí)計(jì)算置換重要性 MinLeafSize, 5, ... % 葉節(jié)點(diǎn)最小樣本數(shù)控制單棵樹深度 NumPredictorsToSample, all, ... % 每次分裂考察的特征數(shù) PredictorSelection, allsplits, ... % 用標(biāo)準(zhǔn) CART 窮舉分裂而非曲率檢驗(yàn) InBagFraction, 1, ... % 自助采樣比例1 表示抽 n 個(gè) UseParallel, true); % 需要并行工具箱否則會(huì)報(bào)錯(cuò) Yfit predict(rf, X); % 返回 cell 數(shù)組元素是字符標(biāo)簽 Yfit categorical(Yfit); % 轉(zhuǎn)回 categorical 才能直接比標(biāo)簽 acc mean(Yfit Y); fprintf(訓(xùn)練集準(zhǔn)確率 %.4f\n, acc);代碼里幾個(gè)參數(shù)值得單獨(dú)說(shuō)清楚。NumTrees取 200 是經(jīng)驗(yàn)起點(diǎn)不是定值后面 4.1 會(huì)用 OOB 曲線判斷到底該停在哪。MinLeafSize從默認(rèn)的 1 提到 5是給噪聲留一點(diǎn)緩沖葉子太純的樹在訓(xùn)練集上幾乎滿分測(cè)試集上掉得厲害。NumPredictorsToSample設(shè)成all意味著每次分裂都用全部特征這其實(shí)弱化了「隨機(jī)」這一半分類任務(wù)常見做法是取特征數(shù)的平方根取整回歸取三分之一。PredictorSelection默認(rèn)是curvature曲率檢驗(yàn)偏向能產(chǎn)生強(qiáng)交互的分裂想做教科書式的標(biāo)準(zhǔn) CART 就改成allsplits兩者在小樣本上的結(jié)果差異可能達(dá)到好幾個(gè)百分點(diǎn)別默認(rèn)它倆等價(jià)。需要留意的是predict的返回類型。分類模型返回的是 cell 數(shù)組里面裝的是字符直接和數(shù)值標(biāo)簽比較會(huì)得到一個(gè)全 false 的邏輯向量然后你會(huì)以為模型廢了。轉(zhuǎn)成 categorical 或者用str2double走一遍是必須補(bǔ)的一步。2.2 fitcensemble能掛進(jìn)交叉驗(yàn)證和超參搜索的版本如果后面打算做 K 折交叉驗(yàn)證、網(wǎng)格搜索、或者把模型塞進(jìn)一條預(yù)處理加建模的流水線fitcensemble更順。它把「集成方法」和「基學(xué)習(xí)器」拆開了Method選Bag就是袋裝基學(xué)習(xí)器用templateTree描述樹的參數(shù)寫在模板里而不是散在函數(shù)參數(shù)上。t templateTree( ... MinLeafSize, 5, ... NumVariablesToSample, all, ... % 等價(jià)于 TreeBagger 的 NumPredictorsToSample Surrogate, off); % 關(guān)閉代理分裂缺失值需提前處理 mdl fitcensemble(X, Y, ... Method, Bag, ... % 袋裝AdaBoostM2 等是提升法 NumLearningCycles, 200, ... % 基學(xué)習(xí)器個(gè)數(shù)對(duì)應(yīng) NumTrees Learners, t, ... Prior, uniform); % 類別先驗(yàn)處理不平衡時(shí)改成 empirical cvmdl crossval(mdl, KFold, 5); % 直接得到交叉驗(yàn)證模型 fprintf(5 折誤差 %.4f\n, kfoldLoss(cvmdl));這套寫法的好處是crossval、kfoldLoss、oobLoss、plotPartialDependence全都認(rèn)這個(gè)對(duì)象不用自己寫循環(huán)去拼混淆矩陣。Prior參數(shù)也是 TreeBagger 沒(méi)有直接對(duì)應(yīng)物的東西類別不平衡時(shí)把先驗(yàn)改成uniform或者傳入自定義向量往往比調(diào)閾值更省事。代價(jià)是參數(shù)名和 TreeBagger 不完全一樣NumLearningCycles對(duì)應(yīng)樹數(shù)、NumVariablesToSample對(duì)應(yīng)每次分裂的特征數(shù)來(lái)回切換時(shí)容易寫錯(cuò)。兩條路線的取舍可以壓成一張表維度TreeBaggerfitcensembleMethodBag分類/回歸統(tǒng)一接口靠Method一個(gè)參數(shù)切換同一個(gè)函數(shù)靠標(biāo)簽類型自動(dòng)判斷OOB 誤差oobError/oobLossoobLoss(mdl,Mode,cumulative)交叉驗(yàn)證需自己寫 K 折循環(huán)直接crossvalkfoldLoss超參自動(dòng)搜索不支持需外層包 bayesopt支持OptimizeHyperparameters特征重要性O(shè)OBPermutedPredictorDeltaErrorpredictorImportance 置換法偏依賴圖需手動(dòng)計(jì)算plotPartialDependence直接出圖數(shù)據(jù)量大、只想要一個(gè)能跑的基線TreeBagger 更省事要做實(shí)驗(yàn)對(duì)比、要出可復(fù)現(xiàn)的交叉驗(yàn)證數(shù)字fitcensemble的流水線更穩(wěn)。2.3 手寫版只在這三種情況下值得自己寫遞歸建樹不是炫技絕大多數(shù)場(chǎng)景純屬浪費(fèi)時(shí)間。真正值得動(dòng)手的情況只有三類一是分裂準(zhǔn)則要改比如你需要代價(jià)敏感的分裂或者自定義的不純度二是模型要導(dǎo)出到 C 或嵌入式環(huán)境MATLAB 的對(duì)象沒(méi)法直接落地得自己序列化成數(shù)組三是教學(xué)或答辯場(chǎng)景需要指著每一層節(jié)點(diǎn)解釋「這棵樹為什么在這里切」。給一份最小骨架能說(shuō)明 bagging 內(nèi)部到底在干什么function node growTree(X, y, depth, maxDepth, minLeaf, mtry) % 單棵 CART 分類樹的最小實(shí)現(xiàn)省略缺失值處理與剪枝 if depth maxDepth || numel(unique(y)) 1 || size(X,1) 2*minLeaf node struct(leaf, true, label, mode(y)); return; end p size(X,2); featIdx randperm(p, min(mtry,p)); % 隨機(jī)挑 mtry 個(gè)特征這是隨機(jī)森林的一半 bestGain -inf; bestFeat 0; bestThr 0; parentImp giniImp(y); for f featIdx vals unique(X(:,f)); if numel(vals) 2, continue; end thrCand vals(1:end-1) diff(vals)/2; % 相鄰取值中點(diǎn)作候選閾值 for t thrCand left X(:,f) t; right ~left; if nnz(left) minLeaf || nnz(right) minLeaf, continue; end gain parentImp - (nnz(left)*giniImp(y(left)) ... nnz(right)*giniImp(y(right))) / numel(y); if gain bestGain bestGain gain; bestFeat f; bestThr t; end end end if bestFeat 0 node struct(leaf, true, label, mode(y)); return; end left X(:,bestFeat) bestThr; node struct(leaf, false, feat, bestFeat, thr, bestThr, ... left, growTree(X(left,:), y(left), depth1, maxDepth, minLeaf, mtry), ... right, growTree(X(~left,:), y(~left), depth1, maxDepth, minLeaf, mtry)); end function g giniImp(y) % 基尼不純度分類樹最常用的分裂指標(biāo) [~,~,idx] unique(y); p accumarray(idx, 1) / numel(y); g 1 - sum(p.^2); end外層再套一層 bootstrap 采樣和投票就是完整森林。這段代碼的性能比內(nèi)置實(shí)現(xiàn)差一到兩個(gè)數(shù)量級(jí)因?yàn)樗鼪](méi)有向量化候選閾值、沒(méi)有做排序優(yōu)化也完全沒(méi)有剪枝和缺失值處理只建議用來(lái)理解結(jié)構(gòu)或者做定制化改造不要拿它去跑十萬(wàn)行數(shù)據(jù)。3. 預(yù)處理鏈路把表、缺失值和類別變量對(duì)齊到 RF 的輸入約定隨機(jī)森林對(duì)特征縮放不敏感這容易讓人誤以為它對(duì)數(shù)據(jù)形態(tài)也沒(méi)要求。實(shí)際上 MATLAB 的實(shí)現(xiàn)有一套明確的輸入約定矩陣還是 table、標(biāo)簽是 categorical 還是字符 cell、缺失值走哪條路徑任何一條不對(duì)報(bào)錯(cuò)信息都含糊得讓人抓瞎。3.1 table 輸入與類別變量的三種處理最省事的做法是把整張表連同標(biāo)簽一起喂進(jìn)去讓實(shí)現(xiàn)自己去識(shí)別哪一列是類別變量。table 的優(yōu)勢(shì)是保留了變量名后面看特征重要性時(shí)直接輸出名字不用回頭對(duì)列號(hào)。T readtable(features.csv, TextType, string); labelName label; predictorNames setdiff(T.Properties.VariableNames, labelName, stable); % 字符串列轉(zhuǎn) categorical避免被當(dāng)成 p 個(gè)啞變量處理 for k 1:numel(predictorNames) if isstring(T.(predictorNames{k})) || iscellstr(T.(predictorNames{k})) T.(predictorNames{k}) categorical(T.(predictorNames{k})); end end X T(:, predictorNames); Y categorical(T.(labelName)); rf TreeBagger(200, X, Y, Method, classification, ... CategoricalPredictors, all); % 顯式聲明非數(shù)值列按類別變量處理TextType,string這一步容易被忽略。默認(rèn)讀進(jìn)來(lái)是 cell 字符數(shù)組某些版本里categorical轉(zhuǎn)換會(huì)給出警告甚至失敗統(tǒng)一成 string 再轉(zhuǎn) categorical 就干凈了。CategoricalPredictors寫成all是讓實(shí)現(xiàn)自己對(duì)非數(shù)值列做處理但如果表里混進(jìn)了 ID 列這種高基數(shù)變量幾千個(gè)不同取值隨機(jī)森林會(huì)把它當(dāng)成一個(gè)極強(qiáng)的分裂特征訓(xùn)練集精度飆高、測(cè)試集慘不忍睹——這類列在建表階段就該刪掉別指望模型自己判斷。3.2 缺失值填補(bǔ)、代理分裂、還是直接刪老版本的 TreeBagger 遇到 NaN 會(huì)直接拋錯(cuò)新版本和fitcensemble的templateTree支持Surrogate,all做代理分裂也就是在最優(yōu)分裂特征缺失時(shí)用相關(guān)的替代特征頂上。代理分裂在缺失比例低于 5% 時(shí)效果不錯(cuò)缺失比例一高代理分裂本身也沒(méi)得選還是老老實(shí)實(shí)填補(bǔ)靠譜。% 數(shù)值列中位數(shù)填補(bǔ)類別列眾數(shù)填補(bǔ)同時(shí)打缺失標(biāo)記 Xnum varfun(median, X, InputVariables, isnumeric, ... OutputFormat, uniform); for k 1:width(X) col X{:,k}; if isnumeric(col) miss isnan(col); if any(miss) X{miss,k} median(col(~miss)); % 中位數(shù)對(duì)偏態(tài)分布更穩(wěn) end else miss isundefined(col); if any(miss) X{miss,k} mode(col(~miss)); % 類別列用眾數(shù) end end if any(miss) X.([miss_ X.Properties.VariableNames{k}]) double(miss); % 缺失本身就是信息 end end補(bǔ)一個(gè)缺失指示列的做法在小樣本上很值缺失往往不是隨機(jī)的某個(gè)字段空著本身就帶信號(hào)把它當(dāng)特征喂進(jìn)去比單純填補(bǔ)保留的信息更多。反過(guò)來(lái)如果某一列缺失超過(guò) 30%更常見的處理是直接刪列因?yàn)樘钛a(bǔ)出來(lái)的值基本上等于在主要分裂上人為制造了一個(gè)眾數(shù)堆積會(huì)系統(tǒng)性地帶偏重要性排序。3.3 劃分分層 Hold-Out 與 K 折的對(duì)象設(shè)計(jì)類別不平衡時(shí)最怕的就是普通隨機(jī)劃分某次抽樣某個(gè)少數(shù)類一個(gè)都沒(méi)進(jìn)訓(xùn)練集模型直接學(xué)不會(huì)。cvpartition的第一參數(shù)傳分類標(biāo)簽時(shí)默認(rèn)做分層抽樣這一條能擋掉不少意外。cp cvpartition(Y, HoldOut, 0.3); % 傳標(biāo)簽向量自動(dòng)分層 idxTrain training(cp); idxTest test(cp); rf TreeBagger(200, X(idxTrain,:), Y(idxTrain), ... Method, classification, OOBPrediction, on); Ytest categorical(predict(rf, X(idxTest,:))); C confusionmat(Y(idxTest), Ytest); acc sum(diag(C)) / sum(C(:)); fprintf(測(cè)試集準(zhǔn)確率 %.4f\n, acc);分層之后的第二個(gè)坑是順序cvpartition給出的是邏輯索引如果先對(duì)整張表做了標(biāo)準(zhǔn)化、特征篩選或者缺失值填補(bǔ)再劃分那么測(cè)試集的信息已經(jīng)漏進(jìn)訓(xùn)練過(guò)程OOB 誤差和測(cè)試誤差會(huì)出現(xiàn)明顯背離。正確順序永遠(yuǎn)是「先切分、再在訓(xùn)練集上擬合任何變換、最后用訓(xùn)練集的統(tǒng)計(jì)量去處理測(cè)試集」。4. 參數(shù)調(diào)整樹數(shù)、葉子大小、特征子集與自動(dòng)調(diào)參隨機(jī)森林被叫「幾乎不用調(diào)參的模型」這句話只在「能跑出個(gè)結(jié)果」的前提下成立。真實(shí)項(xiàng)目里樹數(shù)決定訓(xùn)練成本葉子大小決定過(guò)不過(guò)擬合每次分裂的特征數(shù)決定樹之間的相關(guān)性三個(gè)參數(shù)串起來(lái)看才有效。4.1 NumTrees看 OOB 曲線什么時(shí)候走平樹數(shù)不是越多越好而是「加到 OOB 誤差不再明顯下降」為止。判斷方法很直接開OOBPrediction,on用oobError取隨樹數(shù)累積的誤差序列畫出來(lái)看拐點(diǎn)。rf TreeBagger(300, X, Y, Method, classification, ... OOBPrediction, on, MinLeafSize, 5); err oobError(rf); % 長(zhǎng)度 300第 k 個(gè)是前 k 棵樹的 OOB 誤差 [~, kBest] min(err); fprintf(OOB 最優(yōu)樹數(shù) %d誤差 %.4f\n, kBest, err(kBest)); fprintf(300 棵樹時(shí)誤差 %.4f進(jìn)一步增加樹數(shù)收益有限\n, err(end)); figure; plot(err, LineWidth, 1.2); grid on; xlabel(樹的數(shù)量); ylabel(OOB 分類誤差);曲線在 100 到 150 棵之間通常已經(jīng)形成平臺(tái)之后再加樹只是線性增加訓(xùn)練時(shí)間。需要注意的是oobError返回的是累積誤差第 k 個(gè)元素對(duì)應(yīng)前 k 棵樹的投票結(jié)果所以它天然單調(diào)性很差、會(huì)抖動(dòng)——抖動(dòng)幅度大的時(shí)候說(shuō)明數(shù)據(jù)本身噪聲重這時(shí)候盯著最小值去取樹數(shù)反而過(guò)擬合了 OOB取平臺(tái)起點(diǎn)更穩(wěn)。300 棵是個(gè)保守上限演示夠用生產(chǎn)環(huán)境按數(shù)據(jù)量自己壓。4.2 MinLeafSize偏差與方差最直接的旋鈕葉子最小樣本數(shù)是控制單棵樹復(fù)雜度的主要參數(shù)。值越小樹越深訓(xùn)練集誤差越低方差越大值越大樹越淺偏差上升但對(duì)噪聲的容忍度更好。分類任務(wù)上1 到 10 是常見搜索區(qū)間回歸任務(wù)建議從 5 起步。leafList [1 3 5 10 20 50]; oob zeros(size(leafList)); for i 1:numel(leafList) rf TreeBagger(150, X, Y, Method, classification, ... OOBPrediction, on, MinLeafSize, leafList(i)); oob(i) oobError(rf, Mode, last); % 只看最終樹的 OOB 誤差 end [bestErr, bestIdx] min(oob); fprintf(最優(yōu) MinLeafSize %dOOB 誤差 %.4f\n, leafList(bestIdx), bestErr);oobError(rf,Mode,last)跟默認(rèn)的累積序列不是一回事加Mode,last拿到的是最終集成的單個(gè)誤差值做網(wǎng)格循環(huán)時(shí)用它更省事。如果這條曲線一路往下走到 1 才停通常說(shuō)明數(shù)據(jù)里的噪聲不多、或者樣本量夠大如果曲線在 10 附近觸底再往上走就要考慮特征里是不是混進(jìn)了大量弱相關(guān)列。4.3 NumPredictorsToSamplemtry 的經(jīng)驗(yàn)值與實(shí)測(cè)這是隨機(jī)森林「隨機(jī)」的核心參數(shù)。每次分裂只從 p 個(gè)特征里抽 m 個(gè)候選m 越小樹之間越不相關(guān)集成的方差降得越多但單棵樹的精度也越低。經(jīng)驗(yàn)值是分類取 √p、回歸取 p/3這個(gè)起點(diǎn)在大部分?jǐn)?shù)據(jù)上不會(huì)太離譜但不是最優(yōu)。p size(X, 2); mtryList unique(round([sqrt(p), p/3, p/2, p])); % 經(jīng)驗(yàn)值加兩個(gè)擴(kuò)展點(diǎn) for i 1:numel(mtryList) rf TreeBagger(150, X, Y, Method, classification, ... OOBPrediction, on, NumPredictorsToSample, mtryList(i)); fprintf(mtry%3d OOB誤差%.4f\n, mtryList(i), oobError(rf,Mode,last)); end一個(gè)常見誤用是把 mtry 設(shè)成 p也就是每次分裂都用全部特征然后把模型叫作隨機(jī)森林。這時(shí)候它退化成了純 bagging樹之間的相關(guān)性明顯提高集成降方差的效果打折在特征高度相關(guān)的數(shù)據(jù)上尤其明顯。實(shí)測(cè)中如果 mtryp 和 mtry√p 的 OOB 誤差差不多選 √p 更劃算因?yàn)橛?xùn)練快、樹之間更獨(dú)立。4.4 自動(dòng)調(diào)參與并行把網(wǎng)格交給 bayesopt參數(shù)超過(guò)三個(gè)之后手寫循環(huán)的組合爆炸會(huì)吞掉大量時(shí)間。fitcensemble支持內(nèi)置的貝葉斯優(yōu)化把搜索空間一次性描述清楚讓它自己找。rng(2024); t templateTree(Surrogate, off); mdl fitcensemble(X, Y, Method, Bag, Learners, t, ... OptimizeHyperparameters, {NumLearningCycles, MinLeafSize, ... NumVariablesToSample}, ... HyperparameterOptimizationOptions, struct( ... MaxObjectiveEvaluations, 30, ... % 目標(biāo)函數(shù)評(píng)估次數(shù)30 起步 UseParallel, true, ... % 并行評(píng)估需要并行工具箱 Repartition, true, ... % 每輪重新劃分降低劃分偏差 Verbose, 1));Repartition,true值得開著它讓每輪評(píng)估用不同的交叉驗(yàn)證劃分避免某組參數(shù)恰好抽到一份「好切分」而虛高。MaxObjectiveEvaluations給 30 次是在時(shí)間和收益之間的折中數(shù)據(jù)量大的時(shí)候可以先在小樣本上搜一輪拿到大致范圍再回到全量數(shù)據(jù)上手工微調(diào)。并行開啟前最好先手動(dòng)起一次本地池否則第一次調(diào)用會(huì)額外花時(shí)間初始化。5. 常見排查隨機(jī)森林 MATLAB 代碼跑不動(dòng)、跑不準(zhǔn)的五個(gè)現(xiàn)場(chǎng)調(diào)參投入再多也擋不住輸入層面的一些低級(jí)錯(cuò)誤?？偨Y(jié)下來(lái)有五類高頻現(xiàn)場(chǎng)每次排查都從這幾條過(guò)一遍能省掉大量猜測(cè)。5.1 準(zhǔn)確率恰好等于多數(shù)類占比現(xiàn)象測(cè)試集準(zhǔn)確率 0.83而訓(xùn)練集里正類占比正好 83%混淆矩陣顯示模型把所有樣本都判成了多數(shù)類。原因類別嚴(yán)重不平衡隨機(jī)森林的投票機(jī)制下少數(shù)類的票數(shù)被壓過(guò)去樹在分裂時(shí)也傾向于先把多數(shù)類分干凈因?yàn)樗鼘?duì)整體不純度的貢獻(xiàn)更大。這時(shí)準(zhǔn)確率這個(gè)指標(biāo)本身已經(jīng)失效。解決三條一起上更穩(wěn)——cvpartition傳標(biāo)簽做分層抽樣保證每折里少數(shù)類都有fitcensemble把Prior設(shè)成uniform壓制先驗(yàn)帶來(lái)的偏置評(píng)估指標(biāo)換成confusionmat之外看召回率或者 F1別只看準(zhǔn)確率。如果少數(shù)類樣本少于幾百條還要考慮過(guò)采樣但過(guò)采樣必須在訓(xùn)練折內(nèi)部做不能在劃分前對(duì)全量數(shù)據(jù)做。5.2 標(biāo)簽類型報(bào)錯(cuò)或者預(yù)測(cè)結(jié)果全 false現(xiàn)象訓(xùn)練階段報(bào)Y must be a vector或者代碼沒(méi)報(bào)錯(cuò)但Yfit Y全是 false。原因標(biāo)簽是字符串 cell 或者表格里的 string 列predict返回的是字符 cell 數(shù)組直接和數(shù)值或 categorical 標(biāo)簽比較類型不匹配比較結(jié)果全是 false看起來(lái)像模型完全沒(méi)用。解決訓(xùn)練前統(tǒng)一Y categorical(T.label)預(yù)測(cè)后立刻Yfit categorical(predict(rf, Xtest))再做比較?；貧w任務(wù)同理TreeBagger的回歸模型predict返回的是數(shù)值矩陣但如果是多輸出或者用了 cell 輸入也要檢查維度對(duì)齊。這類問(wèn)題不會(huì)給明確報(bào)錯(cuò)只能靠打印前幾行class(Y)和class(Yfit)定位。5.3 內(nèi)存爆掉或者訓(xùn)練慢到無(wú)法接受現(xiàn)象樹數(shù)加到 500 之后訓(xùn)練要跑半小時(shí)內(nèi)存占用飆到十幾 G機(jī)器開始交換。原因每棵樹都把完整訓(xùn)練集副本存進(jìn)對(duì)象里MinLeafSize太小時(shí)單棵樹節(jié)點(diǎn)數(shù)暴漲再加上OOBPrediction會(huì)額外保存袋外索引內(nèi)存是乘法級(jí)增長(zhǎng)的。解決先把MinLeafSize從 1 提到 5 到 10節(jié)點(diǎn)數(shù)能降一個(gè)量級(jí)UseParallel打開用多核分?jǐn)倳r(shí)間但要確認(rèn)并行池的進(jìn)程數(shù)不要超過(guò)物理核數(shù)超了反而更慢樹數(shù)按 4.1 的 OOB 曲線取平臺(tái)起點(diǎn)別一上來(lái)就 1000 棵。特征維度超過(guò)幾百列時(shí)先做一輪基于重要性的粗篩再重新訓(xùn)練比硬扛著跑全量特征劃算得多。5.4 OOB 誤差很低但測(cè)試集一塌糊涂現(xiàn)象訓(xùn)練時(shí) OOB 誤差 0.06交叉驗(yàn)證或者獨(dú)立測(cè)試集誤差 0.25差距大得不正常。原因數(shù)據(jù)泄漏。最常見的是在劃分之前對(duì)整張表做了標(biāo)準(zhǔn)化、缺失值填補(bǔ)、特征篩選或者 SMOTE 過(guò)采樣測(cè)試集的分布信息通過(guò)這些步驟滲進(jìn)了訓(xùn)練過(guò)程。另一種是同一實(shí)體有多條記錄被分到了訓(xùn)練集和測(cè)試集兩側(cè)模型實(shí)際上在背答案。解決把整條流水線重排成「切分 → 訓(xùn)練集上擬合變換 → 應(yīng)用到測(cè)試集」。如果有分組結(jié)構(gòu)同一個(gè)體多次測(cè)量、同一批次多個(gè)樣本用cvpartition的分組形式保證整組進(jìn)同一側(cè)。改完之后 OOB 和測(cè)試誤差的差距通常會(huì)收斂到 3 到 5 個(gè)百分點(diǎn)以內(nèi)還收不攏就要懷疑特征里混了標(biāo)簽派生的列。5.5 特征重要性全是零或者與業(yè)務(wù)直覺相反現(xiàn)象OOBPermutedPredictorDeltaError返回一列數(shù)前幾個(gè)全是 0或者排第一的是一個(gè)業(yè)務(wù)上明顯無(wú)關(guān)的字段。原因三個(gè)可能——一是特征之間高度相關(guān)重要性被平攤到幾個(gè)相關(guān)列上單獨(dú)看每個(gè)都不高二是標(biāo)簽編碼或者 ID 列被當(dāng)成了有效特征模型找到了捷徑三是樹太淺某些特征根本沒(méi)被用到重要性自然為 0。解決先把 ID 類、時(shí)間戳類、索引類列手工剔掉再重跑一次。相關(guān)特征的問(wèn)題用分組置換重要性處理把一組相關(guān)特征同時(shí)打亂再算精度下降而不是逐個(gè)打亂。樹太淺就按 4.2 把MinLeafSize降回來(lái)。排查時(shí)用predictorImportance和置換重要性各算一遍兩個(gè)結(jié)果差異很大的那幾列往往是需要單獨(dú)看一眼的。6. 進(jìn)階把 OOB 誤差、置換重要性和偏依賴用成決策依據(jù)模型跑通只是起點(diǎn)真正決定這份代碼有沒(méi)有用的是后面三件事誤差估計(jì)可不可信、特征排序能不能指導(dǎo)下一步采集、單特征的影響方向說(shuō)不說(shuō)得清。誤差估計(jì)上我習(xí)慣同時(shí)看三個(gè)數(shù)OOB 誤差、5 折交叉驗(yàn)證誤差、獨(dú)立測(cè)試集誤差。三個(gè)數(shù)互相之間的差距比絕對(duì)值更有信息量——OOB 和交叉驗(yàn)證差得多說(shuō)明樣本順序有結(jié)構(gòu)交叉驗(yàn)證和測(cè)試集差得多說(shuō)明分布漂移或者泄漏。這三個(gè)數(shù)都穩(wěn)定在同一個(gè)量級(jí)模型才算立住。特征重要性不要只信內(nèi)置那一列。手寫一遍置換重要性邏輯簡(jiǎn)單但可控把某一列打亂重新預(yù)測(cè)看精度掉多少掉得越多越重要。重復(fù)多次取均值能壓掉隨機(jī)性。baseAcc mean(categorical(predict(rf, Xtest)) Ytest); imp zeros(1, size(Xtest,2)); nRepeat 10; for j 1:size(Xtest,2) drop zeros(nRepeat,1); for r 1:nRepeat Xp Xtest; Xp{:,j} Xp(randperm(height(Xp)), j); % 打亂第 j 列其余不動(dòng) drop(r) baseAcc - mean(categorical(predict(rf, Xp)) Ytest); end imp(j) mean(drop); end [~, order] sort(imp, descend); disp(Xtest.Properties.VariableNames(order(1:10)));randperm打亂整列是關(guān)鍵不能只交換相鄰行否則相關(guān)性結(jié)構(gòu)還在重要性會(huì)被嚴(yán)重低估。重復(fù) 10 次的成本可以接受如果預(yù)測(cè)很慢降到 5 次也夠看趨勢(shì)。單特征影響方向用偏依賴看fitcensemble訓(xùn)練出的模型直接plotPartialDependence(mdl, j)就能出圖看的是「把第 j 列固定在不同取值上其余列保持原樣時(shí)預(yù)測(cè)概率的平均變化」。圖上出現(xiàn)明顯的臺(tái)階或者非單調(diào)折線通常意味著樹在這個(gè)特征上切出了硬閾值這時(shí)候回頭去看MinLeafSize是不是設(shè)得太小。TreeBagger 對(duì)象沒(méi)有這個(gè)接口需要自己構(gòu)造網(wǎng)格、替換列、批量預(yù)測(cè)再取均值代碼不長(zhǎng)但容易寫錯(cuò)列索引建議封裝成小函數(shù)復(fù)用。血淚經(jīng)驗(yàn)是這三件事里最容易被跳過(guò)的是置換重要性因?yàn)閮?nèi)置的OOBPermutedPredictorDeltaError一行就能出結(jié)果看起來(lái)已經(jīng)夠了。但在相關(guān)特征多的表上內(nèi)置結(jié)果和置換結(jié)果能差出完全不同的排序而排序錯(cuò)了后面所有的特征采集和工程投入都會(huì)跟著錯(cuò)。從那以后我每次拿到新的特征表都強(qiáng)制把分組置換重要性跑一遍再下結(jié)論。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取