1. 從“硬分”到“軟判”為什么我們需要概率生成模型在數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)的日常里二分類問題就像家常便飯。我們習(xí)慣了拿起邏輯回歸、支持向量機(jī)SVM或者決策樹輸入特征然后得到一個“是”或“否”的硬判決。模型告訴你這張圖片有90%的概率是貓或者這個客戶有70%的可能性會流失。但不知道你有沒有想過這個“概率”是怎么來的它真的反映了數(shù)據(jù)內(nèi)在的分布規(guī)律嗎大多數(shù)判別式模型比如邏輯回歸直接學(xué)習(xí)從特征X到類別標(biāo)簽Y的映射關(guān)系P(Y|X)。它們很高效目標(biāo)明確就是找到那個最佳的分類邊界。然而它們有一個潛在的“盲區(qū)”對數(shù)據(jù)本身的生成機(jī)制缺乏深入的建模。換句話說我們知道了“給定這些特征它更可能是A類”但我們并不知道“A類本身的數(shù)據(jù)長什么樣”。這就像一位法官只根據(jù)現(xiàn)有證據(jù)判案卻從不研究罪犯的典型行為模式。這就引出了我們今天要深入探討的主角基于概率生成模型的二分類。與判別模型不同生成模型的核心思想是先對每一類數(shù)據(jù)的分布進(jìn)行建模即學(xué)習(xí)P(X|Y)。它試圖理解“貓”這個類別的圖片像素是如何分布的“非貓”的圖片又是如何分布的。當(dāng)來了一個新樣本模型會計算它分別由“貓”的分布和“非貓”的分布生成的可能性似然再結(jié)合類別的先驗概率比如數(shù)據(jù)集中貓和非貓的比例利用貝葉斯定理反推它屬于每個類別的后驗概率P(Y|X)。這個思路的轉(zhuǎn)變帶來了幾個實實在在的好處對數(shù)據(jù)缺失更魯棒生成模型對數(shù)據(jù)的整體分布有估計因此在處理缺失特征或者遇到訓(xùn)練集中未出現(xiàn)過的特征組合時往往比判別模型更有依據(jù)進(jìn)行推斷?？缮尚聵颖炯热荒Ｐ蛯W(xué)會了數(shù)據(jù)的分布理論上就可以從這個分布中采樣生成新的、類似的數(shù)據(jù)。這在數(shù)據(jù)增強(qiáng)、異常檢測等場景非常有用。提供更豐富的解釋模型不僅給出分類結(jié)果還揭示了數(shù)據(jù)的內(nèi)在結(jié)構(gòu)。例如通過高斯混合模型我們可能發(fā)現(xiàn)某個類別內(nèi)部還存在不同的子群體。處理非平衡數(shù)據(jù)更自然先驗概率P(Y)可以自然地融入模型這在類別樣本量差異巨大時尤為重要。在數(shù)學(xué)建模競賽無論是國賽、美賽還是亞太杯中面對一個復(fù)雜的二分類問題直接套用黑箱模型雖然快但論文深度往往不夠。如果你能清晰地闡述為何選用生成模型并完整地展示從數(shù)據(jù)分布探索、模型假設(shè)、參數(shù)估計到分類決策的全過程無疑會讓你的解決方案在理論深度和完整性上脫穎而出。接下來我們就拋開那些直接調(diào)sklearn的簡單操作深入原理和代碼看看如何親手搭建一個概率生成分類器。2. 理論基石從貝葉斯定理到生成式分類器要理解概率生成模型貝葉斯定理是繞不開的起點。它為我們提供了一套將“生成概率”轉(zhuǎn)化為“分類決策”的嚴(yán)謹(jǐn)數(shù)學(xué)框架。2.1 貝葉斯決策論的核心公式對于二分類問題我們有兩個類別記為 $C_1$ 和 $C_2$。給定一個觀測數(shù)據(jù)點 $\mathbf{x}$一個特征向量我們想知道它最可能屬于哪個類別。貝葉斯定理告訴我們 $$P(C_k | \mathbf{x}) \frac{P(\mathbf{x} | C_k) P(C_k)}{P(\mathbf{x})}$$其中$P(C_k | \mathbf{x})$ 是后驗概率即我們最終想要得到的、在觀察到數(shù)據(jù) $\mathbf{x}$ 后它屬于類別 $C_k$ 的概率。這是我們做決策的依據(jù)。$P(\mathbf{x} | C_k)$ 是類條件概率或稱為似然。它表示在類別 $C_k$ 的條件下觀測到數(shù)據(jù) $\mathbf{x}$ 的可能性。這正是生成模型需要學(xué)習(xí)和建模的核心部分。它回答了“這個類別的數(shù)據(jù)通常長什么樣”。$P(C_k)$ 是先驗概率表示在沒有任何數(shù)據(jù)觀測時一個樣本屬于類別 $C_k$ 的初始信念。通?？梢杂糜?xùn)練集中各類別的樣本比例來估計。$P(\mathbf{x})$ 是證據(jù)因子是一個歸一化常數(shù)確保所有類別的后驗概率之和為1。對于分類決策我們可以忽略它因為它在比較不同 $C_k$ 時是相同的。因此為了最大化后驗概率我們只需比較分子部分 $$\text{決策規(guī)則選擇 } C_k \text{ 如果 } P(\mathbf{x} | C_k) P(C_k) \text{ 最大}$$這個規(guī)則被稱為最大后驗概率決策。如果先驗概率相等即 $P(C_1) P(C_2)$則簡化為最大似然決策。2.2 生成式 vs. 判別式一個直觀類比讓我們用一個簡單的例子來區(qū)分這兩種思路。假設(shè)我們要根據(jù)“身高”和“體重”區(qū)分籃球運動員和體操運動員。判別式模型如邏輯回歸它會直接尋找一條直線或曲線盡可能好地將兩類運動員在“身高-體重”坐標(biāo)系中分開。它關(guān)心的是邊界。來了一個新運動員180cm 75kg模型直接計算這個點落在邊界哪一側(cè)的概率。生成式模型如高斯判別分析它會分別研究籃球運動員群體的“身高-體重”聯(lián)合分布可能是一個橢圓形的分布以及體操運動員群體的分布另一個橢圓形。它關(guān)心的是每個群體本身的特征。來了一個新運動員模型分別計算他的體征數(shù)據(jù)由“籃球運動員分布”生成的可能性以及由“體操運動員分布”生成的可能性再結(jié)合兩類運動員的普遍程度先驗判斷他更可能來自哪個群體。生成式模型的優(yōu)勢在于即使這個新運動員的身高體重組合在訓(xùn)練集中從未出現(xiàn)過比如一個特別高但很輕的人模型也能根據(jù)學(xué)到的分布給出一個基于“距離分布中心遠(yuǎn)近”的、合理的概率估計。而判別式模型在遠(yuǎn)離決策邊界的陌生區(qū)域其預(yù)測可能會非常不確定或不合理。2.3 關(guān)鍵一步為似然 $P(\mathbf{x} | C_k)$ 假設(shè)一個參數(shù)化形式理論很完美但現(xiàn)實是 $P(\mathbf{x} | C_k)$ 這個分布是未知的。我們無法知道真實世界中“貓”的圖片像素分布的確切數(shù)學(xué)形式。因此我們必須對其進(jìn)行建模即假設(shè)它服從某個已知的參數(shù)化概率分布族。最常用、也是最基礎(chǔ)的假設(shè)是每個類別的特征向量 $\mathbf{x}$ 服從多元高斯正態(tài)分布。即 $$P(\mathbf{x} | C_k) \mathcal{N}(\mathbf{x} | \boldsymbol{\mu}_k, \boldsymbol{\Sigma}_k)$$其中 $\boldsymbol{\mu}_k$ 是類別 $C_k$ 的均值向量$\boldsymbol{\Sigma}_k$ 是其協(xié)方差矩陣。這個假設(shè)意味著在特征空間中屬于同一類別的數(shù)據(jù)點大致圍繞一個中心點均值呈橢球狀分布其形狀和朝向由協(xié)方差矩陣決定。選擇高斯分布作為基礎(chǔ)模型有幾個原因1) 數(shù)學(xué)性質(zhì)優(yōu)良便于推導(dǎo)和計算2) 中心極限定理為其提供了一定的理論支撐3) 很多實際數(shù)據(jù)在經(jīng)過適當(dāng)變換后可以近似用高斯分布描述。當(dāng)然這個假設(shè)可能過于強(qiáng)。如果真實數(shù)據(jù)分布明顯不是高斯的例如多模態(tài)分布模型性能就會下降。這時就需要更復(fù)雜的生成模型如混合模型、樸素貝葉斯假設(shè)特征獨立或深度生成模型如變分自編碼器。但在許多實際問題中特別是當(dāng)特征經(jīng)過精心設(shè)計和篩選后高斯假設(shè)是一個強(qiáng)大而實用的起點也是許多高級模型的理論基礎(chǔ)。3. 高斯判別分析理論與極大似然估計實戰(zhàn)當(dāng)我們假設(shè)每個類別的數(shù)據(jù)都來自一個多元高斯分布并且用這個模型來做分類時這個方法就叫做高斯判別分析。GDA是生成式分類中最經(jīng)典、最直觀的模型之一理解它等于掌握了生成式分類的“標(biāo)準(zhǔn)流程”。3.1 模型定義與假設(shè)對于二分類問題我們有類別標(biāo)簽 $y \in {0, 1}$其先驗分布為伯努利分布$y \sim \text{Bernoulli}(\phi)$即 $P(y1) \phi$ $P(y0) 1 - \phi$。給定類別 $yk$特征 $\mathbf{x}$ 的條件分布為多元高斯 $$P(\mathbf{x} | yk) \frac{1}{(2\pi)^{d/2} |\boldsymbol{\Sigma}_k|^{1/2}} \exp\left(-\frac{1}{2}(\mathbf{x} - \boldsymbol{\mu}_k)^T \boldsymbol{\Sigma}_k^{-1} (\mathbf{x} - \boldsymbol{\mu}_k)\right)$$ 這里 $d$ 是特征維度。GDA模型包含一組待學(xué)習(xí)的參數(shù)$\theta {\phi, \boldsymbol{\mu}_0, \boldsymbol{\mu}_1, \boldsymbol{\Sigma}_0, \boldsymbol{\Sigma}_1}$。這里有一個重要的建模選擇協(xié)方差矩陣 $\boldsymbol{\Sigma}_k$ 是否在不同類別間共享不同協(xié)方差QDA假設(shè) $\boldsymbol{\Sigma}_0 \neq \boldsymbol{\Sigma}_1$。這意味著兩個類別的數(shù)據(jù)不僅中心點不同其分布的“形狀”方差和特征間的相關(guān)性也可能完全不同。這更靈活但需要估計的參數(shù)更多兩個 $d \times d$ 的矩陣需要更多數(shù)據(jù)來避免過擬合。相同協(xié)方差LDA假設(shè) $\boldsymbol{\Sigma}_0 \boldsymbol{\Sigma}_1 \boldsymbol{\Sigma}$。這意味著兩個類別的數(shù)據(jù)分布形狀相同只是中心點不同。這個假設(shè)更強(qiáng)但極大地減少了參數(shù)量只需估計一個協(xié)方差矩陣模型更簡單在數(shù)據(jù)量較少或特征維度較高時更穩(wěn)定。此時后驗概率 $P(y1|\mathbf{x})$ 的決策邊界會是一個線性函數(shù)這也是“線性判別分析”名稱的由來而QDA的決策邊界是二次的。在數(shù)學(xué)建模中選擇LDA還是QDA是一個需要根據(jù)數(shù)據(jù)和問題背景來論證的決策點。通?？梢韵葟腖DA開始如果發(fā)現(xiàn)分類效果不佳再嘗試更靈活的QDA并通過交叉驗證來比較。3.2 參數(shù)估計極大似然估計的推導(dǎo)與應(yīng)用有了模型假設(shè)下一步就是從訓(xùn)練數(shù)據(jù) ${(\mathbf{x}^{(i)}, y^{(i)})}_{i1}^m$ 中估計出參數(shù) $\theta$。最常用的方法是極大似然估計。似然函數(shù)是所有訓(xùn)練樣本的聯(lián)合概率假設(shè)樣本獨立同分布 $$\mathcal{L}(\theta) \prod_{i1}^{m} P(\mathbf{x}^{(i)}, y^{(i)}; \theta) \prod_{i1}^{m} P(\mathbf{x}^{(i)} | y^{(i)}; \boldsymbol{\mu}, \boldsymbol{\Sigma}) P(y^{(i)}; \phi)$$為了方便求解我們通常最大化其對數(shù)似然函數(shù) $\ell(\theta) \log \mathcal{L}(\theta)$。通過令對數(shù)似然函數(shù)對各個參數(shù)的偏導(dǎo)數(shù)為零我們可以得到MLE的閉合解以LDA為例即共享協(xié)方差矩陣 $\boldsymbol{\Sigma}$先驗概率 $\phi$ 的估計 $$\hat{\phi} \frac{1}{m} \sum_{i1}^{m} \mathbb{I}{y^{(i)}1}$$ 這非常直觀就是訓(xùn)練集中正例樣本的比例。類別均值 $\boldsymbol{\mu}_k$ 的估計 $$\hat{\boldsymbol{\mu}}k \frac{\sum{i1}^{m} \mathbb{I}{y^{(i)}k} \mathbf{x}^{(i)}}{\sum_{i1}^{m} \mathbb{I}{y^{(i)}k}}$$ 即屬于類別 $k$ 的所有樣本特征向量的平均值。共享協(xié)方差矩陣 $\boldsymbol{\Sigma}$ 的估計 $$\hat{\boldsymbol{\Sigma}} \frac{1}{m} \sum_{i1}^{m} (\mathbf{x}^{(i)} - \hat{\boldsymbol{\mu}}{y^{(i)}})(\mathbf{x}^{(i)} - \hat{\boldsymbol{\mu}}{y^{(i)}})^T$$ 這是對總體協(xié)方差矩陣的估計計算了每個樣本與其所屬類別均值的偏差外積然后對所有樣本取平均。注意在實際計算中特別是當(dāng)樣本量 $m$ 不大于特征維度 $d$ 時直接計算出的 $\hat{\boldsymbol{\Sigma}}$ 可能是奇異的不可逆這在高維數(shù)據(jù)中非常常見。為了解決這個問題我們通常采用正則化或收縮估計例如使用 $\hat{\boldsymbol{\Sigma}}_{\text{reg}} \lambda \hat{\boldsymbol{\Sigma}} (1-\lambda) \text{diag}(\hat{\boldsymbol{\Sigma}})$其中 $\lambda$ 是一個介于0和1之間的超參數(shù)用于在原始協(xié)方差矩陣和對角協(xié)方差矩陣即假設(shè)特征間獨立之間做權(quán)衡。在scikit-learn的LinearDiscriminantAnalysis中可以通過shrinkage參數(shù)來實現(xiàn)。3.3 Python代碼實現(xiàn)從零搭建一個GDA分類器理解了數(shù)學(xué)原理動手實現(xiàn)一遍是加深理解的最好方式。我們不直接調(diào)用sklearn而是用NumPy從頭實現(xiàn)一個LDA分類器。import numpy as np class GaussianDiscriminantAnalysis: 線性判別分析LDA實現(xiàn)假設(shè)兩類共享協(xié)方差矩陣。 def __init__(self): self.phi None # P(y1) self.mu0 None # 類別0的均值向量 self.mu1 None # 類別1的均值向量 self.sigma None # 共享的協(xié)方差矩陣 self.sigma_inv None # 協(xié)方差矩陣的逆預(yù)計算以提高預(yù)測速度 def fit(self, X, y): 使用極大似然估計擬合模型參數(shù)。 參數(shù): X: 訓(xùn)練特征形狀 (m, n_features) y: 訓(xùn)練標(biāo)簽形狀 (m,)取值為0或1 m, n X.shape # 1. 估計先驗概率 phi self.phi np.mean(y) # 2. 估計類別均值 self.mu0 X[y 0].mean(axis0) self.mu1 X[y 1].mean(axis0) # 3. 估計共享協(xié)方差矩陣 (使用無偏估計分母為 m-2) # 計算每個類別的中心化數(shù)據(jù) X_centered0 X[y 0] - self.mu0 X_centered1 X[y 1] - self.mu1 # 合并協(xié)方差 # 公式: Sigma (1/(m-2)) * (X0_centered.T X0_centered X1_centered.T X1_centered) self.sigma (X_centered0.T X_centered0 X_centered1.T X_centered1) / (m - 2) # 為了避免數(shù)值問題加入一個很小的正則項沿對角線加一個小的常數(shù) reg 1e-6 self.sigma reg * np.eye(n) # 預(yù)計算協(xié)方差矩陣的逆后續(xù)預(yù)測會多次用到 self.sigma_inv np.linalg.inv(self.sigma) def _multivariate_gaussian_pdf(self, x, mu): 計算多元高斯分布的概率密度函數(shù)未歸一化的對數(shù)形式 # 計算二次型: (x - mu)^T Sigma^{-1} (x - mu) diff x - mu # 使用預(yù)計算的逆矩陣避免重復(fù)求逆 exponent -0.5 * diff.T self.sigma_inv diff # 忽略常數(shù)項因為在比較時會被抵消 return exponent def predict_proba(self, X): 預(yù)測屬于類別1的后驗概率 P(y1|X)。 參數(shù): X: 待預(yù)測特征形狀 (m_test, n_features) 返回: probas: 屬于類別1的概率形狀 (m_test,) # 計算對數(shù)似然忽略常數(shù)項和證據(jù)因子 log_likelihood1 np.array([self._multivariate_gaussian_pdf(x, self.mu1) for x in X]) log_likelihood0 np.array([self._multivariate_gaussian_pdf(x, self.mu0) for x in X]) # 加上先驗的對數(shù) log_joint1 log_likelihood1 np.log(self.phi) log_joint0 log_likelihood0 np.log(1 - self.phi) # 計算后驗概率 P(y1|X) exp(log_joint1) / (exp(log_joint0) exp(log_joint1)) # 使用log-sum-exp技巧避免數(shù)值下溢 max_log np.maximum(log_joint0, log_joint1) log_sum_exp max_log np.log(np.exp(log_joint0 - max_log) np.exp(log_joint1 - max_log)) probas np.exp(log_joint1 - log_sum_exp) return probas def predict(self, X, threshold0.5): 根據(jù)閾值進(jìn)行類別預(yù)測。 參數(shù): X: 待預(yù)測特征 threshold: 決策閾值默認(rèn)0.5 返回: y_pred: 預(yù)測的類別標(biāo)簽 (0或1) probas self.predict_proba(X) return (probas threshold).astype(int) # 示例使用鳶尾花數(shù)據(jù)集二分類只取兩類 from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score, classification_report # 加載數(shù)據(jù)只取前兩類Setosa和Versicolor做二分類 iris load_iris() X iris.data[:100] y iris.target[:100] # 劃分訓(xùn)練集和測試集 X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.3, random_state42) # 訓(xùn)練我們的LDA模型 gda GaussianDiscriminantAnalysis() gda.fit(X_train, y_train) # 預(yù)測 y_pred gda.predict(X_test) y_pred_proba gda.predict_proba(X_test) print(測試集準(zhǔn)確率:, accuracy_score(y_test, y_pred)) print(\n分類報告:) print(classification_report(y_test, y_pred, target_namesiris.target_names[:2])) print(\n前5個樣本的預(yù)測概率:, y_pred_proba[:5])這段代碼清晰地展示了LDA的整個流程參數(shù)估計、似然計算、貝葉斯決策。運行它你會得到一個不錯的分類準(zhǔn)確率。更重要的是你擁有了一個完全透明、可控制的模型。你可以修改_multivariate_gaussian_pdf函數(shù)來嘗試不同的協(xié)方差假設(shè)實現(xiàn)QDA或者加入更復(fù)雜的正則化策略。4. 超越高斯其他生成模型與實戰(zhàn)場景選擇高斯判別分析是生成式分類的“入門款”但現(xiàn)實世界的數(shù)據(jù)分布千奇百怪。當(dāng)高斯假設(shè)明顯不成立時我們需要更強(qiáng)大的工具。4.1 樸素貝葉斯當(dāng)特征維度爆炸時的救星樸素貝葉斯是生成模型家族中另一個極其重要的成員。它的核心假設(shè)是在給定類別的情況下所有特征都是條件獨立的。即 $$P(\mathbf{x} | C_k) P(x_1 | C_k) P(x_2 | C_k) ... P(x_d | C_k)$$這個“樸素”的假設(shè)在現(xiàn)實中幾乎從不成立比如“身高”和“體重”顯然是相關(guān)的但它卻帶來了巨大的計算優(yōu)勢參數(shù)量急劇減少不需要估計完整的 $d \times d$ 協(xié)方差矩陣只需要估計每個特征在每個類別下的邊緣分布參數(shù)。這使其特別適合超高維特征的場景例如文本分類詞袋模型特征維度動輒上萬。訓(xùn)練速度極快參數(shù)估計可以并行進(jìn)行且通常有閉合解。對缺失數(shù)據(jù)不敏感每個特征獨立估計缺失某個特征不影響其他特征的似然計算。根據(jù)對特征 $x_j$ 分布的不同假設(shè)樸素貝葉斯有以下常見變體高斯樸素貝葉斯假設(shè)連續(xù)特征服從高斯分布。適用于像鳶尾花數(shù)據(jù)集這樣的數(shù)值型特征。多項式樸素貝葉斯假設(shè)特征服從多項式分布。這是文本分類的經(jīng)典模型特征通常是詞頻或TF-IDF值。伯努利樸素貝葉斯假設(shè)特征是二元的出現(xiàn)/不出現(xiàn)。也常用于文本分類特別是短文本或側(cè)重于“是否出現(xiàn)”的場景。實戰(zhàn)心得文本分類的利器在數(shù)學(xué)建模競賽中如果遇到涉及文本情感分析、新聞分類、垃圾郵件識別等問題多項式樸素貝葉斯通常是你的第一道“基線模型”。它的實現(xiàn)簡單效果穩(wěn)定能快速提供一個可比較的基準(zhǔn)。在scikit-learn中使用MultinomialNB配合TfidfVectorizer幾行代碼就能搭建一個強(qiáng)大的文本分類器。雖然它的獨立性假設(shè)很強(qiáng)但在詞袋模型這種高維稀疏表示下往往能取得出乎意料的好效果。4.2 混合模型與期望最大化算法捕捉數(shù)據(jù)的內(nèi)部結(jié)構(gòu)很多時候一個類別內(nèi)部并不是同質(zhì)的。例如“客戶”這個類別里可能包含“高價值活躍客戶”、“低價值沉默客戶”、“即將流失客戶”等多個子群體。用一個單一的高斯分布去擬合這樣一個多模態(tài)的分布顯然會力不從心。高斯混合模型GMM就是為了解決這個問題而生。它假設(shè)數(shù)據(jù)是由多個高斯分布以一定權(quán)重混合而成的 $$P(\mathbf{x}) \sum_{k1}^{K} \pi_k \mathcal{N}(\mathbf{x} | \boldsymbol{\mu}_k, \boldsymbol{\Sigma}_k)$$ 其中 $\pi_k$ 是混合權(quán)重滿足 $\sum_k \pi_k 1$。GMM本身是一個無監(jiān)督聚類模型但它可以很自然地用于生成式分類方法一生成式分類對每個類別 $C_j$ 單獨擬合一個GMM即 $P(\mathbf{x} | C_j) \sum_{k1}^{K_j} \pi_{jk} \mathcal{N}(\mathbf{x} | \boldsymbol{\mu}{jk}, \boldsymbol{\Sigma}{jk})$。這相當(dāng)于用多個高斯分布的線性組合來更精細(xì)地描述每個類別的復(fù)雜分布。方法二兩階段法先用GMM對整個數(shù)據(jù)集不區(qū)分標(biāo)簽進(jìn)行聚類得到K個成分。然后將每個樣本的“軟聚類”結(jié)果即屬于各成分的后驗概率作為新的特征再輸入到一個標(biāo)準(zhǔn)的分類器如邏輯回歸中。這種方法有時能挖掘出數(shù)據(jù)中潛在的子結(jié)構(gòu)提升分類性能。GMM的參數(shù)估計無法像高斯分布那樣直接通過MLE得到閉合解需要使用期望最大化算法EM算法進(jìn)行迭代優(yōu)化。EM算法通過引入“隱變量”即每個樣本屬于哪個混合成分來簡化問題交替進(jìn)行E步計算隱變量的后驗期望和M步基于期望更新模型參數(shù)。實戰(zhàn)心得EM算法的陷阱與調(diào)優(yōu)EM算法對初始值敏感容易陷入局部最優(yōu)。在實際應(yīng)用中通常需要多次隨機(jī)初始化運行多次EM算法選擇似然函數(shù)值最大的那次結(jié)果。利用先驗知識初始化如果對數(shù)據(jù)子結(jié)構(gòu)有大致了解可以用K-Means聚類的結(jié)果來初始化GMM的均值和權(quán)重。約束協(xié)方差矩陣對于高維數(shù)據(jù)使用全協(xié)方差矩陣容易過擬合?？梢约s束為對角矩陣特征獨立甚至球狀矩陣各向同性這對應(yīng)sklearn.mixture.GaussianMixture中的covariance_type參數(shù)full,tied,diag,spherical。4.3 如何為你的問題選擇合適的生成模型面對一個具體的二分類建模任務(wù)如何在這些生成模型中做出選擇下面是一個決策參考流程數(shù)據(jù)探索先行永遠(yuǎn)的第一步是可視化。繪制特征的分布直方圖、散點圖矩陣。如果單個類別內(nèi)的特征分布看起來大致是單峰的、對稱的那么高斯判別分析LDA/QDA是一個很好的起點。審視特征維度與樣本量如果特征維度非常高$d 1000$樣本量有限樸素貝葉斯特別是多項式或伯努利變體是你的首選它的計算效率和防過擬合能力很強(qiáng)。如果樣本量充足$m d$可以嘗試更復(fù)雜的模型。檢查類別內(nèi)結(jié)構(gòu)如果懷疑一個類別內(nèi)部存在明顯的子群體例如在散點圖上看到多個簇考慮使用高斯混合模型來為每個類別建模?？梢杂脽o監(jiān)督聚類方法如K-Means先對每個類別的數(shù)據(jù)分別進(jìn)行聚類如果輪廓系數(shù)較高則提示可能需要混合模型。特征類型連續(xù)特征GDA GMM。離散/計數(shù)特征多項式/伯努利樸素貝葉斯。混合類型特征這比較棘手。一種方法是分別對連續(xù)和離散部分建?；蛘呤褂媚軌蛱幚砘旌蠑?shù)據(jù)的專用模型在某些軟件包中提供。最終驗證沒有理論能保證哪個模型一定最好。始終使用交叉驗證來比較不同生成模型以及判別模型在驗證集上的性能。在數(shù)學(xué)建模論文中這個模型對比和選擇的過程本身就是重要的分析內(nèi)容。5. 從模型到評價生成式分類的完整工作流與陷阱規(guī)避構(gòu)建一個模型只是開始如何評價它、優(yōu)化它并在實際中可靠地使用它才是更見功力的部分。對于生成式分類有一些獨特的評價要點和常見陷阱。5.1 評價指標(biāo)不止于準(zhǔn)確率對于二分類問題生成模型輸出的是概率 $P(y1|\mathbf{x})$。我們需要一個閾值通常為0.5將其轉(zhuǎn)化為類別標(biāo)簽。但僅僅看準(zhǔn)確率是遠(yuǎn)遠(yuǎn)不夠的。精確率、召回率與F1分?jǐn)?shù)當(dāng)類別不平衡時例如欺詐檢測中正例極少準(zhǔn)確率會嚴(yán)重失真。此時精確率查準(zhǔn)率和召回率查全率以及它們的調(diào)和平均F1分?jǐn)?shù)更能反映模型在稀有類別上的性能。生成模型通過調(diào)整決策閾值可以在精確率和召回率之間做出權(quán)衡繪制P-R曲線。ROC曲線與AUCROC曲線描繪了在不同閾值下模型的真正例率TPR和假正例率FPR的變化情況。其下的面積AUC值衡量的是模型整體的排序能力將正例樣本排在負(fù)例樣本前面的能力。AUC的一個巨大優(yōu)勢是它不依賴于具體的分類閾值這對于評估概率輸出本身的質(zhì)量非常有用。一個完美的生成模型其輸出的概率應(yīng)該能夠完美區(qū)分正負(fù)例AUC接近1。對數(shù)損失也稱為交叉熵?fù)p失。它直接衡量模型輸出的概率分布與真實標(biāo)簽分布的差異。公式為 $$\text{Log Loss} -\frac{1}{m} \sum_{i1}^{m} [y^{(i)} \log(p^{(i)}) (1-y^{(i)}) \log(1-p^{(i)})]$$ 其中 $p^{(i)} P(y^{(i)}1|\mathbf{x}^{(i)})$。對數(shù)損失對預(yù)測概率的“校準(zhǔn)度”非常敏感。一個被預(yù)測為0.9概率為正的樣本如果它實際是負(fù)的將對損失產(chǎn)生很大的懲罰。因此對數(shù)損失是評估概率生成模型預(yù)測“質(zhì)量”的金標(biāo)準(zhǔn)。一個好的生成模型不僅要有高的AUC還應(yīng)該有低的Log Loss。注意在數(shù)學(xué)建模競賽中清晰地展示這些評價指標(biāo)并解釋為什么選擇它們例如“由于本問題中正例樣本僅占10%我們更關(guān)注模型在正例上的識別能力因此主要采用F1分?jǐn)?shù)和AUC作為評價標(biāo)準(zhǔn)”能顯著提升論文的專業(yè)性。5.2 概率校準(zhǔn)讓你的模型輸出“真概率”生成模型從理論上給出了后驗概率但在實踐中由于模型假設(shè)不完美、參數(shù)估計有偏等原因其輸出的概率值可能并不“準(zhǔn)”。例如在100個被模型預(yù)測為“正例概率0.7”的樣本中實際只有60個是正例這說明模型過于自信了。概率校準(zhǔn)的目的就是修正這種偏差使得模型輸出的概率值與實際發(fā)生的頻率相一致。校準(zhǔn)后的概率在需要依賴概率進(jìn)行后續(xù)決策如風(fēng)險定價、資源分配的場景中至關(guān)重要。常用的校準(zhǔn)方法有Platt Scaling將原始模型輸出如決策函數(shù)值或概率通過一個邏輯回歸函數(shù)進(jìn)行映射。適用于像SVM這樣輸出非概率分?jǐn)?shù)的模型對生成模型也有一定效果。Isotonic Regression一種非參數(shù)方法可以學(xué)習(xí)任意單調(diào)的校準(zhǔn)映射比Platt Scaling更靈活但需要更多數(shù)據(jù)容易過擬合。在sklearn中可以使用CalibratedClassifierCV來方便地進(jìn)行概率校準(zhǔn)。它會自動在交叉驗證的每一折上用驗證集學(xué)習(xí)一個校準(zhǔn)器然后應(yīng)用到測試集上。實操建議對于嚴(yán)肅的應(yīng)用尤其是金融、醫(yī)療等領(lǐng)域?qū)ι赡Ｐ突蚱渌魏胃怕誓Ｐ瓦M(jìn)行概率校準(zhǔn)是一個推薦步驟。你可以通過繪制可靠性曲線來檢查校準(zhǔn)效果將預(yù)測概率分桶如[0,0.1), [0.1,0.2), ...計算每個桶內(nèi)樣本的平均預(yù)測概率和實際正例比例。如果點都落在對角線附近說明校準(zhǔn)得很好。5.3 常見陷阱與解決方案協(xié)方差矩陣奇異或病態(tài)這是高維小樣本數(shù)據(jù)使用GDA/QDA時最常見的問題。癥狀是計算似然時出現(xiàn)數(shù)值溢出或得到荒謬的結(jié)果。解決方案特征選擇/降維使用PCA、LDA這里的LDA是線性判別分析一種有監(jiān)督降維方法注意區(qū)分或基于模型的特征選擇減少特征維度。正則化收縮如前所述在估計的協(xié)方差矩陣上加入一個正則項如 $\hat{\boldsymbol{\Sigma}}_{\text{reg}} (1-\lambda)\hat{\boldsymbol{\Sigma}} \lambda \text{diag}(\hat{\boldsymbol{\Sigma}})$。sklearn的LinearDiscriminantAnalysis(solverlsqr, shrinkageauto)會自動選擇最優(yōu)的$\lambda$。使用樸素貝葉斯直接規(guī)避了全協(xié)方差矩陣的估計。類別先驗概率的誤用在訓(xùn)練集中各類別的樣本比例可能無法代表真實世界中的分布。例如在疾病篩查中訓(xùn)練數(shù)據(jù)可能包含大量病例但真實人群中患病率很低。解決方案fit方法中估計的phi是基于訓(xùn)練集的。如果你知道真實的先驗分布 $P_{\text{真實}}(C_k)$在預(yù)測時應(yīng)該使用它來修正后驗概率 $$P_{\text{修正}}(C_k|\mathbf{x}) \propto P(\mathbf{x}|C_k) \times P_{\text{真實}}(C_k)$$ 在sklearn的LDA和樸素貝葉斯中可以通過設(shè)置priors參數(shù)來指定。模型假設(shè)嚴(yán)重違背例如數(shù)據(jù)明顯是非高斯的、多模態(tài)的或者特征間存在復(fù)雜的非線性依賴關(guān)系。解決方案數(shù)據(jù)變換嘗試對特征進(jìn)行變換如對數(shù)變換、Box-Cox變換使其更接近高斯分布。使用更靈活的模型切換到混合模型GMM或者考慮判別式模型如核SVM、梯度提升樹它們對數(shù)據(jù)分布的假設(shè)更弱。生成模型并非萬能當(dāng)其主要優(yōu)勢如處理缺失值、提供數(shù)據(jù)分布不是當(dāng)前任務(wù)的核心需求時一個強(qiáng)大的判別模型可能是更簡單有效的選擇。計算復(fù)雜度QDA需要為每個類別估計并存儲一個 $d \times d$ 的協(xié)方差矩陣及其逆預(yù)測時需要計算二次型當(dāng) $d$ 很大時計算和存儲開銷都很大。解決方案對于高維數(shù)據(jù)優(yōu)先考慮LDA或樸素貝葉斯。如果必須使用QDA考慮使用對角QDA假設(shè)各類別的協(xié)方差矩陣都是對角矩陣這大大減少了參數(shù)量。生成式分類為我們打開了一扇從數(shù)據(jù)生成視角理解分類問題的大門。它不僅僅是給出一個預(yù)測標(biāo)簽更是提供了一套描述數(shù)據(jù)、量化不確定性的完整概率框架。在數(shù)學(xué)建模和實際應(yīng)用中當(dāng)你需要的不只是一個黑箱預(yù)測而是對問題更深刻的理解、對預(yù)測結(jié)果更可靠的信心評估時概率生成模型無疑是一個極具價值的工具。從扎實的高斯判別分析基礎(chǔ)出發(fā)逐步擴(kuò)展到更復(fù)雜的模型并時刻警惕數(shù)據(jù)與模型假設(shè)之間的差距你就能讓生成式思維在解決實際分類問題時大放異彩。 從判別到生成：概率生成模型在二分類問題中的原理與實踐
1. 從“硬分”到“軟判”為什么我們需要概率生成模型在數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)的日常里二分類問題就像家常便飯。我們習(xí)慣了拿起邏輯回歸、支持向量機(jī)SVM或者決策樹輸入特征然后得到一個“是”或“否”的硬判決。模型告訴你這張圖片有90%的概率是貓或者這個客戶有70%的可能性會流失。但不知道你有沒有想過這個“概率”是怎么來的它真的反映了數(shù)據(jù)內(nèi)在的分布規(guī)律嗎大多數(shù)判別式模型比如邏輯回歸直接學(xué)習(xí)從特征X到類別標(biāo)簽Y的映射關(guān)系P(Y|X)。它們很高效目標(biāo)明確就是找到那個最佳的分類邊界。然而它們有一個潛在的“盲區(qū)”對數(shù)據(jù)本身的生成機(jī)制缺乏深入的建模。換句話說我們知道了“給定這些特征它更可能是A類”但我們并不知道“A類本身的數(shù)據(jù)長什么樣”。這就像一位法官只根據(jù)現(xiàn)有證據(jù)判案卻從不研究罪犯的典型行為模式。這就引出了我們今天要深入探討的主角基于概率生成模型的二分類。與判別模型不同生成模型的核心思想是先對每一類數(shù)據(jù)的分布進(jìn)行建模即學(xué)習(xí)P(X|Y)。它試圖理解“貓”這個類別的圖片像素是如何分布的“非貓”的圖片又是如何分布的。當(dāng)來了一個新樣本模型會計算它分別由“貓”的分布和“非貓”的分布生成的可能性似然再結(jié)合類別的先驗概率比如數(shù)據(jù)集中貓和非貓的比例利用貝葉斯定理反推它屬于每個類別的后驗概率P(Y|X)。這個思路的轉(zhuǎn)變帶來了幾個實實在在的好處對數(shù)據(jù)缺失更魯棒生成模型對數(shù)據(jù)的整體分布有估計因此在處理缺失特征或者遇到訓(xùn)練集中未出現(xiàn)過的特征組合時往往比判別模型更有依據(jù)進(jìn)行推斷?？缮尚聵颖炯热荒Ｐ蛯W(xué)會了數(shù)據(jù)的分布理論上就可以從這個分布中采樣生成新的、類似的數(shù)據(jù)。這在數(shù)據(jù)增強(qiáng)、異常檢測等場景非常有用。提供更豐富的解釋模型不僅給出分類結(jié)果還揭示了數(shù)據(jù)的內(nèi)在結(jié)構(gòu)。例如通過高斯混合模型我們可能發(fā)現(xiàn)某個類別內(nèi)部還存在不同的子群體。處理非平衡數(shù)據(jù)更自然先驗概率P(Y)可以自然地融入模型這在類別樣本量差異巨大時尤為重要。在數(shù)學(xué)建模競賽無論是國賽、美賽還是亞太杯中面對一個復(fù)雜的二分類問題直接套用黑箱模型雖然快但論文深度往往不夠。如果你能清晰地闡述為何選用生成模型并完整地展示從數(shù)據(jù)分布探索、模型假設(shè)、參數(shù)估計到分類決策的全過程無疑會讓你的解決方案在理論深度和完整性上脫穎而出。接下來我們就拋開那些直接調(diào)sklearn的簡單操作深入原理和代碼看看如何親手搭建一個概率生成分類器。2. 理論基石從貝葉斯定理到生成式分類器要理解概率生成模型貝葉斯定理是繞不開的起點。它為我們提供了一套將“生成概率”轉(zhuǎn)化為“分類決策”的嚴(yán)謹(jǐn)數(shù)學(xué)框架。2.1 貝葉斯決策論的核心公式對于二分類問題我們有兩個類別記為 $C_1$ 和 $C_2$。給定一個觀測數(shù)據(jù)點 $\mathbf{x}$一個特征向量我們想知道它最可能屬于哪個類別。貝葉斯定理告訴我們 $$P(C_k | \mathbf{x}) \frac{P(\mathbf{x} | C_k) P(C_k)}{P(\mathbf{x})}$$其中$P(C_k | \mathbf{x})$ 是后驗概率即我們最終想要得到的、在觀察到數(shù)據(jù) $\mathbf{x}$ 后它屬于類別 $C_k$ 的概率。這是我們做決策的依據(jù)。$P(\mathbf{x} | C_k)$ 是類條件概率或稱為似然。它表示在類別 $C_k$ 的條件下觀測到數(shù)據(jù) $\mathbf{x}$ 的可能性。這正是生成模型需要學(xué)習(xí)和建模的核心部分。它回答了“這個類別的數(shù)據(jù)通常長什么樣”。$P(C_k)$ 是先驗概率表示在沒有任何數(shù)據(jù)觀測時一個樣本屬于類別 $C_k$ 的初始信念。通?？梢杂糜?xùn)練集中各類別的樣本比例來估計。$P(\mathbf{x})$ 是證據(jù)因子是一個歸一化常數(shù)確保所有類別的后驗概率之和為1。對于分類決策我們可以忽略它因為它在比較不同 $C_k$ 時是相同的。因此為了最大化后驗概率我們只需比較分子部分 $$\text{決策規(guī)則選擇 } C_k \text{ 如果 } P(\mathbf{x} | C_k) P(C_k) \text{ 最大}$$這個規(guī)則被稱為最大后驗概率決策。如果先驗概率相等即 $P(C_1) P(C_2)$則簡化為最大似然決策。2.2 生成式 vs. 判別式一個直觀類比讓我們用一個簡單的例子來區(qū)分這兩種思路。假設(shè)我們要根據(jù)“身高”和“體重”區(qū)分籃球運動員和體操運動員。判別式模型如邏輯回歸它會直接尋找一條直線或曲線盡可能好地將兩類運動員在“身高-體重”坐標(biāo)系中分開。它關(guān)心的是邊界。來了一個新運動員180cm 75kg模型直接計算這個點落在邊界哪一側(cè)的概率。生成式模型如高斯判別分析它會分別研究籃球運動員群體的“身高-體重”聯(lián)合分布可能是一個橢圓形的分布以及體操運動員群體的分布另一個橢圓形。它關(guān)心的是每個群體本身的特征。來了一個新運動員模型分別計算他的體征數(shù)據(jù)由“籃球運動員分布”生成的可能性以及由“體操運動員分布”生成的可能性再結(jié)合兩類運動員的普遍程度先驗判斷他更可能來自哪個群體。生成式模型的優(yōu)勢在于即使這個新運動員的身高體重組合在訓(xùn)練集中從未出現(xiàn)過比如一個特別高但很輕的人模型也能根據(jù)學(xué)到的分布給出一個基于“距離分布中心遠(yuǎn)近”的、合理的概率估計。而判別式模型在遠(yuǎn)離決策邊界的陌生區(qū)域其預(yù)測可能會非常不確定或不合理。2.3 關(guān)鍵一步為似然 $P(\mathbf{x} | C_k)$ 假設(shè)一個參數(shù)化形式理論很完美但現(xiàn)實是 $P(\mathbf{x} | C_k)$ 這個分布是未知的。我們無法知道真實世界中“貓”的圖片像素分布的確切數(shù)學(xué)形式。因此我們必須對其進(jìn)行建模即假設(shè)它服從某個已知的參數(shù)化概率分布族。最常用、也是最基礎(chǔ)的假設(shè)是每個類別的特征向量 $\mathbf{x}$ 服從多元高斯正態(tài)分布。即 $$P(\mathbf{x} | C_k) \mathcal{N}(\mathbf{x} | \boldsymbol{\mu}_k, \boldsymbol{\Sigma}_k)$$其中 $\boldsymbol{\mu}_k$ 是類別 $C_k$ 的均值向量$\boldsymbol{\Sigma}_k$ 是其協(xié)方差矩陣。這個假設(shè)意味著在特征空間中屬于同一類別的數(shù)據(jù)點大致圍繞一個中心點均值呈橢球狀分布其形狀和朝向由協(xié)方差矩陣決定。選擇高斯分布作為基礎(chǔ)模型有幾個原因1) 數(shù)學(xué)性質(zhì)優(yōu)良便于推導(dǎo)和計算2) 中心極限定理為其提供了一定的理論支撐3) 很多實際數(shù)據(jù)在經(jīng)過適當(dāng)變換后可以近似用高斯分布描述。當(dāng)然這個假設(shè)可能過于強(qiáng)。如果真實數(shù)據(jù)分布明顯不是高斯的例如多模態(tài)分布模型性能就會下降。這時就需要更復(fù)雜的生成模型如混合模型、樸素貝葉斯假設(shè)特征獨立或深度生成模型如變分自編碼器。但在許多實際問題中特別是當(dāng)特征經(jīng)過精心設(shè)計和篩選后高斯假設(shè)是一個強(qiáng)大而實用的起點也是許多高級模型的理論基礎(chǔ)。3. 高斯判別分析理論與極大似然估計實戰(zhàn)當(dāng)我們假設(shè)每個類別的數(shù)據(jù)都來自一個多元高斯分布并且用這個模型來做分類時這個方法就叫做高斯判別分析。GDA是生成式分類中最經(jīng)典、最直觀的模型之一理解它等于掌握了生成式分類的“標(biāo)準(zhǔn)流程”。3.1 模型定義與假設(shè)對于二分類問題我們有類別標(biāo)簽 $y \in {0, 1}$其先驗分布為伯努利分布$y \sim \text{Bernoulli}(\phi)$即 $P(y1) \phi$ $P(y0) 1 - \phi$。給定類別 $yk$特征 $\mathbf{x}$ 的條件分布為多元高斯 $$P(\mathbf{x} | yk) \frac{1}{(2\pi)^{d/2} |\boldsymbol{\Sigma}_k|^{1/2}} \exp\left(-\frac{1}{2}(\mathbf{x} - \boldsymbol{\mu}_k)^T \boldsymbol{\Sigma}_k^{-1} (\mathbf{x} - \boldsymbol{\mu}_k)\right)$$ 這里 $d$ 是特征維度。GDA模型包含一組待學(xué)習(xí)的參數(shù)$\theta {\phi, \boldsymbol{\mu}_0, \boldsymbol{\mu}_1, \boldsymbol{\Sigma}_0, \boldsymbol{\Sigma}_1}$。這里有一個重要的建模選擇協(xié)方差矩陣 $\boldsymbol{\Sigma}_k$ 是否在不同類別間共享不同協(xié)方差QDA假設(shè) $\boldsymbol{\Sigma}_0 \neq \boldsymbol{\Sigma}_1$。這意味著兩個類別的數(shù)據(jù)不僅中心點不同其分布的“形狀”方差和特征間的相關(guān)性也可能完全不同。這更靈活但需要估計的參數(shù)更多兩個 $d \times d$ 的矩陣需要更多數(shù)據(jù)來避免過擬合。相同協(xié)方差LDA假設(shè) $\boldsymbol{\Sigma}_0 \boldsymbol{\Sigma}_1 \boldsymbol{\Sigma}$。這意味著兩個類別的數(shù)據(jù)分布形狀相同只是中心點不同。這個假設(shè)更強(qiáng)但極大地減少了參數(shù)量只需估計一個協(xié)方差矩陣模型更簡單在數(shù)據(jù)量較少或特征維度較高時更穩(wěn)定。此時后驗概率 $P(y1|\mathbf{x})$ 的決策邊界會是一個線性函數(shù)這也是“線性判別分析”名稱的由來而QDA的決策邊界是二次的。在數(shù)學(xué)建模中選擇LDA還是QDA是一個需要根據(jù)數(shù)據(jù)和問題背景來論證的決策點。通?？梢韵葟腖DA開始如果發(fā)現(xiàn)分類效果不佳再嘗試更靈活的QDA并通過交叉驗證來比較。3.2 參數(shù)估計極大似然估計的推導(dǎo)與應(yīng)用有了模型假設(shè)下一步就是從訓(xùn)練數(shù)據(jù) ${(\mathbf{x}^{(i)}, y^{(i)})}_{i1}^m$ 中估計出參數(shù) $\theta$。最常用的方法是極大似然估計。似然函數(shù)是所有訓(xùn)練樣本的聯(lián)合概率假設(shè)樣本獨立同分布 $$\mathcal{L}(\theta) \prod_{i1}^{m} P(\mathbf{x}^{(i)}, y^{(i)}; \theta) \prod_{i1}^{m} P(\mathbf{x}^{(i)} | y^{(i)}; \boldsymbol{\mu}, \boldsymbol{\Sigma}) P(y^{(i)}; \phi)$$為了方便求解我們通常最大化其對數(shù)似然函數(shù) $\ell(\theta) \log \mathcal{L}(\theta)$。通過令對數(shù)似然函數(shù)對各個參數(shù)的偏導(dǎo)數(shù)為零我們可以得到MLE的閉合解以LDA為例即共享協(xié)方差矩陣 $\boldsymbol{\Sigma}$先驗概率 $\phi$ 的估計 $$\hat{\phi} \frac{1}{m} \sum_{i1}^{m} \mathbb{I}{y^{(i)}1}$$ 這非常直觀就是訓(xùn)練集中正例樣本的比例。類別均值 $\boldsymbol{\mu}_k$ 的估計 $$\hat{\boldsymbol{\mu}}k \frac{\sum{i1}^{m} \mathbb{I}{y^{(i)}k} \mathbf{x}^{(i)}}{\sum_{i1}^{m} \mathbb{I}{y^{(i)}k}}$$ 即屬于類別 $k$ 的所有樣本特征向量的平均值。共享協(xié)方差矩陣 $\boldsymbol{\Sigma}$ 的估計 $$\hat{\boldsymbol{\Sigma}} \frac{1}{m} \sum_{i1}^{m} (\mathbf{x}^{(i)} - \hat{\boldsymbol{\mu}}{y^{(i)}})(\mathbf{x}^{(i)} - \hat{\boldsymbol{\mu}}{y^{(i)}})^T$$ 這是對總體協(xié)方差矩陣的估計計算了每個樣本與其所屬類別均值的偏差外積然后對所有樣本取平均。注意在實際計算中特別是當(dāng)樣本量 $m$ 不大于特征維度 $d$ 時直接計算出的 $\hat{\boldsymbol{\Sigma}}$ 可能是奇異的不可逆這在高維數(shù)據(jù)中非常常見。為了解決這個問題我們通常采用正則化或收縮估計例如使用 $\hat{\boldsymbol{\Sigma}}_{\text{reg}} \lambda \hat{\boldsymbol{\Sigma}} (1-\lambda) \text{diag}(\hat{\boldsymbol{\Sigma}})$其中 $\lambda$ 是一個介于0和1之間的超參數(shù)用于在原始協(xié)方差矩陣和對角協(xié)方差矩陣即假設(shè)特征間獨立之間做權(quán)衡。在scikit-learn的LinearDiscriminantAnalysis中可以通過shrinkage參數(shù)來實現(xiàn)。3.3 Python代碼實現(xiàn)從零搭建一個GDA分類器理解了數(shù)學(xué)原理動手實現(xiàn)一遍是加深理解的最好方式。我們不直接調(diào)用sklearn而是用NumPy從頭實現(xiàn)一個LDA分類器。import numpy as np class GaussianDiscriminantAnalysis: 線性判別分析LDA實現(xiàn)假設(shè)兩類共享協(xié)方差矩陣。 def __init__(self): self.phi None # P(y1) self.mu0 None # 類別0的均值向量 self.mu1 None # 類別1的均值向量 self.sigma None # 共享的協(xié)方差矩陣 self.sigma_inv None # 協(xié)方差矩陣的逆預(yù)計算以提高預(yù)測速度 def fit(self, X, y): 使用極大似然估計擬合模型參數(shù)。 參數(shù): X: 訓(xùn)練特征形狀 (m, n_features) y: 訓(xùn)練標(biāo)簽形狀 (m,)取值為0或1 m, n X.shape # 1. 估計先驗概率 phi self.phi np.mean(y) # 2. 估計類別均值 self.mu0 X[y 0].mean(axis0) self.mu1 X[y 1].mean(axis0) # 3. 估計共享協(xié)方差矩陣 (使用無偏估計分母為 m-2) # 計算每個類別的中心化數(shù)據(jù) X_centered0 X[y 0] - self.mu0 X_centered1 X[y 1] - self.mu1 # 合并協(xié)方差 # 公式: Sigma (1/(m-2)) * (X0_centered.T X0_centered X1_centered.T X1_centered) self.sigma (X_centered0.T X_centered0 X_centered1.T X_centered1) / (m - 2) # 為了避免數(shù)值問題加入一個很小的正則項沿對角線加一個小的常數(shù) reg 1e-6 self.sigma reg * np.eye(n) # 預(yù)計算協(xié)方差矩陣的逆后續(xù)預(yù)測會多次用到 self.sigma_inv np.linalg.inv(self.sigma) def _multivariate_gaussian_pdf(self, x, mu): 計算多元高斯分布的概率密度函數(shù)未歸一化的對數(shù)形式 # 計算二次型: (x - mu)^T Sigma^{-1} (x - mu) diff x - mu # 使用預(yù)計算的逆矩陣避免重復(fù)求逆 exponent -0.5 * diff.T self.sigma_inv diff # 忽略常數(shù)項因為在比較時會被抵消 return exponent def predict_proba(self, X): 預(yù)測屬于類別1的后驗概率 P(y1|X)。 參數(shù): X: 待預(yù)測特征形狀 (m_test, n_features) 返回: probas: 屬于類別1的概率形狀 (m_test,) # 計算對數(shù)似然忽略常數(shù)項和證據(jù)因子 log_likelihood1 np.array([self._multivariate_gaussian_pdf(x, self.mu1) for x in X]) log_likelihood0 np.array([self._multivariate_gaussian_pdf(x, self.mu0) for x in X]) # 加上先驗的對數(shù) log_joint1 log_likelihood1 np.log(self.phi) log_joint0 log_likelihood0 np.log(1 - self.phi) # 計算后驗概率 P(y1|X) exp(log_joint1) / (exp(log_joint0) exp(log_joint1)) # 使用log-sum-exp技巧避免數(shù)值下溢 max_log np.maximum(log_joint0, log_joint1) log_sum_exp max_log np.log(np.exp(log_joint0 - max_log) np.exp(log_joint1 - max_log)) probas np.exp(log_joint1 - log_sum_exp) return probas def predict(self, X, threshold0.5): 根據(jù)閾值進(jìn)行類別預(yù)測。 參數(shù): X: 待預(yù)測特征 threshold: 決策閾值默認(rèn)0.5 返回: y_pred: 預(yù)測的類別標(biāo)簽 (0或1) probas self.predict_proba(X) return (probas threshold).astype(int) # 示例使用鳶尾花數(shù)據(jù)集二分類只取兩類 from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score, classification_report # 加載數(shù)據(jù)只取前兩類Setosa和Versicolor做二分類 iris load_iris() X iris.data[:100] y iris.target[:100] # 劃分訓(xùn)練集和測試集 X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.3, random_state42) # 訓(xùn)練我們的LDA模型 gda GaussianDiscriminantAnalysis() gda.fit(X_train, y_train) # 預(yù)測 y_pred gda.predict(X_test) y_pred_proba gda.predict_proba(X_test) print(測試集準(zhǔn)確率:, accuracy_score(y_test, y_pred)) print(\n分類報告:) print(classification_report(y_test, y_pred, target_namesiris.target_names[:2])) print(\n前5個樣本的預(yù)測概率:, y_pred_proba[:5])這段代碼清晰地展示了LDA的整個流程參數(shù)估計、似然計算、貝葉斯決策。運行它你會得到一個不錯的分類準(zhǔn)確率。更重要的是你擁有了一個完全透明、可控制的模型。你可以修改_multivariate_gaussian_pdf函數(shù)來嘗試不同的協(xié)方差假設(shè)實現(xiàn)QDA或者加入更復(fù)雜的正則化策略。4. 超越高斯其他生成模型與實戰(zhàn)場景選擇高斯判別分析是生成式分類的“入門款”但現(xiàn)實世界的數(shù)據(jù)分布千奇百怪。當(dāng)高斯假設(shè)明顯不成立時我們需要更強(qiáng)大的工具。4.1 樸素貝葉斯當(dāng)特征維度爆炸時的救星樸素貝葉斯是生成模型家族中另一個極其重要的成員。它的核心假設(shè)是在給定類別的情況下所有特征都是條件獨立的。即 $$P(\mathbf{x} | C_k) P(x_1 | C_k) P(x_2 | C_k) ... P(x_d | C_k)$$這個“樸素”的假設(shè)在現(xiàn)實中幾乎從不成立比如“身高”和“體重”顯然是相關(guān)的但它卻帶來了巨大的計算優(yōu)勢參數(shù)量急劇減少不需要估計完整的 $d \times d$ 協(xié)方差矩陣只需要估計每個特征在每個類別下的邊緣分布參數(shù)。這使其特別適合超高維特征的場景例如文本分類詞袋模型特征維度動輒上萬。訓(xùn)練速度極快參數(shù)估計可以并行進(jìn)行且通常有閉合解。對缺失數(shù)據(jù)不敏感每個特征獨立估計缺失某個特征不影響其他特征的似然計算。根據(jù)對特征 $x_j$ 分布的不同假設(shè)樸素貝葉斯有以下常見變體高斯樸素貝葉斯假設(shè)連續(xù)特征服從高斯分布。適用于像鳶尾花數(shù)據(jù)集這樣的數(shù)值型特征。多項式樸素貝葉斯假設(shè)特征服從多項式分布。這是文本分類的經(jīng)典模型特征通常是詞頻或TF-IDF值。伯努利樸素貝葉斯假設(shè)特征是二元的出現(xiàn)/不出現(xiàn)。也常用于文本分類特別是短文本或側(cè)重于“是否出現(xiàn)”的場景。實戰(zhàn)心得文本分類的利器在數(shù)學(xué)建模競賽中如果遇到涉及文本情感分析、新聞分類、垃圾郵件識別等問題多項式樸素貝葉斯通常是你的第一道“基線模型”。它的實現(xiàn)簡單效果穩(wěn)定能快速提供一個可比較的基準(zhǔn)。在scikit-learn中使用MultinomialNB配合TfidfVectorizer幾行代碼就能搭建一個強(qiáng)大的文本分類器。雖然它的獨立性假設(shè)很強(qiáng)但在詞袋模型這種高維稀疏表示下往往能取得出乎意料的好效果。4.2 混合模型與期望最大化算法捕捉數(shù)據(jù)的內(nèi)部結(jié)構(gòu)很多時候一個類別內(nèi)部并不是同質(zhì)的。例如“客戶”這個類別里可能包含“高價值活躍客戶”、“低價值沉默客戶”、“即將流失客戶”等多個子群體。用一個單一的高斯分布去擬合這樣一個多模態(tài)的分布顯然會力不從心。高斯混合模型GMM就是為了解決這個問題而生。它假設(shè)數(shù)據(jù)是由多個高斯分布以一定權(quán)重混合而成的 $$P(\mathbf{x}) \sum_{k1}^{K} \pi_k \mathcal{N}(\mathbf{x} | \boldsymbol{\mu}_k, \boldsymbol{\Sigma}_k)$$ 其中 $\pi_k$ 是混合權(quán)重滿足 $\sum_k \pi_k 1$。GMM本身是一個無監(jiān)督聚類模型但它可以很自然地用于生成式分類方法一生成式分類對每個類別 $C_j$ 單獨擬合一個GMM即 $P(\mathbf{x} | C_j) \sum_{k1}^{K_j} \pi_{jk} \mathcal{N}(\mathbf{x} | \boldsymbol{\mu}{jk}, \boldsymbol{\Sigma}{jk})$。這相當(dāng)于用多個高斯分布的線性組合來更精細(xì)地描述每個類別的復(fù)雜分布。方法二兩階段法先用GMM對整個數(shù)據(jù)集不區(qū)分標(biāo)簽進(jìn)行聚類得到K個成分。然后將每個樣本的“軟聚類”結(jié)果即屬于各成分的后驗概率作為新的特征再輸入到一個標(biāo)準(zhǔn)的分類器如邏輯回歸中。這種方法有時能挖掘出數(shù)據(jù)中潛在的子結(jié)構(gòu)提升分類性能。GMM的參數(shù)估計無法像高斯分布那樣直接通過MLE得到閉合解需要使用期望最大化算法EM算法進(jìn)行迭代優(yōu)化。EM算法通過引入“隱變量”即每個樣本屬于哪個混合成分來簡化問題交替進(jìn)行E步計算隱變量的后驗期望和M步基于期望更新模型參數(shù)。實戰(zhàn)心得EM算法的陷阱與調(diào)優(yōu)EM算法對初始值敏感容易陷入局部最優(yōu)。在實際應(yīng)用中通常需要多次隨機(jī)初始化運行多次EM算法選擇似然函數(shù)值最大的那次結(jié)果。利用先驗知識初始化如果對數(shù)據(jù)子結(jié)構(gòu)有大致了解可以用K-Means聚類的結(jié)果來初始化GMM的均值和權(quán)重。約束協(xié)方差矩陣對于高維數(shù)據(jù)使用全協(xié)方差矩陣容易過擬合?？梢约s束為對角矩陣特征獨立甚至球狀矩陣各向同性這對應(yīng)sklearn.mixture.GaussianMixture中的covariance_type參數(shù)full,tied,diag,spherical。4.3 如何為你的問題選擇合適的生成模型面對一個具體的二分類建模任務(wù)如何在這些生成模型中做出選擇下面是一個決策參考流程數(shù)據(jù)探索先行永遠(yuǎn)的第一步是可視化。繪制特征的分布直方圖、散點圖矩陣。如果單個類別內(nèi)的特征分布看起來大致是單峰的、對稱的那么高斯判別分析LDA/QDA是一個很好的起點。審視特征維度與樣本量如果特征維度非常高$d 1000$樣本量有限樸素貝葉斯特別是多項式或伯努利變體是你的首選它的計算效率和防過擬合能力很強(qiáng)。如果樣本量充足$m d$可以嘗試更復(fù)雜的模型。檢查類別內(nèi)結(jié)構(gòu)如果懷疑一個類別內(nèi)部存在明顯的子群體例如在散點圖上看到多個簇考慮使用高斯混合模型來為每個類別建模?？梢杂脽o監(jiān)督聚類方法如K-Means先對每個類別的數(shù)據(jù)分別進(jìn)行聚類如果輪廓系數(shù)較高則提示可能需要混合模型。特征類型連續(xù)特征GDA GMM。離散/計數(shù)特征多項式/伯努利樸素貝葉斯。混合類型特征這比較棘手。一種方法是分別對連續(xù)和離散部分建?；蛘呤褂媚軌蛱幚砘旌蠑?shù)據(jù)的專用模型在某些軟件包中提供。最終驗證沒有理論能保證哪個模型一定最好。始終使用交叉驗證來比較不同生成模型以及判別模型在驗證集上的性能。在數(shù)學(xué)建模論文中這個模型對比和選擇的過程本身就是重要的分析內(nèi)容。5. 從模型到評價生成式分類的完整工作流與陷阱規(guī)避構(gòu)建一個模型只是開始如何評價它、優(yōu)化它并在實際中可靠地使用它才是更見功力的部分。對于生成式分類有一些獨特的評價要點和常見陷阱。5.1 評價指標(biāo)不止于準(zhǔn)確率對于二分類問題生成模型輸出的是概率 $P(y1|\mathbf{x})$。我們需要一個閾值通常為0.5將其轉(zhuǎn)化為類別標(biāo)簽。但僅僅看準(zhǔn)確率是遠(yuǎn)遠(yuǎn)不夠的。精確率、召回率與F1分?jǐn)?shù)當(dāng)類別不平衡時例如欺詐檢測中正例極少準(zhǔn)確率會嚴(yán)重失真。此時精確率查準(zhǔn)率和召回率查全率以及它們的調(diào)和平均F1分?jǐn)?shù)更能反映模型在稀有類別上的性能。生成模型通過調(diào)整決策閾值可以在精確率和召回率之間做出權(quán)衡繪制P-R曲線。ROC曲線與AUCROC曲線描繪了在不同閾值下模型的真正例率TPR和假正例率FPR的變化情況。其下的面積AUC值衡量的是模型整體的排序能力將正例樣本排在負(fù)例樣本前面的能力。AUC的一個巨大優(yōu)勢是它不依賴于具體的分類閾值這對于評估概率輸出本身的質(zhì)量非常有用。一個完美的生成模型其輸出的概率應(yīng)該能夠完美區(qū)分正負(fù)例AUC接近1。對數(shù)損失也稱為交叉熵?fù)p失。它直接衡量模型輸出的概率分布與真實標(biāo)簽分布的差異。公式為 $$\text{Log Loss} -\frac{1}{m} \sum_{i1}^{m} [y^{(i)} \log(p^{(i)}) (1-y^{(i)}) \log(1-p^{(i)})]$$ 其中 $p^{(i)} P(y^{(i)}1|\mathbf{x}^{(i)})$。對數(shù)損失對預(yù)測概率的“校準(zhǔn)度”非常敏感。一個被預(yù)測為0.9概率為正的樣本如果它實際是負(fù)的將對損失產(chǎn)生很大的懲罰。因此對數(shù)損失是評估概率生成模型預(yù)測“質(zhì)量”的金標(biāo)準(zhǔn)。一個好的生成模型不僅要有高的AUC還應(yīng)該有低的Log Loss。注意在數(shù)學(xué)建模競賽中清晰地展示這些評價指標(biāo)并解釋為什么選擇它們例如“由于本問題中正例樣本僅占10%我們更關(guān)注模型在正例上的識別能力因此主要采用F1分?jǐn)?shù)和AUC作為評價標(biāo)準(zhǔn)”能顯著提升論文的專業(yè)性。5.2 概率校準(zhǔn)讓你的模型輸出“真概率”生成模型從理論上給出了后驗概率但在實踐中由于模型假設(shè)不完美、參數(shù)估計有偏等原因其輸出的概率值可能并不“準(zhǔn)”。例如在100個被模型預(yù)測為“正例概率0.7”的樣本中實際只有60個是正例這說明模型過于自信了。概率校準(zhǔn)的目的就是修正這種偏差使得模型輸出的概率值與實際發(fā)生的頻率相一致。校準(zhǔn)后的概率在需要依賴概率進(jìn)行后續(xù)決策如風(fēng)險定價、資源分配的場景中至關(guān)重要。常用的校準(zhǔn)方法有Platt Scaling將原始模型輸出如決策函數(shù)值或概率通過一個邏輯回歸函數(shù)進(jìn)行映射。適用于像SVM這樣輸出非概率分?jǐn)?shù)的模型對生成模型也有一定效果。Isotonic Regression一種非參數(shù)方法可以學(xué)習(xí)任意單調(diào)的校準(zhǔn)映射比Platt Scaling更靈活但需要更多數(shù)據(jù)容易過擬合。在sklearn中可以使用CalibratedClassifierCV來方便地進(jìn)行概率校準(zhǔn)。它會自動在交叉驗證的每一折上用驗證集學(xué)習(xí)一個校準(zhǔn)器然后應(yīng)用到測試集上。實操建議對于嚴(yán)肅的應(yīng)用尤其是金融、醫(yī)療等領(lǐng)域?qū)ι赡Ｐ突蚱渌魏胃怕誓Ｐ瓦M(jìn)行概率校準(zhǔn)是一個推薦步驟。你可以通過繪制可靠性曲線來檢查校準(zhǔn)效果將預(yù)測概率分桶如[0,0.1), [0.1,0.2), ...計算每個桶內(nèi)樣本的平均預(yù)測概率和實際正例比例。如果點都落在對角線附近說明校準(zhǔn)得很好。5.3 常見陷阱與解決方案協(xié)方差矩陣奇異或病態(tài)這是高維小樣本數(shù)據(jù)使用GDA/QDA時最常見的問題。癥狀是計算似然時出現(xiàn)數(shù)值溢出或得到荒謬的結(jié)果。解決方案特征選擇/降維使用PCA、LDA這里的LDA是線性判別分析一種有監(jiān)督降維方法注意區(qū)分或基于模型的特征選擇減少特征維度。正則化收縮如前所述在估計的協(xié)方差矩陣上加入一個正則項如 $\hat{\boldsymbol{\Sigma}}_{\text{reg}} (1-\lambda)\hat{\boldsymbol{\Sigma}} \lambda \text{diag}(\hat{\boldsymbol{\Sigma}})$。sklearn的LinearDiscriminantAnalysis(solverlsqr, shrinkageauto)會自動選擇最優(yōu)的$\lambda$。使用樸素貝葉斯直接規(guī)避了全協(xié)方差矩陣的估計。類別先驗概率的誤用在訓(xùn)練集中各類別的樣本比例可能無法代表真實世界中的分布。例如在疾病篩查中訓(xùn)練數(shù)據(jù)可能包含大量病例但真實人群中患病率很低。解決方案fit方法中估計的phi是基于訓(xùn)練集的。如果你知道真實的先驗分布 $P_{\text{真實}}(C_k)$在預(yù)測時應(yīng)該使用它來修正后驗概率 $$P_{\text{修正}}(C_k|\mathbf{x}) \propto P(\mathbf{x}|C_k) \times P_{\text{真實}}(C_k)$$ 在sklearn的LDA和樸素貝葉斯中可以通過設(shè)置priors參數(shù)來指定。模型假設(shè)嚴(yán)重違背例如數(shù)據(jù)明顯是非高斯的、多模態(tài)的或者特征間存在復(fù)雜的非線性依賴關(guān)系。解決方案數(shù)據(jù)變換嘗試對特征進(jìn)行變換如對數(shù)變換、Box-Cox變換使其更接近高斯分布。使用更靈活的模型切換到混合模型GMM或者考慮判別式模型如核SVM、梯度提升樹它們對數(shù)據(jù)分布的假設(shè)更弱。生成模型并非萬能當(dāng)其主要優(yōu)勢如處理缺失值、提供數(shù)據(jù)分布不是當(dāng)前任務(wù)的核心需求時一個強(qiáng)大的判別模型可能是更簡單有效的選擇。計算復(fù)雜度QDA需要為每個類別估計并存儲一個 $d \times d$ 的協(xié)方差矩陣及其逆預(yù)測時需要計算二次型當(dāng) $d$ 很大時計算和存儲開銷都很大。解決方案對于高維數(shù)據(jù)優(yōu)先考慮LDA或樸素貝葉斯。如果必須使用QDA考慮使用對角QDA假設(shè)各類別的協(xié)方差矩陣都是對角矩陣這大大減少了參數(shù)量。生成式分類為我們打開了一扇從數(shù)據(jù)生成視角理解分類問題的大門。它不僅僅是給出一個預(yù)測標(biāo)簽更是提供了一套描述數(shù)據(jù)、量化不確定性的完整概率框架。在數(shù)學(xué)建模和實際應(yīng)用中當(dāng)你需要的不只是一個黑箱預(yù)測而是對問題更深刻的理解、對預(yù)測結(jié)果更可靠的信心評估時概率生成模型無疑是一個極具價值的工具。從扎實的高斯判別分析基礎(chǔ)出發(fā)逐步擴(kuò)展到更復(fù)雜的模型并時刻警惕數(shù)據(jù)與模型假設(shè)之間的差距你就能讓生成式思維在解決實際分類問題時大放異彩。