簡介這是一份面向機器學習初學者和 Java 開發(fā)者的線性回歸實現(xiàn)示例聚焦梯度下降與正態(tài)方程兩種求解方式。項目用小型 Java 程序從一組數(shù)據(jù)點中學習最佳擬合直線例如根據(jù) y Mx B 的輸入數(shù)據(jù)自動找到 M 與 B 的近似值并支持選擇高階多項式特征來擬合非線性函數(shù)可作為理解監(jiān)督學習基礎原理的入門代碼。壓縮包共 13 個文件體積約 44KB核心為 3 個 Java 源文件另有 5 個 txt 格式的訓練數(shù)據(jù)樣本含來自 Andrew Ng 課程的示例數(shù)據(jù)、配置文件與說明文檔以及 JAMA 矩陣運算庫的 jar 包便于直接運行和學習。目前已有 252 人學習瀏覽。通過閱讀源碼和切換不同訓練數(shù)據(jù)可以對比梯度下降迭代求解與正態(tài)方程直接求解的差異同時了解如何在 Java 項目中引入第三方矩陣庫并觀察特征選擇對回歸結(jié)果的影響適合教學演示、課程作業(yè)或新手自學。1. 線性回歸的同一個解梯度下降與正態(tài)方程為什么殊途同歸很多剛接觸機器學習的開發(fā)者都有同一個困惑線性回歸的最小二乘問題梯度下降要迭代幾千輪才給出一個近似解正態(tài)方程卻像變魔術(shù)一樣一步解出來。更玄的是這兩條路線算出的參數(shù)幾乎完全一致。想穿透這層表象必須落回誤差函數(shù)的形狀本身——線性回歸的成本函數(shù)是凸的只有一個全局最低點所以無論用負梯度路徑逼近還是用解析法一步求解終點都是同一個參數(shù)向量。這份用 Java 實現(xiàn)的 Linear-Regression 資源剛好把兩條路線同時擺在面前。這里從機制層面拆解它梯度下降為什么能收斂、正態(tài)方程為什么一步到位以及特征縮放、矩陣求逆這些工程細節(jié)里的坑在哪。2. 梯度下降步長與走向決定收斂還是發(fā)散2.1 凸地形為什么線性回歸沒有局部最優(yōu)陷阱把誤差函數(shù)畫成曲面梯度下降的每一步都是在問當前這個點往哪個方向走下降最快。對這個曲面形狀的判斷決定了你對梯度下降的全部信心來源。線性回歸用的成本函數(shù) J(θ) 通常寫成J(θ) (1/2m) Σ(h(x_i) - y_i)2其中 h(x) θ_0 x_0 θ_1 x_1 ... θ_n x_n并且通常約定 x_0 1這樣 θ_0 就是截距項。關鍵點在于h(x) 對參數(shù) θ 是線性關系所以 J(θ) 展開之后是 θ 的二次函數(shù)。二次函數(shù)要么開口向上要么開口向下這里由于平方項前面沒有負系數(shù)必然開口向上形狀像一個碗。決定碗沿曲率的是海森矩陣 X?X它天然是半正定的這意味著誤差曲面上既沒有局部低谷也沒有馬鞍點。這個性質(zhì)比很多深度學習任務幸運得多。神經(jīng)網(wǎng)絡里非凸的誤差曲面到處都是局部最優(yōu)和鞍點訓練對初始化極其敏感而線性回歸的成本面是嚴格的凸函數(shù)從參數(shù)空間任何一個點出發(fā)梯度下降都只會滾向同一個碗底。初值最多影響到達速度不影響最終落在哪里。這也是為什么線性回歸常常被拿來當機器學習的第一個入門模型——它把“優(yōu)化”這層黑匣子打開后里面的結(jié)構(gòu)是干凈的。2.2 學習率與更新步長走快了發(fā)散走慢了磨蹭梯度方向只給出角度不給出距離。距離由學習率 α 決定更新規(guī)則寫成θ_j : θ_j - α · (1/m) Σ(h(x_i) - y_i) · x_j^(i)逐項拆開看如果某個特征上的預測誤差 (h-y) 整體偏大說明當前 θ_j 偏低梯度為正減去它就上調(diào)反過來預測偏高梯度為負減去它反而下調(diào)。這個負號是整條更新規(guī)則的核心它保證每次移動都在壓低成本而不是抬升成本。梯度是當前點的最速上升方向取負號就是局部最速下降但這個結(jié)論只在無窮小步長下嚴格成立。α 一旦不是無窮小跨出一步之后地形已經(jīng)變了所以每一步本質(zhì)上都是局部近似決策這也是梯度下降這個名字沒有“精確”兩個字的原因。α 太小幾百輪之后還在碗邊磨蹭計算資源全花在無效位移上α 太大一步跨過碗底、沖到對面坡上來回震蕩甚至越彈越高代價曲線肉眼可見地往上飛。經(jīng)典的血淚經(jīng)驗是從 0.01 起步按十倍縮放試探直到看到 cost 平滑下降、沒有鋸齒就停手。如果用的是真實業(yè)務數(shù)據(jù)特征尺度和噪聲都不確定這個調(diào)參過程幾乎無法跳過只有特征縮放能把它壓到最低見第 4 章。2.3 批量梯度下降的 Java 實現(xiàn)同步更新是隱形的坑public double[] gradientDescent(double[][] X, double[] y, double[] theta, double alpha, int maxIter) { int m y.length; int n theta.length; for (int iter 0; iter maxIter; iter) { double[] grad new double[n]; // 第一趟基于當前 theta 計算所有特征的梯度分量 for (int j 0; j n; j) { double sum 0; for (int i 0; i m; i) { double h predict(X[i], theta); // 當前預測值 h(x^(i)) sum (h - y[i]) * X[i][j]; // 對 theta_j 的偏導累加 } grad[j] sum / m; // 平均梯度 } // 第二趟梯度全部算完再統(tǒng)一更新 theta for (int j 0; j n; j) { theta[j] - alpha * grad[j]; } } return theta; }這段實現(xiàn)里最容易被寫壞的細節(jié)是同步更新。所有 θ_j 必須基于舊參數(shù)計算梯度全部算完之后再一次應用更新。如果邊算邊改比如先更新 θ_0再拿被改過的 θ_0 去算 θ_1 的梯度那么每一維使用的參數(shù)狀態(tài)都不一樣方法不再是沿梯度方向的整體移動而變成了坐標下降的變體。對凸問題它未必發(fā)散但收斂路徑會扭曲代價曲線會出現(xiàn)不規(guī)則抖動排查起來很迷惑。另外注意 grad[j] sum / m 使用的是平均梯度。成本函數(shù)里 1/m 的求和平均在求導后仍然留下 1/m。有些實現(xiàn)還會在成本函數(shù)里多除以一個 2那是為了讓推導過程中二次項的 2 被抵消對最終最優(yōu)解沒有任何影響只要成本函數(shù)和梯度公式的比例保持一致即可。真正重要的是 predict(X[i], theta) 默認 X 的第一列是常數(shù) 1。你在構(gòu)造特征矩陣時忘了加這一列模型就會退化成過原點的線性映射截距項失去存在的意義預測值整體偏離目標均值方向。3. 正態(tài)方程一步求解背后的正交投影與矩陣推導3.1 從幾何視角看最小二乘殘差為什么必須垂直于特征空間梯度下降把求最優(yōu)參數(shù)變成一個走路的游戲正態(tài)方程則繞開了走路直接算出碗底的位置。這個“一步到位”能成立靠的是殘差與特征空間的正交關系。把特征矩陣 X 的每一列看成一個向量。預測值 y_hat Xθ 永遠落在 X 的列空間里也就是由特征向量張成的子空間。真實值 y 通常不落在這個子空間里所以殘差向量 r y - Xθ 一定存在。我們要最小化的是 ||r||2即殘差的平方長度。幾何直觀給出答案向量到子空間的最短距離出現(xiàn)在殘差向量與子空間垂直的那一刻。一旦垂直殘差與 X 的每一列都正交于是 X?(y - Xθ) 0。把這個條件展開就得到 X?Xθ X?y。這個方程的名字 normal equation 里的 “normal” 指的就是“垂直、正交”。所以正態(tài)方程不是拍腦袋湊出來的公式而是“殘差垂直”這個幾何條件經(jīng)過矩陣轉(zhuǎn)置之后的投影。想理解它為什么不用迭代核心就在這一句話梯度下降是在曲面上找下降路徑正態(tài)方程是直接解出垂直條件本身滿足的線性系統(tǒng)。3.2 代數(shù)推導矩陣求導那一步到底在做什么順著代數(shù)來推同樣能到達同一方程。成本函數(shù)寫成向量形式J(θ) (1/2m) ||y - Xθ||2 (1/2m)(y - Xθ)?(y - Xθ)對它求梯度套用矩陣求導法則?J(θ) -(1/m)X?(y - Xθ)令梯度等于零得到 X?Xθ X?y再解 θθ (X?X)?1X?y注意中間這一步的兩次運算其實就是計算殘差與所有特征的內(nèi)積。梯度為零恰好對應“殘差與特征張成的子空間正交”與幾何視角完全一致。這一招之所以能一步到位是因為二次函數(shù)導數(shù)唯一、極小點唯一換成任意非凸目標函數(shù)令梯度為零只能得到駐點不一定是全局最小值甚至可能落在鞍點上。3.3 Java 里別直接求逆矩陣高斯消元的實現(xiàn)思路public double[] normalEquation(double[][] X, double[] y) { int n X[0].length; double[][] A new double[n][n]; double[] b new double[n]; // 構(gòu)造正規(guī)方程組A X?Xb X?y for (int i 0; i n; i) { for (int j 0; j n; j) { double sum 0; for (int k 0; k X.length; k) { sum X[k][i] * X[k][j]; } A[i][j] sum; } double sum 0; for (int k 0; k X.length; k) { sum X[k][i] * y[k]; } b[i] sum; } // 高斯消元選主元提升數(shù)值穩(wěn)定性 for (int col 0; col n; col) { int pivot col; for (int row col 1; row n; row) { if (Math.abs(A[row][col]) Math.abs(A[pivot][col])) { pivot row; } } // 交換主元行 double[] tmpRow A[col]; A[col] A[pivot]; A[pivot] tmpRow; double tmpB b[col]; b[col] b[pivot]; b[pivot] tmpB; // 消去當前列下方的元素 for (int row col 1; row n; row) { double factor A[row][col] / A[col][col]; for (int j col; j n; j) { A[row][j] - factor * A[col][j]; } b[row] - factor * b[col]; } } // 回代求解 double[] theta new double[n]; for (int row n - 1; row 0; row--) { double sum b[row]; for (int col row 1; col n; col) { sum - A[row][col] * theta[col]; } theta[row] sum / A[row][row]; } return theta; }這里刻意沒有直接求 (X?X)?1 再乘 b原因有兩個。其一顯式求逆在浮點下更容易放大誤差計算逆矩陣相當于同時解 n 個線性方程組中間數(shù)值可能很大而且大部分計算我們根本用不到。其二我們想要的是 θ A?1b它本質(zhì)上是一個線性方程組的解直接對 A 做高斯消元再回代復雜度同樣是 O(n3)但常數(shù)更小代碼也更直觀。實現(xiàn)里有一處性能細節(jié)值得注意構(gòu)造 A 時循環(huán)順序是 i → j → k把 k 放在最內(nèi)層。Java 的二維數(shù)組按行存儲i 和 j 確定后內(nèi)層 k 在同一行里順序訪問緩存命中率高。如果把 k 放最外層每個內(nèi)部訪問都會跨到不同行不同列特征較多時性能肉眼可見地惡化。選主元的邏輯也不可省略當 A 的對角元素接近于零時直接做除法會產(chǎn)生天文數(shù)字級別的因子選主元通過行交換把最大的元素挪到對角線位置把數(shù)值風險掐在除法之前。4. Java 實現(xiàn)細節(jié)特征縮放、截距項與收斂判定4.1 特征縮放為什么只踩在梯度下降的痛處先擺結(jié)論正態(tài)方程對特征尺度在原理上不敏感梯度下降則非常敏感。原因是兩者處理信息的方式不同。梯度下降只用局部梯度做決策而梯度方向本身不具備對坐標軸的縮放不變性。假設一個特征取值在 0.001 量級另一個特征取值在 10000 量級成本函數(shù)的等值線會被拉成細長的橢圓。橢圓長軸方向曲率極低短軸方向曲率極高梯度下降會在窄的那個維度上來回震蕩像在一條深溝里左右彈跳遲遲不往前推進。這也是許多線性回歸代碼在跑梯度下降之前先做均值歸一化的原因public double[][] normalize(double[][] X) { int m X.length, n X[0].length; double[][] scaled new double[m][n]; // 第 0 列假定是截距項不參與縮放 for (int j 1; j n; j) { double mean 0; for (int i 0; i m; i) mean X[i][j]; mean / m; double variance 0; for (int i 0; i m; i) { variance (X[i][j] - mean) * (X[i][j] - mean); } double std Math.sqrt(variance / m); for (int i 0; i m; i) { scaled[i][j] (X[i][j] - mean) / std; } } return scaled; }縮放之后每個特征接近零均值、單位標準差等值線接近圓形梯度下降不管從哪個點出發(fā)方向都大致指向碗底。而正態(tài)方程之所以無所謂是因為解析解直接來自矩陣運算對 X 做列變換等價于在特征空間里做一個線性變換系數(shù)會相應補償最后得到的預測值不變。矩陣乘法天然內(nèi)建了坐標變換的相容性不需要像梯度下降那樣關心路徑上的坡度。4.2 截距項這一列到底該不該歸一化上面的 normalize 代碼里第 0 列被跳過了。這是有意設計。截距項對應的 x_0 是常數(shù) 1它的作用是為模型提供一個基線偏移。如果把它也拿去減均值、除標準差這一列會變成一個不為 1 的常數(shù)模型的 θ_0 跟特征尺度糾纏在一起預測值在訓練集上也許還能擬合但泛化時截距的語義完全錯亂。更隱蔽的問題是統(tǒng)計量的復用。歸一化必須在訓練集上算出 mean 和 std然后拿著同一組 mean/std 去變換訓練集和測試集。很多實現(xiàn)翻車就翻在這里對測試集重新計算均值再用來縮放測試數(shù)據(jù)。測試集分布本來就跟訓練集不完全一致一旦重算統(tǒng)計量特征尺度就變了等于把模型喂給分布外的輸入。訓練時的截距、系數(shù)都建立在訓練集統(tǒng)計量之上預測階段必須保持完全相同的坐標變換。4.3 收斂判定三種口徑各有各的盲區(qū)迭代什么時候算數(shù)常見三種判定方式成本函數(shù)下降幅度小于某個閾值梯度范數(shù)小于某個閾值最多迭代次數(shù)只看第 1 種會出現(xiàn)假收斂成本函數(shù)在接近碗底時下降本來就越來越慢坡度平緩不代表已經(jīng)到終點。第 2 種更接近數(shù)學本質(zhì)梯度為零才是真正的駐點梯度范數(shù)小說明確實走不動了。第 3 種是保險絲防止前兩種在異常情況下永遠不觸發(fā)。public boolean converged(double[] theta, double[][] X, double[] y, double eps, double[] lastGrad) { double norm 0; for (double g : lastGrad) norm g * g; norm Math.sqrt(norm); return norm eps; }這個判斷只看梯度范數(shù)不關心 cost 的絕對值代價是每輪都要多算一次梯度。工程上可以交替著用每隔幾百輪打印一次 cost 和梯度范數(shù)肉眼看到 cost 平滑下降到平臺期、梯度范數(shù)同步萎縮才算真正心里有底。只靠迭代次數(shù)硬闖很可能迭代上限設小了算法停在半山腰輸出一份看似合理但還沒到最優(yōu)的參數(shù)。5. 常見問題排查梯度下降翻車與正態(tài)方程的數(shù)值陷阱5.1 損失曲線不降反升學習率太大現(xiàn)象cost 打印出來一輪比一輪高甚至直接變成 NaN圖像上是一條向上沖的曲線。原因?qū)W習率 α 太大梯度下降一步跨過了碗底沖上對面坡之后新位置的梯度更陡下一輪跨得更遠最終一路滾出參數(shù)空間。在浮點層面過大的中間值還會溢出成無窮大后面的減法全失效。解決把 α 往小調(diào)按 10 倍量級試探0.1 → 0.01 → 0.001直到 cost 單調(diào)下降。更穩(wěn)的做法是畫收斂曲線看到鋸齒震蕩就縮減步長看到平滑下降就維持當前量級。5.2 矩陣奇異特征冗余與樣本不足互相打架現(xiàn)象跑正態(tài)方程時高斯消元在某一步出現(xiàn)除零或者回代解出的 θ 數(shù)值大得離譜。原因X?X 不可逆沒有唯一解。典型場景有三個特征之間存在線性相關比如同時放入攝氏溫度和華氏溫度兩列只差一個線性變換樣本數(shù) m 小于特征數(shù) n或者數(shù)據(jù)里有一列全是常數(shù)。解決刪掉冗余維度、增加樣本量或者給 X?X 對角線加上一個小常數(shù) λI變成嶺回歸形式的 (X?X λI)?1X?y。注意這里的 λ 不是學習率正則化強度通常取 1e-6 到 1 之間的小值目的是讓奇異矩陣變得可逆代價是參數(shù)有輕微偏差。它是數(shù)值上的后悔藥不是建模策略。5.3 特征量綱差異大梯度下降龜速但 cost 曲線平坦現(xiàn)象學習率已經(jīng)調(diào)得很小cost 還是下降極慢幾百輪過去沒怎么動只有調(diào)大 α 又立刻震蕩。原因特征沒有縮放成本函數(shù)等值線被拉成狹長橢圓。梯度在短軸方向來回反彈長軸方向緩慢推進宏觀表現(xiàn)就是“怎么走都不順”。解決跑梯度下降前強制做均值歸一化并且只縮放非截距列。做了之后往往發(fā)現(xiàn)同樣的 α 就能正常收斂問題不在步長而在地形。5.4 浮點求和順序特征多時正態(tài)方程悄悄漂移現(xiàn)象正態(tài)方程解出的參數(shù)與梯度下降結(jié)果不一致特征數(shù)量上百之后偏差明顯隨著特征增多越來越大。原因X?X 每個元素都是 m 個乘積的和特征之間數(shù)量級差異大時某些求和項接近一正一負互相抵消浮點在求和過程中丟失了有效位。這是數(shù)學上無懈可擊的公式落到 IEEE 754 浮點之后有了次序相關的舍入誤差。解決先對特征做歸一化再構(gòu)造 X?X把條件數(shù)壓下來高斯消元里選主元已經(jīng)是第一道防線。若還嫌不夠可以在內(nèi)層求和時改用 Kahan 補償求和記錄每一步的舍入誤差把精度損失補回來。對絕大多數(shù)場景特征歸一化加選主元已經(jīng)足夠。5.5 提前終止的假收斂cost 平臺不等于最優(yōu)現(xiàn)象cost 曲線看起來已經(jīng)平了但把參數(shù)拿去驗證集上評估效果明顯不對或者再繼續(xù)迭代還能繼續(xù)下降。原因收斂條件寫成了“相鄰兩輪 cost 差小于閾值”而在某些地形下 cost 下降在很早期就會出現(xiàn)一個平緩的平臺尤其特征數(shù)量大、步長小時更明顯。梯度還不夠小只是變化慢了。解決改用梯度范數(shù)作為終止條件并設足夠大的最大迭代次數(shù)作為保險。如果計算資源允許保留一個驗證集把每輪的驗證誤差也打出來看到驗證誤差還在改善就繼續(xù)迭代直到驗證誤差開始回升才考慮早停。6. 復雜度與適用邊界這份實現(xiàn)什么時候該被替換梯度下降與正態(tài)方程本質(zhì)解同一個問題但代價曲線完全不同。批量梯度下降每一輪需要掃描全部 m 個樣本對 n 個特征各算一次梯度單輪復雜度 O(mn)總輪數(shù)取決于數(shù)據(jù)規(guī)模和條件數(shù)通常在幾百到幾萬之間。正態(tài)方程需要構(gòu)造 X?X復雜度 O(mn2)樸素實現(xiàn)下每個元素都要掃一遍 m再解一個 n×n 的線性方程組整體 O(n3)。兩者在資源消耗上的分水嶺非常清楚維度梯度下降正態(tài)方程單輪/單次復雜度O(mn)輪數(shù)不定O(mn2 n3)內(nèi)存需求存特征矩陣即可額外存 n×n 矩陣特征數(shù)量 n適合 n 很大的場景n 過千后明顯吃力增量更新支持在線學習來一個新樣本就能更新一步需要全量重算數(shù)值穩(wěn)定性依賴學習率與縮放依賴條件數(shù)病態(tài)時易飄這張表告訴我的不是“哪個更好”而是“數(shù)據(jù)長什么樣就應該選哪條路”。n 小比如幾十到幾百、m 再大也不怕的時候正態(tài)方程幾乎總是更省事不用調(diào)學習率不用養(yǎng)收斂曲線一步到位。n 上了幾千、甚至特征稀疏到無法直接塞進 dumux 矩陣時梯度下降配合特征縮放和正則化更可控而且可以通過隨機梯度下降把單輪復雜度降到 O(n)犧牲精度換取速度。這份 Java 實現(xiàn)把兩條路線都放在一個資源里正好適合當作對比實驗臺構(gòu)造一份中等規(guī)模的數(shù)據(jù)先跑正態(tài)方程得到參考參數(shù)再跑梯度下降對比兩者的 cost 曲線和最終 θ。我自己拿到任何線性回歸數(shù)據(jù)的第一件事就是先數(shù)清 m 和 n再決定主線走哪條路如果兩條路線都在代碼里就強制自己把兩邊結(jié)果交叉比對一遍一致才敢把模型拿去部署。這個習慣幫我攔住過好幾回 beta 階段才發(fā)現(xiàn)的數(shù)據(jù)拼接錯誤——當梯度下降和正態(tài)方程給出的參數(shù)不一致幾乎總能挖出一個底層 bug要么特征沒對齊要么歸一化泄漏要么矩陣構(gòu)造時下標越界。希望這份資源的代碼也能給你同樣的確定性也希望這套“先看數(shù)據(jù)規(guī)模、再選算法路線、最后交叉驗證”的思路對你接下來的項目有幫助。本文還有配套的精品資源點擊獲取