反向傳播算法一、計算圖二、一直是后面導(dǎo)數(shù)乘以當(dāng)前自變量系數(shù)得出當(dāng)前自變量的導(dǎo)數(shù)?*(我個人疑問)三、鏈?zhǔn)椒▌t(反向傳播的精髓一定搞明白不然沒法向下繼續(xù)學(xué)習(xí))四、反向傳播加法節(jié)點的反向傳播乘法節(jié)點的反向傳播(明顯看出來受到相乘系數(shù)就是偏導(dǎo))反向傳播Backward Propagation 或 Back PropagationBP 算法指的是計算神經(jīng)網(wǎng)絡(luò)參數(shù)梯度的方法。簡言之該方法根據(jù)微積分中的鏈?zhǔn)椒▌t按相反的順序從輸出層到輸入層遍歷網(wǎng)絡(luò)。該算法存儲了計算某些參數(shù)梯度時所需的任何中間變量。復(fù)合函數(shù)的鏈?zhǔn)角髮?dǎo)法則一、計算圖計算圖將計算過程用圖表示出來。這里說的圖是數(shù)據(jù)結(jié)構(gòu)中的圖通過多個節(jié)點和邊表示連接節(jié)點的直線稱為邊。如上就是 100 × 2 150 × 3 650 的計算圖表示。計算圖的基本計算原則就是從輸入出發(fā)、按照箭頭方向從左到右依次進行計算最終得到輸出結(jié)果。這個過程其實就是 前向傳播forward。計算圖的特點是可以通過傳遞“局部計算”獲得最終結(jié)果。即只需根據(jù)與自己相關(guān)的信息輸出接下來的結(jié)果。無論全局的計算有多么復(fù)雜各個節(jié)點所要做的就是進行局部計算并傳遞計算結(jié)果最終得出全局的復(fù)雜計算的結(jié)果如果增加更多的計算環(huán)節(jié)比如再乘以一個“零售加價系數(shù)”計算圖如下所示如果我們進一步考慮當(dāng)衣服的價格上漲輸入變化時會多大程度上影響最后要支付的金額輸出結(jié)果將輸入的衣服價格記為( x (x(x)輸出的支付金額記為( L (L(L)這其實就是要求導(dǎo)數(shù)值( ? L ? x (\frac{\partial L}{\partial x}(?x?L?)。在計算圖上我們可以利用反向從右到左的傳遞來方便地計算導(dǎo)數(shù)。這個過程就可以叫做反向傳播backward。這里衣服加1收到和他相乘個數(shù)影響就變成2如果再來一個相乘個數(shù)x那就是 2x這里最后零售價加價系數(shù)也是相乘1.1所以變成2.2x 這就是衣服加1最終總價影響變得是衣服單價他最終影響收到相乘的影響從而得出衣服單價對總價的導(dǎo)數(shù)如果衣服件數(shù)加1他的導(dǎo)數(shù)是110一定根據(jù)這簡單舉例明白這些局部偏導(dǎo):這里每次自變量變化對應(yīng)局部導(dǎo)數(shù)就是和自變量變化 相乘的那個數(shù)加法當(dāng)前局部導(dǎo)數(shù)就是1沒變化方式一順著你的思路計算圖反向傳播求導(dǎo)正向傳播先看數(shù)值變化如果衣服件數(shù)原來是 2現(xiàn)在加 1 變成 3。衣服的總價從 (100 \times 2 200) 變成了 (100 \times 3 300)也就是增加了 100。最終支付金額增加了 (100 \times 1.1零售系數(shù) 110)。反向傳播求導(dǎo)數(shù)即圖中的紅色箭頭看“衣服件數(shù)”到“乘法節(jié)點”這條邊局部導(dǎo)數(shù)是衣服單價也就是100。看“加法節(jié)點”的右側(cè)加法直接傳遞導(dǎo)數(shù)依然是100?？础俺朔ü?jié)點乘以1.1”這條邊局部導(dǎo)數(shù)是零售系數(shù)1.1。最后把路徑上的局部導(dǎo)數(shù)相乘(100 \times 1.1 \mathbf{110})。所以衣服件數(shù)對最終總價的導(dǎo)數(shù)是 110。方式二用純數(shù)學(xué)公式推導(dǎo)最嚴謹我們把整個過程寫成一個總價公式設(shè) (Y) 為最終支付金額(x) 為衣服件數(shù)。(Y (衣服單價 \times x 褲子單價 \times 褲子件數(shù)) \times 零售系數(shù))代入圖中的數(shù)字(Y (100 \times x 150 \times 3) \times 1.1)(Y 110x 495)現(xiàn)在我們對 (x)衣服件數(shù)求導(dǎo)(\frac{\partial Y}{\partial x} 110)公式求導(dǎo)的結(jié)果也是 110。二、一直是后面導(dǎo)數(shù)乘以當(dāng)前自變量系數(shù)得出當(dāng)前自變量的導(dǎo)數(shù)?*(我個人疑問)在計算圖里這被稱為“上游傳來的導(dǎo)數(shù)后面的導(dǎo)數(shù)”乘以“當(dāng)前節(jié)點的局部導(dǎo)數(shù)也就是你說的當(dāng)前自變量系數(shù)”。場景一單純的乘法節(jié)點適用我疑問的規(guī)律假設(shè)函數(shù)是( y 3 x (y 3x(y3x)系數(shù)是 3。如果( x (x(x) 變化一點點( y (y(y) 的變化量就是( x (x(x) 變化量的 3 倍。所以( ? y ? x 3 (\frac{\partial y}{\partial x} 3(?x?y?3)。如果這個乘法節(jié)點前面還有更復(fù)雜的網(wǎng)絡(luò)后面?zhèn)骰貋淼膶?dǎo)數(shù)是( L ′ (L(L′)上游導(dǎo)數(shù)。那么( x (x(x) 的導(dǎo)數(shù)就是( L ′ × 3 (L \times 3(L′×3)。這就是你說的“后面導(dǎo)數(shù) x 當(dāng)前系數(shù)”。場景二加法節(jié)點你的規(guī)律的補充假設(shè)函數(shù)是( y x z (y x z(yxz)加法節(jié)點。如果( x (x(x) 變化一點點( y (y(y) 的變化量就是( x (x(x) 的變化量不會放大也不會縮小。所以加法節(jié)點的局部導(dǎo)數(shù)系數(shù)永遠是 1。如果后面?zhèn)骰貋淼膶?dǎo)數(shù)是( L ′ (L(L′)上游導(dǎo)數(shù)。那么( x (x(x) 的導(dǎo)數(shù)就是( L ′ × 1 L ′ (L \times 1 L(L′×1L′)。這也印證了你說的規(guī)律乘以當(dāng)前系數(shù)加法節(jié)點系數(shù)是1相當(dāng)于沒變。三、鏈?zhǔn)椒▌t(反向傳播的精髓一定搞明白不然沒法向下繼續(xù)學(xué)習(xí))反向傳播將局部導(dǎo)數(shù)向反方向傳遞傳遞的原理基于鏈?zhǔn)椒▌t。反向傳播時將信號乘以節(jié)點的局部導(dǎo)數(shù)然后傳遞給下一個節(jié)點。仔細想下面這鏈?zhǔn)椒▌t,很重要仔細想下面這鏈?zhǔn)椒▌t,很重要仔細想下面這鏈?zhǔn)椒▌t,很重要L 代表的就是最后整體計算的結(jié)果通常在神經(jīng)網(wǎng)絡(luò)中L 代表 Loss即最終的損失函數(shù)值在你之前看的價格計算圖里L(fēng) 就是最終的支付總金額舉例:對于復(fù)合函數(shù)( z ( x y ) 2 (z (x y)^2(z(xy)2)令( u x y (u x y(uxy)則? z ? x ? z ? u ? u ? x 2 u × 1 2 ( x y ) \frac{\partial z}{\partial x} \frac{\partial z}{\partial u} \frac{\partial u}{\partial x} 2u \times 1 2(x y)?x?z??u?z??x?u?2u×12(xy)四、反向傳播利用計算圖的反向傳播可以很容易地計算出輸出關(guān)于輸入的偏導(dǎo)數(shù)。加法節(jié)點的反向傳播對于( z x y (z x y(zxy)( ? z ? x 1 (\frac{\partial z}{\partial x} 1(?x?z?1)( ? z ? y 1 (\frac{\partial z}{\partial y} 1(?y?z?1)。因此加法的反向傳播會將上游傳來的值原樣向下游傳遞。乘法節(jié)點的反向傳播(明顯看出來受到相乘系數(shù)就是偏導(dǎo))對于( z x y (z xy(zxy)( ? z ? x y (\frac{\partial z}{\partial x} y(?x?z?y)( ? z ? y x (\frac{\partial z}{\partial y} x(?y?z?x)。因此乘法的反向傳播會將上游傳來的值乘以輸入的翻轉(zhuǎn)向下游傳遞。這里在前向傳播的過程就要記住得到的x是多少y是多少,并保存。因為這寫值在反向傳播的時候且是乘法節(jié)點時候會影響當(dāng)前局部導(dǎo)數(shù)。所以在反向傳播的時候一定要先執(zhí)行一次前向傳播