LSTM 的門結(jié)構(gòu)與長程依賴問題LSTMLong Short-Term Memory通過引入細(xì)胞狀態(tài)Cell State和三個門控機(jī)制來解決標(biāo)準(zhǔn) RNN 的梯度消失問題。核心設(shè)計思想是為梯度提供一條貫穿所有時間步的加法通路避免矩陣連乘導(dǎo)致的梯度衰減。整體結(jié)構(gòu)C_{t-1} ────────────●──────────────── C? ← 細(xì)胞狀態(tài)信息高速公路 ↑ h_{t-1} ──┬──→ [遺忘門 f?] ──┐ │ │ x? ────┤──→ [輸入門 i?] ──→●(加)──→ C? │ ↑ │ │ [候選 C??] │ │ │ └──→ [輸出門 o?] ──→ tanh(C?) ⊙ o? ──→ h?三個門的詳細(xì)作用1. 遺忘門Forget Gate—— 決定丟棄什么f? σ(W_f · [h_{t-1}, x?] b_f)輸入上一步隱藏狀態(tài)h_{t-1} 當(dāng)前輸入x?輸出0 到 1 之間的向量逐元素控制作用決定細(xì)胞狀態(tài)C_{t-1}中哪些信息需要遺忘哪些需要保留f? → 0完全遺忘對應(yīng)維度的歷史信息f? → 1完全保留對應(yīng)維度的歷史信息直覺在語言模型中處理新主語時遺忘門會關(guān)閉以丟棄舊主語的性別信息。2. 輸入門Input Gate—— 決定寫入什么i? σ(W_i · [h_{t-1}, x?] b_i) C?? tanh(W_C · [h_{t-1}, x?] b_C)輸入門i?0 到 1 的向量控制每個維度允許寫入多少新信息候選狀態(tài)C??tanh 輸出-1 到 1表示候選的新信息內(nèi)容作用兩者逐元素相乘i? ⊙ C??決定將多少新信息寫入細(xì)胞狀態(tài)直覺遇到新主語 “Alice” 時輸入門打開將 “女性” 信息寫入細(xì)胞狀態(tài)。3. 輸出門Output Gate—— 決定輸出什么o? σ(W_o · [h_{t-1}, x?] b_o) h? o? ⊙ tanh(C?)作用決定細(xì)胞狀態(tài)C?中哪些信息作為當(dāng)前時間步的隱藏狀態(tài)h?輸出細(xì)胞狀態(tài)先經(jīng) tanh 壓縮到 [-1, 1]再與輸出門逐元素相乘直覺細(xì)胞狀態(tài)中可能存儲了主語性別信息但當(dāng)前詞是動詞不需要輸出性別輸出門關(guān)閉。細(xì)胞狀態(tài)更新加法通路的關(guān)鍵三個門協(xié)同工作細(xì)胞狀態(tài)的更新公式C? f? ⊙ C_{t-1} i? ⊙ C?? ↑ ↑ 遺忘門控制保留 輸入門控制寫入這是 LSTM 解決梯度消失的核心所在。為什么能解決梯度消失對比標(biāo)準(zhǔn) RNN 和 LSTM 的梯度傳播路徑標(biāo)準(zhǔn) RNNh? tanh(W_hh · h_{t-1} W_xh · x?) ?h?/?h_{t-1} W_hh · diag(tanh(h?)) ← 矩陣乘法連乘 T 次 → (W_hh)^T → 消失/爆炸LSTMC? f? ⊙ C_{t-1} i? ⊙ C?? ?C?/?C_{t-1} f? ← 逐元素乘法不是矩陣乘法關(guān)鍵區(qū)別標(biāo)準(zhǔn) RNNLSTM梯度傳播方式矩陣連乘(W_hh)^T逐元素乘法∏ f?連乘問題特征值連乘 → 指數(shù)衰減/增長無矩陣連乘無特征值問題梯度控制無遺忘門f?可學(xué)習(xí)為接近 1當(dāng)遺忘門f? ≈ 1時?L/?C? ?L/?C_T · ∏(t2→T) f? ≈ ?L/?C_T · 1梯度幾乎無損地從最后一步傳回第一步長距離依賴得以保留。各門協(xié)作的完整示例以語言模型處理句子The cat, which already ate fish, was full.為例時間步當(dāng)前詞遺忘門輸入門輸出門細(xì)胞狀態(tài)變化t1The打開寫入定冠詞輸出C: [定冠詞]t2cat保留寫入貓、單數(shù)輸出C: [定冠詞, 貓, 單數(shù)]t3-7which…fish保留主語信息寫入從句信息從句輸出C: [貓, 單數(shù), …從句]t8was保留單數(shù)寫入過去時輸出C: [貓,單數(shù), 過去時]t9full保留—輸出C: [貓, 單數(shù), 過去時]was需要回溯到cat距離 6 步獲取單數(shù)信息 → 遺忘門保持打開細(xì)胞狀態(tài)中的單數(shù)信息一路保留標(biāo)準(zhǔn) RNN 在 6 步后梯度已嚴(yán)重衰減無法將cat的單數(shù)信息傳遞到was總結(jié)門公式作用類比遺忘門 f?σ(W_f·[h_{t-1},x?])控制歷史信息的保留/丟棄橡皮擦輸入門 i?σ(W_i·[h_{t-1},x?])控制新信息的寫入量筆候選狀態(tài) C??tanh(W_C·[h_{t-1},x?])生成候選新信息墨水輸出門 o?σ(W_o·[h_{t-1},x?])控制細(xì)胞狀態(tài)到輸出的量閱讀窗口核心結(jié)論LSTM 解決長程依賴的本質(zhì)不是門本身而是細(xì)胞狀態(tài)更新公式C? f? ⊙ C_{t-1} i? ⊙ C??中的加法結(jié)構(gòu)。加法使得梯度傳播變?yōu)橹鹪爻朔ㄓ煽蓪W(xué)習(xí)的遺忘門控制而非矩陣連乘從而讓遺忘門可以學(xué)會保持接近 1使梯度長距離無損傳播。三個門的作用是讓模型自適應(yīng)地控制信息的保留、寫入和輸出使加法通路攜帶的是有用信息而非噪聲。