1. 當(dāng)Transformer遇上時(shí)間序列為什么選擇Informer時(shí)間序列預(yù)測(cè)一直是數(shù)據(jù)分析領(lǐng)域的核心挑戰(zhàn)。傳統(tǒng)方法如ARIMA、LSTM雖然各有優(yōu)勢(shì)但在處理長(zhǎng)序列預(yù)測(cè)任務(wù)時(shí)往往力不從心。2017年Transformer架構(gòu)的橫空出世為這一領(lǐng)域帶來(lái)了全新思路。而Informer作為T(mén)ransformer在時(shí)間序列預(yù)測(cè)領(lǐng)域的里程碑式改進(jìn)其創(chuàng)新性的Prob稀疏自注意力機(jī)制和蒸餾操作成功解決了傳統(tǒng)Transformer在長(zhǎng)序列預(yù)測(cè)中的三大痛點(diǎn)二次計(jì)算復(fù)雜度、內(nèi)存瓶頸和預(yù)測(cè)速度。我去年在電力負(fù)荷預(yù)測(cè)項(xiàng)目中首次接觸Informer當(dāng)時(shí)用LSTM模型預(yù)測(cè)未來(lái)72小時(shí)的負(fù)荷MAPE指標(biāo)始終卡在8%左右。改用Informer后不僅預(yù)測(cè)精度提升到5.2%訓(xùn)練速度還快了3倍。這促使我深入研究了其源碼實(shí)現(xiàn)本文將帶大家手撕Informer的核心代碼特別關(guān)注其如何改造傳統(tǒng)Transformer的自注意力機(jī)制來(lái)適配時(shí)間序列特性。2. Informer架構(gòu)全景解析2.1 整體架構(gòu)設(shè)計(jì)Informer的模型結(jié)構(gòu)看似復(fù)雜實(shí)則由四個(gè)關(guān)鍵模塊有機(jī)組成嵌入層處理時(shí)間序列的局部特征和全局位置信息編碼器采用Prob稀疏自注意力進(jìn)行特征提取解碼器使用標(biāo)準(zhǔn)自注意力生成預(yù)測(cè)結(jié)果蒸餾層逐層減少序列長(zhǎng)度以提升效率class Informer(nn.Module): def __init__(self, enc_in, dec_in, c_out, seq_len, label_len, out_len, factor5, d_model512, n_heads8, e_layers3, d_layers2, ...): super(Informer, self).__init__() self.enc_embedding DataEmbedding(enc_in, d_model) self.dec_embedding DataEmbedding(dec_in, d_model) self.encoder Encoder([EncoderLayer(...) for _ in range(e_layers)]) self.decoder Decoder([DecoderLayer(...) for _ in range(d_layers)]) self.projection nn.Linear(d_model, c_out)關(guān)鍵細(xì)節(jié)時(shí)間序列嵌入不同于NLP中的位置編碼Informer采用了Conv1dPositionalEncoding的混合方式既捕捉局部模式又保留絕對(duì)位置信息。2.2 Prob稀疏自注意力機(jī)制傳統(tǒng)Transformer的自注意力計(jì)算所有token對(duì)的關(guān)聯(lián)導(dǎo)致O(L2)復(fù)雜度。Informer的創(chuàng)新在于Query稀疏性測(cè)量通過(guò)KL散度評(píng)估查詢(xún)的重要性Top-u選擇策略只保留最關(guān)鍵的u個(gè)查詢(xún)參與計(jì)算概率分布修正保持注意力得分的概率特性class ProbAttention(nn.Module): def _prob_QK(self, Q, K, sample_k, n_top): # Q.shape [bs, n_heads, len_q, d_k] B, H, L_K, E K.shape _, _, L_Q, _ Q.shape # 計(jì)算查詢(xún)稀疏性得分 M torch.max(torch.matmul(Q, K.transpose(-2, -1)), -1)[0] - torch.matmul(Q, K.transpose(-2, -1)).mean(-1)) M_top M.topk(n_top, sortedFalse)[1] # 僅使用選中的查詢(xún)計(jì)算注意力 Q_reduce Q.gather(2, M_top.unsqueeze(-1).expand(-1, -1, -1, E)) return torch.matmul(Q_reduce, K.transpose(-2, -1)), M_top實(shí)測(cè)表明當(dāng)序列長(zhǎng)度達(dá)到1024時(shí)ProbAttention能減少50%內(nèi)存占用同時(shí)保持95%以上的預(yù)測(cè)精度。3. 編碼器實(shí)現(xiàn)細(xì)節(jié)剖析3.1 自注意力蒸餾機(jī)制編碼器的核心創(chuàng)新在于逐層的蒸餾操作通過(guò)卷積和最大池化壓縮序列長(zhǎng)度class ConvLayer(nn.Module): def __init__(self, c_in): super(ConvLayer, self).__init__() padding 1 if torch.__version__1.5.0 else 2 self.downConv nn.Conv1d(c_in, c_in, kernel_size3, paddingpadding, padding_modecircular) def forward(self, x): x self.downConv(x.permute(0, 2, 1)) x nn.functional.max_pool1d(x, kernel_size3, stride2, padding1) return x.permute(0, 2, 1)這種設(shè)計(jì)帶來(lái)兩個(gè)優(yōu)勢(shì)高層特征具有更廣的感受野顯著減少解碼器的計(jì)算負(fù)擔(dān)3.2 時(shí)間特征嵌入策略Informer的嵌入層專(zhuān)門(mén)針對(duì)時(shí)間序列設(shè)計(jì)class DataEmbedding(nn.Module): def __init__(self, c_in, d_model, dropout0.1): super(DataEmbedding, self).__init__() self.value_embedding TokenEmbedding(c_in, d_model) self.position_embedding PositionalEmbedding(d_model) self.temporal_embedding TimeFeatureEmbedding(d_model) def forward(self, x, x_mark): x self.value_embedding(x) self.position_embedding(x) self.temporal_embedding(x_mark) return x其中TimeFeatureEmbedding會(huì)處理分鐘、小時(shí)、星期等時(shí)間特征這對(duì)電力負(fù)荷等具有明顯周期性的數(shù)據(jù)尤為重要。4. 解碼器實(shí)現(xiàn)與預(yù)測(cè)技巧4.1 兩階段預(yù)測(cè)機(jī)制Informer解碼器采用獨(dú)特的start token設(shè)計(jì)class Decoder(nn.Module): def __init__(self, layers, norm_layerNone): super(Decoder, self).__init__() self.layers nn.ModuleList(layers) self.norm norm_layer def forward(self, x, cross, x_maskNone, cross_maskNone): for layer in self.layers: x layer(x, cross, x_mask, cross_mask) if self.norm is not None: x self.norm(x) return x實(shí)際使用時(shí)需要用已知序列的前l(fā)abel_len個(gè)點(diǎn)作為初始輸入逐步預(yù)測(cè)后續(xù)out_len個(gè)點(diǎn)采用teacher forcing策略提升訓(xùn)練穩(wěn)定性4.2 預(yù)測(cè)結(jié)果后處理在電力負(fù)荷預(yù)測(cè)中我們發(fā)現(xiàn)兩個(gè)提升效果的關(guān)鍵技巧動(dòng)態(tài)溫度系數(shù)對(duì)預(yù)測(cè)結(jié)果進(jìn)行softmax溫度調(diào)節(jié)def adjust_temp(logits, temp0.5): return logits / temp周期一致性約束強(qiáng)制預(yù)測(cè)結(jié)果滿(mǎn)足日周期規(guī)律def apply_period_constraint(pred, period24): pred_reshaped pred.reshape(-1, period) pred_smoothed pred_reshaped.mean(0).repeat(pred.shape[0]//period) return pred * 0.7 pred_smoothed * 0.35. 實(shí)戰(zhàn)中的調(diào)參經(jīng)驗(yàn)經(jīng)過(guò)多個(gè)項(xiàng)目的驗(yàn)證我們總結(jié)出以下關(guān)鍵參數(shù)配置參數(shù)推薦值作用說(shuō)明d_model512影響模型容量和訓(xùn)練速度的平衡n_heads8最佳實(shí)踐值過(guò)多反而降低效果factor5控制ProbAttention的稀疏程度e_layers3編碼器層數(shù)超過(guò)3層收益遞減learning_rate0.0001配合Adam優(yōu)化器的最佳學(xué)習(xí)率重要發(fā)現(xiàn)batch_size對(duì)Informer的影響比傳統(tǒng)模型更顯著。在32GB顯存的GPU上batch_size64通常能取得最佳效果過(guò)小會(huì)導(dǎo)致訓(xùn)練不穩(wěn)定過(guò)大則會(huì)降低模型泛化能力。常見(jiàn)問(wèn)題解決方案預(yù)測(cè)結(jié)果波動(dòng)大嘗試增大ProbAttention中的factor值長(zhǎng)期預(yù)測(cè)不準(zhǔn)增加蒸餾層的卷積核尺寸訓(xùn)練速度慢減小d_model的同時(shí)增加n_heads6. 擴(kuò)展應(yīng)用與性能對(duì)比我們將Informer與主流時(shí)間序列模型在ETT數(shù)據(jù)集上對(duì)比模型MSE (24步)訓(xùn)練時(shí)間/epoch內(nèi)存占用LSTM0.3852min3GBTransformer0.2968min12GBInformer0.2415min7GB實(shí)際部署時(shí)Informer還有兩個(gè)優(yōu)化方向量化壓縮將FP32轉(zhuǎn)為INT8模型體積減少75%滑動(dòng)窗口預(yù)測(cè)對(duì)超長(zhǎng)序列采用分片預(yù)測(cè)再拼接的策略在金融時(shí)序預(yù)測(cè)中我們進(jìn)一步改進(jìn)解碼器加入了波動(dòng)率注意力機(jī)制class VolatilityAttention(nn.Module): def __init__(self, d_model, n_heads): super().__init__() self.dim_per_head d_model // n_heads self.n_heads n_heads self.qkv nn.Linear(d_model, d_model * 3) def forward(self, x, volatility): B, L, _ x.shape qkv self.qkv(x).chunk(3, dim-1) q, k, v map(lambda t: t.reshape(B, L, self.n_heads, -1), qkv) # 將波動(dòng)率信息融入注意力計(jì)算 attn (q k.transpose(-2, -1)) * (1 volatility.unsqueeze(1)) return (attn.softmax(dim-1) v).reshape(B, L, -1)這種改進(jìn)使我們?cè)诠蓛r(jià)預(yù)測(cè)任務(wù)中獲得了13%的夏普率提升。