日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

CNN-GRU回歸預(yù)測(cè)與SHAP可解釋性分析完整實(shí)踐

CNN-GRU回歸預(yù)測(cè)與SHAP可解釋性分析完整實(shí)踐 之前在做回歸預(yù)測(cè)任務(wù)時(shí)最難受的點(diǎn)往往不是模型效果上不來(lái)而是模型給出一個(gè)預(yù)測(cè)值之后很難向業(yè)務(wù)方解釋清楚“為什么是這個(gè)值”。為了解決這個(gè)問(wèn)題我采用了CNN-GRU 混合模型作為預(yù)測(cè)主體并結(jié)合SHAP 值分析每個(gè)特征對(duì)預(yù)測(cè)結(jié)果的貢獻(xiàn)。網(wǎng)上關(guān)于 CNN-GRU 做分類或回歸的例子很多但不少文章只貼代碼、不解釋維度變化也沒(méi)有把 SHAP 解釋的完整流程整合進(jìn)去。這篇文章把我實(shí)際使用的代碼、訓(xùn)練流程和可解釋性分析整理成一套可直接運(yùn)行的教程希望對(duì)正在做回歸預(yù)測(cè)的你有所幫助。本文覆蓋以下內(nèi)容CNN-GRU 混合模型的核心原理回歸預(yù)測(cè)數(shù)據(jù)的滑窗構(gòu)建與歸一化方法使用 PyTorch 搭建 CNN-GRU 回歸模型模型訓(xùn)練、評(píng)估指標(biāo)解讀SHAP 值的計(jì)算與可視化分析常見報(bào)錯(cuò)和工程化建議。1. 背景與核心概念1.1 CNN-GRU 是什么CNN-GRU 是由卷積神經(jīng)網(wǎng)絡(luò)CNN和門控循環(huán)單元GRU組合而成的混合網(wǎng)絡(luò)結(jié)構(gòu)。CNNConvolutional Neural Network善于提取局部特征。在一維時(shí)間序列數(shù)據(jù)中卷積核可以捕捉相鄰時(shí)間步之間的局部模式比如短期的趨勢(shì)變化、周期性波動(dòng)等。GRUGated Recurrent Unit是 LSTM 的簡(jiǎn)化變體通過(guò)更新門和重置門控制信息的保留與遺忘。GRU 適合建模長(zhǎng)距離依賴關(guān)系同時(shí)參數(shù)量比 LSTM 更少訓(xùn)練效率更高。將兩者串聯(lián)是一種常見做法先用 CNN 從原始輸入中提取局部特征再把 CNN 的輸出按照時(shí)間順序送入 GRU讓 GRU 繼續(xù)捕捉時(shí)間維度上的長(zhǎng)期依賴。1.2 為什么用 CNN-GRU 做回歸預(yù)測(cè)很多真實(shí)場(chǎng)景中的回歸預(yù)測(cè)面對(duì)的是多變量時(shí)間序列數(shù)據(jù)比如根據(jù)過(guò)去 24 小時(shí)的多維環(huán)境數(shù)據(jù)預(yù)測(cè)未來(lái)氣溫根據(jù)歷史交易數(shù)據(jù)預(yù)測(cè)下一時(shí)段銷量根據(jù)設(shè)備傳感器數(shù)據(jù)預(yù)測(cè)剩余壽命根據(jù)歷史負(fù)荷數(shù)據(jù)預(yù)測(cè)未來(lái)用電量。這些數(shù)據(jù)通常同時(shí)具有“局部相關(guān)性”和“長(zhǎng)期依賴性”。如果只用 CNN模型感受野有限難以建模長(zhǎng)期依賴如果只用 GRU序列較長(zhǎng)時(shí)訓(xùn)練速度更慢而且對(duì)局部特征的提取不夠直接。CNN-GRU 先做局部特征抽象再做時(shí)序建模在很多回歸任務(wù)上效果優(yōu)于單一模型。1.3 為什么引入 SHAP 值回歸預(yù)測(cè)模型光有精度還不夠。當(dāng)我們想判斷“哪個(gè)特征對(duì)預(yù)測(cè)結(jié)果影響最大”或者“某條預(yù)測(cè)為什么偏高”時(shí)就需要對(duì)模型做可解釋性分析。SHAPSHapley Additive exPlanations是一種基于博弈論 Shapley 值的模型解釋方法。它的核心思想是每個(gè)特征對(duì)預(yù)測(cè)結(jié)果的貢獻(xiàn)可以量化且所有特征的貢獻(xiàn)之和等于模型預(yù)測(cè)值相對(duì)于基線預(yù)測(cè)值的偏離程度。在復(fù)雜深度學(xué)習(xí)模型中SHAP 可以告訴我們哪些特征對(duì)預(yù)測(cè)結(jié)果影響最大樣本級(jí)別上某個(gè)特征取值是拉高了預(yù)測(cè)值還是拉低了預(yù)測(cè)值特征與預(yù)測(cè)結(jié)果之間是正相關(guān)還是負(fù)相關(guān)。所以CNN-GRU 負(fù)責(zé)把預(yù)測(cè)精度做到位SHAP 負(fù)責(zé)把預(yù)測(cè)結(jié)果解釋清楚兩者結(jié)合是一條很實(shí)用的工程路徑。2. 環(huán)境準(zhǔn)備與項(xiàng)目結(jié)構(gòu)2.1 運(yùn)行環(huán)境說(shuō)明下面的代碼以 Python 3.9 為例需要安裝以下依賴。具體版本請(qǐng)根據(jù)你的實(shí)際環(huán)境調(diào)整本文重點(diǎn)演示實(shí)現(xiàn)思路pip install numpy pandas matplotlib scikit-learn torch shap如果你使用 GPU 版本的 PyTorch 訓(xùn)練需要提前安裝對(duì)應(yīng) CUDA 版本的 torch如果只是學(xué)習(xí)演示CPU 版本也能跑通。2.2 項(xiàng)目結(jié)構(gòu)建議按照下面的目錄組織代碼cnn_gru_regression/ ├── main.py # 完整訓(xùn)練與評(píng)估流程 ├── model.py # CNN-GRU 模型定義 ├── data_utils.py # 數(shù)據(jù)生成與滑窗處理 ├── explain.py # SHAP 可解釋性分析 └── requirements.txt # 依賴清單如果你希望代碼更集中也可以把全部?jī)?nèi)容寫在一個(gè)腳本里。為了便于閱讀本文按照功能拆分講解最后你可以把代碼匯總到一個(gè)文件中運(yùn)行。3. 回歸預(yù)測(cè)數(shù)據(jù)準(zhǔn)備3.1 使用模擬數(shù)據(jù)快速驗(yàn)證我們先寫一個(gè)模擬數(shù)據(jù)生成函數(shù)。這個(gè)函數(shù)會(huì)生成 4 個(gè)與目標(biāo)值存在線性關(guān)系的時(shí)間序列特征并加入少量噪聲。# 文件路徑data_utils.py import numpy as np import pandas as pd def generate_demo_data(n_samples1500): 生成多變量回歸預(yù)測(cè)模擬數(shù)據(jù)。 參數(shù) n_samples: 樣本點(diǎn)數(shù)量 返回 pandas.DataFrame包含 4 個(gè)特征列和 1 個(gè)目標(biāo)列 t np.arange(n_samples) # 構(gòu)造4個(gè)特征每個(gè)特征有不同周期和噪聲 feature1 np.sin(2 * np.pi * t / 50) 0.1 * np.random.randn(n_samples) feature2 np.cos(2 * np.pi * t / 30) 0.1 * np.random.randn(n_samples) feature3 0.02 * t 0.2 * np.random.randn(n_samples) feature4 0.5 * np.sin(2 * np.pi * t / 7) 0.2 * np.random.randn(n_samples) # 目標(biāo)值與特征之間保持線性組合方便后續(xù)用 SHAP 驗(yàn)證解釋效果 target ( 2.5 * feature1 1.5 * feature2 0.8 * feature3 - 1.2 * feature4 0.3 * np.random.randn(n_samples) ) df pd.DataFrame({ feature1: feature1, feature2: feature2, feature3: feature3, feature4: feature4, target: target, }) return df這個(gè)方法的好處是數(shù)據(jù)可以自己生成代碼復(fù)制后能直接運(yùn)行。如果你有自己的數(shù)據(jù)集只需要把“讀入 DataFrame包含特征列和目標(biāo)列”這一步替換掉即可。3.2 滑窗樣本構(gòu)建回歸預(yù)測(cè)里我們通常不能直接用單條樣本做預(yù)測(cè)而是用過(guò)去一段時(shí)間的特征序列預(yù)測(cè)下一個(gè)時(shí)間點(diǎn)的值。這個(gè)“過(guò)去一段時(shí)間”就叫做時(shí)間窗口對(duì)應(yīng)的處理方式叫“滑窗”或“滾動(dòng)窗口”。# 文件路徑data_utils.py def create_sequences(data, feature_cols, target_col, window_size24): 構(gòu)建滑窗樣本。 參數(shù) data: DataFrame包含特征列和目標(biāo)列 feature_cols: 特征列名列表 target_col: 目標(biāo)列名 window_size: 時(shí)間窗口長(zhǎng)度 返回 X: shape 為 (樣本數(shù), window_size, 特征數(shù)) 的數(shù)組 y: shape 為 (樣本數(shù),) 的數(shù)組 X, y [], [] for i in range(len(data) - window_size): X.append(data[feature_cols].iloc[i: i window_size].values) y.append(data[target_col].iloc[i window_size]) return np.array(X), np.array(y)這里需要注意窗口長(zhǎng)度window_size決定了模型每次能看到多長(zhǎng)的歷史信息。窗口太短會(huì)丟失長(zhǎng)期依賴窗口太長(zhǎng)會(huì)增加計(jì)算量也可能會(huì)引入過(guò)多噪聲。一般可以先通過(guò)實(shí)驗(yàn)對(duì)比不同窗口大小再確定適合業(yè)務(wù)場(chǎng)景的值。3.3 時(shí)間順序切分與歸一化時(shí)序預(yù)測(cè)和普通機(jī)器學(xué)習(xí)不一樣不能隨機(jī)打亂數(shù)據(jù)再切分否則會(huì)造成“未來(lái)信息泄漏”。也就是說(shuō)如果用后面的數(shù)據(jù)去訓(xùn)練模型、預(yù)測(cè)前面的數(shù)據(jù)評(píng)估結(jié)果會(huì)虛高。這里我們按時(shí)間順序前 80% 作為訓(xùn)練集后 20% 作為測(cè)試集。def load_train_test_data(window_size24, test_ratio0.2): 生成數(shù)據(jù)并切分為訓(xùn)練集和測(cè)試集按時(shí)間順序切分。 feature_cols [feature1, feature2, feature3, feature4] target_col target data generate_demo_data(1500) split_idx int(len(data) * (1 - test_ratio)) train_df data.iloc[:split_idx] test_df data.iloc[split_idx:] # 分別對(duì)訓(xùn)練集和測(cè)試集做歸一化 # 注意歸一化參數(shù)只能用訓(xùn)練集 fit測(cè)試集直接 transform from sklearn.preprocessing import MinMaxScaler scaler_X MinMaxScaler() scaler_y MinMaxScaler() train_X_scaled scaler_X.fit_transform(train_df[feature_cols]) train_y_scaled scaler_y.fit_transform(train_df[[target_col]]) test_X_scaled scaler_X.transform(test_df[feature_cols]) test_y_scaled scaler_y.transform(test_df[[target_col]]) train_df_scaled pd.DataFrame(train_X_scaled, columnsfeature_cols) train_df_scaled[target_col] train_y_scaled test_df_scaled pd.DataFrame(test_X_scaled, columnsfeature_cols) test_df_scaled[target_col] test_y_scaled # 構(gòu)建滑窗樣本 X_train, y_train create_sequences(train_df_scaled, feature_cols, target_col, window_size) X_test, y_test create_sequences(test_df_scaled, feature_cols, target_col, window_size) return X_train, y_train, X_test, y_test, scaler_y關(guān)于歸一化有兩個(gè)容易踩的坑整個(gè)數(shù)據(jù)集只 fit 一次MinMaxScaler然后在所有數(shù)據(jù)上 transform這在時(shí)序場(chǎng)景里是不可取的。因?yàn)橛?xùn)練集之外的“未來(lái)數(shù)據(jù)”參與了歸一化參數(shù)計(jì)算相當(dāng)于把未來(lái)的分布信息提前暴露給了模型。目標(biāo)變量y也需要?dú)w一化。深度學(xué)習(xí)模型直接回歸一個(gè)量綱較大的數(shù)值時(shí)損失值可能很大訓(xùn)練不穩(wěn)定。這里我們把目標(biāo)值歸一化到[0,1]區(qū)間訓(xùn)練結(jié)束后再把預(yù)測(cè)結(jié)果反歸一化。4. 構(gòu)建 CNN-GRU 回歸預(yù)測(cè)模型4.1 模型結(jié)構(gòu)定義下面是模型的完整定義。# 文件路徑model.py import torch import torch.nn as nn class CNNGRU(nn.Module): def __init__(self, n_features, hidden_size64, num_layers1, dropout0.1, output_size1): super(CNNGRU, self).__init__() # 1D 卷積層輸入通道為特征數(shù)輸出通道為 32 self.conv1 nn.Conv1d( in_channelsn_features, out_channels32, kernel_size3, padding1 ) self.relu nn.ReLU() self.pool nn.MaxPool1d(kernel_size2) # GRU 層輸入大小是 CNN 輸出通道數(shù) self.gru nn.GRU( input_size32, hidden_sizehidden_size, num_layersnum_layers, batch_firstTrue, dropoutdropout if num_layers 1 else 0 ) # 全連接輸出層 self.fc nn.Linear(hidden_size, output_size) def forward(self, x): # 輸入 x 形狀: (batch_size, seq_len, n_features) # CNN 期望輸入形狀是 (batch_size, channels, seq_len) x x.permute(0, 2, 1) # 經(jīng)過(guò)卷積、激活、池化 x self.conv1(x) # (batch_size, 32, seq_len) x self.relu(x) x self.pool(x) # (batch_size, 32, seq_len // 2) # 轉(zhuǎn)回 GRU 需要的形狀: (batch_size, seq_len, input_size) x x.permute(0, 2, 1) # GRU 前向傳播取最后一個(gè)時(shí)間步輸出 out, _ self.gru(x) # out: (batch_size, seq_len, hidden_size) out out[:, -1, :] # 取最后一個(gè)時(shí)間步 # 全連接輸出 out self.fc(out) # (batch_size, 1) return out4.2 維度變化分析很多初學(xué)者第一次看這段代碼會(huì)卡在維度變化上這里梳理一下操作輸入形狀輸出形狀原始輸入(batch, seq_len, n_features)(batch, seq_len, n_features)permute 轉(zhuǎn)置(batch, seq_len, n_features)(batch, n_features, seq_len)Conv1d(batch, n_features, seq_len)(batch, 32, seq_len)ReLU(batch, 32, seq_len)(batch, 32, seq_len)MaxPool1d(batch, 32, seq_len)(batch, 32, seq_len // 2)permute 轉(zhuǎn)置(batch, 32, seq_len // 2)(batch, seq_len // 2, 32)GRU(batch, seq_len // 2, 32)(batch, seq_len // 2, hidden_size)取最后一個(gè)時(shí)間步(batch, seq_len // 2, hidden_size)(batch, hidden_size)Linear(batch, hidden_size)(batch, 1)需要注意MaxPool1d 的kernel_size2會(huì)讓序列長(zhǎng)度減半。如果seq_len是奇數(shù)比如window_size25池化后長(zhǎng)度會(huì)變成12對(duì)應(yīng)關(guān)系可能變得不直觀因此建議優(yōu)先使用偶數(shù)窗口長(zhǎng)度。4.3 為什么先 CNN 再 GRU這里簡(jiǎn)單解釋一下設(shè)計(jì)動(dòng)機(jī)CNN 的卷積核對(duì)局部模式敏感可以自動(dòng)提取“相鄰幾個(gè)時(shí)間步之間的組合特征”經(jīng)過(guò) MaxPooling 后序列長(zhǎng)度縮短計(jì)算量降低也起到一定的特征壓縮作用GRU 接收 CNN 提取的高層特征序列繼續(xù)建模長(zhǎng)期依賴最后用全連接層把 GRU 最后一個(gè)時(shí)間步的隱藏狀態(tài)映射為標(biāo)量預(yù)測(cè)值。如果任務(wù)本身序列較短、特征較少也可以去掉 MaxPooling只保留卷積和 GRU。示例代碼保留池化是為了展示一種更通用的結(jié)構(gòu)。5. 訓(xùn)練與回歸評(píng)估5.1 數(shù)據(jù)集封裝與數(shù)據(jù)加載器我們使用 PyTorch 的TensorDataset和DataLoader來(lái)管理數(shù)據(jù)。from torch.utils.data import TensorDataset, DataLoader import torch X_train, y_train, X_test, y_test, scaler_y load_train_test_data(window_size24) # 轉(zhuǎn)換為 PyTorch Tensor X_train_t torch.FloatTensor(X_train) y_train_t torch.FloatTensor(y_train).view(-1, 1) X_test_t torch.FloatTensor(X_test) y_test_t torch.FloatTensor(y_test).view(-1, 1) train_dataset TensorDataset(X_train_t, y_train_t) test_dataset TensorDataset(X_test_t, y_test_t) train_loader DataLoader(train_dataset, batch_size64, shuffleTrue) test_loader DataLoader(test_dataset, batch_size64, shuffleFalse)這里有一個(gè)細(xì)節(jié)訓(xùn)練數(shù)據(jù)加載時(shí)shuffleTrue但是測(cè)試數(shù)據(jù)shuffleFalse。因?yàn)橛?xùn)練時(shí)我們希望每個(gè) batch 的樣本盡量隨機(jī)幫助模型穩(wěn)定收斂測(cè)試時(shí)不需要打亂順序方便后續(xù)計(jì)算指標(biāo)和可視化。5.2 模型初始化與訓(xùn)練循環(huán)import torch.nn as nn import torch.optim as optim # 固定隨機(jī)種子保證結(jié)果可復(fù)現(xiàn) torch.manual_seed(42) model CNNGRU(n_featuresX_train.shape[2], hidden_size64) criterion nn.MSELoss() optimizer optim.Adam(model.parameters(), lr0.001) epochs 30 for epoch in range(epochs): model.train() train_loss 0.0 for X_batch, y_batch in train_loader: optimizer.zero_grad() y_pred model(X_batch) loss criterion(y_pred, y_batch) loss.backward() optimizer.step() train_loss loss.item() * X_batch.size(0) avg_train_loss train_loss / len(train_dataset) # 每個(gè) epoch 后評(píng)估一次測(cè)試集 model.eval() test_loss 0.0 with torch.no_grad(): for X_batch, y_batch in test_loader: y_pred model(X_batch) loss criterion(y_pred, y_batch) test_loss loss.item() * X_batch.size(0) avg_test_loss test_loss / len(test_dataset) if (epoch 1) % 5 0: print(fEpoch {epoch 1}/{epochs}, Train Loss: {avg_train_loss:.6f}, Test Loss: {avg_test_loss:.6f})訓(xùn)練過(guò)程中有兩個(gè)環(huán)境非常重要model.train()與model.eval()訓(xùn)練模式會(huì)啟用 Dropout 等隨機(jī)操作而評(píng)估模式會(huì)固定這些操作保證測(cè)試輸出穩(wěn)定。with torch.no_grad()推理階段不需要計(jì)算梯度既省內(nèi)存又加快速度。5.3 回歸評(píng)估指標(biāo)回歸預(yù)測(cè)常用三個(gè)指標(biāo)MSE、MAE、R2。from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score model.eval() with torch.no_grad(): y_pred_all model(X_test_t).numpy().flatten() y_test_all y_test_t.numpy().flatten() # 反歸一化恢復(fù)真實(shí)尺度 y_pred_inv scaler_y.inverse_transform(y_pred_all.reshape(-1, 1)).flatten() y_test_inv scaler_y.inverse_transform(y_test_all.reshape(-1, 1)).flatten() mse mean_squared_error(y_test_inv, y_pred_inv) mae mean_absolute_error(y_test_inv, y_pred_inv) r2 r2_score(y_test_inv, y_pred_inv) print(fMSE: {mse:.4f}) print(fMAE: {mae:.4f}) print(fR2: {r2:.4f})各指標(biāo)含義MSE均方誤差預(yù)測(cè)值與真實(shí)值差值的平方的平均值。MSE 對(duì)較大誤差更敏感適合關(guān)注極端偏差的場(chǎng)景。MAE平均絕對(duì)誤差預(yù)測(cè)值與真實(shí)值差值的絕對(duì)值的平均值。它直接反映平均誤差大小單位與真實(shí)值一致。R2決定系數(shù)表示模型解釋了目標(biāo)變量多少方差。R2 越接近 1說(shuō)明模型擬合效果越好R2 為 0 說(shuō)明模型與直接預(yù)測(cè)平均值差不多R2 為負(fù)數(shù)說(shuō)明模型效果比平均值預(yù)測(cè)還差。反歸一化這一步容易被忽略。因?yàn)橛?xùn)練時(shí)對(duì)y做了MinMaxScaler所以模型輸出的是歸一化后的值。要計(jì)算真實(shí)尺度下的誤差指標(biāo)必須先調(diào)用scaler_y.inverse_transform還原。5.4 可視化預(yù)測(cè)曲線為了更直觀地觀察預(yù)測(cè)效果可以把測(cè)試集上的真實(shí)值和預(yù)測(cè)值畫成曲線。import matplotlib.pyplot as plt plt.figure(figsize(12, 4)) plt.plot(y_test_inv[:200], labelTrue, linewidth2) plt.plot(y_pred_inv[:200], labelPred, linewidth2) plt.legend() plt.title(CNN-GRU Regression Prediction Results) plt.xlabel(Sample Index) plt.ylabel(Target Value) plt.savefig(prediction_result.png, dpi150) plt.show()如果前 200 個(gè)測(cè)試點(diǎn)上兩條曲線整體趨勢(shì)一致說(shuō)明模型已經(jīng)學(xué)到了基本的時(shí)序規(guī)律。6. 使用 SHAP 解釋模型6.1 SHAP 原理簡(jiǎn)介SHAP 的核心思想是 Shapley 值。它把模型預(yù)測(cè)值拆解為“基線值 每個(gè)特征的貢獻(xiàn)值”?;€值通常是訓(xùn)練集上預(yù)測(cè)值的平均值。對(duì)于一條樣本假設(shè)模型預(yù)測(cè)值為f(x)基線值為E[f(x)]那么有f(x) E[f(x)] sum(每個(gè)特征的SHAP值)當(dāng)一個(gè)特征的 SHAP 值為正表示該特征把預(yù)測(cè)值向上推動(dòng)SHAP 值為負(fù)表示把預(yù)測(cè)值向下拉低。SHAP 值的絕對(duì)值越大說(shuō)明該特征對(duì)這條樣本的影響越強(qiáng)。6.2 DeepExplainer 使用方法對(duì)于 PyTorch 模型SHAP 庫(kù)提供了DeepExplainer。它適用于深度學(xué)習(xí)模型計(jì)算效率比KernelExplainer更高。# 文件路徑explain.py import shap import torch # 將模型切換到評(píng)估模式 model.eval() # 選擇一部分測(cè)試樣本作為背景數(shù)據(jù) background X_test_t[:100] # 這里取少量測(cè)試樣本做解釋避免計(jì)算時(shí)間過(guò)長(zhǎng) X_explain X_test_t[:10] # 創(chuàng)建 DeepExplainer explainer shap.DeepExplainer(model, background) # 計(jì)算 SHAP 值 shap_values explainer.shap_values(X_explain)注意兩點(diǎn)background是背景樣本主要用來(lái)估計(jì)基線值。數(shù)量不一定要很多50 到 100 條通常就夠用但需要覆蓋訓(xùn)練集中比較典型的特征分布。shap_values在DeepExplainer中通常返回一個(gè)列表。因?yàn)槟P洼敵鼍S度是 1所以我們要看的是shap_values[0]。shap_values[0]的形狀與輸入數(shù)據(jù)一致也就是(樣本數(shù), 時(shí)間步數(shù), 特征數(shù))這意味著 SHAP 給出的不僅是“哪個(gè)原始特征重要”還包括“哪個(gè)時(shí)間步上的哪個(gè)特征重要”。這比普通表格數(shù)據(jù)回歸的解釋細(xì)節(jié)更豐富。6.3 特征重要性可視化如果我們只關(guān)心原始特征的整體重要性可以把所有時(shí)間步的 SHAP 絕對(duì)值求和。import numpy as np # shap_values[0] 形狀: (10, window_size, n_features) shap_values_0 np.array(shap_values[0]) # 對(duì)所有測(cè)試樣本和時(shí)間步求和得到每個(gè)原始特征的貢獻(xiàn) feature_names [feature1, feature2, feature3, feature4] importance np.abs(shap_values_0).sum(axis(0, 1)) # (n_features,) for name, imp in zip(feature_names, importance): print(f{name}: {imp:.4f}) # 排序后可視化 sorted_idx np.argsort(importance)[::-1] plt.figure(figsize(8, 4)) plt.bar([feature_names[i] for i in sorted_idx], importance[sorted_idx]) plt.title(Feature Importance by SHAP) plt.xlabel(Feature) plt.ylabel(Mean |SHAP|) plt.tight_layout() plt.savefig(shap_feature_importance.png, dpi150) plt.show()在這個(gè)模擬數(shù)據(jù)里理論上feature1對(duì)目標(biāo)值影響最大因?yàn)樗南禂?shù)是 2.5。如果 SHAP 結(jié)果也顯示feature1的重要性最高說(shuō)明模型學(xué)到的關(guān)系和數(shù)據(jù)生成邏輯基本一致。6.4 蜜蜂圖與依賴圖SHAP 庫(kù)自帶的summary_plot可以畫出“蜜蜂圖”既能反映特征重要性也能反映特征取值與 SHAP 值的正負(fù)關(guān)系。由于我們的輸入是三維的滑窗數(shù)據(jù)直接傳入原始X_explain會(huì)讓summary_plot難以解釋。為了方便展示我們可以把三維數(shù)據(jù)展平成二維并生成對(duì)應(yīng)的扁平特征名。# 將 (10, window_size, n_features) 展平為 (10, window_size * n_features) X_flat X_explain.numpy().reshape(X_explain.shape[0], -1) # 生成扁平特征名 flat_names [] for t in range(X_explain.shape[1]): for f in feature_names: flat_names.append(ft{t}_{f}) shap_values_flat shap_values_0.reshape(shap_values_0.shape[0], -1) shap.summary_plot(shap_values_flat, X_flat, feature_namesflat_names, showFalse) plt.tight_layout() plt.savefig(shap_summary_plot.png, dpi150) plt.show()蜜蜂圖怎么看橫軸是 SHAP 值。某個(gè)點(diǎn)落在正半軸說(shuō)明該樣本在這個(gè)特征上的取值讓預(yù)測(cè)值升高落在負(fù)半軸說(shuō)明降低。點(diǎn)的顏色表示該特征在當(dāng)前樣本中的實(shí)際大小顏色越紅表示數(shù)值越大顏色越藍(lán)表示數(shù)值越小。特征按重要性從上到下排列越靠上越重要。如果你只關(guān)心第一個(gè)時(shí)間步的特征也可以單獨(dú)取出對(duì)應(yīng)切片# 只看第一個(gè)時(shí)間步 shap_summary_first_timestep shap_values_0[:, 0, :] X_first_timestep X_explain.numpy()[:, 0, :] shap.summary_plot(shap_summary_first_timestep, X_first_timestep, feature_namesfeature_names, showFalse) plt.tight_layout() plt.savefig(shap_summary_first_timestep.png, dpi150) plt.show()這種方式適合觀察“最近一個(gè)時(shí)間步”中哪些特征對(duì)預(yù)測(cè)影響最大。實(shí)際應(yīng)用中你可以根據(jù)業(yè)務(wù)需求選擇查看某個(gè)時(shí)間步或全部時(shí)間步。6.5 為什么 SHAP 值要配合業(yè)務(wù)解讀SHAP 只能解釋“模型學(xué)到了什么”不能保證“真實(shí)的因果關(guān)系就是如此”。比如某個(gè)特征和預(yù)測(cè)值高度相關(guān)但它可能只是間接關(guān)聯(lián)而不是直接原因。所以做技術(shù)解釋時(shí)要把 SHAP 結(jié)果當(dāng)作模型行為的證據(jù)之一而不是因果結(jié)論。7. 常見問(wèn)題與排查思路在實(shí)際運(yùn)行過(guò)程中經(jīng)常遇到下面幾個(gè)問(wèn)題。問(wèn)題現(xiàn)象常見原因解決思路模型訓(xùn)練 loss 不下降數(shù)據(jù)未歸一化或?qū)W習(xí)率過(guò)大/過(guò)小檢查特征和目標(biāo)值是否做了歸一化嘗試 lr0.001 或 0.0001測(cè)試集 R2 很低甚至為負(fù)訓(xùn)練集和測(cè)試集數(shù)據(jù)分布差異過(guò)大或滑窗窗口太小檢查切分方式增大 window_size檢查數(shù)據(jù)是否存在強(qiáng)非平穩(wěn)性Conv1d 維度不匹配輸入形狀不是(batch, channels, seq_len)在進(jìn)入卷積前用x.permute(0, 2, 1)調(diào)整維度MaxPool1d 后序列長(zhǎng)度異常window_size為奇數(shù)調(diào)整窗口為偶數(shù)或不使用池化層SHAP 計(jì)算非常慢背景數(shù)據(jù)過(guò)多或者解釋樣本數(shù)量過(guò)大減小 background 數(shù)量比如 50 條減小 X_explain 數(shù)量DeepExplainer 報(bào)錯(cuò)模型不在 eval 模式或數(shù)據(jù)類型不是 FloatTensor調(diào)用model.eval()確認(rèn)輸入 tensor 使用torch.float32預(yù)測(cè)值始終接近某個(gè)常數(shù)模型欠擬合或者目標(biāo)值分布非常集中增加訓(xùn)練輪數(shù)調(diào)整隱藏層維度檢查數(shù)據(jù)生成邏輯下面單獨(dú)講一個(gè)高頻問(wèn)題訓(xùn)練時(shí) loss 很低測(cè)試時(shí) loss 很高。這在回歸預(yù)測(cè)中通常表示過(guò)擬合。常見解決辦法是增加訓(xùn)練數(shù)據(jù)量減小模型復(fù)雜度比如減少 GRU 隱藏層維度加入 Dropout并在模型定義時(shí)對(duì) GRU 多層場(chǎng)景設(shè)置dropout引入早停機(jī)制當(dāng)測(cè)試 loss 連續(xù)若干輪不再下降時(shí)停止訓(xùn)練。8. 最佳實(shí)踐與工程建議8.1 時(shí)間順序切分避免數(shù)據(jù)泄漏處理時(shí)序數(shù)據(jù)時(shí)不能直接使用train_test_split(random_state42)隨機(jī)打亂。應(yīng)該按照時(shí)間順序劃分訓(xùn)練集、驗(yàn)證集和測(cè)試集并且驗(yàn)證集和測(cè)試集都必須是訓(xùn)練集之后的時(shí)間段。這樣才能真實(shí)模擬模型在“未來(lái)”數(shù)據(jù)上的表現(xiàn)。8.2 歸一化參數(shù)只能來(lái)自訓(xùn)練集標(biāo)準(zhǔn)化的核心原則是scaler只能fit在訓(xùn)練集上然后transform訓(xùn)練集、驗(yàn)證集和測(cè)試集。如果對(duì)整個(gè)數(shù)據(jù)集一起fit測(cè)試集的信息就會(huì)間接進(jìn)入訓(xùn)練過(guò)程導(dǎo)致評(píng)估結(jié)果偏樂(lè)觀。8.3 固定隨機(jī)種子深度學(xué)習(xí)模型帶有隨機(jī)性比如權(quán)重初始化、數(shù)據(jù)加載順序等。在實(shí)驗(yàn)階段建議統(tǒng)一設(shè)置隨機(jī)種子import random import numpy as np import torch random.seed(42) np.random.seed(42) torch.manual_seed(42)如果使用 CUDA還需要設(shè)置if torch.cuda.is_available(): torch.cuda.manual_seed_all(42)這樣才能保證多次實(shí)驗(yàn)的結(jié)果可比較。8.4 模型保存與加載訓(xùn)練完成后可以用torch.save保存模型參數(shù)torch.save(model.state_dict(), cnn_gru_model.pth)加載時(shí)先實(shí)例化同一個(gè)模型再load_state_dictmodel CNNGRU(n_featuresX_train.shape[2], hidden_size64) model.load_state_dict(torch.load(cnn_gru_model.pth)) model.eval()注意這里保存的是模型參數(shù)不包含模型結(jié)構(gòu)。如果你換了一臺(tái)機(jī)器運(yùn)行需要保證model.py中的CNNGRU類定義一致。8.5 SHAP 解釋的工程化落地在業(yè)務(wù)系統(tǒng)中如果每次預(yù)測(cè)都要重新計(jì)算 SHAP開銷會(huì)比較大。你可以把測(cè)試集上的 SHAP 特征重要性結(jié)果保存下來(lái)作為模型的解釋報(bào)告也可以在模型服務(wù)層預(yù)留一個(gè)“解釋接口”只在需要分析特定樣例時(shí)才調(diào)用 SHAP。8.6 超參數(shù)調(diào)整建議CNN-GRU 中比較關(guān)鍵的超參數(shù)包括卷積核大小用于控制局部感受野一般取 3、5、7卷積輸出通道數(shù)控制特征抽象能力常見取值 32、64GRU 隱藏層維度控制時(shí)序記憶容量常見取值 32、64、128學(xué)習(xí)率一般從 0.001 開始訓(xùn)練不收斂時(shí)降低到 0.0005 或 0.0001Batch Size根據(jù)顯存大小和數(shù)據(jù)量調(diào)整常見取值 32、64、128。建議先用小規(guī)模的模型和少量數(shù)據(jù)跑通流程再逐步擴(kuò)大參數(shù)。這樣能更快定位問(wèn)題。9. 總結(jié)與學(xué)習(xí)路線這篇文章圍繞CNN-GRU 回歸預(yù)測(cè)整理了一套完整的代碼實(shí)踐使用 CNN 提取局部特征使用 GRU 建模時(shí)序依賴使用滑窗和歸一化處理回歸預(yù)測(cè)數(shù)據(jù)自定義CNNGRU模型完成訓(xùn)練和評(píng)估使用 MSE、MAE、R2 三個(gè)指標(biāo)評(píng)估效果使用 SHAP 值的DeepExplainer計(jì)算特征貢獻(xiàn)并繪制特征重要性圖和蜜蜂圖。如果你還想繼續(xù)深挖可以從以下幾個(gè)方向入手嘗試用Seq2Seq Attention結(jié)構(gòu)做多步回歸預(yù)測(cè)在 SHAP 的基礎(chǔ)上加入dependence_plot依賴圖分析單個(gè)特征與預(yù)測(cè)結(jié)果的關(guān)系對(duì)比 CNN-LSTM 與 CNN-GRU 在當(dāng)前數(shù)據(jù)上的效果差異在真實(shí)業(yè)務(wù)數(shù)據(jù)上測(cè)試不同窗口長(zhǎng)度對(duì)預(yù)測(cè)效果的影響將模型封裝成 Flask 或 FastAPI 服務(wù)實(shí)現(xiàn)在線預(yù)測(cè)和解釋報(bào)告輸出。希望這篇文章能幫你跑通 CNN-GRU 回歸預(yù)測(cè)的完整鏈路也讓你在向業(yè)務(wù)方解釋模型時(shí)不再無(wú)從下手。你可以把代碼保存下來(lái)先在自己的數(shù)據(jù)集上試一遍再根據(jù)實(shí)際數(shù)據(jù)分布調(diào)整窗口大小和模型參數(shù)。如果遇到本地環(huán)境問(wèn)題也歡迎對(duì)照第 7 節(jié)的排查表格逐步檢查。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
加勒比AV网| 四虎884a| 日本丝袜人妻内射| 国产真实子伦对白| 天天热精品| AV一二区| 人人喜人人妻| 91干熟女| 国产女人视频三四五区| 中文色综合| 青青欧美| 九九视品黄色| 亚洲欧美日韩精品久久久一区二区| 天天操夜夜操| 欧美人妻熟女在线| 91黑丝美女| 人妻熟女午夜精品在线| 岛国网址国产 | 中文字幕在线观看第二页| 欧美大香蕉专区网| 18禁止看精品中文字幕| 97日韩超碰超碰中文字幕| 殴美日韩m| 欧美成va视频网站| 激情五月天色色网| 福利在线黄片| 尤物黄色在线观看网站| 摸奶性爱视频网站在线免费播放| 精品欧美乱码久| 91青青在线视频| 9 7超碰在线免费观看| 婷婷五月影院| 久99热| www.99中文字幕| TS人妖另类精品视频系列| 中文字幕青青草| 污电影在线观看| 亚洲淫色网中文| 东北夫妻性偷拍| 婷婷五月丁香五月| 91精品久久久久久77777| 日本视频在线观看污污污| 在线岛国新天堂8| 久久AV无码AV| 97爱亚洲| 草草草视频| 成年在线视频日本亚洲在线视频区精品江靖宇公司 | 99热这里是精品| av在线免费一区二区| 中文字幕日韩专区精品系列| 无码不卡亚洲成?人片| 五月天伊人网| 男人天堂欧美| 日韩少妇无码| 亚洲综合在线91| 成年在线视频日本亚洲在线视频区精品江靖宇公司 | 综合色色网| 岛国黄| 99这里只有精品国产| 亚洲日韩人妻中文字幕一区| 天天影视色香欲综合网小说| 精品国产一区探花在线观看| 在线无码视频| 日韩一级特黄av毛片| 特级特黄一级毛片免费| 在线岛国新天堂8| 蜜区区视频79| 91天天综合在线观看| 秋霞鲁丝午夜无码一区二区三| 伊人久久大香线综合无码| 欧美爆操91| 91九九九馒头| 色一射色一射| 91粉芽高清在线一区二区| 国产亚洲中文不卡二区| 综合欧美激情网| 亚洲情色中文字幕一区| 亚洲色图殴美色图激情乱伦| 啪啪啪精品视频| 黄片在线免费在线观看| 九九热九九热| 97久久免费| 色网综合网| 大香蕉伊然在亚洲91| AV男人天堂网| 日韩一级二级三级在线不卡观看完整| 日韩成年人性爱视频| 人人性爱视频免费| 免费的很黄很污的全部视频| 国产成人精品无码久久| 婷婷六月色| 天天综合色电影| 亚洲熟妇图片| 日本精品性生活久久久| 乱操9999| 中文字幕丰满子伦无码专区在线视频最新 | 亚洲欧美成人网站AAA| 日韩在线国产字幕| 国产日韩色综合| 国产综合网站在线播放 | 亚洲一本大道中文字幕无码在线| 亚洲码专区| 亚洲人人操| 久久久久久久久久久久久9999| 人妻精品一区二区全免费| 狠狠色一区二区中文字幕| 国产精品午夜精品| 欧美精品黑人猛交高潮| 老熟女乱伦一区| 青椒国产97在线熟女| 郑州宾馆老熟女露脸啪啪| 综合色久| 乱老熟女一区二区三区| 欧美综合色图网| 天天看天天日天天操| 免费啪啪av| 精品性爱无码在线播放| 精品国产污一区二区三区| 韩国国产欧美情侣视频在线| 久九九九九九九九热| 亚洲伊人久久综合97| 欧美日韩操逼动图| 黄色大片一区二区密桃丝袜| 天天日熟妇| 亚洲一二三四区| 精品欧美А∨无码黑人大荫蒂| 伊人色综合网电影| 精品人妻视频一区二区三区蜜桃视频| 天天综合网视频91| 国产精品久久久久无码Av网曝门| 国产传媒操逼视频| 色五月首页| 亚洲综合春色| 天堂伊人久久| 久久精品店| 国产成年女人免费视频播放a| 国产精品激情久久久久久久| 亚洲情色婷婷五月天| 超碰97首页| 欧美加勒比| 亚洲一欧洲中文字幕在线| 怡红院视频在线| 亚洲熟女偷拍在线观看| 搡老女人老熟女91| 色9999日韩国产| 亚洲AV不卡在线观看尤物| 色综合天天爱去电影网| 欧美一级做a爰片免费视频| 久久久久久性爱视频| 久久久免费高清中文视频| 日本成人免费一区二区三区| 任你艹| 精品人妻无码一区二区三区不卡-精品人妻无码一区二区...|精品少妇一区二区三 | 一本一道久久综合久久| 国产福利电影| 91久久久久久久| 91处女视频在线观看| 女生看匆91网站| 91亚洲色人| 九九九九九九九九九九九免费国产| 殴洲老熟女| 男人的天堂久久久| 黄片在线免费在线观看| 日韩精品三级片长长久久| 色五月AV| 人妻丝袜肏逼| 日本熟女不卡视频| 日韩人妻精品久久久久| 怡红院亚洲怡春院av| 欧美一级AAAAAAA| 色色亚洲| 91精品在线播放| 欧美精品99久久久**| 人人爱夜夜爱| 吊色| 婷婷伊人綜合中文字幕| 色网综合网| 肉动漫无遮挡h在线观看| 亚洲操人| 大香蕉手机在线| 粉嫩粉嫩一区性色AV片| 欧亚揄拍偷拍精品视频| 老熟女乱伦片| 91超碰人人操| 青青草大香蕉视频| 亚洲综合97中文网| 校园春色五月天| 黄色一级视| 少妇内射视频| 亚洲熟女中文字幕在线| 吊色| 激情九月婷婷| 综合亚洲欧美| 国产人妻精品久久久一区二区三区| 97在线播放| 日本精品高清一二区一本到| 97久久精品不卡| 91在线视频免费播放| 男人的天堂欧美| 啪啪视频免费在线观看| 欧美在线视频99| 中文字幕青青草| 亚洲另类电影| 91欧美经典| 69人妻精品一区二区绯色| 久久久女人| 亚洲欧美日韩综合在线尤物| 亚洲人妻色图| 97AV爱| 亚洲开心网| 中文字幕一区av| 久久人| 大奶啊啊好爽 | 亚洲中文一区二区三区| 亚洲情色在线| 人干人人人操人人摸| 国产精品一区二区后入| 99热只有这里有精品| 97国产综合欧美| 色综合久久88色综合久久天天| 日本中文字幕熟妇| 蜜乳av首页| 国产精品丝袜在线| 国产伊人自拍| 天天日天天操天天射河南省| 亚洲三级网址久久最新| av在线不卡一区二区三区| 美欧老女人97| 91小视频| 精品午夜福利| 欧美亚洲国内自拍| 岛国在线免费视频| 日本道人妻久久久在线不卡色视频| 婷婷精品视频| 九九九九热| 狠狠干综合| 天堂九九九九九九九九九| 日本一区二区三区欧美日韩中文字幕| 日本爽爽爽爽爽爽免费视频| 国产亚卅97| 又大又长又粗又爽又黄| 清清草影| 爱做久久久久久| 青草一区二区| 日本大香蕉| 白嫩国模丰满一二三区| 久久久草成人网站久久久草成人久久久草久久久 | 大香蕉欧美日韩| 天天爽夜夜爽夜夜爽精| www鬼畜国产男人的天堂| 极品尤物女神在线观看| 欧美精品久久96人妻无码| 亚洲人久久久网| 色臀AV| 午夜欧美神马久久久久| 97亚洲色图| 伊人大香蕉在线| 中文字幕亚洲永久精品| 久久啊啊啊| 久久神马影院| 午夜免费福利视频一区| 久久超碰亚洲人| 97超碰jingpin| 久久精品国产亚洲AV清纯| 2020中文字幕在线| 国产激情综合五月久久| 久久精品国产亚洲AV清纯| 人妻人妻天天碰| 91国产精品在线看| 密乳无码| 热99这里有精品综合久久 | 超碰人妻中文在线| 婷婷99| 国产内射爽爽大片| 后入综合久久| 最新精品久久蜜桃| 狠狠操夜夜操蜜桃视频三区| 欧亚成人| 精品视频在线观看精品| 91综合天天看| 性性久久| 日韩亚洲美女一区久久| 天天干夜夜操网| 性色AV蜜色av色欲av| 天堂av最新电影网| 国产日韩精品一区二区三区| 色综合99| 国产高清精品福利| 国产美女高潮| 丰满人妻一区二区三区四区| 经典丝袜一区| 欧美另类自拍 | 亚洲图片 激情小说| 国产欧美伊人| 亚洲色欲天天人妻无码系列专区| 久综合国内精品自在自线| 一区二区视频在看| 91日日夜夜| 久久久久久波多野吉衣高潮| 四虎影库国产精品免费| 丁香五月大香蕉| 日本免费中文字幕在线| 东北少妇高潮zzzz| 99超碰网| 久草线上视频免费看| 国产综合久久久鬼色| 综合网欧美在线| 亚洲日韩成人性爱视频| 懂色天天爱天天日天天射天天澡| 亚洲天天做日日做天天谢日日| 日韩15p| 亚洲精品黑丝| 91九九九小逼| 99热免费精品| 偷拍亚洲高清图片| 国内黄色精品| 亚洲 欧美 中文 日韩超碰| 婷婷丁香成人| 偷窥自拍A片| 亚洲AV无线| 欧美性爱无码一区二区三区| 又大又大又大又粗爽高潮观看 | 激情五月婷| 五月婷婷丁香中文字幕| 最新中文字幕精品在线| 国产欧美日本亚洲精品| 亚洲熟伦熟妇AV无码春色| 国产久久久久久| 好一吊区二区| 丝袜视频网国产90| 国产嫩草精品A88AV| 91精品婷婷国产综合久久| 中国的操老妇女| 久久日本熟女精品一区| 精品人妻一区二区三区夜夜| 欧美韩国你懂得在线| 操b网站亚洲无码| www.一本大99| 日韩欧亚太美不卡| 精品人妻一区二区免费蜜桃| 超碰性爱97| 欧美第38页| 少妇与黑人高潮在线| 久久25| 亚洲中文人妻色| 色诱中文字幕| 五月天久久综合网| 国产深喉视频一区二区| 亚洲精品久久久久毛片A片拉屎 | 超碰AV在线| 久草视频分类在线| 91丨九色丨熟女高潮| 免费毛片在线播放| 92午夜免费福利视频| 国产小视频91| 国产久久久久久久久一区二区| 女人高潮抽搐喷水视频网站| 亚洲操操操| 男人天堂一区二区| 成年男人的天堂| 色婷婷蜜臀av| 精品国产乱码久久久兰草影视| 亚洲综合图片在线| 国产又大又粗又长视频| 凌辱美少妇久久aV| 人人搞人人插人人操| 亚洲av综合伊人久久| 国产一级高跟丝袜| 亚洲无线码一区国产欧美国| 欧美女同在线| 久久精品国内Av熟女高清| 人人做,人人操,人人摸| WWW操逼| 黑人狂躁日本妞一区二区三区| 一本一道vs波多野结衣| 日韩三级视频一区二区三区| 亚洲色图加勒比| 日本超碰97日韩精品人妻| av久日| 综合欧美色图| 亚洲码在线中文在线观看| 97在线精品观看视频| 国产极品一区二区三区三州| 五月丁香久久| 日本99一区二区| 2020中文字幕在线| 精品福利| 欧美精品成人在线播放| 天天综合精品| 91美女在线视频| 牛牛久久国产精品视频一二三| 欧洲亚洲人人爽爽视频| 97在线免费视频观看| 欧美成年人性爱视频免费观看| 秋霞久久亚洲精品成人| 亚洲成人av色网| 97天天弄| JuliaAnn丝袜熟女系列| 亚洲第一精品在线视频| 大奶啊啊好爽| 素颜老阿姨乱情色| 加勒比海人人操超碰在线| 三男一女不戴套的A片| 日韩亚洲中文字幕在线| 啊…啊…操我用力操我 | a久久| 天天看少妇| 新视频sss国产| 欧成人精品一区二区三区| 水多多映视AV| 亚欧国产无码精品在线| 97se综合网| 18精品一二区| 国产成人欧美一区二区三区的国产| 六月婷婷色综合| 久久超碰免费的| 亚洲极品| 亚洲av国产av综合av卡| 天天做天天爱天天高潮| 青操影院| 网友自拍第一页| 天天做日日做天天欢。| 欧美日日夜夜| 精品无码少妇| 婷婷激情五月天小说网| 美女高潮视频91| 天天射天天色成人| 久久久免费一级黄片| 一个人在线看的黄色电影网站| 免费男人的天堂| 欧美日韩另类在线| 啪啪视频mP4| 久久久久久人体| 中文字幕奈奈美被公侵犯| 日本熟妇熟色97一本在线观看| 嫩草影院永久在线制服丝袜| 国产免费黄色一级大片| 国产这里只有精品| 91久热| 免费一级黄色录像影片| 久久天天躁日日躁狠狠躁| 东京男人天堂| 乱伦av.com| 色狠人在线99| 一起草高清无码| 色婷婷色99国产综合精品| 精品一区二区三区四区外站| 黑人精品XXX一区一二区| 一区二区三区在线资源| 精品久久久一本一道| 亚洲国产尤物yw在线观看| 有码人妻系列| 粉嫩av在线| 激情丁香五月婷婷| 无码人妻系列少妇| 欧美另类精品xxxx| 97超级欧美| 亚洲 欧美 日韩 国产一区二区 | 欧美日本成人一区二区| 1204av韩国| 一区二区视频在看| 欧美一区二区三区日韩| 啊啊啊好舒服视频在线观看| 一线黄色免费性爱片| 亚洲少妇色| 精品无码一区二区人妻久久蜜桃| 久久综合国产精品国产| 青青草视频久久久久| 日韩猛交| 久久精彩免费视频| 这里只有精品97| 久久久久亚洲Aⅴ无码| 18禁久极品美女久久哦哟呀!| 亚洲日韩在线a不卡99精品| 蜜桃久久一区二区三区| 婷婷色中文字幕| 中出人妻中文字幕91在线| 午夜120视频在线观看| 亚洲中文电影| 一个国产在线综合网站| 久偷拍| 3PAV乱伦视频| 日韩中文字幕熟妇人妻| 无码137片内射在线影院| 超碰97精品在线| 91中文字幕| 嗯嗯啊啊啊好舒服| 国产亚洲精品无码三区| 久久99精品九九久久久婷婷| 操逼视频亚洲| 中出91视频| 激情综合网五月婷婷| 78精品在线| 美女黄色一级A视频| 亚洲有码视频二区| 99国产精品在线观看| 一级做a爰片性色毛片久久| 亚洲天堂女优在线| AA级电影三区| 在线免费试看60秒| 亚洲国产无码精品首页久久久| 欧美热图99| 久久国产三区| 精品日韩人妻视频| 色哟哟1区2区| 九九色婷婷| 亚洲国产97在线精品一区| 日韩一级二级| 色黄污美女啪啪啪免费网站| daxiangjiao你懂的| 午夜男女爽爽爽在线视频| 激情在线青青操| 色一射色一射| 国产51色综合久久免费| 精品久久艹| 六月婷婷综合| 日本不卡一二区| 91美女在线精品视频| 亚洲熟女精品| 人伦四五区| 91黑丝在线播放| 欧美亚洲高清| 亚洲 欧美 另类 日韩 人妻一区| 亚洲色图殴美色图激情乱伦| 后入式免费视频| 欧亚久久偷拍视频| 九九无码视频| A级在线视频| 少妇第一页| 色九九九九久| 搞中出久久| 日本免费一区二区不卡 | 亚洲乱妇p22| 欧美三级免费伊人| 操比国产| 日本阿v天堂在线观看| 男人的天堂2000| 亚洲操操操| 久久久久久久九九九九九九| 欧美视频一区二区三区| 色五月69夫妻| 亚洲九区| 日本高清视频xxxx| 欧美激情 亚洲色图| 天堂蜜桃无码视频一区二区| 国产免费一区在线观看| 天天射,天天操,天天爽-国内精品一区二区三区-成人AV | 日本 欧美 亚中文字幕| 在线综合 亚洲 欧美中文字幕| 欧美激色| 色综合美国| 青娱乐国产精品| 亚洲欧美情色| 亚洲。天堂。日本在线观看| 精品国产自在在线99| av无码精品久久久久| 超清中文乱码字幕| 免看60秒涩涩视频| 97精品视频免费| 99热伊人| 欧美爱三级日韩久久| 啊啊啊啊啊好舒服视频| 亚洲情色1区| **一级毛片国产| 97人人夜夜精品视频| 夜夜欧美 | 又粗又长又大国产不卡| 加勒比无码毛片| 99re只有精品| 亚洲天天艹| www.人人cao| 人人操人人插人人摸人人干| 久热一区二区| 久久婷婷一区| 中亚黄色三级大片| 国产精品亚洲四五区在线观看| 国产精品成人在线| a天堂视频| 免费αV在线视频| 九久9精品| 人人澡人人澡人人| 新精精品久久精品| 黄色高清久久无码依人| 美女诱惑爱爱| 久久性爱城| 人妻干天天| 亚洲啪啪综合?v一区综合精品区| 视频二区美腿制服人妻欧美| 日韩丨制服丨中文|在线| 久久超碰97中文字幕| 亚洲情色第一页| 久久HD| 久久亚洲AV成人精品无码| 国产精品久久天天干| 亚州综合在线| 日日骚av| 久久九九精品一区二区 | 校园春色中文字幕AV| 欧美狠狠弄| 日韩成人色图| 亚洲日本韩国极品一区二区| 久久久久国产一区二| 亚洲av影音先锋| 国产精品成人无码a v毛片| 国产精品点击进入在线影院高清 | 日本操逼视频在线| 亚洲综合在线第一页| 综合亚州欧美| 97精品全部| 中国熟女91| 久久最新视频免费观看| 亚洲欧美另类少妇精品| 东北少妇高潮zzzz| 国产自制av蜜乳| 97香蕉网| 日本淫乱女一区二区三区视频| 亚洲欧美另类图片| 亚洲日韩电影| 蜜臀久久99精品久久久久| 丰满人妻一区二区三区四区| 人妻丝袜二区| 国产精品伦理| 人妻少妇精品无码专区二区密桃| 欧美亚洲在线| 久久久啊啊啊| 91精品人妻一区二区三区蜜桃| 日韩精品亚洲一二三| 综合五月天| 懂色Av一区二区三区| 女优大全 - 91n| 免费国产视频| A 天堂| 无码不卡八戒| 日韩操逼HD| 亚洲暴力强奸AV| 国产尤物AV尤物在线观看不卡| 国产av强奸美女| 国产精品久久久久久无码红治院| 久久久久久国产手机AV| 国产精品久久久三级无码| 中文字幕91综合| 啊啊啊啊一区| 800zy一区二区| 欧美久久婷婷| 日本超碰97日韩精品人妻| 欧美亚洲涩涩| 免费男人的天堂| 性欧美91| 91骚熟女| AV99热18这里只有精品| 天天激色| 97鸡把在线视频| 国产精品自拍视频| 国产精品探花色| 国语国产操逼伊人AV网| 久热大香蕉| 亚洲人精| 久操大香蕉超碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰 | 人妻另类 专区 欧美 制服| 国产精品免费1区2区视频| 国产操逼视频在线观看| 8050午夜少妇无码| 成人 日韩欧美一区| 99爱久久视频频| 国产精品亚洲日韩骚欢乐谷最新地址发布页huanieguty性屋娱乐妖精视频 | 五月天婷婷在线看| 久草国产在线视频| 狠狠爱综合网| 亚洲97P| 青青草久久在线| 九九热精品| www.亚洲成人一区| 天天躁日日躁AAA片李宗瑞| 久久综合九九| 嫩草伊人久久精品| 91熟女.com| 天天网综合| 爽极品影院| 97福利视频| 熟妇艹鸡八| www.成人无码| 狠狠久久手机视频精品| 久操网视频| 91人妻久久久久久久久久久久久| 欧美老熟另类| 欧美日韩亚洲电影| 亚洲天堂2020| 91人妻中文| 五月香婷婷| 日本一本一区二区三区四区五区欧美日韩中文字幕 | 大二网站亚洲| 久草福利在线资源站| 午夜天天碰综合视频| 五月天婷婷久久| 福利五区| 看日韩黄片| 岛国黄色大片网站| 黄网在线播放| 东京太热男人的天堂久久久| 国产乱伦搜索结果91P| 91天堂色男人的天堂| 老熟女91av| 亚洲精品黑丝| 天天日天天插| 欧美91精彩| 97日韩欧美亚洲| 香蕉黄色一级视频| 天天日少妇逼AV| 欧美色图91p| 日韩精品在线视频,日韩精品……| 老司机射| 99啪啪| 四虎免费在线播放| 欧美最婬乱婬爆婬牲视频| 久久久性| 五月丁香成人网| 91久久伊人婷婷青青草| 诱惑网综合| 人妻乱仑一区二区三区| 熟女天天干| 美女网站91| 日韩性爱视频在线免费观看| 熟女丰满人妻一区| 亚洲另类色综合网站| 国产午夜在线观看| 一个人免费HD91视频| 玖玖爱一区在线| 欧美v日韩v亚洲v最新在线| 婷婷五月天影院| 任你干在线视频| 亚洲AV无码乱码| 欧美色婷婷| 激情文学小说一区二区| 熟女五十路一区二区三| 亚洲AO在线| 美女啊啊啊啊啊| 99色色网| 欧美激情一| 日韩精品中文字幕一| 少妇69中文| 啪啪视频免费在线观看| 婷婷五月天补不补| 欧美激情内射| 一块操欧美性爱| 91 国产丝袜在线放观看| 加勒比综合88| 久草婷婷| 久久日韩肥臀| 黄网在线播放| 欧美天天影院| 伊人色综合网电影| 日本精品一区二区三| 大屁股国产在线视频| 精品久久久久久无码| 成功精品影院| 另类欧美色| 五月激情综合网| 全国男人天堂网| 欧美日韩性爱无码| 久久久久久久久久久久久久久久9| 国产精品麻豆成人av| 欧洲乱码一区二区| 色色色日本| 欧美性战999| 欧美日韩大香蕉| 欧美亚洲丝袜美女电影| 成 人 A V免费视频在线观看| 99999精品视频| 搡老熟女免费视频| 天美av在线观看| 青草成人免费视频一com| 日韩草久视频| 呦呦一区| 成人日韩中文字幕| 亚洲图片日本AⅤ欧美在线| 91高跟美女在线播放| 三级色综合| 老女人91| 国产欧美亚洲精品a第2页| 亚洲做性| 大香蕉人妻| 国产sv美女内射| 亚洲综合婷婷| 九九九网站| 欧美专区第一页| 天堂成人网| 久都青青视频| 99re免费视频精品全部| 美美91成人国产精品欧美精品久久久久久久 | 国产日韩美女小穴视频网站不卡| 污到发麻的视频 国产| 思思热国产在线视频| 天天情欲宗合网| 中文字幕精品丝袜| 九九视频黄色片| 可以免费观看的av| 韩国三级三级BD在线| 国产精品午夜福利视频| 国产精品亚洲天堂网址| 啊啊啊在线看| 午夜丁香婷婷| 人人操,人人液| 91欧美美女日韩国产婷婷| 国产在线视频二区| 亚洲天堂资源| 99热精品在线观看| 乱伦熟妇一区二区| 蜜臀av中文字幕| 五月婷视频| 欧美一级在线观看成人| 91色伦综合| 色婷网| 九九无码| 日韩AV片| 日韩簧片免费看| 欧美精品欧美精品系列 | 国产地址二三| 思思热久久成人| 18精品一二区| 九一综合精品视品av| 欧美少妇性爱网站| 超碰在线成人电影| 91原创在线观看| 九月丁香婷婷色| 久久婷婷一区| 蜜桃在线观看一区二区三区| 色情乱伦AV| 色婷婷一区二区三区久久| 男人天堂综合| 免费一级视频特黄色大片| 国产一级高清免费观看| 亚洲色图自拍| 婷婷99狠狠躁天天躁| 国产日韩无码一区二区三区久久区| 人人操人人射人人干| 私色综合网| 久久久亚洲高清不打码| 欧美成人精品欧美一级乱黄一区二…| 大香蕉99热| 日韩图色| 91天堂视频| 大香蕉久| 亚洲无线观看久久| 亚洲文学偷乱拍啪啪啪啪| 天美麻豆精品视频99| 大香蕉强奸乱伦| 九九九热| 夜夜骑日日| 麻豆亚洲Av成人无码一区精品| 中文字幕亚洲永久精品| 搡老女人老91二区| 啊啊啊久久久视频| 1024亚洲中文字幕久在线看片你懂的 | 熟妇国产免费一区| 国产少妇与亚洲av| 人人爱人人操人人性| 中文久久| 四虎免费在线播放| 欧亚乱色熟一区二区三四区| 3p国产欧美99热| 精品日韩人妻精品一二三区| 欧美综合1性辶| 骚女高跟AV在线| 热天堂一区二区| 精品久热| 欧美成人一级免费电影| 五月天我淫我色av| 久久风骚城市| 伊蕉97蜜桃97狠狠综合干| 狠狠 91| 国产成人无码网站在线视频| 日本高清视频xxxx| 屁股久久久久久| av橘色网站| 老熟妇一区二区三区啪啪| 91老熟女逼| 色婷婷亚洲婷婷| 色翁荡息又大又硬又粗又爽| 天天网综合| 国产乱码久久久| 91高潮喷水美女| 超碰天天久久79| 91人妻人人妻| 五月婷婷大香蕉| 欧美视频边做饭边橾| 欧美黄色手机在线观看| 亚洲激情视频| 欧美激情精品久久久久久| 91精品国产乱码| 麻豆一区二区三区精品| 欧美亚洲丝袜美女电影| 校园春色制服丝袜中文字亚洲| 久久久夜夜嗨免费视频| 粉嫩粉嫩一区性色AV片| 日本成人A片网站| 亚洲天天操| 天堂性色| 操久久久久| 96国产精品| 国产97在线播放| 亚洲影视第一页| 久久人妻无码毛片A片麻豆| 九九久久一区二区三区| 精品色色| www.狠狠| www.色婷婷| 操操碰| 色狠狠综合| 高清国产av无码| av天堂手机版追回| 日本色色的视频| 国产成人一级av88| 免费家庭乱伦视频| 国产成人亚洲精品无码最新在线| 东京热一区二区中文字幕| 亚洲色综合| 亚洲成人激情小说视频| 热99这里有精品综合久久| 男人天堂2030| 中文字幕精品专区搜索结果91| 超碰视97中文| 中精品一区二区三区| 天天综合网合集91| 福利五区| 亚洲综合色图欧美| 国产激情在线| 91精品人妻一品二品三品| 熟人人妻少妇精品久久| 果冻传媒一区二区三区| 欧美一级专区免费大片| 天堂在线一区二区| 青青青青草av在线观看| 蜜臀AV成人精品蜜臀| 女人的天堂大香蕉网| 亚洲综合贴图91| 欧美与日韩97| 亚洲在线观看| 国产精品日日摸天天碰| 天天干嫩逼网| 精品无码久久久久久久久果冻糖心| av亚欧| 国产精品一区二区亚洲人成毛片| 日韩无码三级影院| 欧美日韩国产中文精品字幕自在自线| 免费A V在线播放| 亚洲精品第一| 亚洲无码久久久久久久| 十八禁啪啦拍视频无遮挡| 五月天色图| 亚洲色图久久成人| 蜜臀久久99精品久久久久免费观| www.AV有限公司一区| 亚洲熟女偷拍在线观看| 尤物视频新赏网鲜网色诱网| 丰满人妻-区二区三区免费看| 久操视频在线观看| 国产久久免费精品视频| 黄在线| 日本高清久久| 观看免费区二区三区二| 色五91| 嗯嗯啊啊好疼| 天天爽入口| 亚洲天堂男人的天堂| 精品视频一区二区| 亚洲综合另类小说色区亚洲成av人片在www| AV污污污污| 久久婷婷五月天| 91视频观看网站| 久久久久久久久久精| 欧美瑟综合| 国产精品不卡高清在线观看| 2019久久久久久久久福利| 天天日B夜夜干B时时操B| 五月婷婷色| 久久25| 人妻少妇久久中文| 九九九九精品精| 国产黄色小视频网站| 亚洲性爱无码乱伦av| 欧美淫穴| 欧美成人一区二区| 男同专区一区二区三区在线| 熟女人妻精品一区二区视频| 日韩中文字幕精品一区在线| 亚洲国产激情国产av| 亚洲精品一二三四区| 91黑丝操| 黄色大片视频在线免费看| av日韩国产一区二区| 另类图片五月天| 伊人久久国产免费观看视频| 99在线视频播放| 91性网| 国产一级内射无挡观看| www.超碰| 久久久111| 高清视频一区| 中文字幕一区二区三区高清| 99免费在线视频| 99黄页网站| 96精品久久| 欧美操逼熟女| 男人的天堂com| 超碰78| 人妻 中文 日韩| 啊灬啊灬啊灬好深灬快高潮了动漫-国产字幕国产在线观看-B049AV | www.狠狠操| 91天射| 蜜臀久久99精品久久久久久婷婷| 影音先锋视频在线| 成人网址在线观看| 国产精品久久久久绯色| 91天天美女| 成人97人人超碰人人| 99热在线播放| 亚洲青色欧美| 女人久久久| 婷婷中文网| 91久久伊人婷婷青青草| 欧美日韩亚洲天堂| 人人操肉肉| 精品四五区| 97超级色碰碰| 国产一区二区免费福利片| 蜜乳AV色欲AVAV无码| 神马久久网| 国产日本一区二区三区蜜臀在线观看| 91成人在线免费视频| 欧美激情视频一区二区三区不卡| 青青草大香蕉视频| 精品人妻一区| 超碰1024久久| 亚洲天天操| 综合一区中亚洲国产成人综合精品| 久久久久ab| 日韩兔费看黄片| 97人人干| 天天激色| 亚洲AV成人无码一二三久久| 精品超碰中文在线| 亚洲好色人妻| 免费在线黄片视频| 国产视频三区四区| 欧美天天综合在线| www网站黄| 是还免费视频1727我| 无码高清少妇久久| 搡老女人老91妇女老熟女| 女沟厕偷窥piss小便| 亚洲欧美国产日本一区二区三区| 亚洲av无码国产精品字幕| 国产成人网| 伊人久久亚洲中文字幕不卡| 日日摸日日碰夜夜爽视频| 人人操人人摸人人看人人插| 欧美制服另类丝袜| 亚洲天天更新| 九月丁香婷婷| 久久9999 | 亚洲精品97p| 18禁免费视频| 东北女人| 久操操AV电影| 超碰1024久久| 超清福利精品视频在线| 冬京热男人的天堂| 成人一二| 少妇同性| 国产精品白领在线观看| 91N五十路| 黑人免费福利视频| 性色avv| 天天日天天操天天射河南省| 日本一区二区三区欧美日韩中文字幕| 亚洲色婷婷综合久久一区二区三区| 麻豆国产免费影片| 91久久国产精品| 玖玖婷婷五月天| 91高清欧美| 亚洲色图大香| 黄片www视频免费| 刺激性视频黄页| 人人干人人操人人爱| 一级黄碟在线观看| 天天谢天天干| 欧美亚州色的图| 日韩激情啪啪| 91麻豆天美国产欧美高潮| 99热啪啪| 啊啊啊好多水| 91 刺激在线| 色图综合网| 大香蕉欧美伊| 国产成人一级av88| 中国熟女91| 亚洲精品成人| 97日韩| 超碰在线香蕉| 精久久久| 精品人妻伦一二三区久久| 国产97亚洲| 亚洲影院小综合| 波多野结衣先锋影音| 亚洲做性| 亚洲中文字幕97久久精品少妇| 婷婷超| 精品无码久久久久| av日韩在线观看电影| 亚洲深夜福利| 人妻在线臀日韩| 亚洲黄片免费在线播放| 久久久久9999精品九九九| 蜜桃无码AV一区二区| 欧美翘臀视频网站一区二区三区| 久久最新免费视频23| 国产亚洲精品无码三区| 久欲AV| 五月天婷婷成人网| 无码久久国产| 黄色十八禁| 99精品无码| 一中国女人毛片水真多| 中文一区在线日| 大香蕉啪啪啪| 欧美精品久久96人妻无码| 亚洲美女 晚间男人天堂 | 国产精品乱码久久久久久| 九九伊人网| 搡老熟女免费视频 | 蜜伊人色综合97| 亚洲国产奇米影视久久| 天堂网亚洲区手机版| 三级片大波波| 色黄色美女大长腿午夜视频| 天天舔天天日天天射| 亚洲āv网址在线观看| 亚洲综合情色| 久久婷婷六月综合| 国产亚洲日韩欧| 国产黑白丝在线| 7月婷婷综合| 亚洲一区二区精品福利| 国产女人视频三四五区| 亚洲欧美日韩国产丝袜自拍中文| 久操精品网| 岛国免费视频在线| 国产丝袜一区二区三区| 日本天天吊| 男人a天堂手机在线版| 青娱乐啪啪视频| 亚洲性综合| 亚洲美乱| 人人操,操人人| 日韩三级伦理中文字幕| 后入式999| 熟女一区二区| 婷婷91| 一级特黄aaa大片在线观看成人一级片在线观看 | 久久性视频|