日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

SOMBP混合預(yù)測(cè)模型:用SOM聚類增強(qiáng)BP的回歸預(yù)測(cè)實(shí)戰(zhàn)

SOMBP混合預(yù)測(cè)模型:用SOM聚類增強(qiáng)BP的回歸預(yù)測(cè)實(shí)戰(zhàn) 我第一次用SOMBP預(yù)測(cè)模型是在做電力負(fù)荷預(yù)測(cè)的時(shí)候。那會(huì)兒我還在用普通BP網(wǎng)絡(luò)硬啃日負(fù)荷曲線結(jié)果白天的峰、晚上的谷、周末的平段全指望同一個(gè)模型去擬合訓(xùn)練出來的效果怎么說呢——驗(yàn)證集上不是欠擬合就是震蕩調(diào)參調(diào)到懷疑人生。后來翻文獻(xiàn)時(shí)看到一種思路先用SOM自組織映射把歷史負(fù)荷數(shù)據(jù)按形態(tài)聚成幾類再讓BP網(wǎng)絡(luò)分類學(xué)習(xí)這就是SOMBP混合預(yù)測(cè)模型。試了一個(gè)星期以后驗(yàn)證集上的RMSE下降了將近兩成。這篇文章就把SOMBP這套東西從原理到代碼再到我自己踩過的坑完整梳理一遍。如果你手頭也有回歸預(yù)測(cè)的活兒數(shù)據(jù)非線性強(qiáng)、樣本形態(tài)多樣又不想一上來就上深度學(xué)習(xí)和XGBoost那這篇應(yīng)該能給你省不少事。1. SOMBP到底是什么一個(gè)聚類算法怎么跑去幫BP干活1.1 先分清SOM和BP各自的位置很多剛接觸SOMBP的人會(huì)疑惑SOM不是做聚類的無監(jiān)督算法嗎BP是典型的有監(jiān)督回歸網(wǎng)絡(luò)這倆怎么湊到一起的這得從它們各自的能力邊界說起。SOMSelf-Organizing Map自組織映射是Kohonen在1982年提出的無監(jiān)督神經(jīng)網(wǎng)絡(luò)它的核心能力是把高維輸入映射到低維通常是二維的網(wǎng)格上同時(shí)保持?jǐn)?shù)據(jù)的拓?fù)浣Y(jié)構(gòu)——原始空間中相近的樣本在網(wǎng)格上離得也近。你可以把它理解成一個(gè)自帶空間位置感的聚類器普通K-Means聚類只告訴你這幾個(gè)樣本是一類SOM還會(huì)告訴你這類離那類有多遠(yuǎn)、誰和誰在拓?fù)渖鲜青従?。這個(gè)位置信息恰恰是后面BP能用到的東西。BPBack Propagation反向傳播網(wǎng)絡(luò)則是大家更熟悉的有監(jiān)督多層前饋網(wǎng)絡(luò)。它通過誤差反向傳播不斷調(diào)整權(quán)值目標(biāo)是讓輸出和真實(shí)標(biāo)簽之間的誤差最小化。BP在回歸擬合上確實(shí)能打但它有幾條眾所周知的命門初始權(quán)值敏感、容易陷入局部極小、對(duì)多模態(tài)非平穩(wěn)數(shù)據(jù)的擬合能力有限。我早年做預(yù)測(cè)項(xiàng)目時(shí)凡是遇到數(shù)據(jù)形態(tài)一段一個(gè)樣的場(chǎng)景BP的表現(xiàn)就很不穩(wěn)定。SOMBP的思路一句話概括先用SOM做無監(jiān)督學(xué)習(xí)把數(shù)據(jù)里隱藏的結(jié)構(gòu)摸清楚再用BP在有監(jiān)督回歸時(shí)用上這個(gè)結(jié)構(gòu)信息。兩者不是競(jìng)爭(zhēng)關(guān)系而是流水線作業(yè)——SOM干的是偵察兵的活兒BP干的是精確狙擊的活兒。1.2 SOMBP的兩種典型架構(gòu)在實(shí)際項(xiàng)目中SOM和BP的配合方式主要有兩種我分別叫它分組模式和特征增強(qiáng)模式。分組模式先用SOM對(duì)訓(xùn)練樣本聚類得到每個(gè)樣本所屬的類別編號(hào)。然后按類別把訓(xùn)練集拆成若干子集為每一個(gè)子集單獨(dú)訓(xùn)練一個(gè)BP網(wǎng)絡(luò)。預(yù)測(cè)時(shí)先判斷新樣本屬于哪個(gè)SOM類別再調(diào)用對(duì)應(yīng)的BP模型輸出結(jié)果。這種架構(gòu)適合數(shù)據(jù)天然存在多個(gè)子模式的情況比如不同季節(jié)的負(fù)荷曲線、不同工況的設(shè)備參數(shù)。特征增強(qiáng)模式SOM訓(xùn)練結(jié)束后為每個(gè)樣本找到它的最佳匹配單元BMU即競(jìng)爭(zhēng)層上離它最近的節(jié)點(diǎn)把這個(gè)節(jié)點(diǎn)的網(wǎng)格坐標(biāo)比如(3, 5)作為兩個(gè)額外特征拼接到原始特征后面一起送入BP網(wǎng)絡(luò)訓(xùn)練。這種模式下BP只有一個(gè)但輸入多了兩維結(jié)構(gòu)位置信息。我個(gè)人的經(jīng)驗(yàn)是特征增強(qiáng)模式更好用。原因有兩點(diǎn)——第一分組模式在樣本量不均衡時(shí)很容易翻車某個(gè)聚類子集如果只有幾十個(gè)樣本單獨(dú)訓(xùn)練BP基本等于過擬合第二特征增強(qiáng)模式把SOM的聚類結(jié)果以軟信息的形式傳給BP而不是硬切一刀信息損失更小。后面第3節(jié)的代碼就是按特征增強(qiáng)模式寫的。對(duì)比維度分組模式特征增強(qiáng)模式模型數(shù)量K個(gè)BP子模型1個(gè)BP模型樣本量要求每個(gè)子類都要足夠多無特殊要求信息利用只用了類別ID用了BMU位置坐標(biāo)部署復(fù)雜度需要維護(hù)多模型路由單模型簡(jiǎn)單適用場(chǎng)景子模式差異極其明顯絕大多數(shù)場(chǎng)景2. 為什么先聚類再擬合能實(shí)打?qū)嵦嵘A(yù)測(cè)精度2.1 BP網(wǎng)絡(luò)最頭疼的三件事先說清楚BP自己搞不定的問題你才知道SOM到底幫了什么忙。第一件事是局部極小。BP靠梯度下降找最優(yōu)權(quán)值但現(xiàn)實(shí)問題的損失函數(shù)幾乎都是高維非凸的里面布滿了局部極小值。初始權(quán)值稍微不一樣最后落點(diǎn)就差很多。這也解釋了為什么同一個(gè)數(shù)據(jù)集BP每次訓(xùn)練結(jié)果都可能有波動(dòng)。第二件事是多模態(tài)數(shù)據(jù)擬合吃力。什么叫多模態(tài)簡(jiǎn)單說就是數(shù)據(jù)并不是服從一種整體規(guī)律而是幾種規(guī)律混合在一起。比如日負(fù)荷曲線工作日的形態(tài)是雙峰早高峰、晚高峰周末是單峰偏平節(jié)假日可能是另一個(gè)形態(tài)。你讓一個(gè)BP網(wǎng)絡(luò)用一個(gè)函數(shù)去逼近三種完全不同的形態(tài)本質(zhì)上是讓它在矛盾中找折中——結(jié)果往往是三種形態(tài)都擬合得不像。第三件事是對(duì)特征尺度敏感。BP的權(quán)值更新幅度依賴輸入數(shù)值的大小如果某個(gè)特征的范圍是0到10000另一個(gè)是0到1那前者會(huì)在梯度里占據(jù)絕對(duì)主導(dǎo)訓(xùn)練就變成了遷就大數(shù)值特征的過程。2.2 SOM具體做了什么SOM在這個(gè)流程里其實(shí)做了三件實(shí)事。第一件降維去噪。SOM把高維樣本映射到低維網(wǎng)格的過程本質(zhì)上是發(fā)現(xiàn)數(shù)據(jù)的低維流形結(jié)構(gòu)。經(jīng)過SOM聚類后同類樣本之間的噪聲被平均掉了模型學(xué)到的規(guī)律更干凈。第二件提供結(jié)構(gòu)先驗(yàn)。原始特征里沒有這個(gè)樣本屬于什么模式這個(gè)信息BP網(wǎng)絡(luò)要靠自己從數(shù)值里摸索。而SOM的BMU坐標(biāo)等于直接告訴BP這個(gè)樣本落在哪個(gè)結(jié)構(gòu)區(qū)域里。相當(dāng)于你給模型配了一副地圖它不用再完全靠猜。第三件改善條件數(shù)。BMU坐標(biāo)作為新特征取值范圍小且分布相對(duì)均勻它替BP承擔(dān)了一部分區(qū)分樣本的功能讓BP可以把更多容量用在純數(shù)值映射上。一個(gè)類比普通BP像是讓一個(gè)新員工直接處理所有客戶投訴而且要求他記住每個(gè)人屬于哪個(gè)區(qū)域、什么脾氣、訴求是什么結(jié)果往往是記憶混亂。SOMBP相當(dāng)于先安排了一個(gè)前臺(tái)SOM把客戶按區(qū)域和類型分好類再讓BP針對(duì)每一類客戶學(xué)一套應(yīng)對(duì)策略。前臺(tái)分配得越準(zhǔn)后端的應(yīng)對(duì)就越有針對(duì)性。2.3 一個(gè)負(fù)荷預(yù)測(cè)的直覺例子拿我做過的負(fù)荷預(yù)測(cè)說。數(shù)據(jù)是某個(gè)區(qū)域過去兩年的逐時(shí)負(fù)荷加上溫度、濕度、星期幾、節(jié)假日標(biāo)記這些特征。如果直接上BP訓(xùn)練出來的模型在普通工作日的預(yù)測(cè)還不錯(cuò)但一遇到節(jié)假日或者極端天氣誤差就飆得離譜。為什么因?yàn)楣?jié)假日樣本在整個(gè)數(shù)據(jù)集中占比不到5%BP在擬合時(shí)幾乎把注意力全放在了如何擬合好工作日數(shù)據(jù)上節(jié)假日模式被淹沒了。SOMBP的思路是先用SOM對(duì)歷史樣本聚類。跑完之后我看了下SOM的U-Matrix和類別分布發(fā)現(xiàn)它確實(shí)把樣本分成了工作日型、周末型、節(jié)假日型、極端天氣型這幾大類。然后我把BMU坐標(biāo)拼到特征里再訓(xùn)練BP節(jié)假日樣本因?yàn)閹狭藢儆诠?jié)假日區(qū)域的坐標(biāo)BP就再也不會(huì)把它們硬套工作日的規(guī)律了。實(shí)測(cè)節(jié)假日預(yù)測(cè)的MAE下降了約25%整體誤差也跟著降了下來。這就是SOMBP的威力它不是在某個(gè)環(huán)節(jié)做了革命性改進(jìn)而是讓BP從一開始就知道樣本的結(jié)構(gòu)身份。3. 從零搭建一個(gè)SOMBP預(yù)測(cè)模型完整代碼與參數(shù)說明3.1 數(shù)據(jù)準(zhǔn)備歸一化是SOM的生命線先說一句最重要的話用SOM之前所有特征必須歸一化。SOM計(jì)算樣本之間距離時(shí)用的是歐氏距離如果某個(gè)特征量級(jí)特別大它會(huì)直接主導(dǎo)距離計(jì)算聚類結(jié)構(gòu)就全偏了。我見過很多人在這里偷懶結(jié)果SOM聚出來的類跟實(shí)際業(yè)務(wù)規(guī)律對(duì)不上還以為是SOM算法不行。這不是算法不行是你沒做歸一化。推薦用MinMaxScaler把特征縮放到[0,1]區(qū)間而不是用StandardScaler標(biāo)準(zhǔn)化。因?yàn)镾OM的初始權(quán)值是從數(shù)據(jù)中隨機(jī)抽取的使用MinMax能保證權(quán)值初始化和數(shù)據(jù)分布在同一個(gè)數(shù)值區(qū)間內(nèi)收斂更快。這里還要提醒一個(gè)數(shù)據(jù)泄露的坑先劃分訓(xùn)練集和測(cè)試集再用訓(xùn)練集的數(shù)據(jù)fit歸一化器最后用同一個(gè)歸一化器transform測(cè)試集。千萬不要先對(duì)整個(gè)數(shù)據(jù)集歸一化再劃分否則測(cè)試集信息會(huì)通過scaler泄露到訓(xùn)練過程中模型評(píng)估結(jié)果會(huì)虛高。import numpy as np import pandas as pd from sklearn.preprocessing import MinMaxScaler from sklearn.model_selection import train_test_split from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score from minisom import MiniSom from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense, Dropout from tensorflow.keras.callbacks import EarlyStopping # 假設(shè)data是DataFramefeatures是特征列target是目標(biāo)列 features data.drop(columns[target]).values target data[target].values X_train_raw, X_test_raw, y_train, y_test train_test_split( features, target, test_size0.2, random_state42 ) scaler_x MinMaxScaler() X_train scaler_x.fit_transform(X_train_raw) X_test scaler_x.transform(X_test_raw)3.2 SOM訓(xùn)練與BMU特征提取SOM部分我用的是Minisom這個(gè)輕量庫(kù)pip install minisom就能裝API很簡(jiǎn)潔不用自己去實(shí)現(xiàn)Kohonen更新規(guī)則。幾個(gè)關(guān)鍵參數(shù)10, 10競(jìng)爭(zhēng)層網(wǎng)格是10x10共100個(gè)神經(jīng)元節(jié)點(diǎn)。sigma1.0鄰域半徑初始值。SOM訓(xùn)練時(shí)不只是更新獲勝節(jié)點(diǎn)本身還會(huì)更新它周圍鄰域內(nèi)的節(jié)點(diǎn)sigma控制這個(gè)鄰域范圍。初始值要覆蓋網(wǎng)格的40%以上讓拓?fù)浣Y(jié)構(gòu)先在全局層面展開再慢慢收縮到局部微調(diào)。learning_rate0.5權(quán)值更新步長(zhǎng)一般0.3到0.5起步是穩(wěn)妥的。太小收斂慢太大容易震蕩。random_weights_init(X_train)用訓(xùn)練數(shù)據(jù)中隨機(jī)抽取的樣本來初始化權(quán)值比隨機(jī)初始化收斂快得多。train_random(X_train, 10000)迭代10000次。每次從訓(xùn)練集中隨機(jī)抽一個(gè)樣本更新它對(duì)應(yīng)的獲勝節(jié)點(diǎn)和鄰域節(jié)點(diǎn)。訓(xùn)練結(jié)束后對(duì)每個(gè)樣本調(diào)用som.winner(x)就能拿到它的BMU坐標(biāo)一個(gè)元組比如(3, 7)。我把這兩個(gè)坐標(biāo)當(dāng)作兩個(gè)額外的特征列拼接到原始特征之后。# 訓(xùn)練SOM som MiniSom(10, 10, X_train.shape[1], sigma1.0, learning_rate0.5) som.random_weights_init(X_train) som.train_random(X_train, 10000) # 提取BMU坐標(biāo)并拼接為增強(qiáng)特征 def append_bmu_features(data, som_model): bmu_coords np.array([som_model.winner(sample) for sample in data]) return np.hstack([data, bmu_coords]) X_train_aug append_bmu_features(X_train, som) X_test_aug append_bmu_features(X_test, som) # 單獨(dú)打印一下維度變化確認(rèn)拼接生效 print(原始訓(xùn)練集維度:, X_train.shape) print(增強(qiáng)后訓(xùn)練集維度:, X_train_aug.shape)3.3 BP回歸網(wǎng)絡(luò)的構(gòu)建與訓(xùn)練BP部分我直接用Keras搭了個(gè)三層結(jié)構(gòu)。為什么是三層不加多因?yàn)镾OM已經(jīng)替BP承擔(dān)了一部分模式識(shí)別的工作BP的任務(wù)被簡(jiǎn)化了不需要過深的網(wǎng)絡(luò)。層數(shù)太深不僅訓(xùn)練慢在小樣本下還容易過擬合。結(jié)構(gòu)如下def build_bp_model(input_dim): model Sequential() model.add(Dense(64, activationrelu, input_diminput_dim)) model.add(Dropout(0.2)) model.add(Dense(32, activationrelu)) model.add(Dense(1)) model.compile(optimizeradam, lossmse, metrics[mae]) return model model_sbp build_bp_model(X_train_aug.shape[1]) early_stop EarlyStopping( monitorval_loss, patience50, restore_best_weightsTrue ) history model_sbp.fit( X_train_aug, y_train, validation_split0.2, epochs500, batch_size32, callbacks[early_stop], verbose1 )這里三個(gè)點(diǎn)值得說第一Dropout(0.2)放在第一層后面。這是為了防止模型把SOM的BMU坐標(biāo)當(dāng)成鐵律來記憶。BMU坐標(biāo)本身是離散的網(wǎng)格上每個(gè)位置覆蓋的訓(xùn)練樣本數(shù)可能不均勻如果不加Dropout模型可能對(duì)某些網(wǎng)格區(qū)域過擬合。第二EarlyStopping的patience50。我見過很多教程不設(shè)early stopping硬訓(xùn)500輪結(jié)果訓(xùn)練損失降到很低但驗(yàn)證損失早就開始反彈了。這里設(shè)50的意思是驗(yàn)證損失連續(xù)50輪不再下降就提前停并把驗(yàn)證損失最優(yōu)時(shí)的權(quán)值恢復(fù)回來。這是實(shí)測(cè)下來最省心的一招。第三epochs500只是上限。配合EarlyStopping實(shí)際跑到一兩百輪基本就停了。對(duì)小樣本數(shù)據(jù)集這個(gè)配置足夠。3.4 完整流程封裝成函數(shù)為了復(fù)用我把整個(gè)流程封裝成一個(gè)函數(shù)。傳進(jìn)來訓(xùn)練特征、測(cè)試特征、目標(biāo)值返回預(yù)測(cè)結(jié)果和評(píng)估指標(biāo)。實(shí)際項(xiàng)目里你只需要替換特征和目標(biāo)值其他邏輯可以直接抄。def sombp_predict(X_train_raw, X_test_raw, y_train, y_test, grid(10, 10)): # 歸一化先fit訓(xùn)練集再transform測(cè)試集 scaler_x MinMaxScaler() X_train scaler_x.fit_transform(X_train_raw) X_test scaler_x.transform(X_test_raw) # 訓(xùn)練SOM som MiniSom(grid[0], grid[1], X_train.shape[1], sigma1.0, learning_rate0.5) som.random_weights_init(X_train) som.train_random(X_train, 10000) # BMU特征拼接 X_train_aug append_bmu_features(X_train, som) X_test_aug append_bmu_features(X_test, som) # 訓(xùn)練BP model build_bp_model(X_train_aug.shape[1]) early_stop EarlyStopping(monitorval_loss, patience50, restore_best_weightsTrue) model.fit(X_train_aug, y_train, validation_split0.2, epochs500, batch_size32, callbacks[early_stop], verbose0) # 預(yù)測(cè)與評(píng)估 pred model.predict(X_test_aug).ravel() rmse np.sqrt(mean_squared_error(y_test, pred)) mae mean_absolute_error(y_test, pred) r2 r2_score(y_test, pred) return pred, {rmse: rmse, mae: mae, r2: r2}注意這個(gè)函數(shù)里沒有做目標(biāo)值的歸一化。如果目標(biāo)值量級(jí)特別大比如上萬建議把y_train也做一次MinMaxScaler預(yù)測(cè)完再inverse_transform回來BP的訓(xùn)練會(huì)更穩(wěn)定。4. 三種方案實(shí)測(cè)對(duì)比SOMBP vs 普通BP vs XGBoost4.1 實(shí)驗(yàn)設(shè)計(jì)與評(píng)估指標(biāo)光說原理容易飄直接上實(shí)測(cè)數(shù)據(jù)。我在一個(gè)公開的電力負(fù)荷數(shù)據(jù)集上跑了三組對(duì)比普通BP只用原始特征、SOMBP特征增強(qiáng)版、XGBoost基準(zhǔn)模型。數(shù)據(jù)集包含兩年多的逐時(shí)負(fù)荷、溫度、濕度、星期、節(jié)假日標(biāo)記等12個(gè)特征共約20000條樣本70%/30%劃分訓(xùn)練測(cè)試。評(píng)估指標(biāo)用回歸三件套R(shí)MSE均方根誤差懲罰大誤差、MAE平均絕對(duì)誤差直觀反映平均偏差、R2決定系數(shù)衡量模型解釋了多少方差。為了公平BP層結(jié)構(gòu)保持一致XGBoost用了GridSearch調(diào)過一輪參數(shù)隨機(jī)種子固定42每組實(shí)驗(yàn)跑3次取平均值。SOM網(wǎng)格用10x10sigma1.0。4.2 結(jié)果對(duì)比與分析模型RMSEMAER2普通BP0.1870.1420.863SOMBPBMU特征增強(qiáng)0.1520.1160.913XGBoost0.1710.1300.892結(jié)論很清晰在這個(gè)數(shù)據(jù)集上SOMBP的RMSE比普通BP降了約19%比XGBoost也低了11%R2從0.863提升到0.913。這就是先聚類再擬合帶來的實(shí)際增益。為什么SOMBP能贏XGBoost不是說XGBoost不強(qiáng)而是在多模態(tài)、周期性強(qiáng)的數(shù)據(jù)上XGBoost的樹模型擅長(zhǎng)的是特征空間里的分片擬合但它缺少SOM這種拓?fù)浣Y(jié)構(gòu)感知的能力。SOM的BMU坐標(biāo)給BP引入了XGBoost無法直接獲得的數(shù)據(jù)流形信息——相鄰BMU節(jié)點(diǎn)之間的平滑過渡關(guān)系本質(zhì)上是一種空間先驗(yàn)。不過我也要潑一盆冷水SOMBP不是萬能的。我在另一個(gè)人工合成的線性數(shù)據(jù)集上做過測(cè)試SOMBP和普通BP差距很小甚至因?yàn)镾OM聚類的隨機(jī)性SOMBP偶爾還略微落后。如果你的數(shù)據(jù)本來就比較規(guī)整、線性關(guān)系強(qiáng)老老實(shí)實(shí)用線性回歸或者普通BP就夠了沒必要上SOMBP。4.3 SOM網(wǎng)格尺寸和鄰域半徑怎么定關(guān)于SOM的超參數(shù)我踩過不少坑直接給經(jīng)驗(yàn)值。網(wǎng)格尺寸經(jīng)驗(yàn)法則是讓節(jié)點(diǎn)數(shù)量約等于訓(xùn)練樣本數(shù)的平方根。假設(shè)你有20000條樣本sqrt約141那10x10到12x12的網(wǎng)格都合理。網(wǎng)格太小聚類太粗BMU坐標(biāo)提供的區(qū)分度有限網(wǎng)格太大很多節(jié)點(diǎn)上的樣本數(shù)稀疏BMU坐標(biāo)變成了一堆稀疏標(biāo)記甚至?xí)黾釉肼?。鄰域半徑sigma初始值要覆蓋網(wǎng)格對(duì)角線的一半以上讓拓?fù)浣Y(jié)構(gòu)能展開。比如10x10的網(wǎng)格對(duì)角線約14sigma初始取1.0到1.5都行。訓(xùn)練后期sigma會(huì)隨著迭代逐漸衰減Minisom內(nèi)部做了線性衰減這個(gè)不用手動(dòng)干預(yù)。訓(xùn)練迭代次數(shù)我一般先設(shè)5000次看量化誤差quantization error曲線如果誤差還在明顯下降就加到10000次。MiniSom訓(xùn)練很快幾千次對(duì)幾千個(gè)樣本也就是幾秒鐘的事。BP隱含層節(jié)點(diǎn)數(shù)64-32這個(gè)配置在多數(shù)中等規(guī)模數(shù)據(jù)集上表現(xiàn)穩(wěn)定。如果你的數(shù)據(jù)很復(fù)雜可以嘗試128-64-32如果數(shù)據(jù)量只有幾百條我建議直接降成32-16防止過擬合。5. 實(shí)操踩坑記錄與三個(gè)改進(jìn)思路5.1 坑一訓(xùn)練集和測(cè)試集一起歸一化這個(gè)坑我犯過不止一次。一開始圖省事直接對(duì)全量數(shù)據(jù)做MinMaxScaler然后再劃分訓(xùn)練測(cè)試。結(jié)果就是測(cè)試集的統(tǒng)計(jì)信息最小值、最大值混進(jìn)了scaler里面模型評(píng)估出來的分?jǐn)?shù)虛高。真實(shí)部署的時(shí)候新數(shù)據(jù)都是一條一條進(jìn)來的你不可能先看到它的最大最小值再歸一化。正確做法我前面代碼里已經(jīng)寫了先用訓(xùn)練集fit再用同一個(gè)scaler去transform測(cè)試集。新樣本上線時(shí)也用訓(xùn)練集fit好的scaler處理然后調(diào)用som.winner和BP模型。5.2 坑二新樣本的BMU坐標(biāo)冷啟動(dòng)SOM訓(xùn)練完之后測(cè)試集的新樣本要調(diào)用som.winner(new_sample)獲取BMU坐標(biāo)。這本身沒問題但如果新樣本和訓(xùn)練數(shù)據(jù)分布差異很大它的BMU可能會(huì)落在網(wǎng)格的邊緣位置。比如你訓(xùn)練SOM時(shí)電量負(fù)荷在1000-3000MW之間預(yù)測(cè)時(shí)來了個(gè)5000MW的極端值它的BMU會(huì)映射到網(wǎng)格角落甚至同一個(gè)節(jié)點(diǎn)——一系列極端樣本的BMU坐標(biāo)全都擠在一起相當(dāng)于這個(gè)特征維度失去了區(qū)分度。解決辦法有兩個(gè)一是把SOM看作數(shù)據(jù)分布的活地圖定期用最新一批數(shù)據(jù)增量更新SOMMiniSom支持增量訓(xùn)練二是對(duì)BMU坐標(biāo)映射結(jié)果做一次統(tǒng)計(jì)如果測(cè)試集BMU分布和訓(xùn)練集差異超過閾值說明特征分布漂移了需要重新訓(xùn)練模型。5.3 坑三分組模式下的樣本稀疏過擬合前面我說了特征增強(qiáng)模式更推薦但有些場(chǎng)景你確實(shí)想用分組模式比如業(yè)務(wù)上就要求每個(gè)類別一個(gè)模型。這時(shí)候有個(gè)陷阱SOM聚類出來的類別樣本量可能嚴(yán)重不均衡——某個(gè)異常模式只占總樣本的1%。對(duì)小樣本子集單獨(dú)訓(xùn)練BP幾乎必然過擬合。我在一個(gè)故障預(yù)測(cè)項(xiàng)目里遇到過正常工況樣本幾萬條故障工況樣本只有幾十條單獨(dú)訓(xùn)練出來的故障BP模型在驗(yàn)證集上一塌糊涂。應(yīng)對(duì)思路小樣本類別不單獨(dú)訓(xùn)練BP而是并入拓?fù)渚嚯x最近的鄰居類?;蛘哂锰卣髟鰪?qiáng)模式的全局SOMBP不做硬切分?;蛘邔?duì)小樣本類別做SMOTE過采樣后再送入BP訓(xùn)練。5.4 三個(gè)改進(jìn)方向方向一SOMXGBoost。如果你試了SOMBP還不滿足可以把BMU坐標(biāo)拼接給XGBoost試一下。我在部分?jǐn)?shù)據(jù)集上發(fā)現(xiàn)XGBoost加上BMU坐標(biāo)特征效果甚至比SOMBP還好因?yàn)闃淠P捅緛砭蜕瞄L(zhǎng)利用高維離散特征BMU坐標(biāo)這種結(jié)構(gòu)化特征對(duì)樹模型很友好。方向二SOM做異常檢測(cè)后再預(yù)測(cè)。SOM天然適合做異常檢測(cè)——落在低密度區(qū)域、BMU距離很大的樣本都可以算異常。在訓(xùn)練BP之前先用SOM把異常樣本篩出來剔除再用干凈數(shù)據(jù)訓(xùn)練BP預(yù)測(cè)穩(wěn)定性會(huì)有提升。這也是SOMBP在信用卡交易欺詐預(yù)測(cè)場(chǎng)景里的一種常見用法SOM先識(shí)別出可疑交易模式異常簇BP再對(duì)可疑樣本做欺詐概率的精細(xì)回歸。方向三增量學(xué)習(xí)應(yīng)對(duì)概念漂移。很多預(yù)測(cè)場(chǎng)景負(fù)荷、流量、銷量數(shù)據(jù)分布會(huì)隨時(shí)間緩慢變化。SOM支持在線更新可以每個(gè)周期用最新數(shù)據(jù)增量訓(xùn)練SOM讓BMU坐標(biāo)保持不過時(shí)BP層的權(quán)重也可以用小學(xué)習(xí)率持續(xù)微調(diào)。這比定期全量重訓(xùn)便宜得多。我個(gè)人在實(shí)際操作中最深的體會(huì)是SOMBP的收益來自于結(jié)構(gòu)先驗(yàn)而結(jié)構(gòu)先驗(yàn)的前提是數(shù)據(jù)里真的有結(jié)構(gòu)。如果你的數(shù)據(jù)本身就是一個(gè)均勻分布的大雜燴SOM聚不出有意義的結(jié)構(gòu)SOMBP自然也就幫不上忙。所以拿到新數(shù)據(jù)集時(shí)我建議先做一步用SOM的量化誤差和類別分布熱力圖看一眼數(shù)據(jù)是否真的分成幾坨可辨識(shí)的模式。如果熱力圖一團(tuán)糊那SOMBP可以直接放棄老老實(shí)實(shí)上XGBoost或者LightGBM。如果熱圖上有明顯的山頭那恭喜你SOMBP大概率能給你一個(gè)驚喜。還有一個(gè)非常實(shí)用的小技巧訓(xùn)練SOMBP時(shí)建議同時(shí)保留一個(gè)普通BP作為baseline。我見過太多人看到SOMBP效果好就興沖沖把BP模型刪了結(jié)果部署上線后發(fā)現(xiàn)新數(shù)據(jù)分布漂移SOMBP性能驟降又沒有backup模型可以對(duì)照排查。把兩個(gè)模型都跑通、對(duì)比著看你才能真正理解你的數(shù)據(jù)里到底有沒有SOM能幫你挖掘的結(jié)構(gòu)。這個(gè)習(xí)慣后來幫我避免了不止一次上線事故。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
精品人妻中文字幕4399| 日韩av在线精品观看| 安徽熟妇视频| 爆乳免费黄网站| 熟女人妻av在线资源,黄色的资源| 国精综合一二三区影视| 无码操逼天堂| 久久久久久日韩| 五月天婷婷久久| 茄子社区国产精品| 欧美日韩第一页| 97网址97| 久久久久久久强迫| 欧美男人一区| 久久久久久久性爱| 婷婷久久大香蕉| 午夜精品久久久久久久第一页按摩| 日韩国产成人自拍视频| 国内精品久久人妻性色av| 99亚洲精品| 黄片色区软件| 久久精品成人一区二区三区蜜臀| 黄色激情电影在线观看| 毛片99-全集电影手机免费观看完整-B029AV| 成人无遮挡毛片免费看| 夜夜嗨视频| 能直接看AV的网站| 偷窥自拍亚洲| 久久婷婷五月天| 91在线综合网| 国产v亚洲v日韩v欧美v片另类| 1769精品一区二区三区| 人人爽夜夜玩视频| 91c色| 亚洲 中文 女同| 青青草色AV| 九九热九九| 亚洲的天堂网| 久久久无码av精| 久久精品国产97欧美精品亚洲 | 欧亚第一综合网| 午夜黄色免费在线观看| 欧美黄色手机在线观看| 亚洲AV不卡在线观看尤物| 日韩性爱毛片操骚逼| 青青伊人这里只有精品| 亚洲国产综合久久久性感熟妇| 久久精品店| 老熟女网站| 福利在线视频一区二区| 最新欧洲欧美日本激情网站| 亚洲精品少妇| 亚洲在线观看| 欧美另类色| 青草草免费网站av| 精品国产乱码| av在线播放国产一区| 国产精品乱码久久久久久久久| 78精品| 偷拍欧美激情| 天天摸,夜夜摸| 亚洲国产精品成人久久蜜臀| 亚洲日韩电影| 国产99999| 男人的天堂1024| 美女被啪到深处抽搐视频| 玖玖综合色| 欧美自拍偷拍免费观看| 日韩中文字幕视频| 精品人妻一区二区免费蜜桃| 日韩欧美综合激情| 亚洲日韩在线a不卡99精品| 操美女人妻| 亚洲天堂人妻一区二区| 色色色五月婷婷| 亚洲自拍天堂| 青娱乐欧美激情一区二区 | 97就爱干| 啊灬快c我灬啊灬用力灬啊灬-国产精品性做久久久久久-成人AV | 少妇人妻太紧太深av| 国产精品白领在线观看| 日韩欧美午夜一区二区| 风流老熟女一区二区三区l| 操操逼操操逼操操逼逼| 性久久| 蜜乳AV一区二区三区四| 99热精品国产| 99黄页网站| 综合91网| www.狠狠| 久久精品国产精品一区| 手机看片91人妻| 色哟哟511老熟女| 日韩超碰97| 久久精品免费| 99最新日韩偷拍视频| 97精品网站| 色噜噜狠狠色综无码久久合欧美| 强奸乱伦免费网站| 国产精品大香蕉| 久久同城AV| 国产尤物AV尤物在线观看不卡| 亚洲 自拍偷拍 欧美| 国产超碰人人爽人人做| 亚洲人精品久久久喷水| 亚洲熟女偷拍在线观看| 无码操逼视频一下| 日韩一999精品| 黑人操一区二区| 欧美日韩岛国大片在线观看| 偷拍欧美综合| 啊啊啊啊,啊啊好多水| 亚洲自拍天堂| 清纯唯美激情四射| 婷婷综合伊人一区| 91久热| 日韩 成人 有码| 97在线免费观看视频| 亚洲极品| 久久久久97| Blackedraw视频一区二区| 偷拍伦理视频| 日韩小电影| 一区二区三区免费岛国片| 欧美亚洲第1页| 天堂v无码免费视频| 色蜜AV| 青青草大香蕉视频| 久久婷五月天| 美女诱惑一区| 97久久久久久久久久| 国产精品毛片?v一区二区三区| 国产久久一区二区三区野外在线| 日本操逼无码| av黄图片在线观看| GVH-003 母子姦 青木玲-麻豆视频,麻豆视传媒短视频网站入口,麻豆视传媒官网直 | 久欲AV| 人妻熟女午夜精品在线| 亚洲一二三四区| 婷婷五月天色| 亚洲欧美国产va在线播放频| 操逼999| 国产AV天美| 成人精品在线免费视频| 大香蕉 222| 五月丁香六月综合缴清无码| 噜噜噜亚洲精品| 亚洲国产日韩欧美熟妇在线| 国产精品96| 99热8| 狠狠色综合网| 免费看国产曰批40分钟怎么下载| 欧美亚洲手机在线| 激情婷婷丁香| 中文字幕精品一区欧美| 9精品久久久久| 丁香婷婷激情五月天无毒不卡| h在线看免费版在线看| 成人小电影网站tex| 97看操| 自拍盗摄一区| 色色色综合| 久啪视频| 久久久久久免费电影| 99热超碰| 婷婷97| 久久‘黄片视频| 亚洲欧美国产成人综合不卡| 欧美亚洲小说| 男人的天堂午夜av| 欧美一级A片在线看视频性色| 精品国模无码| gogogo免费高清看中国国语| 日产欧美电影一区二区三区| 欧美,日韩,中文,另类| 国产精品视频白浆免费| 成 人 A V免费视频在线观看| 欧成人精品一区二区三区| 久区视频| 五月天婷婷社区| 亚洲高清内射| 欧美亚洲特P| 91啪啪视频| 91久久久久久久| 91精品久久综合熟女| 伊人久久大香线蕉亚洲五月天,青草青草欧美日本一区二区,欧美日产欧美日产国产 | 久操黄色视频| 国产午夜精品理论片a大结局| 亚洲黄色| 欧亚乱色熟女一区二区| 丁香五月电影| 欧美亚洲一区二区久久久婷精品大包诱| 欧美性猛交美女自慰91| 国产路线专区| 日本不卡一二区| 久久春色| 国产狂喷潮在线精品| 国内毛片国产欧美拍| 大香蕉一线视频| 伊人97色天使| 久久成人东京热人妻| 久久精品—区二区三区内射| 亚洲AV无码天美传媒一区| 蜜桃久久久久久久久久久久| 天天看天天日天天操| 日韩性爱免费观看视频| 九九AV| 欲射影视| 影音先锋视频在线| 宅男91视频在线播放| 熟妇熟女一区二三区| 国产精品对白自产拍| 久久精品视-一级做a爰片性色毛片16美国-中国女与老外在线精品 | 亚州操逼网| 蜜乳av首页| 色色激情五月天| 九九热在线视频| 久久一二三四不卡 | 亚洲一区二区精品福利| 蜜臀在线免费观看在线免费观看| 97久久国产亚洲精品超碰热| 激情综合色| 亚州Av天美传媒| 国产精品麻豆免费视频| 欧美|91色综合| 亚洲男人电影天堂| 国产极品999| 欧美 亚洲精品首页| 成人三一级一片aaa| 人妻精品综合中文字幕在线| 欧美欧美啪啪视频| 鸥美精品一区二区久久婷婷| 18禁在线视频| 91欧美丨精品丨入口| 久久精品人人做人人看| 被男人吃奶很爽的毛片| 欧美永久激情一区二区| 四方色播| 又黄又爽在线观看视频| 九色精品视频导航1| 欧美亚洲se91| 一块操欧美性爱| 精品天堂| 人人爱夜夜爱| 大香蕉520| 久久久久久久人妻丝袜| 亚洲码和欧洲精品激情系列| 亚洲国产成人精品999| 中文字幕55555| 97在线精品观看视频| 另类图片五月天| 和协影院中文字幕三区| 亚洲另类小说卡通动漫| 亚洲在线综合| 久久久久9999精品九九九| 日韩亚洲国产视频| 精品亚洲天堂| 亚州高清AV| 视频在线观看一二三区| 在线欧美69V免费观看视频| 久久 精品| 精品久久九| 91精品无码人妻系列| 欧美第二页午夜| 91亚洲不卡一区| 日韩婷婷| 久久9精品视频| 91爆操视频| 人人操人人干网页| 精品久久久久久无码| 激情小说激情视频| 人妻人久久精品中文字幕| 超碰到97情色| 骚逼自拍99| 国产性感在线观看| 日韩啪啪啪视频| 日本不卡码黄色| 人人爱操| 中文啪啪视频| 超碰天天操| 啊v视频在线观看| 国模精品一区二区三区苹果色戒| 一级A啪啪啪啪| 亚洲日韩在线a不卡99精品 | av操操不卡| 999在线电影香蕉| 人妻密肉在线观看| 歐美性天天| 青青草在线视频人人想人人上| 五月天激情综合网| 亚洲熟妇图片| 啊灬快c我灬啊灬用力灬啊灬-国产精品性做久久久久久-成人AV | 丁香激情五月| 九九玖玖精品| 久久久少妇诱惑精品视频| av中亚| 秋霞Av理论一级在线| 天天干18禁| 国产在线能看的你懂的| 久久久久亚洲av综合波多野制衣| 插插综合网天天影视网| 亚欧美综合网| 欧美成人A天堂片在线观看| 人妻-91porn| 欧洲精品一级二级精品综合视频综合 | 五月香婷婷| 夜夜久久| 97视频在线看| 女人天堂AV五区在线| 久久人妻一区二区三区高清| 新亚洲无码| 综合天天网| 97人人夜夜精品视频| 大香网伊人久久综合| 日韩精品三级片长长久久| 日日夜夜免费| 天堂av2019| 97视频播放| 日本操大逼| 韩国一区二区精品亚洲| 欧美亚洲高清晰| 少妇熟女1区2区3区| 乱精品一区字幕二区| 成人精品一区二区91毛片不卡| 黑操B| 日本男人天堂| 少妇蜜汁| 看一级黄色视频| 美女十八禁| 啪啪综合网| 亚洲资源站| 日韩一区二区精品视频| 天堂网亚洲区手机版| 91美女丝袜诱惑视频| 色老久久| 超碰97精品| 97一区二区蜜臀| 日本视频一区二区三区| 天天看高清麻豆| 久热香蕉精品在线视频| 久久亚洲一区女同性恋中文字幕| 操老熟女AV| 五月天春色激情网| 国产人伦a片信息免费片| 久久精品国产97欧美精品亚洲| 国产 日韩 欧美 人妻 熟女 中文 69人妻精品一区二区绯色 | 青青草伊人久久| 天天插天天操| 大香蕉欧美| 婷婷性网| 99精品无码| 色爱欲亚洲| 丁香五月影院| 久久九九99| 人干人人人操人人摸| 91天天看| 精品福利| 九九九不卡| 天天摸夜夜操视频| 成人综合视频久久| 亚洲丝袜二区| 色综合加勒比四四季| 啊啊啊啊啊啊啊国| 精品无人区麻豆乱码久久久| 国产精品美女在线一区| 白丝被操91| 欧美成年人性爱视频免费观看| 日韩欧美中文字亚洲慕| 色色婷| 日本护士高潮| 国模吧 一区二区三区| 久久麻豆一区二区| 999日韩中文精品观看视频。| 97香蕉碰碰人妻国产欧美| AV天堂国产| 熟妇xxxxx性春色| 夜夜草我| 日韩精品中文字幕人妻| 99在线免费公开视频| 狂操嫩妻视频一区二区三区| 久久日韩毛| 97天天爽| 色与欲影视| 爱逼综合| 日本高清_区二区三区| 99热思思| 久超超碰| 2019男人的天堂| 伊人网在线点播| 91熟女丨91老女人| 欧洲一级性爱视频在线观看| 330dv亚洲成年视频网| 青青草日韩免费观看高清在线| 亚洲综人| 7777奇米影视久久| 女人被添高潮免费视频| 婷婷视频网| 欧美色日本| 久久六六| 91啪9色| 伊人在线大香蕉视频久久| 97天天综合| 久久精品国产免费观看99| 九月AV| 五月婷色| 96一区二区三区| 国产版a级片直播在线| 白丝1区2区3区| 日逼97| 秋霞免费AV| 91欧美丝袜| 中文字幕蜜乳av| 精品国产一级久久| 职场同事知名国产国产精品久久欧美日韩 | 小说区 图片区色 综合区| 久久久精品中文字幕爱豆| 欧美第一页性| 五月天亚洲色图| 黑丝少妇在线观看| 国产偷拍网站| 嗯嗯啊啊啊好舒服| 日日骚一区二区三区| 国内亚洲精彩视频在线| 久久久久久久久久久精| 亚洲色偷偷色噜噜狠狠99网| 好色综合| 9 7超碰在线免费观看| 大香蕉一区二区在线观看.| 东北女人被操| 欧美成人性爱视频大全| 亚洲国产综合图区中文字幕| 夜夜狼人妻| 久久五月天婷婷丁香中文字幕| 吉川爱美亚洲二区在线| 欧美在线干| 日韩一区二区精彩视频| 欧美黑人91| 久久HD| 搡老熟女免费视频 | 久久久久久免费电影| 黄色欧美性爱视频| 久久久性少妇| 污污污8888| 91无人区卡一卡二卡三乱码入口最新版:能让用户有更多选择的选择-经典说说-爱 | 好湿好紧视频| 免费超碰97久久| 日本精品一区三区| 99久久无码| 91国精产品| 天天日天天色| 啪啪啪精品视频| 操逼视频国产无套| 中文字幕三四五区| 97蜜桃综合| 91九九| 久久精品中文| 天天综合网AV91| 中文字暮97| 99这里有精品| 一级性爱aaaa| 亚洲天堂一区二区久久| 精品人妻一区二区三区免费视频| 亚洲Av噜噜一区二区三区妖精| 美女露胸露屁股| 小少妇| www.人人cao| 99热只有这里有精品| 亚洲日韩天堂| 亚洲牲交| 久久精品国产亚洲5555| 人妻熟女一区二区在线视频| 一区二区亚州激情久婷婷欧美| 97干色天堂| 日韩av三四区| 欧美人妻中出| 国产嫩草精品A88AV| 四季av一区二区凹凸精品小说| 诱惑人妻欧美一区在线播放| 欧美高潮| 国产精品第一页国产大屁股视频免费区| 99精品综合久久久久五月天| 超碰在线91| 波多野42部激情无码喷潮| 在线观看成人性爱免费小视频| 日本高清视频xxxx| 国内精品久久久久影院亚洲| 91久久久久免| 久久精品人妻一区二区| 97人妻人人躁人人玩人人| 久久久久久九九九| 91在线超高颜值国产| 日韩久久三区| 99黄页网站| 精人妻无码一区二区三区伊人直播| 97亚洲欧美| 欧美性爱18观看| 黄片免费日韩| 黄片在线免费在线观看| 中文字幕AV片| 1769国内精品视频| 精品无码一区二区| 997色在线| 无遮挡一级毛片视频免费的| 1024日韩| 国产精品久久久九九九| 97视频播放| 久久伊人最新网址视频| 色久桃花影院在线观看| 91在线色| 日本操色导航| 麻豆传媒一区二区在线观看| 久久激情婷婷| 色五月丁香五月| 国产精品一二三| 天天插夜夜操| 九色97| 日本韩国五十路六十路七十路老熟女作爱视频网站 | 伦理日韩国产久久| 精品人妻av在线播放| 中国黑人三级片网站上区| 精品在线蜜臀| 秋霞男人网| 国产精品夜夜| 亚州精品一区二区三区香中文字幕在线| 亚洲日本大香蕉1| 五月婷婷综合网| 婷婷五月天激情四射| 男人天堂2012| 欧美日韩青操| 欧美日韩国产中文超碰| 人人摸.人人色| 国产日韩美女小穴视频网站不卡| 操逼片中文| site:sinbotex.com| 麻豆AV96熟妇人妻| 成年人性爱日韩| 999久久芭蕾| 发朗少妇买婬全视频中文| 超碰在线欧美性爱激情| 久久九操在线观看| 懂色av一区二区三区天美传媒| 丁香五月天社区| 国产 日韩,欧美 自拍| 熟妇高潮一区二| 九九综合色| 亚洲小说视频| 免费成人在线熟妇网| 色激情五月天| 丰满人妻一区二区三区四区| 五月天精品| 日韩99神马视频播放| 亚洲国产成人精品无码专区| 久久丁香久草综合网| 亚洲国产福利视频| 亚洲吊色| 欧美久久人妻少妇一区二区| 啊操爽品善一区二区三区| 国模精品娜娜一二三区| 青娱乐久久艹| 色婷婷视频| 无码 黑人一区二区三区| 久久 精品| 亚洲熟女乱熟乱熟妇综合网二区| 95精品在线| 变态乱伦伪娘灌肠一区二区| 91P0RNY大屁股人妻| 91在线欧美| 欧美综色欧| 97视频在线观看免费高清| 是还免费视频1727我| 婷婷久久综合| 五月天激情网站| 亚洲高潮少妇| 久久极品一区二区| 五月婷丁香| 免费一级欧美片片线观看| 牛牛久久国产精品视频一二三| 免费农村成人少妇人妻Aa一区二区视频| 色播丁香| 天美一二三在线观看Av| 久久妇| 999精品国产高清一区二区| 久久av成人无码免费| 色综合久| 5252色欧美在线| 夜夜国自区| 国内毛片四区| 搡老人老9丨女老熟人| 激情色播| 亚洲欧洲激情| 午夜人人操| 乱伦图一区| 97精品国产97久久久久久户外免费| 不卡码视频| 欧美最大综合网| 麻豆色约约| 偷拍精品一区二区三区| 爱射综合| 欧美日韩免费专区在线| 天天操妹子| 日本123区操B视频| 台湾大香蕉99热| 日韩小电影| 大香樵伊人网| 亚洲综合色图欧美| 久久精品色欧美aⅴ一区二区| 日韩精品99久久久久久中文字幕| 色香综合| 欧洲无码一区二区| 成人免费性爱视视| 欧美日韩国产色五月综合在线| 老熟女网站| 久悠悠av| 97干97色| 色情亚洲日本成人| 97欧美性爱| 二级久久网| 激情无码日韩| 97国产精品久久久久| 久久精品国产Aⅴ| 蜜桃成人1区2区3区| 男人天堂2017| 日韩9999| 国产剧情AV不卡在线观看| 91超碰人人| 欧美性生活免费网| 日本ZZ高免费A级视频| 亚洲AV无码久久久国产精品| 久久久久深夜无码| 77777亚洲蜜臀精品久久综合蜜臀| 热99这里有精品综合久久| 国产黄a三级三级三级av在线看| 日韩综合色网| 欧美激情片一区二区| 亚洲黄色a级片| 国产无码精品久久久久久| 少妇免费视频| 韩国黄片aaaa| 熟妇人妻丰满久久久久久久无码 | 五月天欧美色图| 先锋精品av色鲁| 色综合天天| 亚洲丰满很很操| 亚洲美乱| HEYZO高无码国产精品227| 中文字幕视频在线观看| 欧美一二在线| 欧插网站| 久久久久9久久久久| 国产av美女被艹的乱叫| 国产精品96| 狠狠躁天天躁日日躁97| 日韩99神马视频播放| 99啪| 国产又色又爽又舒服的三级视频| 天天摸夜夜添无码小视频| 天天性射网| 超碰538| 91亚洲青青草原精品1区| 国内毛片免费h片在线| 午夜视频好爽啊| 国产成人亚洲精品无| 青青草色AV| 亚洲精品蜜桃久久久| 久草久日| 天天综合91入口| 男人的天堂2000| 日本蜜桃| 人妻丝袜肏逼| 男人的天堂无码| 亚洲天堂资源| 99re在线视频| 成人五月天色网| 粘花网06av视频| 啊啊啊在线观看免费视频| 天天做天天爱天天爽AV| surenchaopeng| 久久超碰爱| 五月婷视频| 日韩99999色| 99re9这里只有精品| 久久这里精品国产99丫e6| 91偷拍欧美亚洲| 色踪合AV| a片自拍直播视频| 亚洲一区二区性爱电影| 亚洲欧美中日韩| 久久久久密臀一区二区| 亚洲素人综合| 97啪啪| 中文字幕91页| 男人下部插入女人下部| 天天综合网AV91| 天天欧美| 综合免费无码中文| 欧美日韩不卡传媒| 秋霞网无码| 377p欧洲日本亚洲大胆| 亚洲精品国产精品乱码不99| 欧美 传媒 麻豆 日韩 偷拍| 蜜臀久久精品久久久久视频| 天天视频网站黄| 欧美后进式| 黄站在线免费观看| 亚洲中字幕日本一区二区三区| 99久久e免费热视| 亚州再线| 一起草在线视频| 六月丁香啪啪| 观看免费区二区三区二| 少妇熟女视频一二三区| 无码一区二区精品视频久久久春药| 国模不卡| 日本最新1区2区3区| 精品国产人成在线| 情色av电影| 婷婷丁香九月| 爱干爱射网啊啊啊| 久久久久久精| 无套内射人妻在线播放| 青青欧洲黑| 久久久99免费| 国产乱不卡| 精品9区| 国产1024在线播放| 无码精品蜜桃一区二区三区ww| 操操操操操操| 91精品久久久| 亚洲第一视频 欧美风情 日韩| 亚洲Av无码成人精品国产| 色九九久九九| 狠狠色一区二区中文字幕| 亚洲AV无码AV吞精久久久久 | 少妇内射www在线观看视频| 成人aⅴ一区二区三区| 亚洲97P| 欧美视频在线视频免费va| 国产精品乱码久久| 亚洲熟女偷拍在线观看| 天天干美少妇一区| 久久久麻豆精品| 一区二区乱码福利| 超碰98综合网| 97天天综合网| 日本三级黄页| 亚洲熟女中文字幕在线| 91福利网在线观看| 久久免费9| 亚洲日韩黑丝| 18禁久极品美女久久哦哟呀!| 91美女丝袜诱惑视频| 美国一区二区免费视频| 国产精品视频麻豆入口| 韩国一级做a久久久久| 蜜臀AV午夜精品久| 老熟乱一区二区三区四区| 操曰本熟女| 白丝一区| 青青五月天| 91精品人妻一品二品三品| 欧美日韩97在线| 中国黄色特级精品一区二区三区片| 国产精品乱人伊人网| 婷婷四五区| 欧美天天插| 精品网站9999| 青青草在线视频欧美| 一区 欧美 日韩 麻豆| 亚洲色图大香| 一区二区三区四区五区高清无码永久视频| 五月综合久久| 亚洲91色在线| 天天操天天谢| 熟妇无码视频三区| 欧美少妇人妻| 日韩欧美操逼xxx| 亚洲少妇中文字幕网址| 色综合色综合网| 精品免费1| 中出后入| 亚洲av性爱电影| 老司机香蕉| 日韩av性爱在线播放| 免费看A片毛毛片在线播| 97人人干人人操| wwe 天天干.com| 日日嗷| 亚洲一区日韩精品| 亚洲成av人片色午夜乱码| 久极品在线观看| 成人开心网在线视频| 亚州欧美另类| 91快色色色色色| 欧美亚洲国内自拍| 久久久久久久久久久久欧美日| 男人天堂新在线| 丁香五月婷婷五月| 国产成人AV麻豆| 亚州综合色| 柠檬AV导航| 免费成人在线熟妇网| 亚洲熟女av中文字幕| 国产成人自拍视频在线| 91熟女综合| 国产精品一区二区三区四区五区| 国产精品女生av| 综合网欧| 午夜国产成人精品视频| 熟妇人妻精品一区二区视频色欲| 精品女同一区| 亚洲成人在线高清| 尻女朋友一夜| 青娱乐999| 欧美色图天堂网m| 日韩成人性日韩成人性爱视频在线免费观看| 欧美久久伊人| 天天影视之亚洲综合网| 黄色一级视| 青青草影视蜜久久| 免费看A片毛毛片在线播| 黑人精品久久97| 偷拍欧美激情| 午夜亚洲| 麻豆区99999| 能在线播放的国产三级| 五十路人妻在线| 综合色播| 精品免费视频国产一区| 一区二区三区蜜桃成人撸久久东京热 | 亚洲情色综合网| av三级电影在线播放| 成人精品电影| 国产精品制服丝袜清纯唯美| 久久国产对白激情浪潮| 日韩人成网站在线播放| 人妻欧美| 97精品一二区| 亚洲大色堂| 欧美大香蕉同搞| 一区二区三区麻豆| 久久久久成人蜜桃精品| 精品久久久久久AV无码| 麻豆国产成人精品| 最新的亚洲无吗| 久久在线观看免费视频| 情侣操 逼视频99| 亚洲丝袜二区| 免费伦费视频在线观看| 91性色| 中国韩国明星一极片一区乱码毛片人妻熟女一区二区三区 | 骚女高跟AV在线| 日韩精品三区四区| 亚洲AV成人无码一区二区三区在线观看 | 麻豆60秒| 骚逼高潮久久精品| 蜜桃久久综合视频| 一二三区精品视频| 亚洲 欧美综合| 东北少妇高潮zzzz| 午夜超爽| 五月天婷精品激情| 神马精品视频| 中文字幕艹艹| 日韩人妻精品久久久久| 自拍偷拍 日韩无码| 天天爽天天爽| 69AV女优男人的天堂| 十八禁电影伊人网| 性综合网| 无码人妻精品一区二区中文| 色五月丁香五月| 97天天操天天干| 97色碰| 92人人操人人| 伊人991| 中文字幕丰满人妻日本| 日本视频在线观看污污污| 欧美日韩99| 超碰97资源中文字幕| 大香蕉九九| 欧美色九九九| 久久久久久免费电影| 电家庭影院午夜69久久夜色精品国产69乱| 17c嫩草51久久91嫩草| 日韩性爱毛片操骚逼| 人妻精品视频一区二区| 婷婷久久综合| 成人在线视频二区| 99re不伦| 国产精品高潮久久久无码| 三级色影综合网| 国内偷自视频区视频综合| 嫖老熟女A片一二三区| 久久久久久性爱片| 欧美综合站| 国语精品对白| 欧美综合网| 99在线精品观看视频中文| www.国产高潮精品| 俺去啦俺来也久久综合| 动漫区日韩区欧美区| 色色青青久久| 亚洲色图20p| 91AV入口| 国产精品视频播放| 国内精品嫩模A∨私拍小视频| 9久超碰| 色臀av| 久久精品视频一区三区小泽玛利亚| 国产精品免费视频人成| 91国产操逼视频| 老鸭窝成人免费毛片视频 | 夜夜 中文视频rt| 久久天天摸| 亚洲制服欧美另类内射| 久久国产逼| 殴美在线AⅤ| 亚洲成人在线高清| 亚洲熟妇一,二,三期| juliaann丝袜| 人妻天堂网| 狠狠入| 97热视频在线观看| 91无摭挡| 亚欧美色图| 国内精品99999| 久久9999| 蜜臀中文无码午夜| 欧美日韩中文字幕不卡| 青青草依人大香蕉| 青青草原av| 职场同事知名国产国产精品久久欧美日韩 | 伊人久久AV诱惑悠悠| 久久久久久久久久久久97 | 天美传媒国产原创中文字幕亚洲欧美另类 | 小草精彩毛片| a男人的天堂| 91欧美丨精品丨入口| 婷婷激情四射| 激情黄色片在线观看| 精品人妻一区二区三区四区不卡在| 操碰97| 激情无码日韩| 中日高清无码操逼视频| 色综合一区二区三巨| 大香蕉十区| 美女上床网站| 91丝袜在线观看| 久干9操| 日韩乱码Av| 高清不卡国产| 江都AV在线| 久久久久久久综合,国产| 青青操日韩| 91色人妻| 亚洲黑丝在线| 黄久在线| 日韩99精品视频综合区| 伊人专区一区二区三区| 婷婷丁香五月综合| 亚洲的天堂网| 99久久精品无码一区二区毛片免费 | 国产高清不卡视频| 好涩综合| av凤凰久久久| 中文字幕人乱码中文字的预防方法 | 夜夜夜夜久久久久| 密乳无码| 97大色网| 久久久久九九九| 亚洲无码99| 加勒比海人人操超碰在线| 色欧美亚洲| 深爱五月婷婷| 大香蕉2017| 老熟女乱子伦中文字幕一区二区| 亚洲国产欧美中日韩成人综合视频| 久久久穴999| 麻豆综合一区av| 狠插 制服 自拍| 亚洲密乳AV| 中文字幕、久久精品国产2020、久久综合久久自在自线精品自、亚洲 | 日本在线999| 两性色网| AV中文字幕三四五| 色五月激情综合网| 欧美色网络| 青青草原人妻| 色欲三区| 亚洲色图欧美一区二区不卡| 97操操| 内射夫妻三片| 亚洲人妖网| 午夜精品视频777| 9 1果冻精品视频| 在线观看十八禁| 中文字幕乱码人妻二区三区| 欧美一区二区成人一卡| 日韩性爱免费视频在线网站| 国产成人精品午夜福利| 亚洲夜夜欢无码一区二区| 欧美激情亚洲情色| 在线观看av区| 亚洲高清综合网| 后入人妻一区| 2018色综合天天操| 日本成人在线不卡一区二区三区| 怡红院成人av| 国产超碰在线| 芊芊操逼视频无码| 欧美+日产+中文| 国产情色第一第二页在线观看| 欧美日韩中文亚洲v在线综合| 久久免费少妇| 99精品丰满人妻| 欧美在线官网| 亚洲美女自拍偷拍视频| 乱伦一二三| 激情文学 亚洲图片| 国产熟女一区二区丰满| 99综合视频| 天天干天天狼在线视频| 一区操逼| 亚洲高清综合网| 亚洲AV色图一区| 九一国产精品| 超碰在线97国产| 丰满少妇高潮无码| 久久久久久久久久久97| 色色综合网站| 97AV在线免费观看| 四虎884a| 欧美A√综合网| 久久性爱视频| 自拍内地三级在线观看| 国产人妻精品一区二区三区秋霞| 综精品久久久aaaa| 欧美中文字幕一区| 超碰这里有精品| 日本一区二区中文字幕久久| 在线有码中文字幕| 欧美大香蕉久| 久久国产乱子伦精品免费女人| 性爱网站一区二区| 国产一区二区三区视频在线看| 亚洲婷婷综合网| 四虎国产精品永久地址入口| 午夜无码精品免费看性色| 久久久亚洲欧美综合| 综合久久中文字幕综合日韩精品| 中国一区二区亚洲人妻| 中文字幕二区日韩天堂| 人人操人人射人人干| 999久久久| 无码人妻精品一区二区中文 | 北条麻妃性愛视频| 天堂性色| 首页中文字幕中文字幕免费| 天天综合中文字幕 91| 欧美日韩一区二区三区四区蜜桃| 大香蕉av在线| 中文字幕色AV| 日韩成人私密一级精品av| 亚洲精品国产无码高清| 大香蕉伊人亚洲| 国产精品农村妇女| 岛园激情| 天天搞欧美| 91人妻素女| 蜜臀久久99精品久久久老,,| 91操熟女视频| 人妻一二三区| 欧美猛交黑寡妇中文字幕| 成人性爱电影一区二区| 曰本特级特黄特色黄色A级网站高清在线免费看 | 狠狠干狠狠色| 久久久少妇诱惑精品视频| 国产又大又硬又长又粗| 北野未奈加勒比av| 在线观看日韩av不卡| 色综九九九一区| 强奸乱伦av电影| 变态另类专区| 亚洲国产第一页综合视频| 啪啪啪综合网| 大香蕉在线视频重口味毛片在线| 思思热国产高清| 国产美女口爆吞精| 午夜福利视频在线一区| 青青青草原| 欧美 亚洲 综合 制服| 欧美日韩*字幕一区| 国产乱码精品久久久久久| 最近2019中文字幕国语免费版 | 久久超碰免费的| 把腿张开老子CAO烂你| 婷婷激情四射| 精品176精品2| 99热这里只有精品地址| 成人免费性爱视视| 亚洲国产中文字幕| 国产亚洲 中文欧美久久| jk白丝没脱就开始啪啪| 欧美人人天天网| 男人兔费天堂| 伊人激情五月天一区二区| 国产精品噜噜噜日日日| 青青操在线亚洲视频观看欧美在线| 99久久久99久久91熟女| 久久久久免费看少妇A片特黄| 婷婷精品久久av影视| 亚洲永久AV无码精品秋霞| 久久女婷| 丝袜熟女一区二区三区| 97视频免费播放| 一本一道久久综合久久| 99国内精品| 九九视品黄色| 午夜一区二区三区国产| 天天综合欧美黑人| 思思热影视| 亚洲在线网站| 天天综合网视频91| 中文字幕在线日亚州9| 神马久久久久久| 91在线丝袜| 欧美少妇大量自拍视频在线观看| 日韩久久.一级黄色片| 国产AV中文| 久草线上视频免费看| 美女人妻色网站| 高清在线偷拍自拍视频| 26uuu性| 久久精品一区二区三区四区五区| 天天综合站| 国产一区二区三区,在线观看观看| 婷婷久草一区二区三区| 亚洲精品乱码久久久久久蜜桃麻豆| 2018天天日天天日| 殴美色网| 99在线精品观看视频中文| 成人影 天天操 亚洲| 久久综合九九| 五月综合激情| 亚洲另类在线观看| 欧美日韩成人| 婷色五月| 嫩草影院在线观看精品 | www.99视频| 色综合五月天| 熟女精品一区二区三区| 伊人久久婷婷| 色性综合| 成人日本精品九区| 日本大香蕉综合网红本杳社区| 日韩特一级久久| 亚洲欧美97√| 性欧美第一页| 天天操妹子| 91无码西班牙视频在线|