日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Matlab實(shí)現(xiàn)GA-XGBoost回歸預(yù)測與SHAP可解釋分析完整方案

Matlab實(shí)現(xiàn)GA-XGBoost回歸預(yù)測與SHAP可解釋分析完整方案 簡介本資源是一套面向科研人員與工程實(shí)踐者的MATLAB智能建模工具包聚焦于XGBoost回歸模型的參數(shù)優(yōu)化、可解釋性分析與實(shí)際預(yù)測應(yīng)用。針對傳統(tǒng)XGBoost超參數(shù)調(diào)優(yōu)依賴經(jīng)驗(yàn)、特征貢獻(xiàn)難以量化的問題資源集成遺傳算法GA自動(dòng)尋優(yōu)、SHAP值深度解釋及新樣本預(yù)測全流程適用于環(huán)境監(jiān)測、工業(yè)預(yù)測、金融風(fēng)控等需高精度與強(qiáng)可解釋性的回歸任務(wù)。壓縮包共47個(gè)文件含13個(gè)核心MATLAB腳本如main.m、GA.m、shapley_function.m、4個(gè)Excel數(shù)據(jù)集含訓(xùn)練數(shù)據(jù)與預(yù)測結(jié)果、22張可視化圖表擬合圖、誤差分布、蜂群圖、雷達(dá)圖等以及C編譯依賴文件與詳細(xì)運(yùn)行說明整體56.52MB。目前已有157人學(xué)習(xí)下載提供從數(shù)據(jù)預(yù)處理→GA優(yōu)化→XGBoost建?!鶶HAP解釋→多維可視化的完整閉環(huán)代碼所有模塊解耦清晰、注釋詳盡支持開箱即用與二次開發(fā)。 做回歸預(yù)測的同行肯定都有體會(huì)模型效果是一關(guān)解釋性是另一關(guān)兩個(gè)都做到位才算真正能交付。我去年在做一個(gè)工業(yè)過程參數(shù)預(yù)測項(xiàng)目時(shí)用XGBoost精度雖然不錯(cuò)但超參數(shù)調(diào)起來極其費(fèi)勁而且模型像個(gè)黑箱業(yè)務(wù)方拿著預(yù)測結(jié)果也不敢直接拍板。后來我把遺傳算法和SHAP加了進(jìn)去在Matlab里把整條流水線串起來形成了這套“GA-XGBoost回歸SHAP分析新數(shù)據(jù)預(yù)測”的完整方案。從超參數(shù)尋優(yōu)到模型訓(xùn)練再到對新樣本預(yù)測和解釋每一個(gè)預(yù)測值每步都有章可循而且數(shù)據(jù)、代碼都在本地可復(fù)現(xiàn)。這篇文章就是這套方案的完整復(fù)盤。我會(huì)從方案選型、環(huán)境準(zhǔn)備、核心代碼實(shí)現(xiàn)、SHAP可解釋性分析到實(shí)際問題排查把整個(gè)過程捋一遍。如果你正在用Matlab做回歸預(yù)測受困于手動(dòng)調(diào)參、模型不好解釋或者想把“訓(xùn)練-預(yù)測-解釋”串成一套自動(dòng)化流程這篇文章應(yīng)該能幫你省下不少試錯(cuò)時(shí)間。1. 方案整體設(shè)計(jì)為什么把GA和SHAP加到XGBoost上1.1 XGBoost精度高但超參數(shù)調(diào)起來是真麻煩XGBoost在結(jié)構(gòu)化數(shù)據(jù)回歸上的能力不需要多吹業(yè)界早就驗(yàn)證過了。它本質(zhì)上是梯度提升決策樹的進(jìn)階版本通過不斷擬合上一輪殘差用一堆弱學(xué)習(xí)器組合成一個(gè)強(qiáng)回歸器。相比傳統(tǒng)隨機(jī)森林XGBoost引入了二階導(dǎo)數(shù)、正則化項(xiàng)、特征列采樣和近似直方圖算法所以在精度和泛化上都有明顯優(yōu)勢。但問題在于它的超參數(shù)空間非常龐大。稍微數(shù)一下就有l(wèi)earning_rate、max_depth、min_child_weight、subsample、colsample_bytree、reg_alpha、reg_lambda等等。這些參數(shù)之間還有交互作用比如max_depth大一些可能就需要把learning_rate調(diào)小subsample太高可能導(dǎo)致過擬合調(diào)太低又欠擬合。手動(dòng)一個(gè)個(gè)試不僅效率低而且很容易陷進(jìn)局部最優(yōu)。用網(wǎng)格搜索呢參數(shù)組合是爆炸式增長我遇到過一組三參數(shù)網(wǎng)格搜索跑了一整夜都沒跑完的經(jīng)歷更別說七參數(shù)同時(shí)調(diào)了。所以在工程上超參數(shù)尋優(yōu)一般交給智能優(yōu)化算法。我選遺傳算法GA而不是貝葉斯優(yōu)化或者粒子群原因是GA實(shí)現(xiàn)相對直觀而且Matlab自帶的Global Optimization Toolbox里有現(xiàn)成的ga函數(shù)不需要額外裝包。GA的思想簡單說就是模擬自然選擇先隨機(jī)生成一批參數(shù)組合作為“個(gè)體”用交叉驗(yàn)證結(jié)果算適應(yīng)度然后通過選擇、交叉、變異一代代進(jìn)化最后收斂到一組比較優(yōu)秀的超參數(shù)。它不依賴梯度信息對XGBoost這種非連續(xù)、非光滑的目標(biāo)函數(shù)特別友好。1.2 SHAP讓黑箱回歸模型有了透明的解釋模型訓(xùn)練完業(yè)務(wù)方第一個(gè)問題往往不是“精度多少”而是“哪些因素影響了預(yù)測結(jié)果這個(gè)預(yù)測值憑什么這么高”如果回答不上來再好的模型也難落地。XGBoost雖然自帶feature_importance但它只能給一個(gè)粗粒度的特征重要性排序無法解釋單個(gè)樣本的預(yù)測值是怎么構(gòu)成的。SHAPSHapley Additive exPlanations解決的就是這個(gè)問題。它源于博弈論中的Shapley值把每個(gè)特征想象成合作博弈中的一個(gè)“玩家”通過計(jì)算每個(gè)玩家在不同組合下的邊際貢獻(xiàn)公平地分配總預(yù)測值給各個(gè)特征。在回歸模型里SHAP值表示某個(gè)特征對預(yù)測結(jié)果貢獻(xiàn)的正負(fù)和大小正數(shù)表示把預(yù)測值往上推負(fù)數(shù)則往下拉。相比LIME這類局部解釋工具SHAP有堅(jiān)實(shí)的數(shù)學(xué)基礎(chǔ)而且全局一致性好。對XGBoost這種樹模型還有專門的TreeExplainer計(jì)算效率極高不用采樣就能算出精確的SHAP值。我用下來最大的感受是SHAP能把“模型為什么預(yù)測成這樣”這個(gè)問題從只能講“大概這個(gè)特征重要”推進(jìn)到“這個(gè)樣本因?yàn)锳特征高、B特征低所以預(yù)測值偏高”這完全是兩種說服力。1.3 整體技術(shù)棧Matlab調(diào)用Python兩邊優(yōu)勢都吃滿標(biāo)題里直接寫了Matlab那就得說清楚一個(gè)現(xiàn)實(shí)Matlab原生并沒有XGBoost和SHAP的官方工具箱。網(wǎng)上有人用fitcensemble之類的方法模擬XGBoost但本質(zhì)不是一回事很多參數(shù)和特性都沒有。真正成熟的方案是Matlab調(diào)用Python讓Python環(huán)境負(fù)責(zé)xgboost、shap這些庫Matlab負(fù)責(zé)數(shù)據(jù)預(yù)處理、遺傳算法尋優(yōu)、結(jié)果可視化和工程調(diào)度。好處很明顯。機(jī)器學(xué)習(xí)生態(tài)最強(qiáng)的庫都在Python這邊而Matlab在數(shù)據(jù)處理、矩陣運(yùn)算、圖形可視化以及很多傳統(tǒng)工程領(lǐng)域有不可替代的價(jià)值。兩者通過Python接口打通等于同時(shí)拿了兩邊的長處。我們項(xiàng)目里前端界面和數(shù)據(jù)處理都在Matlab里做模型訓(xùn)練和解釋調(diào)用Python庫整個(gè)流程對終端用戶完全透明。需要提醒的是這種方式要求電腦上同時(shí)裝好Matlab和Python環(huán)境并且版本要匹配。我在2.1節(jié)會(huì)給出具體的配置步驟。2. 環(huán)境準(zhǔn)備與數(shù)據(jù)工程先踩平這些坑2.1 環(huán)境搭建Matlab調(diào)用Python的3個(gè)關(guān)鍵步驟環(huán)境這一塊我在最開始折騰了不少時(shí)間。最主要的坑就是Matlab內(nèi)置的Python版本和系統(tǒng)Python不一致或者庫裝到了不同環(huán)境里結(jié)果調(diào)用的時(shí)候報(bào)ModuleNotFoundError。所以第一步一定要在Matlab里用pyenv確認(rèn)當(dāng)前加載的Python解釋器路徑。% 查看當(dāng)前Python環(huán)境 pyenv % 如果路徑不對手動(dòng)指定系統(tǒng)Python % pyenv(Version, D:\ProgramData\Python\Python311\python.exe)指定好之后需要確認(rèn)Matlab能正常導(dǎo)入Python庫。我一般習(xí)慣在命令行里敲一行py.importlib.import_module(numpy); py.importlib.import_module(xgboost); py.importlib.import_module(shap); disp(Python環(huán)境OK);如果某個(gè)庫沒裝回到系統(tǒng)命令行用pip install xgboost shap numpy pandas補(bǔ)上。這里要注意如果你的Python是Anaconda環(huán)境最好在conda環(huán)境里裝好后再把Matlab的pyenv指向這個(gè)環(huán)境的python.exe否則極容易出現(xiàn)版本錯(cuò)亂。另外一個(gè)容易忽略的點(diǎn)是Matlab R2021b之前和之后對Python版本的支持差異不同新版Matlab支持更新的Python版本。裝Python時(shí)不要裝太新比如某些庫還沒適配也不要太舊Matlab可能不支持。我測試過Python 3.9到3.11都能比較好地和xgboost、shap配合。2.2 數(shù)據(jù)準(zhǔn)備與預(yù)處理歸一化參數(shù)必須保存數(shù)據(jù)和預(yù)處理是整個(gè)流程的地基。以我當(dāng)時(shí)做的工業(yè)過程數(shù)據(jù)為例特征有溫度、壓力、轉(zhuǎn)速、進(jìn)料流量等十幾個(gè)維度目標(biāo)是一個(gè)質(zhì)量指標(biāo)。原始數(shù)據(jù)量約2000條樣本。這種量級下XGBoost訓(xùn)練很快GA尋優(yōu)也扛得住。數(shù)據(jù)文件我習(xí)慣用CSV格式Matlab用readtable讀進(jìn)來。預(yù)處理主要做三件事去缺失值、去異常值、特征歸一化。對于XGBoost其實(shí)特征歸一化不是必須的因?yàn)闃淠P蛯μ卣鞒叨炔幻舾械绻粴w一化后續(xù)SHAP解釋時(shí)不同特征的量綱差異會(huì)影響圖的觀感所以我一般還是會(huì)把特征歸一化到均值為0、方差為1或者縮放到[0,1]區(qū)間。更重要的是歸一化的均值和標(biāo)準(zhǔn)差必須在訓(xùn)練集上計(jì)算然后把同一組參數(shù)保存下來后續(xù)處理新數(shù)據(jù)時(shí)再調(diào)用。這一步很多人會(huì)漏導(dǎo)致新數(shù)據(jù)預(yù)測時(shí)歸一化不一致結(jié)果完全失真。我項(xiàng)目里直接用Matlab的mapminmax或手動(dòng)計(jì)算mean/std并保存到mat文件后面預(yù)測時(shí)加載。% 讀取數(shù)據(jù) data readtable(industrial_process_data.csv); % 分離特征和標(biāo)簽 features data{:, 1:end-1}; target data{:, end}; % 用訓(xùn)練集計(jì)算歸一化參數(shù) xmean mean(features); xstd std(features); features_norm (features - xmean) ./ xstd; save(data_scaler.mat, xmean, xstd);然后劃分訓(xùn)練集、驗(yàn)證集和未來的新數(shù)據(jù)預(yù)測集。這里的新數(shù)據(jù)預(yù)測集是模擬未來線上進(jìn)來一批新樣本只有特征沒有標(biāo)簽需要用到訓(xùn)練好的模型去預(yù)測。劃分的時(shí)候要注意隨機(jī)種子固定保證實(shí)驗(yàn)可復(fù)現(xiàn)。3. 核心實(shí)現(xiàn)GA優(yōu)化XGBoost回歸模型的完整流程3.1 目標(biāo)函數(shù)與適應(yīng)度設(shè)計(jì)遺傳算法優(yōu)化的核心是目標(biāo)函數(shù)也就是給一組超參數(shù)返回模型表現(xiàn)好壞。這里我用的評價(jià)指標(biāo)是K折交叉驗(yàn)證的負(fù)均方根誤差NRMSE或者直接取均方根誤差RMSE的相反數(shù)因?yàn)間a函數(shù)默認(rèn)是求最小值。目標(biāo)函數(shù)的輸入是GA種群中的一個(gè)個(gè)體也就是一組超參數(shù)。我需要定義編碼方式通常是給GA傳入變量邊界和整數(shù)約束。比如我想優(yōu)化的超參數(shù)有5個(gè)learning_rate0.01~0.3浮點(diǎn)數(shù)max_depth3~10整數(shù)min_child_weight1~10整數(shù)subsample0.5~1.0浮點(diǎn)數(shù)colsample_bytree0.5~1.0浮點(diǎn)數(shù)目標(biāo)函數(shù)里要做的事情是把這些參數(shù)傳給Python的xgboost訓(xùn)練函數(shù)完成K折交叉驗(yàn)證返回平均RMSE作為適應(yīng)度值。function rmse ga_xgb_fitness(params) % params: [lr, max_depth, min_child_weight, subsample, colsample_bytree] lr params(1); max_depth round(params(2)); min_child_weight round(params(3)); subsample params(4); colsample_bytree params(5); % 將Matlab數(shù)組轉(zhuǎn)換為Python列表 X_train_py py.numpy.array(py.numpy.asarray(training_features)); y_train_py py.numpy.array(training_target); % 調(diào)用Python函數(shù)執(zhí)行訓(xùn)練和交叉驗(yàn)證 cv_rmse py.main.xgb_cv_eval(X_train_py, y_train_py, ... lr, lr, max_depth, max_depth, ... min_child_weight, min_child_weight, ... subsample, subsample, colsample_bytree, colsample_bytree); rmse double(cv_rmse); endPython側(cè)對應(yīng)的xgb_cv_eval函數(shù)基本就是一個(gè)標(biāo)準(zhǔn)的train加cv組合。在實(shí)際寫代碼時(shí)我用Matlab的ga函數(shù)設(shè)置種群大小30最大代數(shù)20這在小數(shù)據(jù)量下幾分鐘就能跑完。種群太小容易早熟太大則非常耗時(shí)。參數(shù)邊界需要根據(jù)經(jīng)驗(yàn)設(shè)得合理一些比如max_depth如果允許到20模型很容易過擬合且訓(xùn)練速度慢一般3~10就夠了。3.2 用交叉驗(yàn)證評估每組超參數(shù)跑通GA主流程GA尋優(yōu)的主流程其實(shí)不長。核心是定義變量邊界和整數(shù)索引然后調(diào)用ga。這里有一個(gè)容易被忽視的細(xì)節(jié)目標(biāo)函數(shù)不能在Matlab的并行池里調(diào)用Python對象否則容易導(dǎo)致Python環(huán)境不穩(wěn)定。所以我建議GA尋優(yōu)期間不要開并行或者在parpool之前先確認(rèn)Python接口沒問題。% 定義參數(shù)邊界 lb [0.01, 3, 1, 0.5, 0.5]; ub [0.3, 10, 10, 1.0, 1.0]; IntCon [2, 3]; % max_depth 和 min_child_weight 是整數(shù) % 調(diào)用遺傳算法 options optimoptions(ga, ... PopulationSize, 30, ... MaxGenerations, 20, ... Display, iter, ... UseParallel, false); [best_params, best_rmse] ga(ga_xgb_fitness, 5, [], [], [], [], lb, ub, [], IntCon, options);跑完之后把最優(yōu)參數(shù)保存下來。先不要急著訓(xùn)練最終模型而是用最優(yōu)參數(shù)在完整訓(xùn)練集上訓(xùn)練并在測試集上做一次驗(yàn)證確保泛化能力。此時(shí)RMSE一般會(huì)比交叉驗(yàn)證的均值好或者相近如果差太多說明數(shù)據(jù)劃分或隨機(jī)種子有問題。訓(xùn)練最終模型時(shí)我會(huì)把Python側(cè)的訓(xùn)練函數(shù)封裝好在Matlab里包一層。這里的關(guān)鍵是numpy數(shù)組在Matlab和Python之間的類型轉(zhuǎn)換。Matlab里的double矩陣要轉(zhuǎn)成Python能接受的形式用py.numpy.array(py.numpy.asarray(data))通常是可以的。但如果數(shù)據(jù)是表格類型或者存在NaN就要先清理干凈否則Python那邊直接報(bào)錯(cuò)。3.3 新數(shù)據(jù)預(yù)測流程加載模型、特征對齊、反歸一化新數(shù)據(jù)預(yù)測是這套流程的出口。寫代碼時(shí)一定要把預(yù)測封裝成一個(gè)函數(shù)這樣以后每來一批新數(shù)據(jù)只需要調(diào)用一次。我這里寫了一個(gè)predict_new_data.m做的事情是加載訓(xùn)練階段保存的歸一化參數(shù)xmean和xstd加載最優(yōu)模型文件Python側(cè)把模型保存為json格式讀入新數(shù)據(jù)的特征按同樣的順序?qū)R列做同樣的歸一化調(diào)用Python xgboost的predict接口得到歸一化預(yù)測值對預(yù)測值做反歸一化還原到真實(shí)量綱。不需要對預(yù)測值做歸一化嗎這里要注意如果訓(xùn)練target是原始值那么預(yù)測值直接就是原始量綱如果訓(xùn)練時(shí)也對target歸一化了那么預(yù)測值要反歸一化。我習(xí)慣上不對target歸一化因?yàn)闃淠P筒恍枰疫€能少一層麻煩。所以預(yù)測出來的值就是最終結(jié)果。function pred predict_new_data(model_path, new_features) load(data_scaler.mat, xmean, xstd); new_norm (new_features - xmean) ./ xstd; X_py py.numpy.array(py.numpy.asarray(new_norm)); model py.xgboost.Booster(); model.load_model(model_path); dnew py.xgboost.DMatrix(X_py); pred py.array.array(d, model.predict(dnew)); pred double(pred); end這里有個(gè)細(xì)節(jié)xgboost.Booster加載模型后再用DMatrix封裝特征。如果新數(shù)據(jù)特征順序和訓(xùn)練時(shí)不一致預(yù)測結(jié)果會(huì)完全亂掉。所以我在訓(xùn)練階段會(huì)把特征列名順序存成一個(gè)order.mat預(yù)測時(shí)按這個(gè)順序重新排列新數(shù)據(jù)的列。這也是很多新手踩坑最多的地方。4. SHAP可解釋性分析與結(jié)果解讀4.1 全局解釋用SHAP值看哪個(gè)特征真正驅(qū)動(dòng)預(yù)測模型訓(xùn)練好之后SHAP閃亮登場。這塊我分成全局和局部兩個(gè)層面。全局層面是看所有樣本的平均特征貢獻(xiàn)。使用shap.TreeExplainer傳入訓(xùn)練好的模型然后計(jì)算整個(gè)訓(xùn)練集或測試集的SHAP值矩陣最后畫summary plot也就是那個(gè)經(jīng)典的蜜蜂圖。import shap import xgboost as xgb import numpy as np import matplotlib.pyplot as plt model xgb.Booster() model.load_model(best_model.json) X np.loadtxt(train_features_norm.csv, delimiter,) explainer shap.TreeExplainer(model) shap_values explainer.shap_values(X) shap.summary_plot(shap_values, X, feature_namesfeature_names, showFalse) plt.savefig(shap_summary.png, bbox_inchestight)SHAP值矩陣的維度是樣本數(shù) × 特征數(shù)每行代表一個(gè)樣本每個(gè)值代表該特征對該樣本預(yù)測值的貢獻(xiàn)。summary plot中橫軸是SHAP值正負(fù)代表方向顏色代表特征值高低。如果一個(gè)特征在高值時(shí)SHAP值為正說明這個(gè)特征與目標(biāo)正相關(guān)反之則負(fù)相關(guān)。從這片圖里能直接看出業(yè)務(wù)上的關(guān)鍵驅(qū)動(dòng)因素。比如我們項(xiàng)目里“熔爐溫度”特征的SHAP值范圍最大說明它對目標(biāo)指標(biāo)的影響最強(qiáng)而“冷卻水流量”主要是負(fù)向影響流量越高目標(biāo)值越低。這種信息對于工藝調(diào)整非常有價(jià)值。4.2 局部解釋單個(gè)新數(shù)據(jù)的預(yù)測值是怎么算出來的光有全局解釋還不夠?qū)γ恳粋€(gè)新預(yù)測樣本我一般還會(huì)生成一個(gè)force plot或者waterfall plot把預(yù)測值拆解給業(yè)務(wù)方看。比如某天來了一個(gè)新樣本模型預(yù)測質(zhì)量指標(biāo)是86.5那就可以解釋為基準(zhǔn)值大概是72這個(gè)樣本的“熔爐溫度”偏高把預(yù)測值推高了8.2“進(jìn)料流量”中等偏高推高了4.1“雜質(zhì)含量”偏低貢獻(xiàn)了-2.3最后得到86.5。這樣一來預(yù)測就不再是一個(gè)無源可溯的數(shù)字了。在實(shí)際代碼中我會(huì)把單個(gè)樣本的SHAP值保存到Excel表格里同時(shí)生成waterfall圖。single_row X[0].reshape(1, -1) shap.waterfall_plot(shap.Explainer(model)(single_row), showFalse) plt.savefig(shap_waterfall.png, bbox_inchestight)waterfall圖放在報(bào)告里很直觀。上面是最終預(yù)測值往下逐步分解每個(gè)特征的貢獻(xiàn)。Matlab端可以把生成的圖片直接顯示到figure窗口也可以嵌入到自動(dòng)生成的Word/Excel報(bào)告中。4.3 模型診斷SHAP還能當(dāng)異常檢測工具用這是我自己摸索出來的一個(gè)用法SHAP值不僅能解釋還能輔助模型監(jiān)控和異常檢測。當(dāng)新數(shù)據(jù)的某條預(yù)測結(jié)果嚴(yán)重偏離預(yù)期時(shí)我會(huì)計(jì)算它的SHAP值然后和訓(xùn)練集所有樣本的SHAP值分布比較看看是不是某個(gè)特征的SHAP值特別極端。比如工業(yè)數(shù)據(jù)里經(jīng)常出現(xiàn)傳感器漂移溫度讀數(shù)失真。這種樣本喂給模型預(yù)測值往往很怪但僅從預(yù)測值本身看不出來是輸入數(shù)據(jù)有問題還是模型失效。用SHAP加一個(gè)特征貢獻(xiàn)對比如果一個(gè)特征的SHAP值遠(yuǎn)超訓(xùn)練集的正常范圍多半就是輸入數(shù)據(jù)可疑。這個(gè)方法我在兩個(gè)項(xiàng)目里都真正用上了能提前抓住幾批有問題的數(shù)據(jù)避免錯(cuò)誤預(yù)測流到下游系統(tǒng)。5. 常見問題與排查技巧實(shí)錄5.1 GA收斂慢或陷入局部最優(yōu)怎么辦GA跑起來最惱火的不是慢而是跑到十幾代之后適應(yīng)度曲線基本平了找到的參數(shù)仍然不理想。這種情況我遇到幾次主要原因有三個(gè)一是種群大小太小我一開始用20后面調(diào)成4060效果明顯改善。二是參數(shù)范圍定得太窄導(dǎo)致最優(yōu)解不在搜索范圍內(nèi)。比如我把learning_rate上限設(shè)為0.3實(shí)際最優(yōu)解可能在0.05附近雖然在里面但隨機(jī)初始種群如果都落在0.2附近就很難探索到低學(xué)習(xí)率區(qū)域。三是交叉和變異概率不匹配Matlab默認(rèn)參數(shù)一般沒問題但如果發(fā)現(xiàn)早熟可以降低交叉比例、適度提高變異比例或者使用自適應(yīng)變異。另一個(gè)實(shí)用技巧是先用粗糙的GA跑一輪找到較好的參數(shù)區(qū)域后縮小邊界再跑一輪。這種“二次精搜”比一次加大種群更高效我實(shí)測能節(jié)省一半以上的計(jì)算時(shí)間。5.2 Matlab與Python數(shù)據(jù)類型轉(zhuǎn)換的經(jīng)典報(bào)錯(cuò)在Matlab里調(diào)用xgboost時(shí)最常見的報(bào)錯(cuò)是“Python argument types did not match”或者“Unable to resolve the name py.xgboost.Booster”。前者多半是數(shù)據(jù)類型沒轉(zhuǎn)對后者多半是Python庫沒裝好或路徑?jīng)]配對。數(shù)據(jù)轉(zhuǎn)換上我總結(jié)了一個(gè)簡單規(guī)則凡是傳給Python的數(shù)據(jù)一律用py.numpy.array(py.numpy.asarray(data))。如果是目標(biāo)向量建議用一維數(shù)組如果是特征矩陣確保是二維。Matlab里的矩陣是列優(yōu)先存儲Python的numpy是行優(yōu)先但在通過py.numpy.asarray轉(zhuǎn)換時(shí)通常能自動(dòng)處理維度只有當(dāng)矩陣是稀疏矩陣或包含NaN/Inf時(shí)才會(huì)出問題。如果碰到類型不對可以先用class(X_py)和py.type(X_py)檢查類型。另外字符串參數(shù)一定要轉(zhuǎn)成Python字符串。比如model.load_model(best_model.json)這里Matlab字符串對象會(huì)自動(dòng)轉(zhuǎn)換但如果有多個(gè)參數(shù)可能需要用py.args顯式處理。5.3 SHAP計(jì)算慢或內(nèi)存溢出怎么辦TreeExplainer雖然快但當(dāng)樣本數(shù)和特征數(shù)都很大時(shí)計(jì)算整個(gè)數(shù)據(jù)集的SHAP值仍然會(huì)占不少內(nèi)存。我試過用2萬條樣本、80個(gè)特征的數(shù)據(jù)集一次性計(jì)算直接把內(nèi)存干爆了。解決辦法很簡單在計(jì)算全局SHAP值時(shí)先用k-means或者隨機(jī)采樣選一個(gè)背景數(shù)據(jù)集一般500~1000條足夠了。TreeExplainer支持傳入一個(gè)背景數(shù)據(jù)子集用來計(jì)算期望值。這樣不僅快結(jié)果也幾乎沒差別。如果要計(jì)算單樣本的SHAP解釋直接用該樣本本身的特征向量即可不涉及背景集計(jì)算量很小。X_background X[:500, :] # 或者隨機(jī)采樣 explainer shap.TreeExplainer(model, X_background) shap_values explainer.shap_values(X)5.4 新數(shù)據(jù)預(yù)測結(jié)果異常大概率是特征對齊問題預(yù)測階段最容易翻車的不是模型而是數(shù)據(jù)管道。比如新數(shù)據(jù)的列順序變了或者訓(xùn)練時(shí)的特征工程步驟沒有復(fù)用。我有一次因?yàn)榧恿艘粋€(gè)新特征訓(xùn)練時(shí)用了13個(gè)特征預(yù)測時(shí)只傳了12個(gè)結(jié)果xgboost直接報(bào)錯(cuò)。還有一次是列順序變了模型沒報(bào)錯(cuò)但預(yù)測結(jié)果明顯偏移排查了很久才發(fā)現(xiàn)是列順序錯(cuò)了。所以我把特征列名的順序在訓(xùn)練階段固定保存下來預(yù)測前強(qiáng)制重新排序。另一個(gè)細(xì)節(jié)是新數(shù)據(jù)里的某個(gè)類別特征如果出現(xiàn)了訓(xùn)練時(shí)沒有的取值XGBoost可能無法處理。這種情況要么在訓(xùn)練前做類別編碼時(shí)保留一個(gè)“未知”類別要么在預(yù)測前做合法值檢查。附完整代碼結(jié)構(gòu)參考到這里這套流程的核心部分已經(jīng)全部講完了。我最后列一下我在Matlab工程里常用的代碼結(jié)構(gòu)方便你整體把握project/ ├── main_ga_xgb_train.m % 主訓(xùn)練腳本讀數(shù)據(jù)、GA尋優(yōu)、訓(xùn)練模型 ├── predict_new_data.m % 新數(shù)據(jù)預(yù)測函數(shù) ├── data/ │ ├── train_data.csv │ └── new_data.csv ├── lib/ │ ├── ga_xgb_fitness.m % GA目標(biāo)函數(shù) │ └── plot_shap.py % SHAP分析與畫圖腳本 ├── outputs/ │ ├── best_model.json │ ├── best_params.mat │ ├── data_scaler.mat │ └── shap_summary.png分享一個(gè)小技巧我習(xí)慣把Python側(cè)的可復(fù)用函數(shù)封裝到一個(gè)py文件里比如main.py然后在Matlab中通過py.main.func()調(diào)用。這樣比在Matlab里一行行拼Python代碼清晰得多也方便Python端單獨(dú)調(diào)試。項(xiàng)目上線后這個(gè)main.py基本上沒怎么改過所有改動(dòng)都在Matlab側(cè)。這套方法我已經(jīng)在不止一個(gè)回歸預(yù)測場景里驗(yàn)證過了。個(gè)人最大的體會(huì)是GA-XGBoost加SHAP并不是“為了高級而高級”而是在精度、可解釋性和工程可維護(hù)性三者之間找到了一個(gè)很好的平衡點(diǎn)。如果你也在做類似的預(yù)測項(xiàng)目建議先拿小數(shù)據(jù)量把流程打通再慢慢放大前期多花半天調(diào)試環(huán)境后面能省下好幾個(gè)星期。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
秋霞蝌科网日本一区| 亚洲国产日韩精品久久久| 美日韩在线不卡人妻| 久久久99999久网站| 亚洲熟女少妇免费视频| 亚洲乱妇p22| 亚洲男人天堂网| 最近2018中文字幕在线高清第一页| 久久精品午夜国产亚洲AV无码| 熟女精品va中文字幕| 国产精品老师| 九九热五区| 超碰97导航| 91亚洲电影| 国产欧美在线观看免费观看| 柠檬AV导航| 日韩pv中文| 999 久久久| 丰满熟女人妻一区二区三五十一路| 女生看匆91网站| 一区二区三区免费视频入口| 国产精品无码在线| 一区二区日韩欧美久久| 99re在线视频国产| 国产91影院| 一区三区啪啪| 91麻豆天美国产| com 首页 18岁 禁区 女优 免费 精选 同城 | 男人的天堂2018.| 免费超碰97久久| 蜜臀一区二区三区亚洲最新章节在线观看 - 高清蜜臀一区二区三区亚洲全集播放 | 久久综合久色欧美综合狠狠 | 成人一级性爱| 夜色五月天| 99re69| 天美传媒精品久久视频| 欧美一二三级精品在线| 四色永久成人网站| 求求你操操我| 亚洲无线观看久久| 婷婷五月色| 色娱乐色呦呦夜夜夜夜av| 欧美姓爱综合网| 天天色天天干天天爱| 日本免费中文一区二区三区四区| 国产精品视频在线播放 | 999999精品| 操国产高清| 久久久久国产一区二| 97久久精品亚洲中六字幕| 78m啪啪啪| 久久久久免费看少妇A片特黄| 五月丁香六月激情| 懂色AV网| 91婷婷| 精品人妻无码一区二区三区不卡-精品人妻无码一区二区...|精品少妇一区二区三 | 操逼无码操逼| 韩国一区二区精品亚洲| 亚洲国产亚洲天堂| 狠狠操夜夜| 夜夜肏2021| 亚洲 日本 不卡| 超碰在线欧美性爱激情| 99热思思| 丝袜视频网国产90| 中文字幕免费看大片| 性性欧美| 欧美黄片免费在线观看视频| 青春草A| 放黄片放3级黄片没穿衣服| 亚洲综合五月天| 黄站在线免费观看| 在线观看日韩av不卡| 91综合国产精品| 人妻偷拍一区二区三区| 欧美爆操91| 肏逼视频日本| 春色校园综合网| 亚洲天天在线| 91视频成人福利网站在线一区 | 操国产逼| 人人色人人射人人妻| 日本加勒比无码专区| 91碰碰| 欧美成人精品一区二区男人蜜臀| 日韩 欧美 另类 人妻| 大香蕉综合在线| 欧美亚洲第一页| 97久久久精品| 日本无码1| 中文字幕少妇色| 熟妇色99| 暖暖精品二区三区观看| 久久性爱视频免费看| 国产欧美一区二区| 男女性感激情网站| 伊人久久亚洲中文字幕不卡| 亚洲最新av无码成人精品区 | 综合在线导航一区| 欧美一级专区免费大片| 操逼操逼逼操操逼91| 91在线/欧洲| 亚洲中文一区二区三区视频| 97在线视频免费| 中文字幕av色| 国产中文字幕在线点播| 中文字幕伊人| 97蜜桃综合| 欧美一级AAAAAAA| 啊啊啊啊二区好大| 亚洲色图殴美色图激情乱伦| 91丨人妻丨国产丨丝袜| 艾草av| 中文日本免费高清| 国产又长又大又粗的视频| 新版天堂中文资源8在线| 九9精品| 国产热RE99久久6国产精品首| 蜜桃香蕉久草精品在线| 97人人干| 秋霞网无码| 免费网站观看www在线观| 偷拍偷窥与盗摄视频专区| 蜜桃视频一区二区三区在线观看| 国产 v乱码一区二| 立川理惠被中出无码| 欧洲精品人妻| 伊人久久婷婷| 97人人操人人摸| 国产精品夜夜夜| 五月天色图| 一级一性爱免费视频| 日韩精品操少妇| 欧美日本中字另类在线| 国产精品精品系列在线观看| 乱操9999| 日韩天堂av电影在线观看| 亚洲阿v天堂无码z2018| 亚洲 欧美 色图| 亚洲精品骚逼| 欧美一区二区亚洲天堂| 亚洲伊人成综合成人网| 亚欧美综合| 久久久不能久久久久| 国产福利在线视频网站| 国产精品免费久久久久久久久久 | 色香网| 69精品少妇一区二区三区蜜桃| 日韩熟女无码| 精品亚洲天堂| 免看60秒涩涩视频| 欧亚第一综合网| 丁香婷婷大香蕉| 色综合久久av| 嗯嗯啊啊好爽| 99热这里只有精品1| 九九AV| 欧美日韩亚洲一区二区在线观看| 色欲天香天天综合网-成年人三级片网站-欧美乱妇狂野-日韩国产专区-久久久久久 | 国产精品人妻熟女aⅴ| 日本Suv精品一区二区| 欲射影视| 操操AV电影| 国模不卡| Av手机版天堂网| 熟妇熟女一区二区三区| 欧美性五月| 天天天肏屄欧美| 国产A v无码专区| 亚洲情色综合| 青娱乐 青青青操 日逼| 日本熟妇熟色97一本在线观看| 亚洲无码久久久久久久| 黑人美精品 A片| 好属操| 国产少妇内射| 超碰在线1234区| 神马午夜久久久| 欧美第一页性| 夜夜肏2021| 97摸视频| 亚洲精品第一| 久久久久久日韩| 2020久久免费视频| 69一区二区| 亚洲性综合| 亚洲丝袜B诱惑| 青青草操逼逼视频| 福利视频合集| 国产99热| 久久香蕉国产线看观看亚洲女人 | 精品国产嫩穴视频| 久久精彩免费视频| 日本精品一区二区中文字幕| 日日碰狠狠添天天爽超| 91高清无码下载| 无码 黑人一区二区三区| 欧美色女人| 欧美色图第一页| 精品女同一区二区三区| 激情四射婷婷六月天| 免费成人在线熟妇网| 亚洲 图片 欧美 色图| 久久精品国产精品一区 | 色欲天天综合网| 亚洲最大的综合性av| 亚洲国产一区二区日韩专区| 狠狠操狠狠操操| 97国产人人| 日本色日夜干| 亚洲欧洲激情卡通另类文学四射小说网站 | 快灬快灬 一下爽蜜桃在线观看| 午夜精品久久久99热蜜桃的功能特点| 精品999日本| 97天天综合网| 亚洲色图国产另类| 日产成人久久| 色www精品视频在线观看| 97超级欧美| 国产精品熟女九九九| 99re在线观看| 久久妇| 加勒比久久av| 日韩中文9| 91精品久久久久久| 91五十路| 国产激情视频一区区三区| 老熟女91| 欧亚性爱在线视频| 久久久久九九九| 欧美性爱在线无码| 欧美日韩99精品麻豆传媒| av优播| 久草资源在线视频官方总站日韩丝袜美腿| 成人老鸭窝人人在线视频| 久久不卡一区二区 | 久久神马影院| 锕锕好爽 死我在线观看| 亚洲欧洲无码一区夜| 伊人久日| 国产福利电影| 天天综合网日韩7799| 国产AV激情无码久久无码| 97在线观看播放视频| 黄色电影在线播放综合网站| 天天操人人操狠狠插| 艹少妇网站| 97超碰欧美精品| 午夜操一操| 中文字幕日韩电影人妻| 日韩中文字幕在线视频观看| 婷婷啪啪| 国产婷婷一区| 夜夜嗨老熟女AV一区二区三区| www欧美91| 高清国产精品福利网站| 精品国产丝袜一区二区三区乱码| 丁香六月激情综合| 极品AV网站在线观看| 亚洲清纯综合| 一区二区高清视频| 欧美 日韩 亚洲 春色| 操逼逼无码| 黑操B| 嗯阿好爽好紧| 精品国产乱码久久久久久久久久毛片| 日韩三级伊人| 中国探花熟女| 色爱欲亚洲| 色婷婷一区二区三区久久午夜成人不| 超清中文乱码字幕| 国产亚洲禁久一区二区| 激情文学欧美| 91国模| 免费观看网黄| 亚洲欧美色图片| 人人妻人射| 91九九九馒头| 加勒比少妇AV婷婷六月天超碰超碰| 天天天堂影视日韩亚洲91| 校园春色五月天| 3d成人精品一区二区| 中文伊人大香蕉视频| 日韩不卡网操逼中文字幕日韩| 91精品人妻一区二区三区蜜臀| 高清无码一区二区三区| 九九精品美女高溯喷水| 日日骚av| 户外裸露刺激视频第一区| 偷拍 精品 另类 四区| 国产日韩中文字幕欧美| 萌白酱自拍视频| 成人影 天天操 亚洲| www.色综合| 欧美少妇性乱| 99久久久无码国产精品性啊聊| 婷婷中文网| 国产一区麻豆免费观看| 黄骗免费网站| 婷婷五月天激情四射| 久久五月天婷婷丁香中文字幕| 欧美色图20p| 国产91精品在线免费| 国产综合网站在线播放 | 国产成人亚洲精品无码古代早漏男| 亚洲综合色网| 97天天在线| 欧美一区二区一级岛国大片| 久超碰在| 中文一区二区三区影院| 蜜桃av综合网发布| 亚洲性综合| 伊人网免费视频| 97人妻色| 亚洲色图91| 99色色网| 在线洲亚线| 97人人操人人摸人人爱| 91精品国久久久久久无码| 欧美一区二区三区不卡高清视频| 色婷婷综合久久久久中文国产精品一区中文字幕,国产福利电影一区二区三区 | 97视频7| 又大又大又大又粗爽高潮观看| 最近的最新的中文字幕视频| 大干人妻| 人人看欧美性爱| 亚洲97p| 国产亚洲性生活视频播放| 亚州成人a∨| 高清国产精品福利网站| 精品久久在线区一区| 欧美韩日精品99综合| 精品国产乱码久久久久久口爆网站| 日本一天色道久久久精品视频| 成人午夜高潮av猛片| 91女在线观看| 日本一区二区三区免费观看| 91成人国产综合久久精品蜜月| 欧美日韩啪啪电影| 日欧毛片久久| 国产精品蜜乳AV| 96久久久精品| 亚洲日韩国产欧美综合v| 国产91专区| 日韩黄色一区二区三区| 农村少妇久久久久久久| 超碰99在线| 欧美色图91| 欧插网站| av网站在线观看了| 98超碰日本| 国产人妻天天干精品| 毛片99-全集电影手机免费观看完整-B029AV| 在线观看色视频| 欧美特黄视频网站| 天天干天天干天天干| 色臀AV| 亚洲色堂免费视频| 亚洲色系另类精品国产| 久久9精品网站| 久久XX| 丰满人妻-区二区三区| 欧美日韩国产中文精品字幕自在自线, | 91欧美少妇| 日韩欧美亚洲一区二区三区影院| 97久久久网站| 欧美色一二三| 天天日B夜夜干B时时操B| 91操熟女视频| 99久久久无码| 亚洲少妇综合在线播放| 91熟女网| 精品小视频在线| 性爱乱伦网址| 九九九色| 伊人少妇久久久| 五月婷婷无码| 自怕偷自怕亚洲精品| 国产日韩中文字幕欧美| 欧美日韩超碰在线| 影音先锋视频在线| 舔足天天操天天射| 97国产天堂岛| 色婷婷综合久久久久中文国产精品一区中文字幕,国产福利电影一区二区三区 | 熟女91网| 欧美人妻精品| 精品婷婷| 老子午夜伦不卡影院| 精品美女人人干| 日韩精品99999| 性暴力欧美猛交在线直播| 日本精品一区二区三| 熟妇熟女亚洲天堂网| 色哟哟AⅤ| 乱操9999| 西西美女视频网| 久/久精品99看9| 久久久久亚洲三级电影| 国产精品扒开腿做爽爽爽视频| 欧亚日韩三区| 正在播放:深夜激情大战,自带黑丝袜全力输出骚穴 | 超碰79人人乐| 亚洲第一黄色av网站| 久久九色| 亚洲色天堂九9| 中文字幕丝袜美腿| 95人妻爽爽人人做人人澡| 看大黄色大片原件| 久久久久久九九九九| 激情五月天校园春色网| 国产熟女少妇一区| 中文自拍欧美影视| 国产熟女完整版中字| 激情色图| 欧美激情 亚洲色图| 男人网站婷婷| 丰满人妻一区二区三区在线| 综合激情五月天| 国产一区二区a毛片| 日韩肏逼视频| 欧美 亚洲精品首页| 龙兴卡官方查询| 欧美少妇一区二区三区| 色久桃花影院在线观看| 97无码视频在线播放| 草久在线| 亚欧美综合网。| 亚洲 se图 欧美电影| 国内外色色色色色成人视频| 亚洲精品影视老司机| www.av家庭乱伦| 999国产精品999久久久久久| 97视频在线免费播放| 偷拍欧美综合| 黄污污污污| 高清国产av无码| 国产精品一二三在线看| 性在久久久久久| 26uuu最新| 97精| 国产精品96| 亚洲资源一区| 0755午夜福利视频| 久久婷婷苹果| 亚洲熟女偷拍在线观看| 天天插夜夜爽| 99蜜桃臀久久久欧美精品网站| 日本有码影片下载| 99熟女| 亚洲欧美日韩夜夜| 亚洲无线码一区国产欧美国| 黄片无码在线制服| a级成人毛片免费视频高清| 日本操逼视频在线| 草草草视频在线免费看| 日韩视频中文字幕| 国产毛片片精品天天看视频| 久久只有精品| 国产精品白丝在线播放 | 九九综合久久| 国产久久久久久久久一区二区| 黄色av片三级三级三级免费看| 亚洲三区视频| 色婷婷激一区二区三区| 黑人精品成人一区二区三区| 免費黃色視頻觀看一| 国产一级特黄大片处女| 新久久AV| 国产又大又硬又长又粗| 青娱乐日韩无码| 久久久久久国产精品免费网站| 性爱乱伦视频免费| 国产女同视频在线播放| 国产高清成人mv在线观看| 人干人人人操人人摸| 涩涩涩综合| 欧美经典一区二区三区| 8050无码八戒| 夂久色| av优播| 成人色女网| 亚洲自拍一区夜夜操| 一本久久精品中文字| 久久99草| 日本幼女18+| 天天综合官网| 欧美色www亚洲国产阿娇要播| 亚洲AV秘无码一区..| 丰满美女一级毛片在线播放| 日韩欧美国产一区二区三区四区| 在线性黄高清免费视频| 蜜桃久久综合视频| 久久综合18p| 骚逼一区二区| 欧美在线大香999| 9Ⅰ老熟女| 日本性爱欧美性爱| 啪啪综合网| 青青草在线成人视频| 五十路熟女工口 | 足交视频老司机| 91国产丝袜白虎| 国产成人在线观看网址| 亚洲色图欧美色图日韩色图| 国产三级多多影院2022国产AA一级毛片无码 | 欧洲大香蕉| 精品无av| 精品国产三级av韩国在线| 国产综合网站在线播放| 婷婷亚洲综合| 日日骚 av| 限制级中的三级片中的黑粗大屌屌日人妻熟女| 亚洲男人天堂2| 国产精选视频| 青草成人免费视频一com| 久久这里是精品| 中文字幕av亚洲在线| 超AV色女| 午夜福利合集| 亚洲好看强奸乱伦| 亚洲五月天激情| 久久久久久久久久久999| 日韩欧美三级| 国产精品美女久久久久久网站| 精品国产乱码久久久久久口爆网站| 亚洲黑丝在线| 1204av韩国| 91日韩网站| 国产精品视频内谢女人| 人人操人人uiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiii | 午夜无遮挡男女啪啪视频| 婷婷亚洲天堂| 91国产在线精品| 久久大黄片| 久久久97| 亚洲男人综合网| 久久免费9| 超碰色男人操熟女| 国产超碰国产97| 一区超碰一区| 在线观看免费视频国产| 99精品丰满人妻无| 国产9l 大屁股| 激情综合二| 日本久久久久久久久| 五月天精品| 久久国产乱子伦精品免费女人| 超碰在线人妻| 综合情欲网| 精品无码久久久久久国产浪潮| 中亚av| 一二三四区电影| 国产欧美精选自拍一区| 校园春色欧美色图| 97超碰精品| 色色激情五月天| 啊灬啊灬啊灬啊灬高潮奶出了免费视| 国产精品人妻一区二区| 午夜天天碰综合视频| 东京热av影院| 欧美做爰无码A片视频| 很很很很操| 国产精品久久天天干| 麻豆亚洲Av成人无码一区精品| 91白嫩| 再深点灬舒服灬太大了好硬好爽| 亚洲国产青青| 奇米四色影视777久久久| 欧美永久激情一区二区| 欧美Ⅴ性爱| 国产成人综合网| 色九色久| 国产aⅴ无码片毛片一级网站| 男人的天堂色偷偷青青草视频婷婷网| 黄片免费日韩| 色婷婷九月天天综合| 91爱做| 国产性久久久| 青青欧洲黑| 天天操人人操狠狠插| 色鬼在线综合| 天天爽夜夜爽夜夜爽精| 欧美视频第二页| 1级黄色夫妻对换性交免费看| 久久精品天美| WWW啪啪的com| 九九九九九九九九九九九九九九九女| 变态乱伦伪娘灌肠一区二区| 亚洲欧美色综合| 久久久一区二区三区三州| 久久av色| 少妇无码av专区线| 男人精品天堂一区| 日韩国产成人自拍视频| 国产精品色| 国产久久av| 精品欧美日韩在线观看| 久久久久久AⅤ无码免费肉站| 亚洲双插| 正在播放:深夜激情大战,自带黑丝袜全力输出骚穴 | 人妻素股| 四虎影视永久在线免费| 色诱avtt| 亚洲人妻中文高清| 伊人久大| 男人天堂2012| 综合影院永久入口国产| 欧美大片一区二区三区| 国语av最新自产拍在线观看| 97在线视频观看免费| 激情久久久| 熟女探花啪啪| 超碰久久精品| 婷婷五月天成人网| 日本黄色精品专区网站| 是还免费视频1727我| 大香蕉丝袜一级片| 亚洲另类久操网| 国产亚洲深夜激情| 亚州欧美综合| AAA久久| 亚洲毛片久久| 日韩二级| 无码精品一区二区三区潘金莲| 91色射| 这里只有精品视频在线| 亚洲日韩精品久久久久一区壹牛| 亚拍在线| 日韩欧美视频青青| 不卡av在线中文字幕| 人人澡人人弄| 成人在线视频网| 美女被啪到深处抽搐视频| 夜夜狠狠躁日日躁色视频| 懂色AV蜜臀无码精品APP| 91性感在线| 久久精品一区| 亚洲AV永久无码一区仙野| 亚洲欧美国产中文视频| 97精品视频在线播放| 亚洲欧美中日韩| 首页中文字幕中文字幕免费| 蜜臀中文字幕| 少好三P| 国产无遮挡| 国产免费久久久久| 亚洲,日韩,欧美,成人播放 | 中文字幕AV片| 久久女人一区二区三区| 欧美综合娱乐久久| 91肉丝| 97精品视频在线| 久操 高清| 激情五月丁香五月| 日本免费人成视频播放120秒| 国产乱子伦久久精品综合一区二区三| 97网址97| 色av中文字| 日韩精品三级| 91麻豆天美传媒HD| 无码9区| 日韩欧美俄罗斯A片| av激情亚洲五月天| 这里只有精品97| 亚洲欧美国产va在线| 亚洲精品一二三四区| 啊视频在线| 久久五十路熟女人妻| 99热| 少妇熟女一区二区三区| nuu12国产麻豆精品| 91成人国产综合久久精品蜜月| 加勒比大香蕉视频在线| 夜夜草网站| 在线看片国产精品每日更新| 成 人片 黄色大片| 国产成年女黄特黄| 欧美日韩亚洲天堂| 婷婷20月天青娱乐| 97超碰亚洲| 91 丝袜在线| 六六久久日韩不卡| 色婷婷丁香| 色乱二区| 强奸乱伦AV网站| 18禁无码永久免费无限制| 另类图片综合| 中欧人妻丝袜中文字幕| 色欲天香天天综合网-成年人三级片网站-欧美乱妇狂野-日韩国产专区-久久久久久 | 蜜臀久久99精品久久综合| www九九热| 亚洲中文字幕一区二区| 日韩BBN| 本道在线| 五月天亚洲网| 欧美骚少妇| 欲色啪| 天天综合网合集91| 中文字幕一区二区三四五区日日骚| 中文久久一区| 热久久九九热| 91艹逼精品| 亚洲大色堂| 综合网久久| 久久久久久久久久久人妻| 九九热免费国产视频婷婷伊人五月| 色五月综合| 丁香六月激情| 人妻少妇精品一区二区三区| 2020中文字幕| 麻豆精品久久久久久久| 色97| 日韩精品人妻系列无码天堂| 久久久不能久久久久| 久久夜色一区二区| 亚洲中文电影| 九九国产热| 久久精品高清无码一区| 伊人96在线| 九九九九一区| 午夜免费视频1000| 日韩99999色| 台湾佬中文娱乐自偷自拍| 成人无码专区精品视频| 热久久国产精品视频大陆精品| 亚洲色香| 久久久久久中文| 人妻熟女一区二区在线视频| av天堂加勒比| 亚洲欧美电影| 丰满人妻一区二区三区性色| 国产精品色片一区二区| 国产成人精品亚洲日本| 精品区9| 六月丁香啪啪啪| 天堂蜜桃无码视频一区二区| 啪啪91| 在线一区| 极品少妇久久久久| 欧美AB在线| 十八禁视频一区二区| 亚欧日韩成人| 婷婷五月在线视频| 超碰性爱97| 99精品丰满人妻无码| 精品人妻一区二区三区免费视频| 婷婷综合伊人一区| 草草影院最新网址| 99re视频在线播放青草| 无码高清操逼| xxx0国产在线播放| 五月天开心网| 熟女中出视频| 亚洲成人帖图| 97超碰碰| 色呦呦呦在线观看视频| 色婷婷综合久久久久中文国产精品一区中文字幕,国产福利电影一区二区三区 | 亚洲欧洲网站免费观看| 91校园春色长篇| 日本一天色道久久久精品视频| 欧美综合自拍亚洲综合图| 久久精品一区二区三区四区五区| 91在线超高颜值国产| 99色热| 欧美国产视频| 亚洲人精品午夜不卡| 少妇综合网| 日韩AV噜噜噜一区二区三区四区 | 久久五月天婷婷丁香中文字幕| 国内精品伊人久久久久影院会| 欧美日日夜夜| 欧美精品亚洲精品日韩传电影| 日本熟妇浓毛hdsex| 日韩国产乱子伦App| 鲁鲁色综合网| 久久风骚城市| 欧美呦呦性爱| 日本精品一区三区| 91麻豆一二三区| 亚洲欧洲激情卡通另类文学四射小说网站 | 亚州综合在线| 2021久久国产综合精品青草| 99re6国产精品99re在线| 成人精品水蜜桃久久久久久久| 久久免费少妇| 欧美视频边做饭边橾| 操我啊啊啊啊啊| 成人情色综合网| 欧洲综合无码| 国产欧美伊人| 美女爽到高潮91| 久操com| 天天摸夜夜摸| 女同在线视频一区| 蜜桃午夜视频一区二区 | 日韩福利综合一区| 九九久久九九久久| 亚洲在线综合| 夜夜影视四色| 成人A片男人的天堂| 欧美精品系列| 国产福利小视频高清在线观看| 91美女视屏| 91爱剪切久久| 欧美性爱视频免费一区一A| 超碰在线人妻不卡| 久久色精品视频在线| 超碰人人超在线观看| 亚州综合AⅤ| 另类亚洲一区二区三区| 91一区二区| 亚洲精品国产熟女久久久| 欧美日产国产在线成人第一区| 黄色大片一区二区密桃丝袜| 久久9精品| 日本午夜福利影院| av草草在线电影| 密乳AV免费观看| 自拍丝袜美腿人妻| 少妇久久久| 熟女丝袜视频| 东北熟女91| 99热精品在线观看| 欧美亚洲天天| 91超级碰碰| 春色综合免费| 久久久久久久综合,国产| 在线观看免费视频国产| 97免费视频网| 老熟女搡BBBB搡BBBB视频| 干B视频伊人网| 欧美91精品国产自产| 99热精品免费| 蜜臀网 一区| 激情久久久| 色欲久久99国产精品久久久久久| www狠狠| 91综合无码| 噜噜在线| 亚洲久久久久| 日韩pv中文| 乱伦日本中文自拍| 蜜臀久久99精品久久久久免费观| 日本一区二区亚洲综合| 国产suv精品一区二区四| 欧美精品宗合| 天天综合网在线| 91精品微拍福利| h色99999| 色成人Www精品永久观看| 亚欧美色图| 日本在线激情一区二区三区| 久久久啊啊啊| 这里只有精品视频在线| 亚洲精品久久久久久久蜜桃臀| 日韩AV片| 伊人热综合| 97免费免费视频网| 中日韩久久久| 伊人久大| 男人的天堂2019AV| 精品无码久久久久久久久果冻糖心| 日日日啊啊啊| 91丨豆花丨熟女| 9999久久久久| 亚洲成av人片色午夜乱码| 偷拍盗拍亚洲色图图片| 精品人妻1237| 中文字幕一区二区三区高清| 呦女网站| 亚洲精品男人的天堂| 99色网| 天天看高清麻豆| 国产亚州高清国产拍精| 夜夜夜夜久久久久| 四虎影视在线| 国产成人一级av88| 好一吊区二区| 九九热男人天堂| 一级岛国大片| 人人九九精| 六月婷婷五月丁香| 黄色香蕉视频网站一区| 91超碰在线播放| 色99视频| 国产黄色视频久久| 久久精品男人的天堂| 亚洲激情久久| 久久免费99精品久久久久久| 成人一级二级| 综合久久久久久久久91| 91爱做| 99re在线观看| 人人干黄色| www.久久超碰| 欧美一区二区在线资源| 秋霞曰韩R级| 天天综合网日韩| 人人操人人射人人干| 69人妻精品一区二区绯色| 久久天天艹| 人妻激情视频| 日本999精品视频| 蜜臀操逼黄色视频操的好爽| av网站免费看| 国产精品久久久久久夜夜夜夜| 嗯嗯啊中文字幕| 18禁免费视频| 少妇色| 综合97久久| 日日天天久久啊啊aaa| 欧美日韩香蕉| 中文字幕天堂在线| 天天操天天干美女网址导航| 欧美精品 - 91爱爱| 岛国艾薇凹凸视频天堂| 亚洲av噜噜噜噜噜噜| 中出在线视频| 爱欲AV| 人人操AV| 操逼无码操逼| 久久久555| 九久9热| 色狠狠色| 偷拍三区| 人妻丝袜美腿中文字幕| 精品无码一区二区三区| 射欧美综合| 裸体美女国产免费久久久网站| 超碰成人公开| 九九综合九九综合| 久啪视频| 中国探花熟女| 国产成人拍国产亚洲精品| 精品人妻少妇| 欧美一区二区三区黄色影视| 欧美亚洲丝袜美女电影| 99精品网| 免费人成?大片在线播放| 最近2018中文字幕在线高清第一页| juliaann欧美丝袜办公室| 一区二区三区色综合| 亚洲情色一区三区| 国产精品亚洲美女久久久久| 日逼视频日本| 日韩免费高清大片在线| 成人怡红院| 综合网亚洲在线| 制服诱惑亚洲一区二区三区在线观看| 粘花网06av视频| 骚逼高潮久久精品| 婷婷五月天色色| 操逼片中文| 岛国黄| 亚洲AV无码乱码| 国产精品不卡高清在线观看| 国产馆| 成人一二三区| 在线观看啊啊啊啊啊| 激情视频一二三| 蜜臀久久在线视频| 婷婷情色综合网| 六月婷激情福利天堂69| 99热这里是精品| 亚洲图片欧美在线视频| 亚洲中文日韩欧美大香蕉视频| 飘花国产午夜精品不卡| 欧美色网| 国产强奸乱伦第1页| 极品肉射| 天天肏天天干| 久操精品| 日本一二区不卡| 91中文字幕| 亚洲超碰97| 色网色网色网色网色网色| 久久精品导航| 午夜传煤十二区精品| 97操B| 色色色综合| 国产精品老熟女一区二区| 男人的天堂2019AV| 91色艳| 欧美极品女人的天堂| 色情综合网| 97色色网| 91美女丝袜诱惑视频| 五月婷婷丁香六月| 欧州色图区| 日日狠狠久久偷偷色综合免费| 97电影院超碰| 色哟哟国产精品免费网址| 2020视频1区2区3区| 亚洲精品97在线| 久悠悠av| 久久久久久久久久久久黄色| 九九九九九九成人| 国产欧洲精品亚洲午夜拍精品| 精品女同一区| 一卡二卡三卡| 大香蕉久久| 国产呦精品系列在线观看| 国产亚洲色停停久久99精品91| 日本在线观看网址| 国产成人自拍视频视频| 青娱乐国产盛宴视频| 亚洲 欧美 手机在线观看| 高清在线偷拍自拍视频| 狠狠色综合网| 亚洲一二三精品久久网| 台湾大香蕉99热| 欧美色图在线视频少妇| 熟女久久久| 夜夜高潮夜夜爽夜夜爱爱一区| 中文乱码字幕观看视频| 懂色aV一区二区天美传媒| 三级日韩一区二区三区| 先锋色眉乱伦资源| 日本亚洲熟女视频| 殴美,日韩国产伦精品| 欧美爆操91| 超碰91在线| 97色在线观看| 日本大香蕉| 久久久月天| 在线不欧美| 日逼视频日本| 强奸乱伦动态污图免费| 丁香五月综合| 求求你操操我| 久污| 九九热九九| 九九碰九九爱97超| 国产精品无码久久久久2028| 操人91| 久久久久久大| 2019亚洲男人天堂| 欧美日韩在线小说| av天堂天堂av日韩| 九九这里只有精品| 日韩国产十八禁| 一区二区三区一亚洲中文字幕、综合区灬 | 国产白嫩精品久久| 一区e区三| 国产毛片片精品天天看视频| 美国aaaaa一级黄片| 97超碰国产精品| 欧美国产有色电影| 中文字幕三四五区| 欧美亚洲一级在线观看| 日本在线一二| 婷婷另类小说| 日本 情色 1区| 亚洲欧美日韩二区视频| www.婷婷| AV99热18这里只有精品| 啊啊啊啊操死我| 人人看欧美性爱| 国产不卡精品91| 98福利在线视频| 久久久久久久强迫| 超碰九区| 久操网址| 日本人妻一区二区| 蜜桃臀AV在线| 亚洲?V无码专区在线电影| 亚洲天堂综合AV| 98福利在线视频| 黄色免费一级在线毛片| 国产伦乱91| 欧美情色贴图| 国产在线播放成人免费| 黄色一级视| 欧美色图下一页| 九久精品| 国产精品午夜高潮呻吟久久av| 人妻人人澡人人爽人人| 精品传媒在线一区| 成人日本视频人妻在线| 蜜桃视频一区二区三区| 欧美99999| 91chinese在线| 97超碰人操| 99re热有精品视频国产| 美女露胸露屁股| 国语精品av| 国产一区二区在线电影| 日本黄色裸日本黄色裸体 | 97公开久久| 日本成熟少妇A∨网站| 欧美躁死她一区二区| 夜夜做夜夜爽精品视频| 亚一综合久久久久久久久久| 超碰97资源大奶| 欧美色图 色综合图| 中文字幕在线日亚州9| 欧美大色交| 无码国产Av| 青青操在线亚洲视频观看欧美在线 | 国内精品伊人久久久久影院会| 亚洲性图91| 无码 黑人一区二区三区| 日韩美脚一区二区网站| 伊香蕉综合久久久久久久噜噜噜| www亚洲免费| 欧美国产视频| 91看黄片| 啊啊啊啊啊啊啊国| 亚洲日韩电影| 98色网| 男人兔费天堂| 欧美日韩另类激情图片| 91五月天| 99热线麻豆| 日韩免费性爱视频在线观看| 亚洲人人夜夜澡人人爽| 手机在线中文字幕国产| 99只有精品| 天天激色| 欧美亚洲情色| 亚洲精品三| 久久久青草青青国产亚洲免观精品高清完整版_97久久综合区小说区图片区,国精品 | 性欧美第一页| 好色综合| 日韩女优中文字幕| 精品无吗m| 国产成人资源| 日本影视久久免费| 翘臀vidoes| 麻豆三极片| 97综合日韩| 天堂69亚洲精品中文字| 亚洲色图加勒比| 日韩高清黄片| 欧美日韩亚洲天堂网| 日本免费人成视频播放120秒| 久久九精品| 日韩不卡在线一区二区| 蜜臀久久99'精品久久久| 欧美性爱1080p| 大香蕉在线SuP| 亚洲精品成人激情在线| 91精品又粗又猛又爽| 尤物一级在线免费观看| 国产丁香精品露脸视频| 色淫网站优优视频| 99色| 伊人天天久久动态图| 亚洲中文字幕有码视频一区二区三区| 亚洲日韩在线a不卡99精品| 秋霞午夜视频一区二区| 成人麻豆av电影网站| 亚洲色棕合| 亚洲天堂中文字幕无码男同| 91久久| 欧美日动态视频| 被体育老师抱着c到高潮| 蜜臀久久99精品久久久久电影| 天天添天天干电影| 国产AAAAAABBBBB|