日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

機器學(xué)習(xí)的標(biāo)準(zhǔn)工作流程,從數(shù)據(jù)預(yù)處理到模型評估(附可運行代碼)

機器學(xué)習(xí)的標(biāo)準(zhǔn)工作流程,從數(shù)據(jù)預(yù)處理到模型評估(附可運行代碼) 翻當(dāng)時的學(xué)習(xí)筆記的時候看到這么一頁寫得很潦草數(shù)據(jù)清洗、標(biāo)準(zhǔn)化、特征工程、編碼、過采樣欠采樣、6:2:2、網(wǎng)格搜索、貝葉斯優(yōu)化、泛化能力……每個詞單獨拎出來我都能說出個大概但當(dāng)時有個問題一直沒想通這些東西到底誰先誰后我記得最清楚的畫面是第一次做課程項目我把SMOTE過采樣跑完了才想起來劃分訓(xùn)練集導(dǎo)師看了一眼說你這是把答案提前告訴模型了。后來自己動手跑了幾個項目才算把這頁筆記串成一條線。它其實是一條流水線前后順序有明確的道理亂了就出事。這篇文章就是把這條線從頭到尾捋一遍配一份復(fù)制就能跑的完整代碼。如果你是剛上完課、準(zhǔn)備動手做第一個項目的階段應(yīng)該能少踩幾個坑。一、先把全貌看清楚整個流程就三件事但三件事花的時間完全不成比例數(shù)據(jù)預(yù)處理吃掉整個項目 6~7 成的工作量。一個反直覺的事實是換算法帶來的提升通常遠(yuǎn)不如把數(shù)據(jù)弄好帶來的提升。同樣的數(shù)據(jù)邏輯回歸和 XGBoost 的差距可能是三五個點但把特征工程做對可能是二十個點。所以第一階段別偷懶。一個反直覺的事實換算法帶來的提升通常遠(yuǎn)不如把數(shù)據(jù)弄好帶來的提升。同樣的數(shù)據(jù)邏輯回歸和 XGBoost 的差距可能是三五個點但把特征工程做對可能是二十個點。所以第一階段別偷懶。二、數(shù)據(jù)預(yù)處理最臟最累但最值錢2.1 數(shù)據(jù)清洗原始數(shù)據(jù)基本都是臟的。常見四類問題問題類型典型表現(xiàn)常見處理缺失值NaN、空字符串、-999、0刪行 / 填中位數(shù)眾數(shù) / 填業(yè)務(wù)默認(rèn)值異常值年齡 250、月消費 999999業(yè)務(wù)規(guī)則修正 / 當(dāng)缺失處理 / 保留重復(fù)值完全重復(fù)、主鍵重復(fù)去重類型錯誤數(shù)字存成字符串、日期格式不統(tǒng)一轉(zhuǎn)類型缺失值這里有個容易忽略的細(xì)節(jié)空字符串不是 NaN。pandas讀進(jìn)來的空單元格才是 NaN業(yè)務(wù)系統(tǒng)里導(dǎo)出的空字符串往往原樣保留df.isna().sum()查不出來。處理前先統(tǒng)一一下df[contract_type] df[contract_type].replace(, np.nan)異常值我想多說一句因為這是我踩過的坑。我第一次處理一張電商用戶表用 3σ 把月消費字段的離群點全刪了結(jié)果把那批消費五萬以上的 VIP 全干掉了——模型是變干凈了但業(yè)務(wù)上最值錢的那群人沒了。所以判斷異常值統(tǒng)計方法3σ、IQR 箱線圖只是給你一個候選名單刪不刪要回到業(yè)務(wù)里問。我的習(xí)慣是明顯是錄入錯誤的年齡 250改成缺失值交給填充器處理數(shù)值雖然極端但真實的高消費用戶保留或者用分位數(shù)截斷Winsorize而不是刪掉。還有個工程上的建議清洗邏輯寫成函數(shù)別在 Excel 里手動改。手動改過一次下個月數(shù)據(jù)刷新你還得手動改一遍而且改的還不一定是同一套規(guī)則。2.2 數(shù)據(jù)轉(zhuǎn)換筆記上我在這條旁邊寫了個類似蒸餾當(dāng)時沒聽清老師具體指的啥。后來理解了大概意思是把量綱千差萬別的原始值蒸餾到同一把尺子上。具體來說就兩種標(biāo)準(zhǔn)化Standardization / Z-scorex (x - 均值) / 標(biāo)準(zhǔn)差結(jié)果均值 0、方差 1。歸一化Normalization / Min-Maxx (x - min) / (max - min)結(jié)果壓到 [0, 1]。區(qū)別在于歸一化對異常值很敏感一個極端值就能把其他所有樣本擠到很窄的區(qū)間里標(biāo)準(zhǔn)化因為用的是均值和標(biāo)準(zhǔn)差抗干擾能力強一些而且不要求數(shù)據(jù)服從正態(tài)分布這點經(jīng)常被人誤解。沒有特殊需求的話默認(rèn)用標(biāo)準(zhǔn)化。哪些算法必須做轉(zhuǎn)換判斷標(biāo)準(zhǔn)其實很簡單你只需要看這個算法會不會算距離或者用梯度。必須做KNN、SVM、神經(jīng)網(wǎng)絡(luò)、帶正則化的線性模型、PCA、K-Means不用做決策樹、隨機森林、XGBoost、LightGBM樹模型只看分裂閾值跟量綱無關(guān)不做會怎樣舉個直觀的例子特征里同時有年齡18-75和年收入0-1000000KNN 算歐氏距離的時候收入那一項的差值會完全主導(dǎo)結(jié)果年齡這個特征等于沒用。2.3 特征工程這是我認(rèn)為最見功力的地方。筆記里寫的構(gòu)建特征字典一開始我以為是某種數(shù)據(jù)結(jié)構(gòu)后來發(fā)現(xiàn)是工程習(xí)慣——給每個特征建一份檔案。做項目的時候我都會先列這么一張表字段名類型業(yè)務(wù)含義取值范圍缺失率處理方式來源age數(shù)值用戶年齡18-756%中位數(shù)填充 標(biāo)準(zhǔn)化user_profilecontract_type類別合約類型月付/年付/兩年付3%眾數(shù)填充 獨熱order_infotenure_months數(shù)值已使用月數(shù)0-720%標(biāo)準(zhǔn)化user_profile看著像形式主義實際上有幾個很實在的用處一是強迫你想清楚每個字段到底是干嘛的經(jīng)常填著填著就發(fā)現(xiàn)這個字段模型不該看后面會說的泄露問題二是別人接手你的代碼時不至于抓瞎三是上線的時候這張表就是特征服務(wù)的接口文檔。至于怎么造特征幾個我常用的套路# 1. 比值 / 人均絕對值往往不如相對值有區(qū)分度 df[tickets_per_month] df[support_tickets] / (df[tenure_months] 1) # 工單總數(shù) 10 單對用了 3 個月和用了 3 年的用戶含義天差地別 # 2. 時間差注冊到現(xiàn)在多久、上次登錄距今天數(shù) df[days_since_last_login] (pd.Timestamp.now() - df[last_login]).dt.days # 3. 分箱把連續(xù)值離散化能捕捉非線性關(guān)系 df[age_bin] pd.cut(df[age], bins[18, 25, 35, 50, 100], labelsFalse) # 4. 交叉組合兩個特征單獨看沒用組合起來有用 df[high_value_new_user] ((df[monthly_charges] 200) (df[tenure_months] 3)).astype(int) # 5. 聚合統(tǒng)計從明細(xì)表造出用戶粒度的行為特征 # 近 30 天登錄次數(shù)、近 7 天平均停留時長 這類表格數(shù)據(jù)里收益最高的一類特征第 5 類聚合統(tǒng)計在真實業(yè)務(wù)里收益最高但有個前提只能用預(yù)測時點之前的數(shù)據(jù)算。你要預(yù)測用戶下個月會不會流失那近 30 天登錄次數(shù)必須是截止到預(yù)測時點的 30 天不能把未來數(shù)據(jù)算進(jìn)去。這是時序特征最容易犯的錯。2.4 編碼模型只認(rèn)數(shù)字類別特征得先翻譯一下。三種情況有序類別—— 用標(biāo)簽編碼順序本身攜帶信息# 學(xué)歷高中 本科 碩士 博士 edu_map {高中: 0, 本科: 1, 碩士: 2, 博士: 3} df[education] df[education].map(edu_map)無序類別—— 用獨熱編碼One-Hot。注意別用標(biāo)簽編碼瞎編順序微信0、支付寶1、銀行卡2會讓模型誤以為微信和支付寶的距離比微信和銀行卡近這純屬無中生有。from sklearn.preprocessing import OneHotEncoder # handle_unknownignore 一定要加 enc OneHotEncoder(handle_unknownignore, sparse_outputFalse)handle_unknownignore這個參數(shù)值得單獨提。不加的話訓(xùn)練集沒見過、測試集出現(xiàn)的類別會直接報錯。真實業(yè)務(wù)里新類別太常見了新上線的支付方式、新開的城市不加就是給自己埋雷。加了以后未知類別會編碼成全 0模型不會因為一個沒見過的取值直接崩掉。高基數(shù)類別—— 取值特別多比如城市、商品 SKU、用戶 ID獨熱編碼會把維度撐爆。這時候用目標(biāo)編碼Target Encoding用該類別對應(yīng)的目標(biāo)變量均值來替代。但目標(biāo)編碼有嚴(yán)重的泄露風(fēng)險它用到了標(biāo)簽信息必須在交叉驗證的每一折內(nèi)部單獨計算不能先算好再劃分?jǐn)?shù)據(jù)集。sklearn 里對應(yīng)的是TargetEncoder1.3 版本或者用category_encoders這個庫。2.5 類別不平衡這個坑我印象最深。第一次做二分類任務(wù)跑出來準(zhǔn)確率 95%我還挺高興結(jié)果一看混淆矩陣——正樣本一個都沒預(yù)測對。因為正樣本只占 5%模型只要無腦預(yù)測全是負(fù)樣本準(zhǔn)確率就是 95%。所以遇到不平衡數(shù)據(jù)第一件事是把準(zhǔn)確率這個指標(biāo)拉黑。三種應(yīng)對方式過采樣復(fù)制或者合成少數(shù)類樣本。SMOTE 是經(jīng)典方法它不只是復(fù)制而是在少數(shù)類樣本之間插值合成新樣本from imblearn.over_sampling import SMOTE from imblearn.pipeline import Pipeline as ImbPipeline # 注意用 imblearn 的 Pipeline不是 sklearn 的 pipe ImbPipeline([ (prep, preprocessor), (smote, SMOTE(random_state42)), (clf, RandomForestClassifier()), ])欠采樣刪掉一部分多數(shù)類樣本。數(shù)據(jù)量大的時候挺好用缺點是丟信息。改權(quán)重最省事不動數(shù)據(jù)直接告訴模型少數(shù)類更重要。sklearn 里大部分分類器都支持RandomForestClassifier(class_weightbalanced) LogisticRegression(class_weightbalanced) XGBClassifier(scale_pos_weight負(fù)樣本數(shù)/正樣本數(shù))我個人習(xí)慣先試class_weightbalanced一行代碼幾乎零成本還不用擔(dān)心過擬合。這不是偷懶我在同一份數(shù)據(jù)上對比過一行class_weightbalanced能拿到測試集 ROC-AUC 0.8395 / PR-AUC 0.5577換成 SMOTE 反而只有 0.8198 / 0.4751。不是說 SMOTE 沒用而是它合成的樣本會引入噪聲在類別邊界重疊嚴(yán)重的表格數(shù)據(jù)上容易幫倒忙。所以我的順序永遠(yuǎn)是先試零成本的權(quán)重法效果不夠再考慮采樣。這里有個必須記住的順序問題采樣只能在訓(xùn)練集上做。先劃分?jǐn)?shù)據(jù)集再對訓(xùn)練集過采樣。如果先過采樣再劃分同一個樣本的合成兄弟會同時出現(xiàn)在訓(xùn)練集和測試集里測試成績會虛高這就是為什么我第一次做項目被導(dǎo)師說的那個點。三、模型訓(xùn)練3.1 數(shù)據(jù)集劃分為什么非要分三份因為三件事需要三份不同的數(shù)據(jù)訓(xùn)練集喂給模型學(xué)習(xí)參數(shù)驗證集用來選模型、調(diào)超參數(shù)測試集只在最后評估一次模擬真實上線后遇到的新數(shù)據(jù)比例用 6:2:2 還是 8:1:1看數(shù)據(jù)量數(shù)據(jù)量小幾千條6:2:2驗證集和測試集都需要足夠樣本指標(biāo)才穩(wěn)定數(shù)據(jù)量大十萬以上8:1:1 甚至 98:1:11% 也夠用了多留點給訓(xùn)練數(shù)據(jù)特別小幾百條別硬分三份直接用 K 折交叉驗證劃分的時候記得加stratify保持各集合里類別比例一致X_train, X_temp, y_train, y_temp train_test_split( X, y, test_size0.2, stratifyy, random_state42 ) X_val, X_test, y_val, y_test train_test_split( X_temp, y_temp, test_size0.5, stratifyy_temp, random_state42 )不加stratify運氣不好會出現(xiàn)某一折里正樣本特別少的情況訓(xùn)練出來的模型指標(biāo)會飄得厲害。還有一種情況要特別注意時間序列數(shù)據(jù)不能隨機劃分。你要用 1-6 月的數(shù)據(jù)預(yù)測 7 月那就嚴(yán)格按時間切訓(xùn)練集是 1-4 月驗證集 5 月測試集 6 月。隨機打亂會讓模型看到未來線下指標(biāo)好看得離譜上線一塌糊涂。3.2 算法選擇我的順序是先跑基線再上復(fù)雜模型。基線不是走過場它有兩個作用一是告訴你這個問題至少能做到什么程度二是如果復(fù)雜模型打不過基線說明你的數(shù)據(jù)或特征有問題。表格數(shù)據(jù)也就是大多數(shù)業(yè)務(wù)場景里的結(jié)構(gòu)化數(shù)據(jù)的一個經(jīng)驗結(jié)論梯度提升樹基本是天花板。多說一句很多剛?cè)腴T的同學(xué)包括當(dāng)時的我覺得深度學(xué)習(xí)一定比隨機森林強。在圖像、文本這些非結(jié)構(gòu)化數(shù)據(jù)上確實如此但在幾千到幾十萬行的表格數(shù)據(jù)上LightGBM 通常又快又好深度網(wǎng)絡(luò)大概率打不過它還更難調(diào)。選算法之前先認(rèn)清數(shù)據(jù)類型。3.3 超參數(shù)調(diào)優(yōu)先分清兩個概念參數(shù)是模型自己學(xué)出來的比如線性回歸的系數(shù)超參數(shù)是你提前指定的比如樹的最大深度。調(diào)參調(diào)的是后者。網(wǎng)格搜索把所有候選值排列組合窮舉一遍。param_grid { clf__max_depth: [6, 10, None], clf__min_samples_leaf: [1, 5, 20], clf__n_estimators: [300], } # 3 × 3 × 1 9 種組合配合 5 折交叉驗證 45 次訓(xùn)練問題在于組合爆炸3 個參數(shù)各 3 個候選值是 27 次5 個參數(shù)各 5 個候選值就是 3125 次配上交叉驗證直接跑到天荒地老。隨機搜索在候選范圍內(nèi)隨機采樣 N 組。Bergstra 和 Bengio 2012 年那篇論文的核心結(jié)論是——通常只有少數(shù)幾個超參數(shù)真正重要隨機搜索因為采樣更分散在同樣的計算預(yù)算下反而更容易找到好的組合。from sklearn.model_selection import RandomizedSearchCV from scipy.stats import randint, uniform param_dist { clf__max_depth: randint(3, 20), clf__min_samples_leaf: randint(1, 30), clf__subsample: uniform(0.6, 0.4), } search RandomizedSearchCV(pipe, param_dist, n_iter50, scoringaverage_precision, cv5, n_jobs-1)我的實際做法先用隨機搜索大范圍掃一遍鎖定大致區(qū)間再用網(wǎng)格搜索在小區(qū)間里精調(diào)。貝葉斯優(yōu)化它會根據(jù)歷史試驗結(jié)果推測下一組最值得試的參數(shù)而不是瞎試。適合單次訓(xùn)練很貴的情況深度學(xué)習(xí)、大數(shù)據(jù)集。常用庫是 Optuna代碼量比 GridSearchCV 多一點點但省時間import optuna def objective(trial): params { n_estimators: trial.suggest_int(n_estimators, 100, 500), max_depth: trial.suggest_int(max_depth, 3, 15), learning_rate: trial.suggest_float(learning_rate, 0.01, 0.3, logTrue), } model LGBMClassifier(**params) score cross_val_score(model, X, y, cv5, scoringaverage_precision).mean() return score study optuna.create_study(directionmaximize) study.optimize(objective, n_trials50)不管用哪種都記得配合交叉驗證。用單次的訓(xùn)練集-驗證集劃分來調(diào)參結(jié)果會受這一次劃分的運氣影響交叉驗證取平均才穩(wěn)。四、模型評估4.1 先把混淆矩陣背下來所有分類指標(biāo)都是從這四個數(shù)推出來的精確率 Precision TP / (TP FP)你報出來的正例里有多少是真的召回率 Recall TP / (TP FN)真正的正例里你抓住了多少F1上面兩個的調(diào)和平均想要一個綜合數(shù)字的時候用怎么選取決于業(yè)務(wù)代價癌癥篩查、金融風(fēng)控、故障預(yù)警——寧可錯殺不可放過要召回率。漏掉一個早期癌癥患者的代價遠(yuǎn)大于讓一個健康人多做一次檢查。垃圾郵件過濾、推薦系統(tǒng)——誤殺代價高要精確率。把老板的重要郵件扔進(jìn)垃圾箱比收一封廣告嚴(yán)重多了。4.2 ROC-AUC 和 PR-AUC這兩個都是評估排序能力的指標(biāo)不受閾值選擇影響。ROC-AUC0.5 是隨機瞎猜1.0 是完美。但它有個毛病——類別嚴(yán)重不平衡時會虛高。正樣本只占 1% 的時候模型只要不給正樣本排太低AUC 就能輕松上 0.9看著很漂亮實際抓正樣本的能力一塌糊涂。PR-AUCaverage precision只看正樣本的表現(xiàn)在不平衡場景下比 ROC-AUC 誠實得多。所以我的習(xí)慣不平衡數(shù)據(jù)上主看 PR-AUCROC-AUC 當(dāng)輔助?;貧w任務(wù)就三個常用指標(biāo)MAE平均絕對誤差好解釋、RMSE對大誤差更敏感、R2擬合優(yōu)度越接近 1 越好。4.3 泛化能力到底在看什么泛化能力說白了就是模型在沒見過的數(shù)據(jù)上還能不能打。判斷方法很直接——比訓(xùn)練集和測試集的分?jǐn)?shù)訓(xùn)練集分?jǐn)?shù)測試集分?jǐn)?shù)診斷怎么辦很高很低過擬合加數(shù)據(jù)、簡化模型、加正則、減特征很低很低欠擬合換復(fù)雜模型、加特征、減少正則高高差距小正常挺好可以上線了比訓(xùn)練集還高—有泄露檢查數(shù)據(jù)劃分和特征構(gòu)造最后一行我加了條有泄露的情況看著違反直覺但真遇到的時候特別有提示性測試集分?jǐn)?shù)比訓(xùn)練集還高八成是哪里出了問題最常見的是先做采樣/標(biāo)準(zhǔn)化再劃分?jǐn)?shù)據(jù)或者特征里混進(jìn)了未來信息。順便說下學(xué)習(xí)曲線。橫軸是訓(xùn)練樣本數(shù)縱軸是分?jǐn)?shù)如果兩條線訓(xùn)練集分?jǐn)?shù)、驗證集分?jǐn)?shù)之間有一條明顯的鴻溝且不收斂就是過擬合如果兩條線都低且貼在一起就是欠擬合。比看單個數(shù)字直觀。五、串起來一份完整可運行的代碼場景是某 SaaS 產(chǎn)品的用戶流失預(yù)測二分類且類別不平衡。數(shù)據(jù)是我用代碼模擬的會故意塞入缺失值、異常值和重復(fù)行這樣你復(fù)制過去直接就能跑不用下載任何數(shù)據(jù)集。依賴pip install pandas scikit-learn# -*- coding: utf-8 -*- 機器學(xué)習(xí)標(biāo)準(zhǔn)工作流程 —— 完整可運行示例 場景用戶流失預(yù)測二分類類別不平衡 依賴pip install pandas scikit-learn import numpy as np import pandas as pd from sklearn.model_selection import train_test_split, GridSearchCV, StratifiedKFold from sklearn.pipeline import Pipeline from sklearn.compose import ColumnTransformer from sklearn.impute import SimpleImputer from sklearn.preprocessing import StandardScaler, OneHotEncoder from sklearn.linear_model import LogisticRegression from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import ( classification_report, confusion_matrix, roc_auc_score, average_precision_score, ) RANDOM_STATE 42 rng np.random.default_rng(RANDOM_STATE) # ---------------------------------------------------------------------- # 0. 造一份臟數(shù)據(jù)這樣你復(fù)制過去就能跑不用下載任何數(shù)據(jù)集 # ---------------------------------------------------------------------- def make_dirty_churn_data(n8000): age rng.normal(38, 12, n).clip(18, 75) tenure rng.exponential(20, n).clip(0, 72) monthly rng.normal(120, 45, n).clip(20, 400) tickets rng.poisson(1.6, n) contract rng.choice([月付, 年付, 兩年付], n, p[0.55, 0.28, 0.17]) payment rng.choice([微信, 支付寶, 銀行卡, 對公轉(zhuǎn)賬], n, p[0.4, 0.35, 0.2, 0.05]) # 讓標(biāo)簽和特征之間有真實的因果關(guān)系否則模型學(xué)不到東西 contract_risk np.select( [contract 月付, contract 年付, contract 兩年付], [1.3, -0.5, -1.1] ) logit ( -2.6 0.070 * (age - 38) - 0.070 * tenure 0.015 * (monthly - 120) 0.60 * tickets contract_risk rng.normal(0, 0.5, n) ) churn rng.binomial(1, 1 / (1 np.exp(-logit))) df pd.DataFrame( { age: age, tenure_months: tenure, monthly_charges: monthly, support_tickets: tickets, contract_type: contract, payment_method: payment, churn: churn, } ) # --- 動手把數(shù)據(jù)弄臟模擬真實業(yè)務(wù)表的樣子 --- # (1) 數(shù)值列隨機缺失 for col, ratio in [(age, 0.06), (monthly_charges, 0.04)]: df.loc[rng.choice(n, int(n * ratio), replaceFalse), col] np.nan # (2) 類別列缺失業(yè)務(wù)系統(tǒng)里經(jīng)常是空字符串而不是 NaN df.loc[rng.choice(n, int(n * 0.03), replaceFalse), contract_type] np.nan # (3) 異常值年齡錄成了 3 歲和 250 歲 idx rng.choice(n, 12, replaceFalse) df.loc[idx[:6], age] 3 df.loc[idx[6:], age] 250 # (4) 重復(fù)行 df pd.concat([df, df.sample(30, random_stateRANDOM_STATE)], ignore_indexTrue) return df raw make_dirty_churn_data() print(原始數(shù)據(jù):, raw.shape) print(缺失值統(tǒng)計:\n, raw.isna().sum()) print(流失占比: %.2f%%\n % (raw[churn].mean() * 100)) # ---------------------------------------------------------------------- # 1. 數(shù)據(jù)清洗 # ---------------------------------------------------------------------- def clean(df): df df.drop_duplicates() # 用業(yè)務(wù)規(guī)則修異常年齡合理區(qū)間 [18, 100]超出的一律置為缺失交給后面的填充 器 df.loc[(df[age] 18) | (df[age] 100), age] np.nan # 空字符串也當(dāng)成缺失 df[contract_type] df[contract_type].replace(, np.nan) # 月費不可能超過 1000 df.loc[df[monthly_charges] 1000, monthly_charges] np.nan return df df clean(raw) print(清洗后:, df.shape) # ---------------------------------------------------------------------- # 2. 特征工程這里只做兩件最典型的事比值 分層 # ---------------------------------------------------------------------- def build_features(df): df df.copy() # 每月工單數(shù) 工單總數(shù) / 使用時長比單獨的工單數(shù)更能反映暴躁程度 df[tickets_per_month] df[support_tickets] / (df[tenure_months] 1) # 是否高價值客戶 df[is_high_value] (df[monthly_charges] df[monthly_charges].median()).astype(int) return df df build_features(df) TARGET churn NUM_FEATURES [ age, tenure_months, monthly_charges, support_tickets, tickets_per_month, is_high_value, ] CAT_FEATURES [contract_type, payment_method] X df[NUM_FEATURES CAT_FEATURES] y df[TARGET] # ---------------------------------------------------------------------- # 3. 數(shù)據(jù)集劃分 —— 必須在任何學(xué)習(xí)數(shù)據(jù)分布的操作之前做 # ---------------------------------------------------------------------- X_train, X_temp, y_train, y_temp train_test_split( X, y, test_size0.2, stratifyy, random_stateRANDOM_STATE ) X_val, X_test, y_val, y_test train_test_split( X_temp, y_temp, test_size0.5, stratifyy_temp, random_stateRANDOM_STATE ) print(\n 訓(xùn)練集 %d / 驗證集 %d / 測試集 %d (8:1:1) % (len(X_train), len(X_val), len(X_test))) print( 各 集 流 失 占 比 : %.3f / %.3f / %.3f\n % (y_train.mean(), y_val.mean(), y_test.mean())) # ---------------------------------------------------------------------- # 4. 預(yù)處理流水線缺失填充 - 標(biāo)準(zhǔn)化 / 獨熱編碼 # ---------------------------------------------------------------------- numeric_pipe Pipeline([ (imputer, SimpleImputer(strategymedian)), (scaler, StandardScaler()), ]) categorical_pipe Pipeline([ (imputer, SimpleImputer(strategymost_frequent)), (onehot, OneHotEncoder(handle_unknownignore, sparse_outputFalse)), ]) preprocessor ColumnTransformer([ (num, numeric_pipe, NUM_FEATURES), (cat, categorical_pipe, CAT_FEATURES), ]) # ---------------------------------------------------------------------- # 5. 建模邏輯回歸當(dāng)基線隨機森林當(dāng)主力 # ---------------------------------------------------------------------- def make_model(clf): return Pipeline([(prep, preprocessor), (clf, clf)]) lr make_model( LogisticRegression(max_iter1000, class_weightbalanced, random_stateRANDOM_STATE) ) lr.fit(X_train, y_train) val_prob_lr lr.predict_proba(X_val)[:, 1] print([基線] 邏輯回歸 驗證集 AUC %.4f PR-AUC %.4f % (roc_auc_score(y_val, val_prob_lr), average_precision_score(y_val, val_prob_lr))) rf make_model( RandomForestClassifier(n_estimators300, class_weightbalanced_subsample, random_stateRANDOM_STATE, n_jobs-1) ) rf.fit(X_train, y_train) val_prob_rf rf.predict_proba(X_val)[:, 1] print([主力] 隨機森林 驗證集 AUC %.4f PR-AUC %.4f % (roc_auc_score(y_val, val_prob_rf), average_precision_score(y_val, val_prob_rf))) # ---------------------------------------------------------------------- # 6. 超參數(shù)調(diào)優(yōu)網(wǎng)格搜索 分層 K 折交叉驗證只用訓(xùn)練集 驗證集 # ---------------------------------------------------------------------- X_tv pd.concat([X_train, X_val]) y_tv pd.concat([y_train, y_val]) param_grid { clf__max_depth: [6, 10, None], clf__min_samples_leaf: [1, 5, 20], clf__n_estimators: [300], } cv StratifiedKFold(n_splits5, shuffleTrue, random_stateRANDOM_STATE) search GridSearchCV( make_model(RandomForestClassifier(class_weightbalanced_subsample, random_stateRANDOM_STATE, n_jobs-1)), param_grid, scoringaverage_precision, cvcv, n_jobs-1, ) search.fit(X_tv, y_tv) print(\n 調(diào)參最佳組合:, search.best_params_) print(交叉驗證最佳 PR-AUC %.4f % search.best_score_) best_model search.best_estimator_ # ---------------------------------------------------------------------- # 7. 最終評估 —— 測試集到此只用這一次 # ---------------------------------------------------------------------- test_prob best_model.predict_proba(X_test)[:, 1] test_pred (test_prob 0.5).astype(int) print(\n 測試集最終表現(xiàn) ) print(ROC-AUC %.4f PR-AUC %.4f % ( roc_auc_score(y_test, test_prob), average_precision_score(y_test, test_prob))) print(\n 混淆矩陣 (行真實, 列預(yù)測):) print(confusion_matrix(y_test, test_pred)) print() print(classification_report(y_test, test_pred, target_names[未 流 失 , 流 失 ], digits3)) # ---------------------------------------------------------------------- # 8. 看看泛化能力訓(xùn)練集 vs 測試集的差距 # ---------------------------------------------------------------------- train_prob best_model.predict_proba(X_tv)[:, 1] print(訓(xùn)練集 PR-AUC %.4f % average_precision_score(y_tv, train_prob)) print(測試集 PR-AUC %.4f % average_precision_score(y_test, test_prob)) # ---------------------------------------------------------------------- # 9. 特征重要性 # ---------------------------------------------------------------------- feat_names best_model.named_steps[prep].get_feature_names_out() importances best_model.named_steps[clf].feature_importances_ order np.argsort(importances)[::-1] print(\nTop 8 特征重要性:) for i in order[:8]: print( %-28s %.4f % (feat_names[i], importances[i]))我在 Python 3.13 scikit-learn 1.9.0 pandas 3.0.5 上跑出來的結(jié)果有節(jié)選原始數(shù)據(jù): (8030, 7) 缺失值統(tǒng)計: age 480 monthly_charges 321 contract_type 242 流失占比: 17.57% 清洗后: (8000, 7) 訓(xùn)練集 6400 / 驗證集 800 / 測試集 800 (8:1:1) 各集流失占比: 0.176 / 0.176 / 0.175 [基線] 邏輯回歸 驗證集 AUC 0.8681 PR-AUC 0.5941 [主力] 隨機森林 驗證集 AUC 0.8306 PR-AUC 0.5111 調(diào) 參 最 佳 組 合 : {clf__max_depth: None, clf__min_samples_leaf: 20, clf__n_estimators: 300} 交叉驗證最佳 PR-AUC 0.5458 測試集最終表現(xiàn) ROC-AUC 0.8395 PR-AUC 0.5577 混淆矩陣 (行真實, 列預(yù)測): [[520 140] [ 37 103]] precision recall f1-score support 未流失 0.934 0.788 0.855 660 流失 0.424 0.736 0.538 140 accuracy 0.779 800 訓(xùn)練集 PR-AUC 0.6586 測試集 PR-AUC 0.5577 差距 0.1009 Top 8 特征重要性: num__tickets_per_month 0.2347 num__age 0.1755 num__tenure_months 0.1749 cat__contract_type_月付 0.1322 num__monthly_charges 0.1032 num__support_tickets 0.0663 cat__contract_type_年付 0.0371 num__is_high_value 0.0307幾個值得盯著看的數(shù)字第一邏輯回歸AUC 0.8681打贏了隨機森林0.8306。這不是代碼寫錯了——這份數(shù)據(jù)的因果關(guān)系是我拿線性 logit 函數(shù)生成的邏輯回歸天生就適合擬合它。真實業(yè)務(wù)里很少有這么講道理的數(shù)據(jù)但這正好說明基線模型不能跳過它幫你判斷數(shù)據(jù)長什么樣也幫你在復(fù)雜模型翻車時有個參照。第二ROC-AUC 0.8395 看著挺體面PR-AUC 只有 0.5577。同一個模型、同一份數(shù)據(jù)兩個指標(biāo)差了快 0.3差出來的這部分就是類別不平衡的照妖鏡。只報 ROC-AUC很容易讓人以為這是個能用的模型。第三最反直覺的一條模型準(zhǔn)確率 0.779比全部預(yù)測為不流失還低。測試集里流失只占 17.5%無腦猜都不流失的準(zhǔn)確率是 82.5%模型反倒只有 77.9%——是不是覺得白訓(xùn)了不是??椿煜仃嚹莾尚?40 個真正會流失的用戶模型抓出了 103 個召回率 73.6%代價是 140 個正常用戶被誤判成流失。這就是class_weightbalanced在起作用——它告訴模型漏掉一個流失用戶比誤判一個正常用戶更貴模型照做了于是拿準(zhǔn)確率去換召回率。準(zhǔn)確率低不代表模型差只代表你的目標(biāo)和猜多數(shù)類不是一回事。業(yè)務(wù)要的是提前把可能流失的人撈出來去挽回那 73.6% 的召回率就是值錢的。這也是為什么在不平衡場景下準(zhǔn)確率基本沒有參考價值。你要是真把class_weightbalanced去掉再跑一遍會看到這個配置準(zhǔn)確率召回率精確率ROC-AUCPR-AUC加權(quán)balanced0.7790.7360.4240.8400.558不加權(quán)默認(rèn)0.8500.2710.6790.8320.554全猜不流失0.8250———去掉權(quán)重準(zhǔn)確率從 0.779 漲到 0.850比全猜不流失的 0.825 還高看著是不是順眼多了但召回率從 0.736 掉到 0.271——140 個會流失的用戶只抓出了 38 個。如果你要拿這個模型去做挽回推送等于四分之三的流失用戶你連招呼都沒打。更值得琢磨的是最后兩列ROC-AUC 和 PR-AUC 幾乎沒動。因為class_weight本質(zhì)上只是在移動決策閾值就是概率大于 0.5 判為正那條線并沒有改變模型把正負(fù)樣本排序的能力。模型的底子沒變變的只是你在哪個位置切一刀。所以結(jié)論是準(zhǔn)確率、召回率這些指標(biāo)會跟著閾值劇烈擺動AUC 類的指標(biāo)才是穩(wěn)的那個。調(diào)閾值或者調(diào)權(quán)重屬于最后的業(yè)務(wù)決策我愿意用多少誤判換多少召回不該拿來評判模型本身的好壞。第四tickets_per_month在特征重要性里排第一0.2347而它的兩個原材料support_tickets只有 0.0663、tenure_months0.1749排第三。一個除法算出來的新特征比原始字段更能打這就是特征工程的實際收益。最后訓(xùn)練集 PR-AUC 0.6586、測試集 0.5577差 0.1屬于正常范圍。要是哪天你看到測試集分?jǐn)?shù)反而比訓(xùn)練集高先回去查數(shù)據(jù)泄露別高興得太早。再看代碼本身有幾個地方是刻意這么寫的一是整個預(yù)處理和模型都塞進(jìn)了Pipeline。這不是為了好看而是為了防止數(shù)據(jù)泄露——SimpleImputer的中位數(shù)、StandardScaler的均值方差全都是在訓(xùn)練集上算出來的然后原樣應(yīng)用到驗證集和測試集。如果你手動先fit_transform整個數(shù)據(jù)集再劃分測試集的統(tǒng)計信息就混進(jìn)訓(xùn)練過程了指標(biāo)會虛高。二是class_weightbalanced處理不平衡一行搞定沒引入任何新樣本。三是調(diào)參階段用的是訓(xùn)練集驗證集合并后做 5 折交叉驗證測試集從頭到尾只在最后被碰了一次。這個習(xí)慣一定要養(yǎng)成每用測試集做一個決策它就臟一分。用測試集反復(fù)調(diào)參選模型等于把測試集變成了驗證集最后那個漂亮的數(shù)字沒有意義。四是最后那段特征重要性輸出tickets_per_month這個我自己造的特征直接排在了第一比它的兩個原材料support_tickets和tenure_months單獨用都強。這就是特征工程的價值——你自己改改build_features函數(shù)加幾個新特征進(jìn)去看看能不能把 PR-AUC 再推高一點。六、幾個容易翻車的地方按我踩坑的頻率排個序先采樣/先標(biāo)準(zhǔn)化后劃分?jǐn)?shù)據(jù)—— 最經(jīng)典的泄露。train_test_split必須是全流程的第一道工序。用整個數(shù)據(jù)集的均值填充缺失值—— 同上屬于泄露。放進(jìn) Pipeline 里就不會犯。類別不平衡還盯著準(zhǔn)確率看—— 95% 的準(zhǔn)確率可能一個正樣本都沒抓到先看混淆矩陣和 PR-AUC。One-Hot 忘了加handle_unknownignore—— 訓(xùn)練沒問題上線遇到新類別直接報錯。測試集被反復(fù)使用—— 調(diào)一次參看一次測試集最后報告的數(shù)字其實是過擬合到測試集上的。特征里混入了未來信息—— 比如用訂單總金額預(yù)測用戶是否下單這種特征線下 AUC 能到 0.99上線就廢。特征字典里來源那一列就是用來排查這個的。忽略業(yè)務(wù)規(guī)則—— 模型說這個用戶會流失但你去看數(shù)據(jù)發(fā)現(xiàn)他的賬號三天前就被封了。這種樣本應(yīng)該提前剔除。寫在最后回頭看那頁筆記它其實給了正確的順序只是我當(dāng)時不知道每一步為什么在那里。真正讓我理解這個流程的不是背下來清洗→轉(zhuǎn)換→特征→編碼→采樣這個順序而是想明白了一件事凡是從數(shù)據(jù)里學(xué)出來的東西均值、方差、類別映射、采樣策略、超參數(shù)都只能在訓(xùn)練集上學(xué)習(xí)然后應(yīng)用到其他集合上。理解了這一條整個流程的順序就能自己推出來了——標(biāo)準(zhǔn)化為什么在劃分之后SMOTE 為什么只能在訓(xùn)練集上做Pipeline 為什么非寫不可全是同一個道理的不同表現(xiàn)。代碼在上面我是跑通了的。建議你動手改幾個地方試試把class_weightbalanced去掉看準(zhǔn)確率是不是會漲回 0.82 以上、召回率又會掉到多少或者把build_features里的tickets_per_month刪掉看 PR-AUC 掉幾個點。動手改一遍比看十遍記得牢。如果這篇文章對你有幫助歡迎點贊收藏。有說錯的地方也歡迎評論區(qū)指出我改。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
午夜理论片在线观看免费| av网页一区二区三区| 国产传媒午夜理伦精品| 精品人妻美妇91job| 久久黄黄| 偷拍精品一区二区三区| 在线黄页看毛片| 9久9久9久9久视频网站| 91碰超| 三级片大波波| 操操操五月天婷婷丁香影院| 国产综合网站在线播放 | 蜜桃av综合网发布| 97超碰资源网| 伊人91| 狠狠色色| 91综合天天看| 精品国产一区二区三区av在线资源| 蜜桃久久久久久久久久久久| 逼逼逼逼操操操操操操操操操午夜剧场 | 嗯~啊~快点 死我视频| 日本不卡免费二区| 国产福利影视| 5278欧美一区二区三区| 超碰97人人乐| 黑操B| 国产亚洲福利第一页丝袜| 你操综合| 91成人久久| 日日黄色三级网站| 成人三级片无码| 精品国产乱码久久久久久日本公司| 99热最新| 99re黄| 天天日天天搞天天干| 最新日产中文在线麻豆| 婷婷精品国产一区二区三区日韩| 又粗又长又大国产不卡| 欧美强奸乱| 午夜男人天堂| 91性网| 91小视频| 搡老女人老91妇女熟女| 大香蕉免费中文| 日韩综合97P| 色综合久久88色综合久久天天| 色欲人妻一区二区在线| 免费国产电影一区二区| 啊啊啊啊啊啊啊啊啊在线观看| 岛国毛片手机在线观看| 无码人妻毛片丰满熟妇精品区| 成人性爱电影网| 精品少妇一区二区| 艹我哪美一区无码| 人人操欧美风骚| 蜜臀AV一区二区三区| 91激情国产| 三四中文字幕| 综合色色婷婷| 久久99国产综合精品女同| 欧美性少妇| 国内精品999| 国产精品com| 综合亚洲情色| 午夜精品视频777| 在线国产探花| 人妻91少妇| 97人肏| 日韩操p| 天操天操夜操夜月月年年操操| 久久6热视频免费观看| 成年在线视频日本亚洲在线视频区精品江靖宇公司 | 亚洲AV成人无码一二三久久| 在线97在线| 亚洲AV乱码专区国产噜噜亚洲| 免费岛国一级片| 天美欧美国产| 91呆哥人妻| 在线电影亚洲色图| 67914亚洲精品| 大香蕉专区| 亚洲天堂五月天国产| 在线一区| 五月天加勒比啪| 操人妻视频| 天天舔九色婷婷| 熟女精品一区二区三区| 丁香九月 婷婷| 国产三级中文字幕粉嫩| 亚洲熟女乱熟乱熟妇综合网二区| 色色婷婷丁香| 尤物av网站免费在线播放| 久久综合久色欧美综合狠狠 | 国模精品娜娜一二三区| 啊灬啊灬啊灬好深灬快高潮了动漫-国产字幕国产在线观看-B049AV | 亚洲天堂久久| 国产吞精a级片激情电影| 亚洲国产av中文字幕久久| 国产黄色动态精品| 91高清无码下载| 99re在线视频这里只有精品| 欧美 精品国产制服第一页| 欧美高潮| 日韩日韩日韩-国产乱码精品一区二区| 国产免费永久精品无码| 翔田千里一区二区三区奶水| 黄片www视频免费| 日本一线产区和二线产区伦理片| 精品国产AV一区天美传媒| 天天干人人看综合| 国产精品福利视频播放| 亚洲国产成人高清在线| 97色欧洲| 视频二区美腿制服人妻欧美| 国产成人精品网站| 久久精品免视看国产成人﹣蜜臀av一区. 久久精品免视看国产成人,蜜臀av一区 | 青娱乐日韩无码| 青娱乐亚洲自拍| 首页中文字幕中文字幕免费| 国产操操日韩三级黄| 国内毛片婷婷六月色| 国产少妇内射| 天天综合色图| 人妻9117c| 芊芊操逼视频无码| 嗯嗯啊啊操死我| 伊人网av| 国产精品美女久久久久AⅤ国产馆| 亚洲日韩精品久久久久一区壹牛 | 少妇被玩视频二三区| 国产亚州高清国产拍精| 色综合av综合久久| 99啪啪| 欧美午夜视频| 91挑色欧美| 997色在线| 极品另类| 精品区国产区一区二区三区| 亚洲日韩美女丝袜美腿人妻视频| 免费αV在线视频| 97精| 性在久久久久久| 偷窥自拍亚洲天堂网爆| 日韩AV噜噜噜一区二区三区四区| 一,爱啪啪,在线免费视频| 久久久久久夜夜夜夜夜| 97干色天堂| 97干在线视频| 久久久中文| 国产久久一区二区| 97九色人妻| 91无摭挡| 精品国产乱码久久久久久免费| 91精品国产91久久青草| 天堂8在线新版官网| 精品美女久久一二三| 免费人成在线观看网站品爱网| 婷婷色一区| 一二三区精品视频| 99热精品在线| 亚洲性综合11| 小草av不卡亚洲二区| 青娱乐休闲视频在线观看| 伊人久久88国产女| 色97欧美| 婷婷丁香五月综合| 日欧操屄| 国产人人干| 插穴性爱视频在线观看| 97在线免费看视频| 欧插网站| 看免费的黄片| 色眯眯射| 欧美变态激情网| 免费啪啪av| 2000亚洲男人天堂| 亚洲 国产 精品一区| 91超碰人人| 伊人影院日本| 国产传媒午夜理伦精品| 内射中出日韩在线观看视频| 熟妇无码视频三区| 无码人妻一区二区三区色欲aⅴ| 亚洲欧美一区二区三区在钱蜜桃| 91在线页| 免费国产电影一区二区| 青青草色插素人| www黄片免费看com| 中文字幕高清精品一区| 怡红院久久老司机| 日韩av情韩国爱禁区av一区二区| 99热亚洲天堂| 能直接看AV的网站| 亚洲乱码精品一区二区| 91青视频| 人人摸人人叼| 久久亚洲AV无码专区国产精品| 9ⅰ久久久天天| 东京日日夜夜| 99综合视频| 国产9 9在线 | 亚洲| 天天干18禁| 热热色色综合| 久久欧洲| 翔田千里Av在线| 亚洲欧美色图片| 91M一社| 久久久亚洲精品电影免费看| 热99这里有精品综合久久 | 99这里只有精品| 久久久人妻| 一本大道久| 久日91在线| 久久久艹艹艹| 99无码精品| 欧美同性恋 的搜索结果 - 91n| 啊啊啊啊啊啊啊网址在线观看| 久久久艹艹艹| 九色PORNY9l原创自拍| 伦伦成年午夜免费视频| 翔田千里爆乳巨臀无码| 五月婷在线| 人人操人人爽人人操人人| 久久久久9999| 曰韩中文人妻视频| av三级电影在线播放| 亚洲亚洲亚洲天堂天堂 | 六月激情婷婷| 五月色网| 97资源超碰| 久久的网站啊啊啊啊啊| 骚货人妻偷情自拍在线视频| 亚91亚洲网| 国产一区在线看| 国产中午字一暮区| 蜜臀无码一区二区| 情色五月天网| 日本熟妇自慰性高潮一区二区三区| 亚洲精品1区| 国产诱惑| 男人综合网| 国产日韩区| 亚洲成人免费在线| 麻豆国产av网| 久久久精精精| 五月丁香综合啪啪| 男人的天堂VA| 久久后入制服| 99精品成人免费看| av草草在线电影| 日韩欧美中文日韩欧美色| 野狼激情网| 久久华人网| 日本在线不卡v二区| 精品无码久久久| 久久黄人人爽视频| 人妻少妇色综合| 国产精品九九| 91九色网| 亚洲天堂久久久久久粉红视频| 色妹子A V| 亚州欧美色图| 久久25| 成人小说另类在线| 久啪| 婷婷丁香六月天| 国产精品视屏| 久久五月天婷婷丁香中文字幕| 操B久久| 狠狠色噜噜狠狠狠狠狠色综合久久 | 熟妇一区,二区,三区。| 黄色毛片A片| 久久久三区二区一区| 操逼操逼视频操逼| 91美女小视频| 欧美日韩婷婷中文| 日本性爱少妇| 91无码西班牙视频在线| 欧美激情色婷婷花野真衣一区二区| 鸡巴插逼视频| 91综合网在线| 操亚州| 丰满的三级少妇欧美久久久| A级在线视频| 欧美另类色| 人人干黄色| 人妻蜜桃臀| 色网1| 欧美亚洲手机在线| 自拍第一页| 试看福利| 久久蜜桃一区二区| av凤凰久久久| 69AV女优男人的天堂| 最新国产精品| 93人人操人人| 伊人久久国产免费观看视频| 天天天堂影视日韩亚洲91| 欧美精品精品一区二区| 91 丝袜在线播放| 欧美v亚洲v综合v国产v妖精| 可以免费观看的av| 啊v视频在线观看| 国产av美女被艹的乱叫| 91天美传媒精品| 精品亚洲国产成人AV制服丝袜| 操逼无毒无码免费视频| 日本精品加勒比海一区| 少妇超碰在线| 你想操日本小逼吗| 国产综合久久久麻桃个 | 中日韩久久久免费看| 五月丁香久久| 污到发麻的视频 国产| 牛牛操视频逼| 八戒无码国产午夜福利| 欧美亚洲91| 久久久夜夜夜| 亚洲欧美在线丝袜| 亚洲资源站| 91无码西班牙视频在线| 18禁的网站在线| 91大神电影天堂| 国产三级在线现体验区| 男人的天堂午夜av| 99热超碰| 久久婷婷伊人| 欧美劲爆视频一区二区| 欧美一级国产一级| 久久人妻视频网| 我中文字幕6区 | 91在线/欧洲| 多毛小伙内射老太婆| 草草影院在线视频| 国产欧美一区激情交| 国产精品亚洲天堂网址| 日本国产二线女色| 2017超碰| 欧美熟妇亚洲版| 亚洲丝袜天堂| 91亚洲黑人| 久久国产乱子伦精品免费女人| 97草草| 蜜臀人妻少妇久久在线观看| www鬼畜国产男人的天堂| 日韩不卡av一二三| 五月天婷婷色| 久久欲| 粉嫩av平台| 欧美一级在线观看成人| 91在线欧美| 91欧美经典| 99久久久| 久久久不卡| 啊啊好多水| 中国AV美女| 亚洲激情综合另类| 婷婷五月天AV| 人人操人人肉久久精品| 久操视频资源站公开| 久久亚洲熟妇在线视频| 蜜臀AV秘一区翔田千里| 精品日韩人妻视频| 操美女高潮抽搐白浆| 国产精品香蕉热久久新品| 久久激情五月| 囯产精品一区二区三区线|亚洲人成无码网WWW动漫|国产精品免费一级... | 一区二区三区四区久久视1| 婷婷色影院| 美国黄片aaa| 欧美综合色,www| 天天摸天天舔天天操| 色狠人在线99| 亚洲AV不卡在线观看| 久久伦理视频久久大香蕉视频| 草b在线 | 蜜臀AV成人精品蜜臀| 日韩少妇一区二区三区| 国产剧情AV不卡在线观看| 久久亚洲日韩国产欧| 97操97色| 久久成人午夜狠狠| 五月丁香六月激情| 亚洲欧洲国产综合av| 国产精品999zyz| 久久久久九九九九| 中文字幕午夜精品久久久| 欧美少妇色图| 亚洲激情综合另类男同| 亚洲国产另类在线中文| 91另类| 中文字幕第23区| 最新亚洲黄色免费电影| 一区二区偷拍拍视频| 色色五月婷婷| 亚洲综合色在线| 日韩欧美性爱电影在线观看| 九九亚洲| 天天看综合网| 97伦综合| 婷婷激情五月天小说网| 国产一级作爱毛片| 秋霞免费AV| 亚州色交| 人妻少妇色综合| 91国内外在线| 可以免费看黄片的视频| 熟妇操花| 国产在线视频午夜精华在| 久久久新亚洲AV| 99热精品在线观看| AV丝袜少妇| 国产日韩中文字幕欧美| 久操精品| 国产99久久99热这里只有精品15| 91熟女视频| 怡春院久久| 岛国视频一二三区| 人妻 欧美 中文| 综合网欧美| 熟妇在线视频一区二区| 97欧美久久久久久久| 国产精品人妻一区二区| 精品无码一区二区三区| 极品色| 在线性黄高清免费视频| 欧美日韩人妻婷婷一区| 国产1024在线播放| 日本一线产区和二线产区伦理片| 999岛国大片| 国产久久久9999| 91精品国| 美女露胸露屁股| 久久丝袜| 亚洲天堂自拍| 国产操逼视频在线观看| 精品网站9999| 亚洲AV成人精品网站在AV| 久草精品国产蜜臀 | 午夜超爽| 中文字幕黄片在线| 中韩中文字幕在线观看| 国产性刺激| 亚洲黄色网址视频| 91色鬼| 日韩人妻精品中文字幕| 欧美亚洲国产91在线| 丝袜制服字幕在线| 免费日韩黄片| 四虎免费视频| 国产激情视频在线观看| 精品无码一二三四区| 在线强奷到舒服的无码视频 | 色色99| 日韩美女操b| 99re这里只有精品2| 好色综合| 狠狠爱AV| 51久久夜色精品国产麻豆| 丝袜狠狠草尤物人妻av91| 亚洲熟女乱色一区二区三区 | 91国产美女丝袜足交精品视频| 碰超人人在线一区二区三区| 欧美专区日本专区| 欧美另类自拍 | 四虎 精品 WWW| 精品女同一区二区三区| 91精品国产日韩欧美综合| 日本不卡码黄色| 啊啊啊啊操死我| 视频在线观看一二三区| 人乳av| 老司机老司机午夜影院| 狠狠操狠狠燥| 青椒国产97在线熟女| 动漫av中文| 日韩少妇无码| 亚洲国产一区二区三区在线| 富女玩鸭子一级毛片| 国产乱婷婷精品二区三区| 91麻豆天美国产| 18禁在线视频| 曰本91情色| 无码日韩人妻av一| 欧美九一精品久久久熟妇| 亚洲一区二区三区AV无码| 无码九九九九| 志村玲子视频一区二区| 男人的天堂 在线一区| 久九干| 人人性爱视频免费| 国产亚洲精品美女| 欧美精品999| 日夜精品| 青青草精品| 日韩精品一区二区三区色欲| 久久精品男人的天堂| 欧美第一页| 激情文学网伊人| 五月综合色| 青青草一本道福利视频| 中文字幕在线观看丝袜| 91少妇人妻| 国产精品自在自拍视频| 美腿色图| 色婷婷婷五月天激情四射| 中文字幕精品人妻丝袜| 色视频蜜乳| 三级日韩一区二区三区| 久久久久久国产无码精品| 美女爽爽爽刺痛洞洞| 69精品人人人人| 国产白丝AV| 日韩少妇无吗| 日韩欧美福利视频看看| 三级片大波波| 亚洲人妻爽爽爽| 91女神在线视频| 东亚亚洲无码高清| 欧美加勒比| 国产后入精品| 强奸乱伦中文字幕AV| 蜜桃视频啊啊啊啊| 亚洲天堂电影精品一区| 亚洲精品人妻在线| 物尤视频一区二区| 99久久综合网| 久久久久亚洲三级电影| 东北女人性交| 蜜桃久久久久久久久久久久| 搡老熟女免费视频| 深喉吞精| 男人的亚洲天堂| 中字乱伦AV| 国产不良强奸视频免费看| 日本熟妇人妻一区二区三区| 欧洲精品网| www…国产操逼| 欧美综合国产精品久久丁香| 久操国产在线| 久久久草草精品| 狠插 制服 自拍| 综合婷婷| 综合激情五月丁香| 黄色视频特级毛片| 免费的黄片有限公司| 91日韩国产欧美亚洲另类精盘州至城都| 蜜臀AV成人精品蜜臀| 91oumei| 国产日本久久免费精品| 日日噜噜夜夜狠狠视频无| 新亚洲无码| 女生久久网| 一本色道久久综合狠狠操| 五月丁香六月激情综合| 日本在线激情一区二区三区| 午夜一区二区三区国产| 91精品国产91久久青草| 日日摸日日碰夜夜爽视频| 国产精品在线一区二区| 91激情网| 白丝少妇一区二区| 天堂麻豆天美| 69综合网| 亚州乱码中文字幕综合久久久| 天堂岛av| 麻豆亚洲Av成人无码一区精品| 久/久精品99看9| 岛国精品视频在线观看| 一个人免费HD91视频| 人人操人人操人人操人人操人人操人人人11.CM | 亚洲熟妇综合久久久久久| 99re在线观看| 欧美少妇内射| 欧美性爱一区| 蜜桃视频精品一区二区三区| 久久久人体| 久久超碰爱| 日本欧美国内在线| 欧美一级黄色免费专区| 亚洲婷婷丁香在线| 操b在线观看| 免费观看成人www精品视频| 亚洲本色精品一区二区久久| 一级乱伦网站| 成人26uuu| 色视频蜜乳| 国产欧美日本亚洲精品| 欧美综合网站999| 天天做日日爱夜夜爽| 中文字幕aⅴ在线视频| 二男一女成人A片| 色就色综合| 人妻系列无码专区中文有码| 曰韩成人免费视频| 免费看欧美美女黄色大片| 国产一区二区精品久久99| 日韩精品高清资源在线| 免费视频无码| 中文字幕在在线观看网站| 久久只有精品一区二区三区| ai欧美亚洲小说| 午夜久久久| 少妇熟女一区二区三区| 高清国产精品福利网站| 欧洲亚洲国产综合在线| 丝袜美腿制服人妻二区中文字幕| 午夜男女爽爽爽在线视频| 农村妇女一级二级三级视频| 国产激情视频在线观看| 大香蕉伊利av| 中文字幕制服欧美久久一区| 欧美熟女丝袜| 五月天伊人网| 一区操逼| www.色操逼| 精品国产99| 玖玖爱伊人玖玖爱| 伊人宅男大香蕉| 人妻少妇精品视频一区二区三区| 伊人一区二区在线播放| 无码抄逼网| 人妻日日夜夜精品| 国产中文日韩欧美一区二区三区人妻丝袜美腿| 97鸡把在线视频| 老熟妇乱轮| 99精品欧美一区二区三区桃色| 日本精品第一视频在'| 中文伊人大香蕉视频| 久久大陆| 欧美性色欧美| 天天草夜夜草高潮片| 99精品久久久久久久婷婷蜜桃| 亚洲天堂区| 蜜臀久久在线视频| 巨乳特殊服务按摩| 久久精品欧美一区二区三区不卡| 操逼网站地址| 91jk色拍| 男人天堂新在线| 色综合1991| 国产福利电影| 激情综合五月天| 69久久久久久久久久久久久| 午夜爽爽爽| 日韩色图 一区二区| 青青操网| 五月天色图影视| 日夜尻逼网| 97资源视频| 色综合中文字幕不卡| 欧美天天影院| 亚州操逼图| 麻豆AV一区二区| 4虎在线视频| 色逼综合| 日韩综合无码色欲vv| 懂色AV一区二区三区| 91n.欧美| 岛国视频一二三区| 嗯嗯啊啊用力视频免费| 欧美综合亚洲综合| 久久露脸国产老熟女| 亚洲一二三| 日韩激情电影中文字幕| 天天综合~91入口| 熟妇人妻一区二区三在线 | 国产又黄又粗又猛大片| 大黄片做爱的大的| 大吊色| 东北少妇高潮zzzz| 激情第四色| 日本天天干天天日一区| 亚洲阿v天堂无码z2018| 久久人妻四季| 91熟女在线| 超碰人人色| 亚洲97网站| 干婷婷综合网| 97超碰欧美手机在线| 亚洲AV无码AV吞精久久久久| 91N综合在线| 欧美超碰97| 青青草日韩无码| #NAME?| 人人操人人uiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiii | 日韩AV中文字幕电影| 日日摸日日碰夜夜爽视频| 久草免费福利在线播放| 四虎在线播放| 嗯啊抽插大香蕉网页| 神马久久69| 人妻 中文 日韩| 久久精9| 久久精品久久九九精品| 中文字幕乱碼在线| 国产精品99精品视频网站| AV不卡在线| 热热色色综合| 精品国产乱码久久久久久口爆网站| 男生女生啊啊啊啊| 中国一级操逼视频| 啊啊啊啊好疼视频| WWW黄片COM| av橘色网站| 91美女丝袜诱惑视频| 亚洲怡春院| 黑人狂躁日本妞一区二区三区| 亚州色国| 婷婷AV一区二区三区| 一本大道久| 国产丝袜视频| 亚洲中文字幕熟女| 色婷婷综合久久久久中文一区二区| 亚洲性爱成人| 午夜欧美神马久久久久| 手机看片1024你懂的国产| 国产丁香精品露脸视频| 亚洲日本韩国在线| 校园春色 欧美| www久久久| 激情五月天中文字幕色| 午夜精品久久久久| 亚洲 自拍偷拍 欧美| 色综合久久夜色精品国产天堂| 丁香五月激情综合国产| 国产精品国产精品国产| 久久久久9999精品九九九| 偷窥自拍A片| 日日爱99| 动漫av中文| 婷婷亚洲综合| 国产多人在线观看视频| 超碰碰97| 四虎AV无码| 久久97资源 网| 久草男人天堂| 亚洲视频精选| 家庭乱伦性爱av| 激情婷婷| 久久亚州精品成人Av无| 欧美综合 站| 狠狠狠狠狠干| AA级电影三区| 久久大香蕉97| 欧美综合在线91| 任你艹| 蜜臀久久99精品久久久| 亚洲色图加勒比| 乱伦系列一区二区| 免费精品国偷自产在线在线| 精品人妻一二三四区视频| 艹我哪美一区无码| 性在久久久久久| 亚洲成人贴图| 久久久九九| 亚洲男人天堂2019| 口爆吞精在线观看| 男人的天堂VA| 你草精品在线视频| 99无码精品| 激情国产乱伦Av| www国产无码| 激情黄色五月天| 久久久久免费少妇| 国产亚州高清国产拍精| 99蜜桃臀亚洲成人在线观看| 性色av大全| 久久香蕉超碰97国产精品| 四虎884| 日韩性爱再线视频| 1.igao73.com 加入收藏 免费专区 国产精品 中文字幕 日韩精品 欧美精品 精彩 | 天天操天天射青青草| 1024日韩| 亚洲中文字幕精品一区| 91热热色| 久久综合av| 一区二区三区国产精产| 九九热AV| 丰满少妇乱子伦精品无| 青青青国产手线观看视频2| 色九久| 欧美综合传媒| 国产精品第二页| 一区二区首页| 爽爽歪在线视频| 一区二区视频在线播放| 亚洲乱色熟女一区| www欧美91| 99视频自拍区| 九九热午夜欧亚国产视频| 欧美性爱一区二区三区四区 | 亚洲天天艹| 噜噜吧,噜噜色,噜噜| 亚洲强奸乱伦影视网| 日语五十路和六十路亚洲国产精品| 国产美女高潮视频| 超碰久草| 综合色久欲| 久久伊人青青草| 欧美性爱精品一区二区| 一中国女人毛片水真多| 精品欧美日韩在线观看| 欧美aⅴ99久久黑人专区| 91麻豆天美传媒HD| 熟女人妻av在线资源,黄色的资源| 日本黄 R色 成 人网站| 日韩性爱高清免费视频| 亚洲国产午夜真人一级片中文字幕精品黄网站 | 天堂69亚洲精品中文字| 色吧5亚洲| 亚洲巨爆乳一区二区三区四季网| 99久久久无码国产精品性啊聊| 97欧美视频| av网站在线看| 蜜乳视频网站| 国产精品视频麻豆入口| 黄页网站免费高清在线观看| 精品国产人成在线| 天天躁日日躁AAAAXXXX国产 | 日韩精品区二区三区不卡| 色婷婷综合久久久久中文国产精品一区中文字幕,国产福利电影一区二区三区 | 日本黄色天堂| 欧美精品欧美精品系列| 婷婷五月天色网| 男人天堂毛片| 91天堂| 久久精品无码专区| 亚洲色婷婷久久久综合日本| 国产亚洲色停停久久99精品91| 午夜a成v人电影| 国产操逼逼网| 免费久久精品麻豆一区二区av| 涩综合导航| 91人妻人人澡人人爽人人精品| www.亚洲黄色| 久久精品国产AV一区二区三区| 人人看黄色视频| 测评在线观看AV| 丁香六月激情| 在线性黄高清免费视频| 美女上床网站| 我爱搞逼综合网| 无码一区免费在线不卡| 秋霞 色色| 日韩美脚一区二区网站| 精品福利视频| 91国产丝袜美女| 蜜臀久久99精品久久久久久-DVD原版全| 亚洲伊人久久综合97| 一级特级aaaa毛片免费观看 | 黑人操一区二区| 大香蕉伊人久久| 久操婷婷| 青青三级视频| 人人摸人人入| 国产熟女一区二区| 国产三级中文字幕粉嫩| 超碰免费欧美7| 一本久道久久综合狠狠爱| 五月天偷拍| 无码99| 欧美亚洲在线| 色黄污美女啪啪啪免费网站| 国产精品人人爽人人做可爱福利| 色色毛片| 亚洲色狠| 蜜臀99久久精品| juliaann丝袜大战黑鬼| 成人亚欧免费视频| 91精品综合久久久久久五月丁香| 久九九九九九九热| 天天干夜夜操一区二区| 亚洲国产另类在线中文| 国产极品精品美女视频| 五月天精品| 男人的天堂久久狠| 亚洲熟伦熟妇AV无码春色| 色五月激情综合网| 婷色五月| yaouchengrenav| 一级做a爰片久久毛片图片| 天天综合AV| 久久久久免费少妇| 色噜噜人妻丝袜a∨先锋影 | 欧美性天天影视| 色综合加勒比四四季| 91内射| 中文字幕一区日韩精| 久久久九| 欧美色色人| AV色五月天| 天天天干977| 天天色,天天干,天天干| www.色五月| 99久久无色码| #NAME?| 操操操五月天婷婷丁香影院| 欧亚综合一卡二卡中文字幕| 97一区二区三区视频| 久热这里| 91久久久久久久久18| 美女天天干| 欧美性爱五月天| 国产视频第二页| 日韩午夜精品一区二区三区电影| 午夜综合在线| 亚洲日韩美女中文字幕乱| 超碰97最新人妻| 欧美日韩国产黄色片| 欧美日韩一干二干| 欧美 日韩 亚洲 春色| 中文字幕超碰CAO| 黄片色区软件| 欧美 亚洲 大香| 中文字幕99999| 婷婷五月av| 96精品久久久久久久久| 日韩av熟女一区二区三区成人| 国产 日韩 欧美一区| 亚洲欧美国产中文字幕| 免费看黄视频亚洲网站| www.人人摸在线视频| 精品妇女一区二区三区| 欧美亚洲国产91在线| 综合 青草 伊久久 影院 综合| PMv在线观看| 91黑丝操| 99热最新| 草草电影院| 国产诱惑| 亚洲,欧美,春色,另类| 8x福利精品第一福利视频导航| 一区二区亚州激情久婷婷欧美| 国产粉嫩出水在线播放| 激情综合网亚洲| 亚洲男人的天堂网| 成人av动漫在线观看| 一级做a爰片性色毛片久久| 色婷婷婷五月天激情四射| 中文字幕91页| 97操碰| 男人久久精品| 97国产色综合| 国产高清免费不卡av| 97在线视频观看| 久干网| 麻豆国产av网| www.zbzhongsen.com| 久操操AV电影| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区 | 9国产超碰| 殴美色网| 欧美夜色| 久9久| 校园春色 男人天堂 | 九九无码视频| 日韩人人精品| 日本网色| 日本欧美韩国国产在线| 亚洲图片91| www.99热在线只有精品| 欧美熟妇乱码在线一区| 操人妻少妇中文| 亚洲人妻一区二区三区| 国产情侣自拍在线播放| 欧美一区二区三区不卡高清视频| 中文字幕国产| 亚洲大胆人体av| 天天色怡春院| 97就爱干| 久久九九久精品国产尤物|国产精品爽黄69天堂A片潘金莲,国产亚洲精品第一综合 | 国产成人主播| 69丨亚洲丨精品丨入口免费播放| www.操| 双插在线| 91 丝袜在线| 99热在线观看| 五月婷婷色色| 国产精品熟女乱伦| 国产极品99热在线播放69| 久草免费在线一区二区| 国产精品乱码久久久久久久久| 99久久无色码| 日本精品性生活久久久| 色九九九九久| 蜜桃久久久久久久| 亚洲色五月| 日韩欧美天天爽爽爽天天爽爽| 超碰 另类 欧美 | 久久久久久久97| 亚洲1区2区三区高清中文字幕| 国产自偷| 97综合在线观看| 日本视频一区二区三区| 亚洲欧美天堂| 美女丝袜激情小说| 日本不卡三级网在线播放| 日韩性爱毛片操骚逼| 久久青青草在线视频| 伦在线97| 国产精品色色| 亚洲色图亚洲无码强奸乱伦| 欧美丝袜中文字幕07在线| 久热久| 天天干天天干天天| 欧美综合娱乐久久| 国产精品熟女一区二区三区| 91热色| 日韩精品99久久久久久中文字幕| 综合五月婷婷| 女人被男人桶爽视频网站| 97操| 伊人四虎综合| 久草精品国产蜜臀| 操91| 一起草精品人妻| 欧美性爱18观看| 欧美亚洲激情| 青青草玖玖爱| 天天综合欧美综合| 亚洲不卡AV在线| 国产精品久久久久亚洲av| 午夜美女诱惑电源网| 亚洲国产亚洲天堂| 欧美精品双插| 影音综合网| 欧美日韩国产传媒在线精品| 乱伦熟女区| 国产精品久久久久中文字幕| 岛国A V在线免费看| 色臀AV| 国产久久一区二区| 在线视频一区二区传媒| 欧美性爱五月天| 亚洲 欧美 手机在线观看| 久久久内射良家| 欧美一区二区三区成人性生活| 97天天做| 亚洲色图 欧美热图 清纯唯美 另类自拍| 被体育老师抱着c到高潮| 三级特黄60分钟播放| 欧美性爱一区二区三区| 亚洲欧美激情小说| 亚洲精品欧洲精品| 成人网欧美风情| 高清不卡一二三区视频......| 六月天婷婷| 人妻啊啊人妻啊| 婷婷五月天社区| 91超级碰| 狠狠操综合| 日韩国产乱子伦App| 91人妻中文| 激情接吻视频久久久久久| 国产AV激情无码久久无码| 强奸乱伦大香蕉| 自拍视频一区在线观看| 日本 色 导航| 啪啪免费| 五月婷婷丁香中文字幕| 91天堂色男人的天堂| 国产女人操逼视频| 国产家庭乱伦网址| 成人性爱美曰韩| 精品性爱无码在线播放| 91久久久久久| julia高潮后不停追击中出| 久久久无码国精品无码三区三区| 九九内射在线| 国产av高清版| 成年女人一区| 密臀在线免费观看| 麻豆福利视频导航| 黄色十八禁| 天天综合网~91综合网| 啊啊啊啊啊舒服| 亚洲欧美清纯| 日韩无码极品| 操逼日批| 久久91精品国产9丨久久分亭| 91人妻素女| 看一级特黄a大一片| 日日操丁香五月天| 久久精品美女一区| 五月天激情网站| 大香蕉乱伦视频网| 日本成熟少妇A∨网站| 丁香六月激情| 国产精品久久久久久久久AV大片| 中国AV美女| 午夜男女爽爽爽影院视频| 亚洲 日本 国产 综合| 欧州一区二区三区四区| 亚洲精品一区二区精品| 白嫩国模丰满一二三区| 国产67194| 夜夜操狠狠操| 日本日日色视频| 91天射| 91制服丝袜| 26uuu久久| 国产精品 久久久精品一牛| 欧美日本一区二区a人| 久久久婷| 久久久99999久网站| 久久久久婷婷精品av电影| 妇女一区二区三区| 欧美黄色大片在线观看| 黄片在线免费在线观看| 综合色99| 中文字幕版| 亚洲性综合11| 色哟哟 日韩精品| 大香蕉一线视频| 小少妇| 欧美日韩美女精品久草一区二区三区 | 一本色道久久综合精品婷婷| 亚洲av资源| 日韩欧美成人综合在线| 五月丁香六月婷综合成人综合| 日本九九久久99播| 日日干日日摸| 日韩欧美午夜一区二区| 欧美中出1| 老熟女91av| 久久九九97| 看免费的黄片| 久久小视频| 在线小说视频一区| 亚洲av青草久久一区二区| 一级性爱视频免费在线| 欧美日韩夜夜| 97资源站久久| 天堂а√在线最新版在线| 六月丁丁香| 噜噜噜亚洲精品| 内射夫妻三片| 91在线视频国产网站| 99re99| 亚洲无套久久嗯嗯| 大香蕉综合| 91骚熟女| 婷婷亚洲五月***久久| 大香蕉操久久| 日日嗷| 精品无码久久久久久久杏吧| av在线一区二区三区| 美女露胸露奶头| 欧美92| 熟妇操花| 欧美激情久久久久| 超碰欧美97资源| 日本操逼视频不卡直接放| 98一区二区精品| 综合熟妇一区二区三区| 在线国产福利网址导航| 午夜欧美J进J出白浆流出久久久| 日本不卡五区| 日本人妻最新在线中|