日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

天池糖尿病遺傳風(fēng)險預(yù)測實戰(zhàn):從特征工程到模型融合的完整方案

天池糖尿病遺傳風(fēng)險預(yù)測實戰(zhàn):從特征工程到模型融合的完整方案 簡介在生物特征與機器學(xué)習(xí)結(jié)合的競賽場景中糖尿病遺傳風(fēng)險預(yù)測是一道經(jīng)典且充滿挑戰(zhàn)的題目。其核心并非單純依賴血糖、BMI等強生理指標而需從家族史、SNP位點等弱特征中挖掘組合模式。本文從技術(shù)原理出發(fā)解析為何梯度提升樹如LightGBM優(yōu)于深度學(xué)習(xí)處理結(jié)構(gòu)化表格數(shù)據(jù)并系統(tǒng)闡述缺失值分檔處理、家族史聚合、風(fēng)險位點凈得分等特征構(gòu)造方法。同時針對AUC評估指標下的類別不平衡與過擬合問題給出基于GroupKFold的驗證策略與參數(shù)調(diào)優(yōu)路徑。通過多模型融合與交叉驗證預(yù)測可顯著提升排序能力。該方案適用于醫(yī)療健康領(lǐng)域的風(fēng)險預(yù)測任務(wù)尤其適合基因數(shù)據(jù)與臨床指標混合的場景為參賽者或研究者提供了一套可復(fù)用的工程實踐框架。 天池上跑過糖尿病遺傳風(fēng)險預(yù)測的朋友應(yīng)該知道這道題看著不算難但真做起來坑挺多。我當(dāng)時把大半個假期砸在這上面最后運氣不錯拿了前三源碼和說明文檔一直存在網(wǎng)盤里。最近有學(xué)弟問怎么入門這類“生物特征機器學(xué)習(xí)”的比賽我就把整套方案從頭到尾捋一遍包括數(shù)據(jù)預(yù)處理、特征構(gòu)造、模型調(diào)參、模型融合這些關(guān)鍵環(huán)節(jié)以及我實際踩過的坑。如果你想找的是那種直接復(fù)制就能跑的完整代碼這篇文可能不是最快的路徑但如果你想知道每個步驟為什么要這么做、遇到問題怎么排查這篇應(yīng)該能幫到你。我盡量不寫那種“這里導(dǎo)入庫、那里處理缺失值”的流水賬而是把每個設(shè)計決策背后的邏輯講清楚。比如為什么用LightGBM不用XGBoost、為什么家族史要單獨拆列、為什么驗證集必須分著抽。都是實際參賽過程中反復(fù)試出來的經(jīng)驗寫下來當(dāng)個記錄也希望能給你省點時間。1. 賽題理解糖尿病遺傳風(fēng)險預(yù)測到底在做什么1.1 賽題數(shù)據(jù)與任務(wù)定義這個賽題的核心任務(wù)很簡單給定一批用戶的健康檔案和遺傳位點信息讓參賽者構(gòu)建模型預(yù)測該用戶未來患2型糖尿病的風(fēng)險概率。本質(zhì)上是一個二分類問題輸出0到1之間的風(fēng)險分數(shù)分數(shù)越高代表患病風(fēng)險越大。很多第一次打這類比賽的人會犯一個方向性錯誤——把遺傳風(fēng)險預(yù)測當(dāng)成普通的“體檢指標分類”來做。其實兩者差別很大。普通體檢預(yù)測更依賴BMI、血糖、血壓這些強相關(guān)指標模型很容易學(xué)到“血糖高高風(fēng)險”這種顯性規(guī)律而遺傳風(fēng)險預(yù)測的數(shù)據(jù)里大量字段是SNP位點單核苷酸多態(tài)性、家族史、生活習(xí)慣等相對“弱”的特征。這些特征單個看幾乎沒什么預(yù)測能力只有組合成特定模式才有意義。我當(dāng)時拿到數(shù)據(jù)后先做了一遍字段梳理大致分為四類一是基礎(chǔ)信息包括年齡、性別二是生理指標包括BMI、血壓、空腹血糖三是家族史包括父母、兄弟姐妹是否有糖尿病史四是遺傳位點也就是一系列SNP字段。這里有個細節(jié)需要注意不是所有SNP位點都是風(fēng)險位點有些是保護性位點不能一刀切地“有突變就算風(fēng)險”。所以我后期做特征時對每個位點都單獨看了分布和與目標變量的趨勢關(guān)系而不是直接丟進模型。任務(wù)定義清楚了后面所有工作才有抓手。再強調(diào)一次天池官方給的字段命名和具體結(jié)構(gòu)以比賽頁面為準我這里描述的字段是抽象過后的常見結(jié)構(gòu)目的是把方法講通你換成實際數(shù)據(jù)一樣能套用。1.2 評估指標與排名規(guī)則里的隱藏信息天池這類比賽通常在評估指標上很講究Diabetes遺傳風(fēng)險預(yù)測這道題官方標準以AUC為核心指標兼顧準確率和召回率。為什么用AUC因為患病風(fēng)險預(yù)測天然是一個“正負樣本不平衡且誤判代價不對稱”的問題——把高危人群漏掉比把低危人群誤報成高危要嚴重得多。AUC不依賴具體閾值能客觀反映模型對正負樣本的排序能力所以用AUC作為主排名依據(jù)是合理的。這個信息非常關(guān)鍵。它意味著你在調(diào)參和選模型時不應(yīng)該追求“準確率最高”而應(yīng)該追求“排序能力最強”。很多人在初賽階段執(zhí)著于把準確率從0.86提到0.87結(jié)果AUC反而掉了就是因為目標函數(shù)和評估指標錯位了。我的經(jīng)驗是直接以AUC作為模型早停和交叉驗證的監(jiān)控指標所有超參搜索也圍繞AUC來選這樣最后線上和線下分數(shù)基本能對上。還有一點這類比賽的評測集通常會把家族史和部分SNP位點做掩碼處理模擬的是“缺少部分遺傳信息”的真實場景。這個設(shè)定影響很大意味著模型不能過度依賴某一個強特征否則評測時特征一缺失預(yù)測結(jié)果直接崩掉。為此我在訓(xùn)練時專門做了特征穩(wěn)健性測試隨機遮蔽部分列來看模型效果衰減幅度衰減太嚴重的模型直接淘汰。后面雖然犧牲了一點線下分數(shù)但線上穩(wěn)定性明顯更好。2. 技術(shù)選型為什么是Python和集成學(xué)習(xí)2.1 Python生態(tài)在做表格類任務(wù)時的優(yōu)勢選Python做這個賽題基本不需要猶豫原因不是“Python更?!倍撬褦?shù)據(jù)清洗、特征工程、模型訓(xùn)練、結(jié)果可視化整個鏈條的東西都給你備齊了。pandas做表格處理numpy做矩陣運算scikit-learn提供全套基線模型和交叉驗證工具LightGBM和XGBoost對這類結(jié)構(gòu)化表格數(shù)據(jù)幾乎是降維打擊。你不需要寫一行C或者Java就能在一個腳本里完成從原始CSV到提交結(jié)果的全流程。我對幾個方案做過對比。純SQL做特征工程太痛苦復(fù)雜條件組合和跨行統(tǒng)計會寫到崩潰R語言做統(tǒng)計分析和可視化確實順手但工程化部署和模型庫的豐富度不如Python深度學(xué)習(xí)框架PyTorch、TensorFlow雖然在圖像和文本上是王者但放到幾百行、幾十列的小表格數(shù)據(jù)上性能和收益反而不如傳統(tǒng)樹模型。所以最終方案就是Python全家桶pandas做數(shù)據(jù)清洗scikit-learn做數(shù)據(jù)劃分和基線模型LightGBM做主力模型XGBoost做輔助模型最后做個簡單融合。Python還有一個隱形優(yōu)勢是社區(qū)答案多。比賽期間我遇到過一個奇怪的報錯LightGBM在驗證集上AUC突然變成0.5排查了很久最后在GitHub的issue里找到原因——是類別特征編碼問題。這種問題只有用主流語言和主流庫才會快速找到答案冷門技術(shù)棧遇到問題只能自己啃源碼。2.2 深度學(xué)習(xí)在這個場景里為什么不劃算很多人一聽“人工智能輔助”就覺得得上深度學(xué)習(xí)其實這是一個典型誤區(qū)。深度學(xué)習(xí)適合處理高維非結(jié)構(gòu)化數(shù)據(jù)比如圖像像素、語音波形、自然語言序列它的優(yōu)勢是能從原始數(shù)據(jù)里自動學(xué)習(xí)特征表示。但這個賽題的數(shù)據(jù)是結(jié)構(gòu)化的表格行數(shù)只有幾千到幾萬列數(shù)幾十列大部分字段都有明確語義這種情況下深度學(xué)習(xí)很難打得過調(diào)好參的梯度提升樹。我做了一組對比實驗用同樣的特征訓(xùn)練一個兩層的MLP和一份調(diào)參后的LightGBM線上AUC差了大約5個百分點而且MLP的訓(xùn)練時間還是LightGBM的好幾倍。原因不復(fù)雜——表格數(shù)據(jù)里特征和目標之間的非線性關(guān)系是稀疏的、離散的樹模型通過分裂點天然能捕捉這種關(guān)系而神經(jīng)網(wǎng)絡(luò)需要大量數(shù)據(jù)才能自動發(fā)現(xiàn)這些模式。數(shù)據(jù)量不夠的時候神經(jīng)網(wǎng)絡(luò)更容易欠擬合或者過擬合。不過我也不是完全放棄深度學(xué)習(xí)在模型融合階段我用一個淺層MLP做stacking的元模型幫LightGBM和XGBoost的輸出做加權(quán)組合。這個用法比較討巧樹模型負責(zé)學(xué)習(xí)復(fù)雜非線性關(guān)系神經(jīng)網(wǎng)絡(luò)負責(zé)學(xué)習(xí)模型之間的“配合方式”各干各的擅長事效果比直接堆模型要好。3. 數(shù)據(jù)預(yù)處理與特征構(gòu)造全流程3.1 缺失值處理遺傳位點數(shù)據(jù)最容易被忽略的問題遺傳位點字段的缺失率通常很高我當(dāng)時拿到的數(shù)據(jù)里有些SNP列缺失率接近30%。缺失率高不代表這些字段沒用反而可能是基因分型實驗質(zhì)量差異導(dǎo)致的。直接刪掉這些列等于把可能包含預(yù)測信息的特征扔掉直接用均值填充又會把風(fēng)險位點的信號“稀釋”掉。我的處理策略是分三檔。第一檔是缺失率超過50%的位點直接刪除這些列即使填充噪聲也遠大于信號第二檔是缺失率在10%到50%之間的位點根據(jù)不同基因型出現(xiàn)的頻率做眾數(shù)填充同時保留一個“是否缺失”的指示列第三檔是缺失率低于10%的位點用中位數(shù)填充。這個“缺失指示列”很重要因為位點缺失在某些情況下和人種、樣本批次有關(guān)可能隱含著非隨機性模型能沿著這個線索學(xué)到一些有用模式。生理指標字段的缺失處理相對常規(guī)BMI、血壓這類用中位數(shù)填充更穩(wěn)健因為中位數(shù)對離群值不敏感。但我特別提醒一句千萬不要在劃分訓(xùn)練集和驗證集之前就做全局填充。正確做法是先切分數(shù)據(jù)再分別對訓(xùn)練集和驗證集做同樣參數(shù)的填充否則驗證集的信息會泄露到訓(xùn)練集里導(dǎo)致線下分數(shù)虛高這里特別容易翻車。3.2 特征工程從原始字段到有效特征特征工程是我在這次比賽里花時間最多、收益也最高的部分。我總結(jié)了幾個行之有效的構(gòu)造方向每個方向都做了A/B測試證明確實有效才敢保留。第一個方向是家族史的組合特征。原始數(shù)據(jù)里父親糖尿病史、母親糖尿病史、兄弟姐妹糖尿病史是三個獨立字段。單獨看每個字段的區(qū)分度都不算強但組合起來“父母雙方都有兄弟姐妹之一有”這個模式的人患病風(fēng)險遠高于“只有一個直系親屬患病”的人。我把三個字段做了聚合家族史數(shù)量0到3父母雙方是否都有病史一級親屬患病率患病人數(shù)除以已知親屬數(shù)。這幾個組合特征對模型AUC的提升非常明顯大概貢獻了2個百分點的提升。第二個方向是SNP位點的分組特征。單個位點預(yù)測能力弱但多個風(fēng)險位點疊加后風(fēng)險會顯著上升。我先對每個位點做了單變量AUC分析把單變量AUC大于0.52的位點定義為“強風(fēng)險位點”小于0.48的定義為“潛在保護位點”然后統(tǒng)計強風(fēng)險位點總數(shù)和保護位點總數(shù)再計算二者的差值。這個“風(fēng)險位點凈得分”成了我最強的一個特征在特征重要性排行里經(jīng)常排進前五。第三個方向是生理指標和遺傳特征的交互項。比如“攜帶風(fēng)險位點且BMI偏高”和“不攜帶風(fēng)險位點但BMI偏高”的人群患病風(fēng)險曲線差異很大。通過樹模型的特征分裂路徑可以間接學(xué)到這種交互但顯式構(gòu)造交互特征能讓模型學(xué)得更快更準。我用了兩種做法一種是人為構(gòu)造BMI和風(fēng)險位點數(shù)的乘積項另一種是讓LightGBM直接處理原始特征靠樹的深層分裂來自動尋找交互。實驗結(jié)果是顯式構(gòu)造的交互特征讓模型收斂更快效果略好。3.3 特征篩選與數(shù)據(jù)劃分特征不是越多越好這一點在數(shù)據(jù)量不太大的比賽里尤其明顯。我初始構(gòu)造了80多個特征但最終只選了約40個進入模型。篩選方法不是單純看特征重要性排序因為樹模型的特征重要性容易受相關(guān)性影響兩個高度相關(guān)的特征可能會互相“分攤”重要性導(dǎo)致兩個看起來都不重要。我用的方案是先從特征重要性排序里去掉明顯無用的底部特征再用“排列重要性”Permutation Importance做二次篩選——通過隨機打亂某個特征的值觀察模型效果下降幅度來判斷特征價值。效果下降越多說明該特征越重要幾乎沒有變化就可以刪除。數(shù)據(jù)劃分這塊要說一下遺傳風(fēng)險預(yù)測和普通分類比賽不一樣可能存在較強的家庭聚集性。同一個家庭的成員遺傳位點和生活習(xí)慣都相似如果隨機劃分可能訓(xùn)練集和驗證集里出現(xiàn)同族樣本導(dǎo)致驗證分數(shù)虛高。穩(wěn)妥做法是按家族ID進行分組劃分GroupKFold確保同一家族的數(shù)據(jù)不會同時出現(xiàn)在訓(xùn)練集和驗證集里。雖然官方數(shù)據(jù)未必顯式提供家族ID但可以通過一些間接特征做近似分組。這是很多人忽略但很重要的一環(huán)。4. 模型訓(xùn)練、調(diào)參與融合4.1 基線模型與訓(xùn)練流程我在正式上復(fù)雜模型之前先用邏輯回歸和隨機森林各跑了一遍基線。邏輯回歸的優(yōu)勢是結(jié)果可解釋能快速驗證特征編碼是否正確隨機森林的優(yōu)勢是容錯率高過擬合風(fēng)險低。跑基線不是為了拿高分而是為了確認整個訓(xùn)練-預(yù)測流程沒有低級錯誤同時給后面的復(fù)雜模型提供一個對比基準。我的流程大概是讀取數(shù)據(jù)做預(yù)處理和特征工程用GroupKFold切5折在每一折上分別訓(xùn)練模型并記錄AUC最后取均值和標準差。這一步非常關(guān)鍵因為單次劃分的驗證集分數(shù)波動可能很大必須用交叉驗證來估計模型真實水平。我第一次只用了單一的隨機劃分驗證集AUC是0.87感覺很不錯結(jié)果5折交叉驗證一做均分只有0.83標準差0.03——真實水平比想象中低不少。從那以后我只相信交叉驗證的結(jié)果。4.2 核心模型參數(shù)詳解主力模型我選了LightGBM主要是因為它訓(xùn)練速度快、內(nèi)存占用小、對類別特征支持友好而且能通過葉節(jié)點分裂自動學(xué)到特征交互。下面是我調(diào)參后的一套參數(shù)可以直接作為起始配置import lightgbm as lgb params { objective: binary, learning_rate: 0.05, num_leaves: 31, max_depth: 5, min_child_samples: 20, feature_fraction: 0.8, bagging_fraction: 0.8, bagging_freq: 1, lambda_l1: 0.1, lambda_l2: 1.0, metric: auc, seed: 42 } d_train lgb.Dataset(X_train, y_train) d_valid lgb.Dataset(X_valid, y_valid) model lgb.train( params, d_train, num_boost_round2000, valid_sets[d_valid], callbacks[lgb.early_stopping(100), lgb.log_evaluation(100)] )逐個說下參數(shù)的選擇邏輯。num_leaves控制在31附近太大容易過擬合太小擬合能力不足max_depth5是為了限制單棵樹的深度LightGBM的leaf-wise生長策略如果完全不限深度即使num_leaves不大也可能長出很深的樹feature_fraction0.8表示每棵樹隨機選取80%特征做分裂候選相當(dāng)于給模型增加了隨機性能緩解過擬合bagging_fraction0.8是行采樣同樣的作用lambda_l1和lambda_l2正則是防止某些分裂對噪聲過度敏感。調(diào)參順序也很重要。先固定一個較小的學(xué)習(xí)率和合理的樹結(jié)構(gòu)參數(shù)搜索num_leaves和max_depth然后固定這兩個值調(diào)feature_fraction和bagging_fraction最后調(diào)正則項。別一上來就用網(wǎng)格搜索把所有參數(shù)一起搜搜索空間太大效率極低。我用的是Optuna做貝葉斯優(yōu)化跑了大概200組試驗最終在5折交叉驗證上把AUC從0.84左右提升到了0.87。4.3 單模型融合策略單模型到一定程度后會有瓶頸這個瓶頸通常來自不同模型對同一批樣本的“盲區(qū)”。LightGBM和XGBoost雖然同屬梯度提升樹但分裂策略和正則方式不同錯誤樣本并不是完全重疊的。我的做法是訓(xùn)練三個模型一個LightGBM、一個XGBoost、一個CatBoost然后在驗證集上計算兩兩之間的預(yù)測相關(guān)性。如果相關(guān)性很高說明兩個模型學(xué)到的模式幾乎一樣融合意義不大相關(guān)性在0.85以下時融合收益會比較明顯。融合方法我用過兩種。一種是簡單加權(quán)平均權(quán)重按照各個模型驗證集AUC的比例來定比如LightGBM的AUC是0.87XGBoost是0.86權(quán)重就按0.51比0.49分配。加權(quán)平均簡單可靠不容易過擬合適合快速驗證融合思路。另一種是Stacking把三個模型的預(yù)測概率作為新的輸入特征再用一個邏輯回歸訓(xùn)練元模型。Stacking理論上效果更好但如果元模型訓(xùn)練不當(dāng)很容易過擬合。我用了一個省事且有效的變體——在每一折交叉驗證中用訓(xùn)練折直接預(yù)測出驗證折模型的輸出把交叉驗證的預(yù)測結(jié)果拼起來作為stacking訓(xùn)練集這樣元模型看到的是“模型在陌生數(shù)據(jù)上的表現(xiàn)”而不是訓(xùn)練集上的虛高結(jié)果。最終線上AUC比最好的單模型提升了大約1.5個百分點融合這件事性價比很高值得做。5. 源碼結(jié)構(gòu)與復(fù)現(xiàn)指南5.1 項目目錄設(shè)計與模塊說明比賽結(jié)束后我整理源碼時刻意把項目組織成下面這個結(jié)構(gòu)方便自己復(fù)習(xí)也方便別人跑通diabetes_risk/ ├── data/ │ ├── train.csv │ ├── test.csv │ └── sample_submission.csv ├── src/ │ ├── config.py │ ├── preprocess.py │ ├── features.py │ ├── train.py │ ├── predict.py │ └── utils.py ├── models/ │ ├── lgb_model.txt │ ├── xgb_model.json │ └── cat_model.cbm └── README.mdconfig.py里集中管理參數(shù)和路徑避免在每個文件里硬編碼文件路徑。preprocess.py負責(zé)缺失值填充、字段類型轉(zhuǎn)換、數(shù)據(jù)劃分。features.py是核心里面實現(xiàn)了所有特征構(gòu)造函數(shù)每個函數(shù)都帶輸出說明保證可讀性。train.py負責(zé)讀入特征、訓(xùn)練模型、保存模型和特征重要性。predict.py讀入測試集生成預(yù)測文件。utils.py放一些輔助函數(shù)比如AUC計算、特征重要性繪圖。我強烈建議你在做類似項目時把特征工程單獨拆成一個文件。原因很現(xiàn)實比賽過程中你會反復(fù)調(diào)整特征如果特征代碼和模型代碼混在一起改一個特征可能引發(fā)連環(huán)報錯排查起來非常痛苦。單獨拆開后features.py的輸出就是一份干凈的DataFrame模型文件只關(guān)心這個DataFrame長什么樣改動成本會小很多。5.2 從訓(xùn)練到預(yù)測的完整流程復(fù)現(xiàn)整體流程大概分六步。第一步是修改config.py里的數(shù)據(jù)路徑和參數(shù)第二步運行preprocess.py生成訓(xùn)練集和測試集的中間表第三步運行features.py構(gòu)造特征第四步運行train.py啟動5折交叉驗證訓(xùn)練這一步會打印每一折的AUC和整體均值第五步運行predict.py生成測試集的預(yù)測概率第六步將預(yù)測結(jié)果按比賽要求的格式保存成CSV提交。train.py里建議加上斷點續(xù)跑和日志輸出功能。比如模型已經(jīng)訓(xùn)練過再運行時可以直接讀取保存的模型文件不用重新訓(xùn)練。我用logging模塊記錄每一折的AUC、訓(xùn)練耗時、參數(shù)配置方便回溯哪一次改動帶來了提升或下降。這些看起來是“工程化”的東西對提升比賽效率幫助卻很大因為天池比賽通常有提交次數(shù)限制每次提交前都值得確認一遍“這次提交到底改了什么”。6. 常見問題與排查經(jīng)驗6.1 過擬合與驗證策略樹模型在這個賽題里最容易出現(xiàn)的問題就是過擬合癥狀是訓(xùn)練集AUC接近1驗證集AUC死活上不去。我遇到過最離譜的一次訓(xùn)練集AUC超過0.99驗證集AUC只有0.78差距大得出奇后來定位到原因一個SNP字段的編碼方式有誤把缺失值誤填成了目標風(fēng)險值模型相當(dāng)于直接“偷看”了答案。排查過擬合我有一個固定套路先畫訓(xùn)練集和驗證集的AUC隨迭代次數(shù)的變化曲線。正常情況是兩條曲線同步上升驗證集在某個點后開始回落如果訓(xùn)練集一路猛漲而驗證集幾乎不動基本可以斷定模型復(fù)雜度太高需要降低num_leaves或增大min_child_samples。如果驗證集AUC在上升過程中出現(xiàn)鋸齒狀劇烈波動通常是學(xué)習(xí)率太大或者訓(xùn)練數(shù)據(jù)噪聲多可以把學(xué)習(xí)率從0.1降到0.05甚至0.03。交叉驗證分數(shù)和線上分數(shù)差距過大的另一個隱蔽原因是樣本分布不一致。賽題訓(xùn)練集和線上評測集可能來自不同的時間段或不同的采集批次如果只做隨機劃分模型并沒有機會暴露在分布漂移之下。我建議分析特征值的時序變化趨勢如果發(fā)現(xiàn)某些特征分布隨時間段有明顯偏移最好采用時間劃分或分組劃分來模擬評測環(huán)境。6.2 類別不平衡導(dǎo)致AUC虛高糖尿病患病人群在整體人群中比例不高訓(xùn)練數(shù)據(jù)的正負樣本比可能在1:4到1:9之間。類別不平衡本身并不可怕樹模型對不平衡有不錯的容忍度可怕的是評估方式?jīng)]對應(yīng)調(diào)整。如果你用準確率做早停模型可能會把所有樣本都預(yù)測成負類準確率依然很高但AUC會很難看。我在訓(xùn)練里直接設(shè)置metricauc同時監(jiān)控交叉驗證每個折的正負樣本預(yù)測分布。如果模型輸出的概率普遍偏低比如正樣本均值不到0.2說明模型沒有把正樣本和負樣本有效區(qū)分開這時候可以考慮用scale_pos_weight給正樣本加權(quán)因為我用的是LightGBMscale_pos_weight可以按正負樣本比例反比設(shè)置。我實測把scale_pos_weight設(shè)為負樣本數(shù)除以正樣本數(shù)后AUC有小幅提升但設(shè)得過大反而讓訓(xùn)練集AUC沖到很高、驗證集下降。所以這個參數(shù)要配合交叉驗證一起調(diào)不能盲目跟風(fēng)。特征分布和類別不平衡結(jié)合時還有個坑如果正樣本里家族史缺失率特別高模型可能把“家族史缺失”本身當(dāng)成風(fēng)險信號導(dǎo)致線上表現(xiàn)不佳。對這種“缺失率與目標相關(guān)”的情況我的處理是單獨分析每個字段在不同目標類別下的缺失率如果差異過大再做缺失填充時更要謹慎必要時加入缺失指示列讓模型自己判斷。6.3 時間有限時的取舍建議賽季末很多人會陷入無休止的調(diào)參和刷榜但時間有限時注意力分配比悶頭調(diào)參更重要。我的經(jīng)驗是先把精力花在特征工程上因為特征改進帶來的收益上限最高然后做一套靠譜的交叉驗證保證線下評估可信最后再搞模型融合。順序反了就會在最浪費時間的事情上花費最多時間。如果只能用半天時間沖刺我通常只做三件事第一用LightGBM默認參數(shù)跑一個5折交叉驗證確認數(shù)據(jù)流程沒問題第二排查前3個重要特征的構(gòu)造邏輯看是否有明顯bug第三把三個不同seed的模型預(yù)測結(jié)果做平均這個操作幾乎零成本能穩(wěn)定提升零點幾個百分點的AUC。別小看這點提升天池這種比賽前三名和前十名的分數(shù)差距有時候就在千分之幾。寫在最后的小經(jīng)驗比賽結(jié)束很久之后回看這份源碼最讓我慶幸的不是用了什么高大上的模型而是堅持做了兩件事一是每做一步特征或調(diào)參都會把驗證集AUC變化記錄下來形成了一份完整的實驗日志復(fù)盤時可以快速定位哪些改動真正有效二是每隔一段時間就停下來說服自己“夠了該提交了”避免陷入無窮無盡的調(diào)參循環(huán)。如果你準備參加類似的AI競賽找一份入門代碼跑通全流程比停留在“看教程”階段有效一百倍。把這份源碼當(dāng)作起點替換成你拿到的數(shù)據(jù)跑通然后根據(jù)本文提到的思路做特征和調(diào)參很快你就能做出一個像樣的排名。本文還有配套的精品資源點擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
东京太热男人的天堂久久久| 欧美亚洲素人制服精品| 激情抓乳插进去啪啪啪日韩| 国产日产欧产美韩系列麻豆免费| 日韩亚洲国产视频| 青青国产在线拍揄自揄拍| 91精品91久久久中77777| 天天色综亚洲91污| 无码操逼天堂| 久久无码成人| 超碰在线1234区| oumeizonghese,www| 欧美激情综合| 少妇3P性爱自拍| 亚洲综合有码| www.99中文字幕| 欧美有码亚洲中文字幕一区二区三区四区 | 欧美成人A天堂片在线观看| 色综合色色| 久久精品男人的天堂| 国产黄色在线播放观看| 国产青青美女玩逼视频| 色色色欧美| 内射黑丝袜| 韩国三级理论在线| 九九九久久久W精品| 综合色久| 欧美一区二区三区四区综合| 91天堂丝袜美腿| 超碰成人国产| 大香蕉欧美| 国产一区二区三区中文字幕| 日本成人在线不卡一区二区三区| 骚乳在线| 免费精品中文字幕| 国产精品大屁股999| 日韩人妻免费精品| 久久久青青草| 精品人妻视频一区二区三区蜜桃视频| 手机在线观看不卡无码av| 久久精品一区一起草| 久综合网| 国产Av超碰| 欧美在线综合| 另类av综合久久| 青青草中文-久久青草精品一区二区三 | 蜜臀aV午夜一区二区三区| 国产精品久久久久久久久久久久久久久| 东北老熟女| 少妇二级| 丁香五月婷婷啪啪| 亚洲福利中文字幕在线| 五月婷在线| 中文字幕精品免费一区二区| 九九九久久久| 九九色图| 91中出| 亚洲综合伊人| 中文字幕78| 婷婷综合网| 黄骗免费网站| 久久超碰网| 偷拍亚洲高清图片| 国产日韩精品一区二区三区| 亚洲成?V人片在线观看福利| 亚洲 欧美 日韩 国产一区二区| 99色日| 色五月婷婷麻豆在| 日逼国产| 国内精品嫩模A∨私拍小视频| 久草草一二三四区久久| 天天舔天天| 亚洲各类熟们中文字幕| 亚洲成人免费中文字幕| 强奸乱伦免费网站| 色臀AV| 试看60秒| 91爱看| 资源在线观一 二| 一本精品日本在线视频精品| 超碰78| 九九九偷拍| 美女大乳久久久久久久女人18| 久肏视频字幕| 91中文精品日韩欧美在线 | 国产精品久久久久久久久久久久久久久久| 丁香五月婷婷五月| 99九九精品| 久草国产在线视频| 曰韩无码777| 亚洲一级性爱视频免费看| 欧美一二三| 国语精品av| 97超碰中文字幕| 中国小夫妻勾搭露脸淫荡对白 | 亚洲精美粉嫩嫩泬在线观看| 在线观看不卡一区二区三区| 日韩免费中文字幕视频| 91美女视屏| 欧美网站免费| 国产精品免费日韩| 日韩乱伦AⅤ| 国产家庭乱伦表演| 国产午夜精品理论片a大结局| 4虎在线观看| 欧美性高潮| 天天操天天干美女网址导航| 深喉吞精| 久久国产乱子伦精品免费女,网站| rivers-china.com| 99久久99久久免费精品蜜臀| 亚洲天堂性爱| 黑丝少妇| 九九久久首页| 亚洲码和欧洲精品激情系列| baiduhicn.com。| 少妇69中文| 国产丰满熟夫69mpp| 青青草吊丝| 婷婷色香| 九九九九免费视频| 91模特在线观看| 九九九九一区| 日韩十八禁| 天美传媒精品一区二区| 国产精品内射婷婷一级二| 色牛aV| 国产美女销魂在线观看不卡| 萌白酱自拍视频| 欧美色图人妻| 天干天干天干天天做| 久9久9久9久9久9久9 | 亚洲国产剧情少妇激情| 亚洲色性情三级| 97干天天| 97操综合| 乱伦熟女论坛| 噜噜噜在线视频| 俺去俺来也在线www| 色欲日韩欧美在线一区| 亚洲男人天堂2019| 国产AV人人 夜夜人人澡| 欧美夜色| 亚洲人妻五月丁香婷婷| 永久电影三级在线观看| 免费a在线播放v| 少妇无码太爽| 91n免费处女| 欧洲精品二区| 狠日操| 99热啪啪| 国产精品视频麻豆入口| 六月婷婷综合| 色噜噜人妻av 中文字幕| 国产白领连续中出在线播放| 九九九国产| 久久婷婷电影网| 顶级丝袜熟女一区二区三区| 丁香婷婷激情五月天无毒不卡| 久久九九久精品国产尤物|国产精品爽黄69天堂A片潘金莲,国产亚洲精品第一综合 | 啊啊啊 在线| 91精品国产91熟女| 亚洲欧综合另类无码一区| 日本岛国黄色网址| 中文字幕久久精视频久久大全| 97超级色碰碰| 激情小说图片亚洲首页| 五月天大香蕉| 亚洲麻豆18发?| 26UUU欧美日本| 乱伦系列一区二区| 青青草啪啪网| 日日干天天干夜夜爽| 久操不卡视频| 天天干1区2区在线| 亚欧毛片基地国产毛片基地| 一区二区三区四区色图| 亚洲清纯唯美| 成年女人黄网站| 熟女丝袜视频| 91宗合网| 五月天偷拍| 日韩熟女视频二区| 95自拍视频在线观看| 91在线视频免费中出| 天天欧美97| 在线观看无码三级少妇| 91在线限制级| 又大又大又大又粗爽高潮观看| 欧日a| 98福利在线视频| 日韩精品在线放| 玖玖人人爱| 日韩精品一区,二区 九九...老司机| 久久原创中文| 秋霞一级A片黄色视频| xxx亚洲午夜天堂| 欧美色图99| 多毛小伙内射老太婆| AV一二区| 午夜激情成人在线观看| 中文字幕免费观看| 日本色色视频网站| 久久久久久久久久久久欧美日| 五月丁香黄色网| 日本免费中文一区二区三区四区 | 啪啪免费| 亚洲图片视频小说| 欧美亚洲玖玖玖| 日韩15p| 素人播放一区| 百度百度日本操逼| 青青草亚洲一区| 国产成年女黄特黄| 亚洲中文电影| 亚洲av影音先锋| 日韩精品一区,二区 九九...老司机| 午夜.DJ高清在线观看免费7| 久久婷婷欧美| 欧美天天插| 17c嫩草51久久91嫩草| 素人播放一区| 操婢日韩| 久久香蕉国产线看观看亚洲女人 | 青娱乐亚洲自拍| 亚洲资源网| 亚洲无线码一区国产欧美国| 久草加勒比一区在线| 人人妻人人操人人乐| 五月亭亭六月丁香| 国产精品天干天干综合网麻豆 | 国产女乱淫真高清免费视频| 久久精品一区一起草| 综合色播| 91视频伊人| 亚欧美综合网。| 欧美性爱伊人| 狠狠爱综合网| 啊啊啊啊啊啊啊啊啊在线观看| 爱媛媛久久国产福利| 日韩有码专区| 欧美论理片| 国产精品三级视频网站| 亚洲国产奇米影视久久| 日韩熟女精一区二区三区不卡| 亚洲城人男人的天堂| 精品一区二区综合熟妇| 色汉综合| 色色97爱| 人妻免费观看| 日本青青草在线| 日本视频在线观看污污污| 久久久一区二区三区四区五区| 久久精品72| 久久欧美性爱视频| 午夜乱轮操逼视频免费看| 啊啊啊在线看| 一区二区三区四区五区高清无码永久视频 | 性色A∨91| 欧美亚洲厕所精品偷拍91| 五月婷婷久久综合| 亚洲国产ⅴ高清在线观看| 97久操| 女生自91网站| av操操不卡| 日韩免费性爱视频在线观看| 国产午夜无码片在线观看影视 | 果冻传媒一区二区三区| 亚洲成人精品久久久| 久久久久久人妻| 天天躁日日躁xxxxx| 69一区二区三区 | 日本精品一区二区三| 婷婷香蕉欧美在线一区二区三区| 人、人、摸,人、人、草| 伦激情人妻另类人妻| 久艹日日日| 呻吟 欧美 日本 中出| 91人妻超碰| 婷婷五月综合在线| 成人免费在线网站| 日本一区二区不卡精品| 亚洲自拍天堂| 国产精品成人久久一区二区三区| 91在线视频国产网站| 精品成人久久久人人亚洲| 国产精品久久久九九九| 中文字幕97色| 少妇69中文| 久久国产精品91| 91久久久久久久| 十八禁视频网站| 激情五月天社区| 久久精品中文字幕无码l| www亚洲免费| 国产精品嫩草影院午夜两性| 亚洲av无码国产精品字幕| 欧美色狠| 日韩精品字幕| 无码区蜜乳| a男人的天堂久久一级A毛片| 欧美日韩一区二区三区四区蜜桃| 国产成人精品无码久久| 国产家庭乱伦网址| 亚洲国产高清福利视频| 色综合色欲色综合色综合色综合| 中文字幕在线观看丝袜| 天天干少妇| 亚洲码和欧洲精品激情系列| 五十路熟女在线不卡观看一区二区| 自拍偷拍 高清无码| 爱爱动态120秒| 亚洲第一页色| www.操| 欧美香蕉视xxx| 日本丝袜美腿人妻九九| 日韩久久艹| 天天日美女的B| 加勒比久久av| 少妇久久久久久| 韩国三级一线观看久| 免费家庭乱伦视频| 无码最新| 天天爽人人综合免费7799| 成人av免费观看| 欧美久久九九| 狠色婷婷久久一区二区三区_| 欧美一二级| 午夜福利 成人 91| 五月天婷婷在线看| 九九探花视频在线观看| 性爱综合网| 天天操天天射青青草| 91亚洲欧美色图| 久久精品视| 亚洲狠狠入| 婷婷婷婷婷婷久久久久| 一本大道不卡一二三区| 亚洲无码99| 一区二区三区日韩欧美| 蜜桃狠狠色伊人亚洲综合 | 日韩一级二级三级免费看完整版国语版| 久9爱经典视频| 久久啊啊| 日本护士高潮| 亚洲一二三精品久久网 | 91亚洲青青草原精品1区| 青青伊人久久| 欧美亚洲国内自拍| 国产一区二区在线播放,久久亚洲精品中文字幕第一区,亚洲精品在线中文字幕视频 | 亚洲一二三四区机械| 免费9 1久久| 欧美精品欧美精品系列| 日韩性爱小视频| 久久AV无码网址| 91肏屄网| 一本一道久久综合久久| 国产久久av| 一二三啪啪专区| 男人的天堂三级| 亚洲无码电影久久久| 国产视频不卡在线观看| 日韩av色图| 91少妇| 中文字幕jul-617人妻熟女| 宗合情欲网| 揉揉揉夜夜| 精品人妻av在线播放| 区日韩亚洲乱码av电影| 亚洲男人在线观看天堂| 欧美强奸一区二区诱惑| 色男人色天堂东京热| 人人操欧美风骚| 色色激情五月天| 黄色十八禁| 素人一区二区三区日韩| 亚洲综合性感在线| 懂色Av| 丁香五月社区| 亚洲精品电影| 色婷婷综合网| 国产路线专区| 99这里有精品视频| 久操免费观看| 五月婷婷六月天| 九九九国产精品| 操B在线观看| 日韩精品怡红院| 色婷婷六月丁香七月婷婷| 91美女在线观看| 久操不卡视频| 精品人妻一区二区免费看| 中国一区二区亚洲人妻| 国产av色网| 国产av美女被艹的乱叫| 狠狠操狠狠燥| 牛黄色久午久| 怡红院成人视频| 久久婷婷伊人| 97免费在线| 97超碰美国| 爱爱啊啊啊| 91丝袜美女| 人人性爱视频免费| 97se综合网| 大香蕉免费3| 精品人妻一区二区乱码一区二区| av天堂精品久久| 人妻少妇精品久久久| 超碰天天操| 高清成年美女黄网站免费大全| 色www精品视频在线观看| 屁屁影院一区二区三区国产 | 青青色综合| 狠狠色噜噜狠狠狠狠2018| 丝袜综合色图| 18禁网站在线播放| 久久人妻熟女一区二区| 大香蕉十区| 国产精品女生av| 一级黄碟| 天天天天干| 国产精品人妻一区二区| 欧美极品色| 五月天激情小说网| 国产精品人妻熟女aⅴ| 一级黄碟| 日韩精品一二三| 色月天AV导航| 亚洲精品第一| 亚洲欧美综合| 天天操天天看| 91狠狠综合久久久久久| 成全在线观看免费观看| 奶水 人妻 哺乳 在线| 欧美熟妇乱码在线一区| 亚洲黄色网址视频| 肏逼视频日本| 国产精品禁久久久精品| 男人的天堂色偷偷青青草视频婷婷网| 国产情侣自拍在线播放| 永久免费观看的毛片的网站| 男人的天堂久久狠| 麻豆AV一区二区| 啪一啪免费视频| 超碰97网站| 国产免费一区| 三级日本一区二区三区| 超碰色美女| 亚洲美女30b| 国产精品大香蕉| 精品无码不卡视频| 在线视频97| 黑人粗大V S日韩女优视频| 精品熟女一区=区三区| 浪人综合网| 国产日韩精品suv| 国语精品对白| 四虎在线免费视频| 淫骚熟女一区二区三区| 在线观看AV不卡| 亚洲欧美日韩精品久久久一区二区| 九九九九热| 日韩精品资源| 九九九九九九九| 99re69| 97视频网站在线观看| 日本精品第一视频在'| 久久111| 99青草| 丁香六月综合激情| 99久久久无码国产精品性男| 丝袜剧情| 一类无码操逼视频| 国产男女边吃边摸视频网站| 一区二区三区视频| 天美传媒AV在线播放| 91热热色| 国产成人精品网站| 欧成人在线| 东京热毛片调教| 一本大道久| julia ann久久| 欧美少妇性乱| 天美欧美国产| 少妇一区二区三区高速| 精品国产无码中文| 婷婷丁香九月| 日韩欧美中文| 伊人女女资源在线观看| 伊人黄色视频免费观看| 日韩少妇一区二区三区| 操逼操操操91| 99热91| 五月天激情小说| 色婷婷激情| 裸体美女国产免费久久久网站| 99热这里都是精品| 国产欧美美女免费观看视频| 真实高潮91| 成人综合视频久久| 中文字幕AV片| 色婷婷A V一二三四区麻豆综合| julia ann久久| 日韩本不卡视频在线观看 | 亚洲一区日韩精品| 天堂а√在线最新版在线| 国产又黄又爽又刺激久久久久久| 18禁免费视频| 精品伊人久久久大香线蕉小说| 国产在线视视频有精品| 精品久久久久久亚洲| 熟女啪啪视频| 97精品国产手机| 乱色老一区二区三区的观看方式| 九九热精品视频六| 亚洲自拍偷拍视频在线| 无码丰满熟妇一区二区浪潮AV| 久久社区一区二区三区| 激情色色| 超碰99热中文字幕| 欧洲性人爱视频| 中文字幕第2页| 极品综合| 午夜婷婷| 欧美日韩国产电影| 麻豆色约约| 国产毛片片精品天天看视频| 黄片色区软件| 亚洲男人bt天堂| 四季AV一区二区凹凸精品小说| 久久久成人免费av电影| 白嫩嫩一区| 欧美白嫩女HD| 丰满人妻-区二区三区免费看| 一级黄色性爱裸体视频| 国内精品久久久久影院亚洲| 大香蕉十区| 性欧美| 欧美福利视频啊啊啊啊| 欧美做爰无码A片视频| 色婷婷成人综合| 自拍啪啪视频| 天天摸夜夜添无码小视频| 激情五月天色播| 中文字幕诱惑制服人妻丝袜美丝袜美 | 色大师网站www永久网站视频| 成人草草视频| 3d成人精品一区二区| 草草影院在线视频| 男人的天堂三级| 天天夜躁日日躁狠狠2002| 操一区| 东北女人操比视频| 精品国产Av无码久久久亚洲| 久久久久久国产精品| 狠操91,com| 无码久久亚洲高清,| 色色色999| 欧美高潮| 中文字幕久热视频在线| 欧美在线伊人色| 96久久久久| 人人做人人妻人人夜视频| 97 九色| 欧美一级AAAAAAA| 亚洲另类综合欧美| 精品国产乱码久久久A| 人妻精品视频一区二区| 中亚黄色三级大片| av东京热男人的天堂| 欧美一区二区三区不卡高清视频| 长长久久88视频| 亚洲欧美天| 欧美人妻一区| 日韩精品系列| 日本性爱不卡视频| 亚洲欧美日韩国产丝袜自拍中文| 国产中文字幕在线点播| 91jk色拍| 人人玩人人添人人澡免费| 91视频观看网站| 啊啊啊操死我| Av色五月| 精品国产三级av韩国在线| 91美女视屏| 97超碰人人模人人拍人人| 久久久艹艹艹| 欧美高清无码免费视频高清版| 久草综合京东| 天堂69亚洲精品中文字| 人妻9117c| 偷拍 精品 另类 四区| 欧美天天弄| 中文字幕一区二区三区人妻少妇在线| 久久久久亚洲Av无码专区老牛影视 | 精品成人无码| 97超碰这里只有精品| 99精品视频在线观看免费| 99热日| 伊人久久大香大香线蕉中文| 97K超碰在线| 夜色五月天| 人妻色偷色噜| 少妇精品久久久| www网站黄| 国产精品一区二区密臀| 精品免费1| 无码区蜜乳| 亚洲在钱| 欧美久久九九| 在线岛| av2014 日韩在线中文字幕| 日本三级韩国三级99| 999久久久免费精品国产牛牛| 综合天天网| 欧美v亚洲v日韩v最新在线二区 | 日本福利二区视频| 91亚洲人| 亚洲色悠悠久久88| 深爱激情五月天| 精品日韩人妻视频| 97欧美色| 怡红院怡春院| 天天干天天狼在线视频| 九九九九免费| 2019午夜福利视频| 天天综合亚在线| 国产亚洲中文不卡二区| 啊啊啊免费| 天堂涩涩| 日韩丝袜人妻AV| 亚洲精品一区二区三区在线播放| 精品九九| 夜夜嗨一区二区三区三州加勒比| 熟女在线视频| 国产动漫操逼视频| 一本精品日本在线视频精品| 老熟乱一区二区三区四区| 求求你操操我| 亚洲少妇色| 插日本熟女视频| 久久精品国产亚洲AV清纯| 超碰97综合网| 色制服丝袜夫妻av一区| 天天色悠悠激情| 激情久久久| 一级做a爰片久久毛片图片| 久久久性爱| Julia Annxxxxx| 极品粉嫩一区二区| www.色五月| 肉嘟嘟www视频在线观看高清| GVH-003 母子姦 青木玲-麻豆视频,麻豆视传媒短视频网站入口,麻豆视传媒官网直 | 亚洲情色五月天| 性爱av在线免费观看| 黄色片一区二区三区四区五区 | 二级毛片| 9长久久精品| 欧美18禁91| 禁片 高清 在线观看视频网站| 亚洲欧美日韩精品久久久一区二区 | 亚洲综合另类色图| 男人的天堂在线| 青青草视频在线观看一区二区| 色色婷婷五月天| 精品久久久久久中文| 18禁止看精品中文字幕| 日少妇视频| 噜噜噜噜久久久精品免费| 加勒比av网| 国产成人精品一区| 大乔未久88一区| 夜草欧美| 啊啊啊啊啊好大好舒服想要| 中国一级αV| 国产60页| 亚洲国产精品久久AV| 麻豆天美一区二区| 色香综合| 精品国产乱码久久久久久网站入口| 天天操天天干美女网址导航| 色欧美色交综合| 大色网久久| 超碰导航97| 亚洲同性aV综合| 久久久涩| 麻豆成人影音在线| 亚洲在线a| 超碰97色| 东京热视频网| 亚洲精品官网在线观看| AV污污污污| 人人干人人搞人人摸| 国产小u女在线观看| 99久久久无码国产精品性男| 日韩在线观看中文字幕视频| 91婷婷| 免费看毛片操穴| 久久大香蕉手机高清| 精品一区二区三区最新| 久久久久久久久久久久黄色| 精品国产久久乱码| 亚洲狠狠入| 亚洲精品少妇| 中字幕人妻一区二区三区| 亚洲男人综合| 日韩不卡在线一区二区| 91精品丝袜在线观看| 日韩人妻资源在线看| 99999精品视频| 久久久∴| 国产日韩美女小穴视频网站不卡| 精品对白久久不卡| 久久欧洲| 肉丝中文无码高清| 蜜臀中文字幕| av天堂天堂av日韩| 五月丁香六月婷综合成人综合| 日本人体九九九九九九| 91天美传媒在线观看| 国产精品一区在线播放| 欧美v日韩v亚洲v最新在线| 久久青青草原免费视频| 曰韩无码777| 久久9亚洲| 成人久久久精品| 国产97亚洲| 欧美日产国产在线成人第一区| 男男H黄动漫啪啪无遮挡网站| 98一区二区精品| 情色五月天网| 蜜臀一区二区三区亚洲最新章节在线观看 - 高清蜜臀一区二区三区亚洲全集播放 | 青青草自拍视频在线播放| 亚洲污污网站| 欧洲综合视频| 视频黄站| 亚洲色欲天天天堂色欲网女| 婷婷综合在线| 九九热精彩视频| 超碰97中文| 亚洲精品乱码久久久久久蜜桃麻豆 | 婷婷AV一区二区三区| 亚洲精品一二三四区| 日韩特一级久久| 免费看黄片现成| 日韩另类| 视频二区熟女人妻| 国产精品久久久久久久无码AV| 精品超碰国产| 东北女人操比视频| 一级毛片电影免费看| 无码国产精品午夜不卡( | 老色69| 亚洲丨在线| 日本激情免费大片| 精品国产一区二区三区久久久蜜臀 | 激激五月| 91白嫩| 囯产乱伦一区二区三女 | 97色色色综合网站| 一区二区三| 亚洲综合婷婷| 乱伦3P视频| 国产综合久久久鬼色| 91综合网站| 二色av| rivers-china.com| 午夜影美女日鸡鸡天天视频国产| 新97国产超碰| 日韩黄色av中文字幕| 色一射色一射| 在线97视频| 成人情色一区二区| 天天操妹子| 五月丁香色色网| 5252色欧美在线男人的天堂| 99久久e免费热视| 97碰碰日本乱偷人妻中文的| 视频一区二区三区精品| 人妻天天爽夜夜爽精品2| 国产视频人人网| 热天堂一区二区| 精品人妻一区二区三区日产| 2020视频1区2区3区| 高清无码人妻久久久一区二区三区aⅴ| 久操热线| 嗯嗯啊啊啊好爽| 加勒比大香蕉视频在线| 欧美色乱| 91美女视屏| 玖玖爱在线视频免费观看| 91精品人妻一区二区三区蜜桃臀| 男人女人18禁片免费看网站| 中文字幕免费观看| 久思思热视频在线观看| 爱妻综合网| 国产精品成人无码av| 久久线上视频免费看| 丁香五月婷婷基地| 爱爱啊啊啊| 91欧美偷拍| 欧美国产一区二区三区麻豆传媒| 日韩美女啪啪一区| 日本黄页视频在线观看| 久久久97| 欧美裸体美女日麻屄| 4141514逼喷水三级片| 久久亚州精品成人Av无| 激情综合网一盗摄| 自偷自拍的亚洲视频| 夜夜欢天天干| 国产亚卅97| 国产家庭乱伦网址| 东北熟女91| 欧美 青青草| 性爱乱伦网址| 国产精品久久蜜乳av| 日本天堂网| 日韩人成网站在线播放| 五月天久久人妻| 亚洲熟妇丝袜在线观看| 国产成年免费大片黄在线观看| 蜜桃午夜视频一区二区| 综合色图亚洲欧美| 中文字幕人成乱码熟女香港| 骚货 中文字幕 av| 黄色乱论网站| 久久三| 中文字幕丰满子伦无码专区在线视频最新 | 人妻少妇精品一区二区三区| 秋霞操逼片| 九九九偷拍| 中文有码第五页| 被体育老师抱着c到高潮| 日韩射精| 97超碰色中文字幕| 秋霞怕怕片| 男人精品天堂一区| 天无日色综合| 新婚人妻扶着粗大强行坐下| 久久久久夜夜夜夜| 啊啊啊久久久视频| 国产精品久久久视频| 欧美黄片欧美黄片xxx| 欧美成人免费在线观看| 亚洲se电影| 99国产精品久久久久久久成人热| 国产精品国产拍高清AV| 午夜.DJ高清在线观看免费7| 不卡视频一区蜜桃视频| 久久AV色| 精产国品一区二三产品| 99综合视频一体| 国产不卡免费在线视频| TS人妖另类精品视频系列| 国产精品对白自产拍| 91激情网| 性色中出| 东京太热久久久| 99热自拍| 人人做人人妻人人夜视频| 国产真乱mangent| 国产精品操| 老熟妇一区二区三区| 国产91精品久久久久久久网曝门| 69人妻精品一区二区绯色| 亚洲一区二区三区四区视频| 人人贴人人摸| 99精品国产户外露出| 狼人狠干| 精品美女少妇一区二区| 懂色av中文字幕一区二区三区天美 | 国产免费操逼| 日本操逼视频不卡直接放| 国产精品白丝| 欧美色图亚洲激情| 啊啊啊啊好疼| 97欧美日韩综合| 久肏视频字幕| 日本色婷婷| av日韩在线观看电影| 脫衣舞一区二区三区| 人人摸.人人色| 日韩性爱免费视频在线网站| 18禁中文字幕| 久久五十路熟女人妻| 欧美黄色片在线播放| 国产精品一二三区18| 肉动漫无遮挡h在线观看| 91无遮挡| 一级性爱视频免费观看| 成人一二| 日韩熟女操逼| 亚洲AV成人精品网站在AV| 最新日本中文字幕| 国内毛片热久久思思热| 国产精品久久久久久高清无码免费看 | 操曰本熟女| 蜜臀av中文字幕| 国产成人精品一区| 亚洲影视高清三级-草1024榴社区入口-品爱AV| 青青草国产一区二区三区| 亚洲人精品久久久| 日本韩国五十路六十路七十路老熟女作爱视频网站 | 综合国产97| 九九热超碰97亚洲最新香蕉| 麻豆一区在线| 福利大香蕉| 东京热91| 国产视频人人网| 国产强奸91| 国产真实野战在线视频| 国产农村一一级特黄毛片| 国产精品色| 亚洲色欲一区二区三区| 免费网色网站| 亚洲精品久久久久久| 易易A毛视频| 黄色无码高清黄色无码网站| 白 大 人妻 区 在线| 日韩丝袜高跟制服在线观看| 91欧美丝袜| 午夜欧美精品久久久| 国产综合日韩伦理| 久草视频在线视频在线视频在线观看| 网页导航五月天免费一二三区| 午夜大香蕉| 蜜桃在线观看一区二区三区 | 亚洲高清在线se| 国产97视频| 日本色色视频网站| 色综合尤物| 天天流夜夜操| 亚洲 se图 欧美电影| 北条麻妃性愛视频| 操久久久久| 美女熟妇色| 九九综合久久| 日韩熟女精品无码专区一区二区| 天美一区在线| 射综合网| 成人免费福利网站国产| 你操综合| 亚洲清纯唯美| 黑人免费福利视频| 亚洲欧美国产成人综合不卡| 亚洲nv男人的天堂网| 蜜臀色乳| 久草加勒比一区在线| 强奸乱伦AV网站| 国产丝袜视频| 亚洲凸凹超碰成人| 九九九九精品| 伊人色综合网电影| 超碰国产情侣自拍网| 激情另类激情| 亚洲精品性爱片| 天天做天天爱| 久久99深爱久久99精品| 无码高清操逼| 探花精品视频| 麻豆激情综合| 欧美激情 亚洲色图| 亚洲精品一区二区精华| 99re在线观看| 久9久精品视频| 日韩成年人性爱视频| 国产成人+综合亚洲+天堂| 无码人妻丰满熟妇奶水区毛片| 丁香五月色情| 欧美论理片| 97超碰碰| 六月婷婷五月丁香| 亚洲乱熟女一区二区| 免费?级毛片无码?∨蜜芽试看| 精品国产乱码久久久久久久久1| 国产自啪精品视频网站黑丝| 色网站导航大全| 狠狠操夜夜操蜜桃视频三区| 日韩中字av一区| 熟妇人妻丰满久久久久久久无码| 久久久久成人亚洲国产| 少妇69中文| 91人妻人人澡人人爽人人精品| 久久午夜伦| 大香交| 午夜精品探花| 丰满人妻一区| xxxx网站亚洲精品| 亚洲 欧美 另类 日韩 人妻一区| 欧美真人抽搐一进一出gif | 国产精品一区午夜福利| 无码人妻丰满熟妇奶水区毛片| 91性网| 99热久| 伊香蕉综合久久久久久久噜噜噜| 日韩亚洲Av人人夜夜澡人人爽| 做爱福利视频一区二区| 色操逼网| 国产天天看| 高清无码一区二区三区| 大香网伊人久久综合网eew| a片自拍直播视频| 伊人色综合超碰| 天天射天天操天天干天天吃2018| 国产在线76页| 国产精品白丝| 少妇毛片久久| 久久中文字幕不卡人妻| 国产精品午夜成人福利| 综合av社区| 国产美女激情| 亚洲成人一区二区精品| 内射卯月麻衣| 97摸视频| 色97干| 国产极品999| 欧美岛国精品在线观看| 超碰精品| 色色色欧美| 天天操熟妇| 99视频内射三四| 乱精品一区字幕二区| 国产免费内射视频| 精品一区二区三区最新| 男女激烈网站最新| 日本天天干天天日一区| 国产精品熟女丝袜一区二区| 欧美亚洲今日在线| 久久9久9久99久9久9| 91色人妻| 亚洲亚洲亚洲天堂天堂| 欧美激情综合色综合啪啪五月| 9Ⅰ超碰| 操b网站亚洲无码| 亚洲精品人妻吞精av| 少妇高潮一区二区三区在线| 美女露胸露尿口| 九月丁香婷婷色| 亚州,欧美在线| 中文字幕日产av人| 日日摸夜夜夜夜爽| 青青草依人大香蕉| 青青色综合| 日韩成人大片一区二区| 无码人妻1727| 91天美传媒精品| 国产一区二区啪啪视频| 日本成人在线不卡一区二区三区| 欧美综合在线91| 99热精品在线| 十八禁av无码免费网站APP| 亚洲不卡一| 一区二区三区四区五区高清无码永久视频| 黄色在线网站| 久操免费观看| 国外91| 亚洲男人天堂网久久| 第一高清av中文字幕| 亚洲成a人v欧美综合天堂下载| 4虎在线视频| 在线女人91| 精品一区二区成人| A级国产欧美激情在线| 亚洲性综合11| 欧美成不卡网| 日本久久网| 人人操人人uiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiii | 亚洲成人无码影院| 久操免费观看| 97资源免费视频| 内射日韩大臀美女| 91九色精品熟女内射| se吧提供91精品国产91久久久久久 | 精品女人999| 亚洲国产一级精品毛一级精品看免费视频 | 岛国AV一区二区电影| 99热在线观看| 日韩人妻 中文字幕| 国产精品久久久吖| 欧美色图电影| 亚洲色天堂九9| 久久久久久久久久久久久久久久9| 中文字幕 人妻不满 在线视频| 日本一区二区不卡精品| 另类TS人妖一区二区三区| 日韩有码专区| 91欧美www| 另类图片五月天| 9999久久久久| 黄色不卡视频| 91殴美大片| 亚洲色欲一区二区三区| 丝袜 亚洲 偷拍| 日韩在线观看中文字幕视频| 中日韩熟女| 日韩激情啪啪啪| 人人看黄色视频| av三级电影在线播放| 婷婷10月天青娱乐| 久久98| 国产三级资源在线观看| 97精品视频| 亚州综合在线| 91精品国产一区三一| 久久精品女同亚洲女同13| 嗯~啊~快点 死我视频免费看网站| 丰满搜索结果 -第18页- 久久高清无码| 黄色电影观看久久9| 91精品国产日韩欧美综合| 国产精品成人久久一区二区三区| 东北少妇高潮zzzz| 亚洲欧美小说| 免费国产视频| 婷婷丁香激情| 欧美一级欧美三级在线观看| 五月天婷婷欧美三区| 亚洲中文字幕噜噜噜久久久| 骚货人妻偷情自拍在线视频| 五月色网| 日本 欧美 亚中文字幕| 亚洲综合春色| GVH-003 母子姦 青木玲-麻豆视频,麻豆视传媒短视频网站入口,麻豆视传媒官网直 | 日本不卡在线二区三区| 久久久日本电影| 97精品网| 亚洲伊人久久综合97| 91在线精品一区二区三区| 翔田千里无码中出中文字幕| 日本性爰一道本| 日韩国产成人自拍视频| 97欧美性爱| 开心五月激情网| 97国产色综合| 久久大线蕉一区| 好舒服视频| 美女爽到高潮91| 91人人| 免费a级毛片av无码久久精品中文字幕| 亚洲 小说 欧美 激情 另类| 亚欧性爱无码| 妺妺跟我一起洗澡没忍住| 婷婷丁香五月综合| 欧美专区第一页| 91草草草| 天堂亚洲精品| 热久久无毒不卡| 欧美熟妇色| 国产高清自拍视频| 亚洲精品乱码线路中文字幕| 国产亚洲精品玖玖玖在线观看| 超碰免费在线| 色色色综合网| 国产夜夜操| 国产蜜臀在线| 日韩性爱长视频免费| 十八禁视频一区二区| 日韩精品1区2区中文字幕| 先锋精品av色鲁|