日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

PyTorch優(yōu)化器全解析:從SGD到AdamW的原理、參數(shù)與實(shí)戰(zhàn)調(diào)參指南

PyTorch優(yōu)化器全解析:從SGD到AdamW的原理、參數(shù)與實(shí)戰(zhàn)調(diào)參指南 優(yōu)化器是 PyTorch 訓(xùn)練流程里最容易被“抄作業(yè)”抄錯(cuò)的部分。很多人跑模型的時(shí)候直接照搬別人代碼里的optim.Adam(model.parameters(), lr3e-4)換了個(gè)任務(wù)就發(fā)現(xiàn) loss 不降、梯度爆炸、收斂慢半拍問題往往就出在優(yōu)化器選型和參數(shù)配置上。這幾個(gè)月我在各種實(shí)驗(yàn)里反復(fù)折騰torch.optim從最基礎(chǔ)的 SGD 到 AdamW、從學(xué)習(xí)率調(diào)度到梯度裁剪踩了不少坑也把相關(guān)論文翻了底朝天。這篇就從一個(gè)實(shí)戰(zhàn)者的角度把 PyTorch 優(yōu)化器的底細(xì)、論文出處、參數(shù)含義和實(shí)操踩坑經(jīng)驗(yàn)一次性講清楚。無論你是剛把 PyTorch 裝好、準(zhǔn)備跑第一個(gè)模型的入門選手還是已經(jīng)在調(diào)參路上掙扎了一段時(shí)間的煉丹學(xué)徒這篇文章應(yīng)該都能幫你少走很多彎路。1. torch.optim 到底是什么先搞清楚優(yōu)化器在訓(xùn)練中的位置1.1 優(yōu)化器解決的是哪一步問題很多人一上來就學(xué)各種網(wǎng)絡(luò)的代碼反而忽略了最基礎(chǔ)的問題優(yōu)化器在整個(gè)訓(xùn)練流程里到底干了什么。一句話概括優(yōu)化器負(fù)責(zé)回答“參數(shù)往哪個(gè)方向走、走多遠(yuǎn)”這個(gè)問題。神經(jīng)網(wǎng)絡(luò)訓(xùn)練的本質(zhì)是讓損失函數(shù)的值盡可能小而損失函數(shù)是模型參數(shù)的函數(shù)。我們通過反向傳播算出每個(gè)參數(shù)對損失的梯度梯度告訴你的是“在這個(gè)點(diǎn)上往上走還是往下走才能讓損失變小”。優(yōu)化器拿到這個(gè)梯度之后按照某種策略更新模型參數(shù)讓損失一步步下降。這個(gè)行為特別像下山損失函數(shù)是連綿起伏的山地模型參數(shù)是你的坐標(biāo)梯度是腳下山坡的傾斜方向。你要做的就是一步步往低處走。但具體每一步邁多大、怎么避開坑、怎么從局部小坑里爬出來這就是優(yōu)化器策略的學(xué)問。PyTorch 把這一整套邏輯封裝在torch.optim里。你不需要手寫參數(shù)更新公式只需要告訴它“你要優(yōu)化哪些參數(shù)、用什么算法、學(xué)習(xí)率設(shè)多少”。剩下的事情——梯度更新、動量累積、自適應(yīng)學(xué)習(xí)率計(jì)算——它全部幫你做了。1.2 torch.optim 的設(shè)計(jì)哲學(xué)把優(yōu)化策略做成可插拔模塊我最早用 PyTorch 的時(shí)候有一個(gè)感受特別深換優(yōu)化器太方便了。從 SGD 切到 Adam只需要改一行代碼訓(xùn)練邏輯、反向傳播、模型結(jié)構(gòu)完全不用動。這個(gè)便利性不是巧合而是 PyTorch 把優(yōu)化器規(guī)范化成了統(tǒng)一的接口。torch.optim的核心抽象是Optimizer基類。任何一個(gè)優(yōu)化器做的事情都可以拆成兩步根據(jù)當(dāng)前梯度計(jì)算出參數(shù)更新量然后把更新量作用到參數(shù)上。PyTorch 把這個(gè)過程封裝成optimizer.step()訓(xùn)練循環(huán)里每輪迭代調(diào)用一次即可。這個(gè)設(shè)計(jì)帶來的好處非常實(shí)際實(shí)驗(yàn)管理變得極其輕松。我在做對比實(shí)驗(yàn)的時(shí)候經(jīng)常在同一份代碼里用argparse傳一個(gè)--optim參數(shù)直接切換 SGD、Adam、AdamW、RMSprop完全不需要改動模型代碼。對于需要大規(guī)模調(diào)參的研究項(xiàng)目或工業(yè)項(xiàng)目來說這種可替換性節(jié)省的時(shí)間非??捎^。1.3 一個(gè)優(yōu)化器只有三樣?xùn)|西狀態(tài)、參數(shù)、更新規(guī)則別看torch.optim里面優(yōu)化器種類很多拆開來看每個(gè)優(yōu)化器其實(shí)就包含三個(gè)部分。第一是參數(shù)組。優(yōu)化器存的不是模型本身而是模型參數(shù)的引用。你可以選擇優(yōu)化全部參數(shù)也可以只優(yōu)化部分參數(shù)比如凍結(jié)backbone只微調(diào)分類頭。PyTorch 用param_groups這個(gè)概念來管理每個(gè)參數(shù)組可以有不同的學(xué)習(xí)率、動量等超參數(shù)。第二是狀態(tài)。像 SGD 的動量項(xiàng)、Adam 的一階矩和二階矩估計(jì)這些東西是跨 step 累積的中間量PyTorch 把它們存在優(yōu)化器的state字典里。這也是為什么你保存模型權(quán)重之后還要單獨(dú)保存優(yōu)化器狀態(tài)才能精確恢復(fù)訓(xùn)練現(xiàn)場。第三是更新規(guī)則。不同的優(yōu)化器本質(zhì)上就是梯度更新公式不同。SGD 直接用梯度乘學(xué)習(xí)率Adam 在梯度基礎(chǔ)上做了指數(shù)滑動平均和自適應(yīng)縮放。這部分就是各個(gè)優(yōu)化器源碼里step()方法的核心邏輯。理解這三樣?xùn)|西你再看優(yōu)化器源碼就不會覺得頭暈。我之前為了搞清楚 Adam 的state里到底存了什么直接打印過optimizer.state_dict()看到里面每個(gè)參數(shù)的exp_avg和exp_avg_sq就全明白了。2. 主流優(yōu)化器逐一拆解從 SGD 到 AdamW2.1 SGD最樸素的基線但永遠(yuǎn)不要小看它隨機(jī)梯度下降Stochastic Gradient DescentSGD是深度學(xué)習(xí)的基石。它的更新規(guī)則極其簡單參數(shù)減去學(xué)習(xí)率乘以梯度。用 PyTorch 實(shí)現(xiàn)就是一行optimizer torch.optim.SGD(model.parameters(), lr0.01)樸素 SGD 的優(yōu)點(diǎn)是內(nèi)存占用極低、計(jì)算開銷極小、每步更新只依賴當(dāng)前梯度。但它有一個(gè)致命弱點(diǎn)收斂慢而且容易在 loss 地形中“震蕩”。這個(gè)震蕩怎么理解想象你在山谷里往下走如果這個(gè)山谷的橫截面是個(gè)狹長的陡溝那么下山的最優(yōu)路徑應(yīng)該順著溝的長軸方向走。但樸素 SGD 只看當(dāng)前點(diǎn)的梯度方向這個(gè)方向在溝壁兩側(cè)來回?cái)[動導(dǎo)致你不斷橫跳前進(jìn)速度極慢。這就是病態(tài)曲率問題。所以實(shí)際工程里大家用的 SGD 幾乎都是帶動量Momentum的 SGD。動量項(xiàng)相當(dāng)于給更新過程加了“慣性”讓參數(shù)更新方向不只由當(dāng)前梯度決定還參考?xì)v史梯度的累計(jì)方向這樣在溝槽地形里就能有效抑制震蕩、加速收斂。optimizer torch.optim.SGD(model.parameters(), lr0.01, momentum0.9)momentum0.9是經(jīng)驗(yàn)上最常用的默認(rèn)值。它表示新的更新方向有 90% 的比例來自歷史動量、10% 來自當(dāng)前梯度。這個(gè)參數(shù)調(diào)得越高更新越平滑但可能反應(yīng)越遲鈍。PyTorch 里還支持nesterovTrue開啟 Nesterov 動量這是動量的改進(jìn)版在計(jì)算梯度時(shí)先“往前看一步”收斂速度通常更快一些。2.2 Adam自適應(yīng)學(xué)習(xí)率的集大成者如果說 SGD 是手動擋那 Adam 就是自動擋。Adam 全稱 Adaptive Moment Estimation它在 2014 年由 Kingma 和 Ba 提出可以說是深度學(xué)習(xí)訓(xùn)練里使用頻率最高的優(yōu)化器。Adam 核心的創(chuàng)新在于為每個(gè)參數(shù)單獨(dú)維護(hù)一個(gè)自適應(yīng)學(xué)習(xí)率。具體來說它維護(hù)了兩個(gè)量一階矩估計(jì)梯度的均值相當(dāng)于動量和二階矩估計(jì)梯度平方的均值反映了梯度的振幅。二階矩大的參數(shù)說明這個(gè)方向梯度波動劇烈更新步子就小一點(diǎn)二階矩小的參數(shù)更新步子可以大一點(diǎn)。PyTorch 里最常用的寫法是optimizer torch.optim.Adam(model.parameters(), lr1e-3, betas(0.9, 0.999), eps1e-8)這套默認(rèn)參數(shù)是原論文里給出的經(jīng)受住了大量實(shí)驗(yàn)驗(yàn)證。lr1e-3是我見過的絕大多數(shù)任務(wù)里 Adam 收斂效果不錯(cuò)的起點(diǎn)。betas是兩個(gè)滑動平均的衰減系數(shù)0.9對應(yīng)動量0.999對應(yīng)梯度平方的滑動平均。eps是一個(gè)極小的數(shù)用來防止分母除零。Adam 最大的優(yōu)點(diǎn)是不太需要精細(xì)調(diào)學(xué)習(xí)率。同樣是lr1e-3在 ResNet、Transformer、GAN 等不同架構(gòu)上通常都能得到一個(gè)還能接受的訓(xùn)練結(jié)果。這對初學(xué)者極其友好也解釋了為什么網(wǎng)上大量代碼里默認(rèn)就是Adam(lr1e-3)。但 Adam 也有自己的毛病。其中最常見的是“極端不收斂”或后期泛化能力差的問題。一些研究表明Adam 使用指數(shù)滑動平均來估計(jì)梯度統(tǒng)計(jì)量在訓(xùn)練后期這些估計(jì)值可能存在偏差導(dǎo)致模型的泛化性能不如精細(xì)調(diào)過的 SGD帶動量。這在圖像分類等任務(wù)上表現(xiàn)特別明顯SGD 最終的測試精度往往比 Adam 高一點(diǎn)。2.3 AdamW權(quán)重衰減的正確打開方式AdamW 是我這幾年來最常使用的優(yōu)化器尤其是做 Transformer、BERT 這類模型的時(shí)候。它的全稱是 Adam with Decoupled Weight Decay由 Ilya Loshchilov 和 Frank Hutter 在 2019 年提出。要理解 AdamW先要理解什么是權(quán)重衰減。L2 正則化是給損失函數(shù)加上所有權(quán)重的平方和讓權(quán)重不要長得太大。傳統(tǒng)的 Adam 在實(shí)現(xiàn) L2 正則化時(shí)是把權(quán)重衰減項(xiàng)直接加到梯度里然后再做自適應(yīng)學(xué)習(xí)率計(jì)算。但這樣有一個(gè)被證實(shí)的缺陷自適應(yīng)學(xué)習(xí)率會“扭曲”權(quán)重衰減的效果使得不同權(quán)重被衰減的程度不一致從而削弱正則化的效果。AdamW 的做法是把權(quán)重衰減從梯度計(jì)算中解耦出來。在 Adam 計(jì)算出更新量之后直接對參數(shù)做一次額外的小幅縮減這個(gè)縮減不受自適應(yīng)學(xué)習(xí)率影響。聽起來只是一個(gè)小改動但實(shí)際效果非常明顯。我在訓(xùn)練一些大規(guī)模模型時(shí)從 Adam 換成 AdamW驗(yàn)證集表現(xiàn)經(jīng)常有可見提升而且更容易訓(xùn)練出泛化性能更好的模型。用法同樣很簡單optimizer torch.optim.AdamW(model.parameters(), lr1e-3, weight_decay0.01)weight_decay0.01是我在 HuggingFace 生態(tài)里看到的最常見配置。如果是 fine-tune 預(yù)訓(xùn)練模型很多人也會用weight_decay0.05或0.1。這個(gè)值不是越大越好太大會讓模型欠擬合太小則起不到正則化作用。需要根據(jù)任務(wù)規(guī)模做實(shí)驗(yàn)。2.4 RMSprop、Adagrad、Adadelta各有各的看家本領(lǐng)除了 SGD 和 AdamPyTorch 還提供了好幾個(gè)優(yōu)化器雖然日常使用頻率不高但在特定場景里依然有一席之地。Adagrad 是最早的自適應(yīng)學(xué)習(xí)率方法之一。它的特點(diǎn)是對低頻出現(xiàn)的參數(shù)給予更大的更新步長很適合處理稀疏特征比如推薦系統(tǒng)里的用戶/物品 ID 嵌入。但它的缺點(diǎn)是累積梯度平方會越來越大導(dǎo)致學(xué)習(xí)率被壓得過小最終訓(xùn)練提前停滯。RMSprop 是 Hinton 在課程中提出的一種優(yōu)化方法它通過指數(shù)滑動平均來估計(jì)梯度平方解決了 Adagrad 學(xué)習(xí)率單調(diào)遞減的問題。在強(qiáng)化學(xué)習(xí)里RMSprop 曾經(jīng)是標(biāo)配優(yōu)化器之一。PyTorch 中的實(shí)現(xiàn)提供alpha參數(shù)控制滑動平均的衰減默認(rèn)0.99。Adadelta 可以看作是 RMSprop 的一個(gè)變體它不需要手動設(shè)置學(xué)習(xí)率更新量會自適應(yīng)地縮放。不過實(shí)際使用中它的通用性不如 Adam我很少在主流框架里看到它作為首選。這幾個(gè)優(yōu)化器的 PyTorch 用法都是同一套o(hù)ptimizer torch.optim.Adagrad(model.parameters(), lr0.01) optimizer torch.optim.RMSprop(model.parameters(), lr0.01, alpha0.99) optimizer torch.optim.Adadelta(model.parameters(), rho0.9)2.5 優(yōu)化器對比一張表看透區(qū)別我一直覺得選優(yōu)化器之前先看一張對比表比自己瞎試高效得多。這里把我常用的幾個(gè)優(yōu)化器的關(guān)鍵特性整理出來優(yōu)化器核心機(jī)制適用場景默認(rèn)學(xué)習(xí)率主要缺點(diǎn)SGD直接沿梯度方向更新CNN圖像分類、大規(guī)模數(shù)據(jù)0.01~0.1收斂慢、需精細(xì)調(diào)參SGDMomentum梯度歷史動量大部分CNN任務(wù)0.01~0.1仍依賴學(xué)習(xí)率調(diào)度Adam一階矩二階矩自適應(yīng)大多數(shù)場景通用3e-4~1e-3泛化性能有時(shí)不如SGDAdamWAdam解耦權(quán)重衰減Transformer、預(yù)訓(xùn)練模型1e-4~1e-3需要設(shè)置weight_decayRMSprop梯度平方滑動平均強(qiáng)化學(xué)習(xí)、RNN1e-3通用性不如AdamAdagrad梯度平方累積稀疏特征場景1e-2學(xué)習(xí)率衰減過快我的經(jīng)驗(yàn)是如果做圖像分類這種比較“正統(tǒng)”的監(jiān)督學(xué)習(xí)我會優(yōu)先考慮帶動量的 SGD配合余弦學(xué)習(xí)率衰減最終精度通常不錯(cuò)如果做 NLP、Transformer、GAN 這類對調(diào)參敏感的任務(wù)直接用 AdamW省心且效果好快速驗(yàn)證某個(gè)想法能不能跑通就上 Adam拿默認(rèn)參數(shù)先跑通再說。3. 優(yōu)化器參數(shù)精細(xì)解讀別再亂調(diào)了3.1 learning rate整個(gè)訓(xùn)練里最重要的超參數(shù)學(xué)習(xí)率是優(yōu)化器里最核心、也最需要謹(jǐn)慎調(diào)整的參數(shù)。它直接決定每一步更新跨多大步。學(xué)習(xí)率設(shè)得太大參數(shù)會在最優(yōu)解附近來回震蕩甚至發(fā)散設(shè)得太小訓(xùn)練過程極其緩慢且容易陷入局部最優(yōu)出不來。一個(gè)我常用的經(jīng)驗(yàn)判斷訓(xùn)練開始時(shí)如果 loss 在下降但非常慢可以試著增大學(xué)習(xí)率如果 loss 出現(xiàn)劇烈波動甚至變成 NaN立刻減小學(xué)習(xí)率。更系統(tǒng)的做法是用學(xué)習(xí)率預(yù)熱和掃描比如在訓(xùn)練最初幾十個(gè) step 里讓學(xué)習(xí)率從 0 線性增長到預(yù)設(shè)值觀察 loss 的下降曲線找到能穩(wěn)定訓(xùn)練的最大學(xué)習(xí)率。PyTorch 里設(shè)置學(xué)習(xí)率最常見的方式就是優(yōu)化器初始化時(shí)傳入optimizer torch.optim.SGD(model.parameters(), lr0.1)后續(xù)想動態(tài)調(diào)整學(xué)習(xí)率可以直接修改optimizer.param_groups[0][lr]不過更標(biāo)準(zhǔn)的方式是掛一個(gè)學(xué)習(xí)率調(diào)度器scheduler后面會詳細(xì)講。3.2 betasAdam 家族的“記憶長度”betas是 Adam 和 AdamW 里特有的參數(shù)是一個(gè)二元組。第一個(gè)值控制一階矩即動量的滑動平均衰減速度默認(rèn) 0.9意思是每步更新時(shí)歷史動量的占比是 90%。第二個(gè)值控制二階矩的滑動平均衰減速度默認(rèn) 0.999。你可以把 betas 理解為“記憶的窗口長度”。一階矩的窗口大約在1/(1-beta1)步即1/(1-0.9)10步二階矩的窗口大約是1/(1-0.999)1000步。這意味著 Adam 在估計(jì)梯度振幅時(shí)看的是過去大約 1000 步的梯度平方情況。什么情況下需要調(diào) betas常見的一種是訓(xùn)練 GAN 時(shí)有些人會把beta1調(diào)低到 0.5因?yàn)?GAN 的對抗訓(xùn)練需要更短的歷史記憶讓更新更激進(jìn)一些。而beta2很少需要動除非你發(fā)現(xiàn)訓(xùn)練后期數(shù)值不穩(wěn)定可以嘗試把beta2調(diào)低到 0.99 或 0.995讓二階矩估計(jì)對近期梯度變化更敏感。optimizer torch.optim.Adam(model.parameters(), lr1e-3, betas(0.5, 0.999))3.3 weight_decay正則化與過擬合的博弈weight_decay在 PyTorch 里幾乎是所有優(yōu)化器都有的參數(shù)。它的作用是在每次參數(shù)更新后對所有權(quán)重乘一個(gè)略微小于 1 的系數(shù)從而抑制權(quán)重過大。這個(gè)操作等價(jià)于在損失函數(shù)中加入 L2 正則項(xiàng)但實(shí)現(xiàn)方式更直接。在 SGD 中weight_decay 與 L2 正則化是等價(jià)的。但在 Adam 里正如前面講的直接把 weight_decay 加進(jìn)梯度會有問題所以 AdamW 才把它解耦出來。這也是我推薦大家用 AdamW 的原因之一。具體的 weight_decay 數(shù)值要看任務(wù)。常見范圍是0.0001到0.1之間。做圖像分類時(shí)1e-4是常見的起點(diǎn)做預(yù)訓(xùn)練語言模型微調(diào)時(shí)0.01甚至0.1都有使用。我在做 Transformer 模型時(shí)通常會從0.01起步如果驗(yàn)證集過擬合明顯就往上調(diào)。3.4 eps一個(gè)容易被忽略卻保命的參數(shù)eps的作用是在計(jì)算分母時(shí)加一個(gè)極小值避免除零或極端數(shù)值導(dǎo)致的 NaN。它看似無關(guān)緊要但我確實(shí)碰到過因?yàn)閑ps問題導(dǎo)致訓(xùn)練崩潰的情況。默認(rèn)eps1e-8對大部分模型都沒問題但在使用混合精度訓(xùn)練AMP時(shí)梯度幅值可能會被壓縮到很小1e-8這個(gè)量級的分母相對過高會影響自適應(yīng)學(xué)習(xí)率的精度。一些混合精度訓(xùn)練框架會把eps調(diào)整到1e-6或1e-7。如果你在 AMP 訓(xùn)練中碰到 loss 突然變成 NaN又排除了學(xué)習(xí)率太大的原因可以檢查一下eps是否合適。3.5 其他值得了解的參數(shù)amsgrad是 Adam 的一個(gè)小變體它保存了歷史上最大的二階矩估計(jì)從而避免學(xué)習(xí)率在某些情況下被人為增大。PyTorch 里通過amsgradTrue開啟。我在訓(xùn)練不穩(wěn)定的小批量任務(wù)時(shí)用過它有時(shí)能帶來穩(wěn)定性的提升但大多數(shù)情況下默認(rèn)關(guān)閉即可。foreach是 PyTorch 2.x 新引入的性能優(yōu)化參數(shù)。設(shè)置為True時(shí)優(yōu)化器會使用更高效的遍歷方式更新參數(shù)在參數(shù)數(shù)量多、GPU 支持的情況下可以顯著提升速度。PyTorch 新版本里往往已經(jīng)默認(rèn)開啟或自動選擇不需要特意管它。maximize參數(shù)用于做梯度上升而不是下降。某些對抗攻擊場景或者強(qiáng)化學(xué)習(xí)里需要最大化某個(gè)獎勵(lì)時(shí)可以把maximizeTrue這樣優(yōu)化器自動執(zhí)行梯度上升而不是下降。這個(gè)參數(shù)很多人不知道但用到的時(shí)候能省很多事。4. 優(yōu)化器論文里的干貨原理、缺陷與改進(jìn)動機(jī)4.1 必讀的幾篇原文從 SGD 到 AdamW優(yōu)化器的論文大多是 2010 年代中期的經(jīng)典之作篇幅不長、公式清晰花一個(gè)下午讀原文比看十篇博客都有用。SGD 加動量的思想可以追溯到 Polyak 在 1964 年的工作但深度學(xué)習(xí)語境下更常引用的是 Sutskever 等人在 2013 年的論文《On the importance of initialization and momentum in deep learning》。這篇論文詳細(xì)分析了動量項(xiàng)如何加速收斂以及 Nesterov 動量的優(yōu)勢。Adam 的原文是 Kingma 和 Ba 的《Adam: A Method for Stochastic Optimization》2015 年發(fā)表。這篇論文里不僅有算法偽代碼還解答了一個(gè)關(guān)鍵問題為什么需要對一階矩和二階矩做偏差校正。因?yàn)橹笖?shù)滑動平均在初始時(shí)刻會偏向零偏差校正讓前幾步的估計(jì)更準(zhǔn)確。PyTorch 的 Adam 實(shí)現(xiàn)里就包含了這個(gè)偏差校正邏輯。AdamW 對應(yīng)的論文是 Loshchilov 和 Hutter 的《Decoupled Weight Decay Regularization》。這篇論文理清了 L2 正則化與權(quán)重衰減在自適應(yīng)優(yōu)化器中的差別并通過大量實(shí)驗(yàn)證明解耦權(quán)重衰減能取得更好的泛化性能。如果你想知道為什么現(xiàn)在大家都在用 AdamW這篇論文是最好的答案。還有一篇值得讀的是《On the Convergence of Adam and Beyond》它就是amsgrad的來源。這篇論文指出了 Adam 在某些情況下可能不收斂的問題并提出了一種修正策略。雖然 Amsgrad 在實(shí)際使用中提升有限但論文里對 Adam 收斂性的分析很能幫助你理解 Adam 的工作原理。4.2 論文里怎么報(bào)優(yōu)化器參數(shù)復(fù)現(xiàn)實(shí)驗(yàn)必看我經(jīng)常需要復(fù)現(xiàn)別人論文里的實(shí)驗(yàn)最頭疼的事情之一就是論文里優(yōu)化器配置交代得不清不楚。有些論文只寫了“我們使用 Adam學(xué)習(xí)率 1e-3”完全沒有提及 batch size、weight decay、學(xué)習(xí)率調(diào)度策略。而實(shí)際上這些細(xì)節(jié)往往嚴(yán)重影響結(jié)果。那些做得好的論文一般會在實(shí)驗(yàn)設(shè)置部分明確寫出優(yōu)化器名稱、初始學(xué)習(xí)率、weight decay、總訓(xùn)練輪數(shù)和學(xué)習(xí)率衰減策略。比如經(jīng)典的 SwAV 自監(jiān)督學(xué)習(xí)論文里就會寫清楚使用了 LARS 優(yōu)化器、學(xué)習(xí)率怎么隨 batch size 線性縮放、cosine schedule 的細(xì)節(jié)。復(fù)現(xiàn)時(shí)要特別注意一個(gè)坑不同代碼庫對weight_decay的默認(rèn)值不同。PyTorch 里SGD默認(rèn)weight_decay0但有些論文的代碼實(shí)現(xiàn)里默認(rèn)weight_decay5e-4。如果你照著論文里寫的超參數(shù)復(fù)現(xiàn)卻沒有注意到代碼庫的默認(rèn)值差異訓(xùn)練結(jié)果可能天差地別。我一般復(fù)現(xiàn)時(shí)都會先打印一遍優(yōu)化器的param_groups把所有參數(shù)顯式寫出來避免默認(rèn)值陷阱。4.3 從論文年代看優(yōu)化器的發(fā)展脈絡(luò)把優(yōu)化器論文按時(shí)間線排一下能看出深度學(xué)習(xí)訓(xùn)練方法論的演進(jìn)。早期2012-2015是 SGD 和動量的天下。AlexNet、VGG、ResNet 這些經(jīng)典 CNN 模型的訓(xùn)練都是靠 SGD 加動量配合手動設(shè)計(jì)的學(xué)習(xí)率衰減策略。那個(gè)時(shí)代訓(xùn)練一個(gè)模型需要非常細(xì)致的調(diào)參經(jīng)驗(yàn)學(xué)習(xí)率什么時(shí)候衰減、衰減多少倍都靠人對 loss 曲線的觀察判斷。中期2015-2018是自適應(yīng)方法爆發(fā)。Adagrad、RMSprop、Adam 相繼出現(xiàn)尤其是 Adam 以“開箱即用”的特性迅速成為主流。但很快研究者發(fā)現(xiàn) Adam 在泛化性能上不如 SGD于是開始深入分析原因推動了 AdamW 的誕生。近五年2019 至今的趨勢是“大模型 AdamW 固定學(xué)習(xí)率調(diào)度”。BERT、GPT、ViT 這些大規(guī)模 Transformer 模型的訓(xùn)練幾乎都是由 AdamW 主導(dǎo)的。究其原因Transformer 結(jié)構(gòu)對學(xué)習(xí)率極其敏感自適應(yīng)優(yōu)化器能夠更好地處理不同層之間的梯度尺度差異而解耦權(quán)重衰減又提供了更好的正則化效果。加上 warmup cosine decay 的調(diào)度策略形成了一整套相對成熟的訓(xùn)練范式。5. 實(shí)操PyTorch 優(yōu)化器的完整使用姿勢5.1 基礎(chǔ)訓(xùn)練循環(huán)從定義到 step這里給一個(gè)標(biāo)準(zhǔn)的 PyTorch 訓(xùn)練循環(huán)模板涵蓋優(yōu)化器、損失函數(shù)、反向傳播和參數(shù)更新。import torch import torch.nn as nn model nn.Linear(10, 2) optimizer torch.optim.AdamW(model.parameters(), lr1e-3, weight_decay0.01) criterion nn.CrossEntropyLoss() for epoch in range(num_epochs): for batch_x, batch_y in dataloader: optimizer.zero_grad() output model(batch_x) loss criterion(output, batch_y) loss.backward() optimizer.step()有幾個(gè)細(xì)節(jié)值得強(qiáng)調(diào)。optimizer.zero_grad()必須放在每次backward()之前因?yàn)?PyTorch 默認(rèn)是累積梯度的。如果忘記清零上一個(gè) batch 的梯度會累加到當(dāng)前 batch導(dǎo)致參數(shù)更新方向完全錯(cuò)誤。很多人第一次寫訓(xùn)練循環(huán)就栽在這里。loss.backward()計(jì)算梯度optimizer.step()用梯度更新參數(shù)。這個(gè)順序千萬別反。有些新手會把optimizer.step()放在loss.backward()前梯度都還沒算出來就更新了參數(shù)自然一動不動。還有個(gè)習(xí)慣我要特別推薦在訓(xùn)練早期打印一次optimizer.state_dict()。這一下就能看到優(yōu)化器到底接收了哪些參數(shù)、每個(gè)參數(shù)組的學(xué)習(xí)率是多少、狀態(tài)是否為空。排查配置問題的時(shí)候非常高效。5.2 參數(shù)分組凍結(jié)與差異化學(xué)習(xí)率實(shí)際項(xiàng)目中很少會無腦優(yōu)化所有參數(shù)。最常見的情況是遷移學(xué)習(xí)用預(yù)訓(xùn)練模型做 backbone微調(diào)后面的分類頭。此時(shí)我們希望 backbone 參數(shù)變化幅度小分類頭參數(shù)從頭訓(xùn)起。PyTorch 的參數(shù)分組就是用param_groups實(shí)現(xiàn)差異化配置optimizer torch.optim.SGD([ {params: backbone.parameters(), lr: 1e-4}, {params: head.parameters(), lr: 1e-3}, ], lr1e-3, momentum0.9)注意這里的用法傳入的是一個(gè)字典列表每個(gè)字典表示一個(gè)參數(shù)組。默認(rèn)lr寫在第二個(gè)參數(shù)位置被第一個(gè)參數(shù)組里的lr: 1e-4覆蓋。也就是說backbone 參數(shù)實(shí)際學(xué)習(xí)率是 1e-4head 參數(shù)使用默認(rèn)的 1e-3其他未在字典里指定的參數(shù)組使用全局默認(rèn)值。另一個(gè)常見需求是凍結(jié)某些層的參數(shù)。最簡單的辦法是設(shè)置param.requires_grad False但注意如果這些參數(shù)已經(jīng)被傳入優(yōu)化器優(yōu)化器里仍然會維護(hù)它們只是梯度為零、不更新。更高效的做法是把凍結(jié)參數(shù)從優(yōu)化器中剔除只傳入需要訓(xùn)練的參數(shù)。trainable_params [p for p in model.parameters() if p.requires_grad] optimizer torch.optim.Adam(trainable_params, lr1e-3)這樣參數(shù)少了很多優(yōu)化器每次 step 的計(jì)算開銷也會降低。5.3 學(xué)習(xí)率調(diào)度別讓學(xué)習(xí)率一成不變固定學(xué)習(xí)率訓(xùn)練到底層模型通常不是最優(yōu)選擇。經(jīng)驗(yàn)上訓(xùn)練初期學(xué)習(xí)率要大一些快速下降后期學(xué)習(xí)率要小一些精細(xì)微調(diào)。PyTorch 的torch.optim.lr_scheduler提供了多種調(diào)度策略。最常用的是StepLR和CosineAnnealingLR。StepLR是每隔固定輪數(shù)把學(xué)習(xí)率乘一個(gè)衰減系數(shù)CosineAnnealingLR則讓學(xué)習(xí)率按照余弦曲線從初始值降到最小值。我現(xiàn)在做視覺模型偏愛 cosine因?yàn)樗南陆登€更平滑不需要手動設(shè)定衰減節(jié)點(diǎn)。scheduler torch.optim.lr_scheduler.CosineAnnealingLR( optimizer, T_maxnum_epochs, eta_min1e-6 ) for epoch in range(num_epochs): train_one_epoch() scheduler.step()還有一個(gè)極其重要的策略是 warmup尤其在訓(xùn)練 Transformer 類模型時(shí)幾乎是必需項(xiàng)。warmup 的思想是訓(xùn)練最開始讓學(xué)習(xí)率從極小值線性增長到預(yù)設(shè)值避免模型初始化不穩(wěn)定時(shí)直接用大學(xué)習(xí)率導(dǎo)致震蕩。PyTorch 里可以用LambdaLR手寫def warmup_lambda(step): if step warmup_steps: return step / warmup_steps return 1.0 scheduler torch.optim.lr_scheduler.LambdaLR(optimizer, lr_lambdawarmup_lambda)5.4 梯度裁剪、AMP 與優(yōu)化器的配合梯度裁剪是防止梯度爆炸的常用手段在 RNN、Transformer、GAN 訓(xùn)練里尤其重要。PyTorch 提供了torch.nn.utils.clip_grad_norm_和clip_grad_value_兩個(gè)函數(shù)。區(qū)別是前者把梯度的范數(shù)限制在給定閾值內(nèi)后者把每個(gè)梯度值裁剪到給定范圍。loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0) optimizer.step()順序有講究裁剪必須在backward()之后、optimizer.step()之前。因?yàn)檫@個(gè)操作修改的是參數(shù)梯度而 step 恰好要用到它?;旌暇扔?xùn)練AMP如今在大模型訓(xùn)練中幾乎是標(biāo)配。PyTorch 1.6 之后提供torch.cuda.amp接口。使用 AMP 時(shí)優(yōu)化器本身不需要大改但需要特別注意如果某些參數(shù)是float64或整數(shù)類型AMP 可能會報(bào)類型不匹配的錯(cuò)誤。通常浮點(diǎn)參數(shù)用float32就沒問題。scaler torch.cuda.amp.GradScaler() for batch_x, batch_y in dataloader: optimizer.zero_grad() with torch.cuda.amp.autocast(): output model(batch_x) loss criterion(output, batch_y) scaler.scale(loss).backward() scaler.unscale_(optimizer) torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0) scaler.step(optimizer) scaler.update()注意 AMP 訓(xùn)練時(shí) grad clip 存在一個(gè)順序問題scaler.unscale_(optimizer)之前梯度是被放大過的直接用 clip 會導(dǎo)致閾值失真。上面的寫法先 unscale 再 clip 才是正確的。5.5 狀態(tài)保存與恢復(fù)斷點(diǎn)續(xù)訓(xùn)的完整姿勢訓(xùn)練大模型耗時(shí)動輒幾十個(gè)小時(shí)一旦中途中斷就得從頭開始這是不能接受的。好在 PyTorch 提供了優(yōu)化器狀態(tài)保存機(jī)制。torch.save({ model_state_dict: model.state_dict(), optimizer_state_dict: optimizer.state_dict(), epoch: epoch, best_acc: best_acc, }, checkpoint.pt) # 恢復(fù) checkpoint torch.load(checkpoint.pt) model.load_state_dict(checkpoint[model_state_dict]) optimizer.load_state_dict(checkpoint[optimizer_state_dict]) epoch checkpoint[epoch]恢復(fù)優(yōu)化器狀態(tài)時(shí)有一點(diǎn)要特別注意必須在加載模型權(quán)重、并且在優(yōu)化器初始化之后才能調(diào)load_state_dict。而且如果模型結(jié)構(gòu)變了比如改了分類頭的維度優(yōu)化器里對應(yīng)的參數(shù)狀態(tài)會不匹配此時(shí)不能直接恢復(fù)。我一般會在結(jié)構(gòu)改動后重建優(yōu)化器不恢復(fù)優(yōu)化器狀態(tài)只是從斷點(diǎn)輪次重訓(xùn)。6. 常見問題與排查技巧實(shí)錄6.1 loss 不降反升到底是誰的鍋訓(xùn)練時(shí)最讓人崩潰的現(xiàn)象就是 loss 不但不降反而一路上漲。遇到這種情況我有一套固定的排查順序。先檢查學(xué)習(xí)率是不是太大。最簡單的驗(yàn)證方法把學(xué)習(xí)率直接減小 10 倍如果 loss 曲線變得穩(wěn)定下降那問題基本就是學(xué)習(xí)率過高。再檢查輸入數(shù)據(jù)有沒有歸一化。不少新手直接拿原始像素 0-255 的圖片喂給模型梯度幅值巨大優(yōu)化器再強(qiáng)也很難穩(wěn)住。這時(shí)候損失函數(shù)干瞪眼不一定是優(yōu)化器的錯(cuò)。最后檢查梯度是否出現(xiàn) NaN??梢栽趏ptimizer.step()前打印torch.isnan(model.weight.grad).any()。如果有 NaN說明反向傳播里出了問題跟優(yōu)化器關(guān)系不大了。6.2 模型不收斂試試這些調(diào)參順序我調(diào)優(yōu)化器參數(shù)有個(gè)固定的優(yōu)先級順序。第一優(yōu)先看學(xué)習(xí)率因?yàn)樗挠绊懽畲?。從論文或類似任?wù)的默認(rèn)值出發(fā)如果 loss 不降就降低學(xué)習(xí)率如果下降過慢就試著調(diào)高。第二是檢查 batch size 與學(xué)習(xí)率的匹配關(guān)系。batch size 翻倍學(xué)習(xí)率通常也該翻倍線性縮放原則。第三才是調(diào) weight_decay、momentum 這些細(xì)節(jié)。還有一個(gè)我特別推薦的做法先跑幾十個(gè) step畫 loss 曲線觀察它是下降、震蕩還是發(fā)散。很多問題在早期就暴露了。沒必要一開始就跑完整訓(xùn)練流程。調(diào)參有一個(gè)反向直覺如果模型一直不收斂有時(shí)候不是優(yōu)化器調(diào)得不夠好而是模型結(jié)構(gòu)或數(shù)據(jù)預(yù)處理有問題。優(yōu)化器只能讓模型在損失面上運(yùn)動如果損失面本身設(shè)計(jì)得不好再好的優(yōu)化器也白搭。6.3 優(yōu)化器相關(guān)報(bào)錯(cuò)速查表報(bào)錯(cuò)信息或現(xiàn)象常見原因解決方法ValueError: could not broadcast input array優(yōu)化器參數(shù)與模型參數(shù)維度不匹配檢查模型是否有參數(shù)被修改或新增重建優(yōu)化器RuntimeError: element 0 of tensors does not require grad傳入優(yōu)化器的參數(shù)沒有梯度設(shè)置requires_gradTrue或檢查模型是否在torch.no_grad內(nèi)Optimizer got an empty parameter list參數(shù)序列里沒有任何requires_gradTrue的參數(shù)檢查requires_grad設(shè)置或trainable_params篩選邏輯AMP 訓(xùn)練時(shí)GradScaler報(bào)錯(cuò)優(yōu)化器與梯度縮放器配合次序錯(cuò)誤按官方文檔順序scale(loss) - backward - unscale - stepload_state_dict時(shí) size mismatch模型結(jié)構(gòu)改動導(dǎo)致優(yōu)化器狀態(tài)無法對齊不恢復(fù)優(yōu)化器狀態(tài)重新創(chuàng)建優(yōu)化器訓(xùn)練中途 loss 變成 NaN學(xué)習(xí)率過大、eps 過小、梯度爆炸先降學(xué)習(xí)率再檢查梯度范數(shù)必要時(shí)開 grad clip6.4 我的一個(gè)排查實(shí)例AdamW 微調(diào)模型驗(yàn)證集掉點(diǎn)最后分享一個(gè)真實(shí)案例。我前段時(shí)間在拿一個(gè)預(yù)訓(xùn)練模型做下游任務(wù)微調(diào)一開始用 Adam、學(xué)習(xí)率 1e-4、無 weight decay驗(yàn)證集分?jǐn)?shù)一直上不去。后來我把優(yōu)化器換成 AdamW、weight_decay 設(shè)為 0.01、學(xué)習(xí)率調(diào)到 5e-5再配合 warmup驗(yàn)證集分?jǐn)?shù)明顯上升。整個(gè)過程優(yōu)化器參數(shù)只改了幾個(gè)數(shù)模型結(jié)構(gòu)完全沒動。這個(gè)例子很有代表性。它說明一個(gè)常被忽略的道理當(dāng)你覺得模型效果不好時(shí)不要只盯著網(wǎng)絡(luò)結(jié)構(gòu)改先回過頭檢查優(yōu)化器和學(xué)習(xí)率調(diào)度是否合理。很多時(shí)候優(yōu)化器配置的改變帶來的提升比換一個(gè)更大模型還要明顯。尤其是微調(diào)預(yù)訓(xùn)練模型學(xué)習(xí)率太大容易災(zāi)難性遺忘太小又學(xué)不到任務(wù)特有信息這個(gè)平衡點(diǎn)全靠優(yōu)化器配合調(diào)度策略來把握。在 PyTorch 里優(yōu)化器不是一個(gè)需要花很多時(shí)間去“學(xué)習(xí)”的模塊但絕對是一個(gè)值得花時(shí)間去“理解”的模塊。把torch.optim里每個(gè)常用優(yōu)化器的原理、參數(shù)、適用場景都摸清你在訓(xùn)練任何模型時(shí)都會更有底氣。剩下的就是不斷試錯(cuò)、積累自己的調(diào)參感覺這本身就是深度學(xué)習(xí)實(shí)踐里最有趣的修煉過程。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
91色综合色| 99re在线视频| 青青伊人久久| 中文字幕在线观看网址| 亚州一区二区| 中文字幕在线免费观看| 欧美日韩*字幕一区| 日本欧美一区二区三区免费| 丁香六月婷婷久久综合| 少妇三P| 欧美日韩人妻少妇 一区二区三区| 啊啊啊啊好疼视频| 人妻三级在线中文字幕| 国产强奸超碰AV| 久久综合九九| 天堂在线一区二区| 超碰色大香蕉| 婷婷丁香九月| 狠狠操狠狠| 国产亚卅97| 国产欧洲精品亚洲午夜拍精品| 激情婷婷丁香| 亚洲无码com| 激情视屏国产乱伦强奸| 另类av综合久久| 九九九九九精品| 亚洲日韩美女中文字幕乱| 91jk色拍| 亚洲se电影| AV中亚| 78m成人视线| 国产强奸乱伦无码视频| 五月婷婷丁香六月丁香| 操逼片中文| 一区二区三区四区色图| 91热色| 精品人妻一区二区三区四区石在线| 久久激情视频| 91国产大片| 美女91av| 日本熟女不卡视频| www.五月天| 大肉棒导航| 成人久久久| 97人妻免费中文字幕| 色色婷婷五月| 日本三级精品| 亚洲无码AV九九九| 69精品人人人人| 不卡视频一区蜜桃视频 | 少妇精品| 性爱乱伦一区| 久久偷偷色综合蜜桃| 五月天婷婷在线看| 欧美久久草熟女| 久草视频分类在线| 亚洲国产ⅴ高清在线观看| 六月丁香久久| 人妻精品一区一区三区蜜桃91| AV一起草在线| 加勒比日本在线| 韩国一级做a久久久久| 久久xx| 欧美人妻另类在线| 在线观看AV片| 人妻黑丝袜电影| 强奸抽插av| 精彩视频日韩| 国产偷人伦激情在线观看| 日韩av电影成人在线| 97在线免费看视频| 任你干在线视频| 蜜臀久久99精品久久久久久无删减| 久久久久骚| 亚洲精品人妻在线| 免费视频在线一区二区不卡| 天天干人人乐| 18啪啪手机免费性爱| 久久乐| 手机在线看片免费人成视频| 国产极品999| 夜夜精品视频一区二区| 黑人精品成人一区二区三区| 中文字幕国产精品1区| 热无码中文亚洲H一道本一区二区| 中文字幕乱偷人妻久久艾草网| 日韩欧美天天爽爽爽天天爽爽| 伊蕉97蜜桃97狠狠综合干| 亚洲综合网91| 色欧美天天| 综合亚洲欧美精品日韩?v| www.色婷婷色综合| 天天综合~91| 欧美特大黄一级片片免费| 精品一区96| 国产成人久久精品蜜臀| 嗯嗯啊啊操死我| 国产高清午夜成人在线观看| 国产精品久久久777| 亚洲春色欧美激情自拍| 国产精品网站www| 在线色导航| 精品夜夜澡人妻无码| 最近2019中文字幕国语免费版 | 99热色精品| 欧美强奸乱能| 乱伦Av网| 99操| 欧美不卡五十路| 91麻豆天美传媒HD| 欧洲欧美视频一区二区| 黄色AV影视| 黄页av| 男人的天堂免费| 午夜男女爽爽爽影院视频| 久久riav中文精品| 日韩欧美操逼xxx| 国产精品熟女九九九| 高清无码人妻久久久一区二区三区aⅴ| 久久精品99久久久久久| 白嫩妹子国产骚| 95人妻爽爽人人做人人澡 | 97美日韩视频| 97操b| 中文字幕精品三级久久久| 综合 欧美 亚洲 日本| 91九色精品熟女内射| 操逼网免费无码视频| 精品国产乱码久久久久久久久1| 天天日天天干少妇日| 宗合情欲网| 亚洲第一黄色av网站| 91综合天天看| 久久超碰、| 亚洲乱码尤物193YW| 屁股久久久久久| 国产美女激情| h无码动漫在线观看| 不卡在线观看视频| 丝袜色综合| 天美传媒国产原创中文字幕亚洲欧美另类| 男女激烈网站最新| 亚洲图片91| 极品粉嫩少妇视频| 超碰在线974| 亚洲AV无码成人精品久久| 香蕉精品二区二区| 国产日韩欧美| 亚洲精品久久久久久久久豆丁网| 国产久久av| 日日操夜夜操天天操免费观看麻豆| 青青草视频导航官网| 九九人人操| 无码一区免费在线不卡| 久久系列| 玖玖超碰熟| 久久久久久久九九九九九九| JIZZJIZZ国产精品喷水| 免费1级a做爰片观看| 天天天干977| 中文字幕啊啊啊在线观看视频| 精品国产乱码久久久久久蜜臀| 久操九九九九九九九九九九九九九九九九九九九九九九九九九九九九 | 亚洲精品一卡二卡三卡福利视频网站| 99热这里都是精品| 在线中文字幕极品av| 国产精品一区二区a| 伊人嫩草| 97精品视频免费| 色性综合| 九九碰九九爱97| 美中日韩无码| 97精品熟女少妇一区| 欧美激情激情xxxx欧美专区| 一区二区视频在看| AV中文字幕三四五| 九九超碰综合网| 日韩78m视频| 国产婷婷一区| 一区二区三区日韩欧美 | 精品国产99| 久久久久久性爱视频| 日本天天操| 99热精品在线| 九九热最新| 国产日韩区| 久久久久久久久久va| 尤物网站91| 青娱乐妇女性生活| 阿姨一区二区免费视频-高清正片西瓜视频下载app-T450AV | 91人妻人人澡人人爽人人精品| 狠狠做深爱婷婷久久二区| 91色图片| 99操| 人妻大相焦在线| 超碰1024久久| 久久国99999| 冬京热男人的天堂| 91人妻超碰| 992这里有精品| 日韩三级天堂在线观看| 成人免费不卡在线视频| 亚洲制服欧美另类内射| 久久五月视频| 婷婷中文字幕| 91丝袜在线观看视频在线观看| 人人考人人摸人人干| 欧美一级久久久久久久大片动画 | 天美精品一区二区三区四区在线观看| 牛牛久久国产精品视频一二三| 美女高潮视频91| 亚洲av总站| 欧美性色综合网| 国产精品对白内射| 日本精品国产视频| 蜜桃精品视频一区| 99热国产| 91国模| 天天色欧美| 伊人操| 亚洲丝袜综合| 被窝影院午夜看片无码| 日本免费中文字幕在线| 精品一区二区人妖| 欧美|91色综合| 色婷婷综合久久中文字幕雪峰| 日韩美脚一区二区网站| 天天干天天日天天射黄色| 日韩一级二级在线| 97伦乱| 中国和日本人色哪个不下载能放| 久久久夜夜夜| 久久精品国产亚洲妲己影视| 国产精品久久久久久无码红治院| 十八禁成人网站在线观看| 日韩中文字幕视频在线观看| 亚洲另类久操网| 97久久精品亚洲中六字幕| 天天澡天天爽日日av| 精国久久一区二区三区98| www.av不卡中文字幕| 欧美春色| 亚洲日本激情| 极品极品色影院| 亚洲欧美精品一区天堂久久 | 97色视频在线| 欧美精品成人在线播放| 国产女生在线| 闷骚老熟女15P| 欧美日韩97在线| 97中文热色| 国产美女在线精品免费看| 国产精品视频麻豆入口| 日韩免费性爱视频在线观看| 九九十八精品| 欧美第五页| 综合久久少妇中文字幕| 日本性爱不卡视频| 九九久久一区二区三区| 韩国毛片一区二区三区| 秋霞午夜成人福利片片| 欧美日韩国内不卡| 亚洲不卡不卡中文字幕不卡| 久久九操在线观看| 亚洲色图综合| 日韩一区二区三区四区五区| 超碰97资源中文字幕| 夜色97| 97精品网| 午夜精品探花| 丝袜综合| 不卡在线观看视频| 加勒比久久综合网高清| 男人的天堂在线2| 舔人妻中文免费视频| 插入逼91| 99色热| 婷婷伊人一区| 欧美九一精品久久久熟妇| 欧美97| 国产成人精品日本亚洲语言| 亚洲综合图文| 78精品| 国产AV无码AV| 欧美色日本| 午夜爽爽爽| 亚洲操逼视频网站| 亚洲熟妇综合久久久久久| 狠狠操使劲操| 国产农村妇女一区二区| 老熟妇一区二区三区| 日韩av在线精品观看| 97人人干| Julia Annxxxxx| 久久久久亚洲熟妇熟女| 亚洲欧美精品一区天堂久久| 欧美日韩不卡传媒| 综合 欧美 亚洲 日本| av大香蕉网站| 熟妇色99| 99色在线| 亚91网| 国产精品免费美女视频| 欧美韩国你懂得在线 | 蜜臀aV午夜一区二区三区| 少妇一级无码精品| 久久大香蕉手机高清视频| 97伦综合| 久操不卡视频| chaopen97久久| 思思热免费在线视频| 福利风月五月天影院| 丝袜AV一区二区三区| 男人的天堂一区三区| 久色99999| 性爱综合一区二区| 神马久久网| 大香蕉一级黄色片久久| 久久久久久中文字幕中文字幕最新| 欧美成人精品欧美一级乱黄一区二…| 亚洲国产激情国产av| 国产suv精品一区二六| 伊人久久大香大香线蕉中文| 欧亚韩国999| 婷婷AV一区二区三区| 屁股久久久久久久久| 熟女五十路一区二区三| 97干综合网| 亚洲 日本 国产 综合| 欧美精品 - 91爱爱| 一级性爱视频免费在线| 吉田爱美AV在线| 探花视频免费观看国产专区| 国产av青草| 97亚洲在线| 亚洲人妻一区二区三区| 在线日韩精品一区二区三区| 江都AV在线| 2017大香蕉| 美女露胸露屁股| 日韩三级伊人| 日韩欧美丝袜诱惑| 国产中文精品一区二区在线观看| 久久中文字幕人妻熟av女蜜柚| 国产99 中文字幕日韩小视频| 亚洲欧美97√| 亚洲欧洲美腿丝袜| 欧美高清18A片| 亚洲国产精品有声| 亚洲青青草| 午夜免费福利视频一区| 97手机日韩| 极品丝袜无码| 操迟操逼在巾线Fre看| 操淫穴亚洲五月丁香| 亚洲蜜桃V妇女| 人妻91少妇| 欧美|91色综合| 国产成人欧美精品在线| 狠狠夜色午夜久久综合在线| 中文字幕日韩人妻视频一区二区三区 | 色综和网| 韩国免费播放一级毛片| 香蕉综合网| 九色精品视频导航1| 久久最新视频免费观看| 国产一进一出视频网站| 韩国黄色片精品久久久| 91精品国产91熟女| 中文字幕88av在线| 狠狠色噜噜狠狠狠狠狠色综合久久| 欧美极品少妇| 久久精品人体| 95自拍视频在线观看| 人妻无码一区二区三区久久99| 99re国产中文字幕| 91久久久久久| 视频在线观看青青99国产| 操人妻少妇中文| 国产精品盗摄 偷窥盗摄| 91亚洲狠狠色| 天天干一干| 午夜福利国产欧美日韩夜夜| 伊人视频| 夜夜操天天肏| 玖玖婷婷五月天| 天美传媒在线一区| 免费黄色片子| 黄页视频网站野外| 97久久网| 97中文字幕一区| 欧美久久九九| 国产精品久久久久中文字幕| 国产精品视频内谢女人| 性性欧美| 99这里只有精品| 免费αⅴ在线观看| 网友自拍第一页| 久久超碰av在线| 婷婷色在线| 国产精品爽爽v| 日本男人天堂| 欧美第二页午夜| 成功精品影院| 欧美精品23| 欧美人妻一区二区| 白 大 人妻 区 在线| 国产版a级片直播在线| 91福利网在线观看| 另类欧美综合| 97se综合| 97这里都是精品| 青青草日韩无码| 亚洲最大的综合性av| 亚洲欧洲中文日韩女优乱码| 黄页av| 五月天加勒比啪| 蜜桃传媒一区二区亚洲| 女人双腿搬开让男人桶| 在线观看免费视频国产| 久久香蕉国产线看观看亚洲女人| 激情人妻另类| 国产精品网站免费| 亚洲精品天天影视综合网| 一本一道人妻久久一区二区三区| 91啪啪| 亚洲成av人片色午夜乱码| 精品无码欧美三级| 免费视频一二三区| 99re28在线观看| 欧美性综合| 久草精品国产蜜臀| 久久9精品视频| 亚洲欧美精品一区天堂久久 | 好属操| 欧美骚少妇| 97在线观看免费视频l| 欧美综合97www| 日韩欧美视频青青| 久碰视频| www.色五月| 曰韩无码777| 一,爱啪啪,在线免费视频| 自拍偷拍草一草| 一本色道综合久久欧美日韩精品| 一本大道青青| 超碰久超碰久| 久久久精精精| 97se亚洲综合自| 麻花豆传媒剧国产MV出差| 91天美免费| 日韩内| 国产农村妇女毛片精品久久| 麻豆成人AV| 美女久久久久久久久久久| 亚洲全色网| 国产一区二区三区高清视频| 国产传媒午夜理伦精品| 久久久久人妻二区精品叶可怜| 日熟女| 免费亚洲黄色视频在线观看| 91人妻尻屄视频| 岛国成人av在线播放网址| 国产精品一区二区黄片| 狠狠色色| 久久色激情一区二区三区| 国产白领连续中出在线观看| 久久久婷| 欧美综合色综合| 亚洲天天自拍| 国产精品免费久久久久久久久久| 91视频伊人| 国产黄片在线免费观看| 人人看人人摸人人色| 久99热| 国产精品久久9| 干B| 中文字幕第7页| 亚洲全色网| 久久欲| 亚洲精品aa久久伊人| 69精品人人人人| 熟妇高潮一区二区免费视频| 久操在97| 无马一区二区| 在线观看一级α片刺激高潮视频| 久操网线| 天天操狠狠日夜夜干超碰撸com视频在线观看 | GVH-003 母子姦 青木玲-麻豆视频,麻豆视传媒短视频网站入口,麻豆视传媒官网直 | 欧美激情片一区二区| 少妇人妻激情四射| 欧美 亚洲 第一页| 很黄很色的视频在线观看| 亚洲精品三| 九九热免费在线国产视频伊人五月| 中出789在线视频| 亚洲日韩97| 永久免费观看的毛片的网站| 无码逼| 日韩AV一区二区三区四四| 天天碰操中国年青熟妇| 可乐操亚洲蜜911| 百度百度日本操逼| 久久亚洲精品成人av| 殴美性色a级欧美| 久久少妇人妻| 碰碰97| 日韩三级av片| 国产精品一区二区亚洲人成毛片| 国产福利精品最新在线| 佐山爱中文字幕| 久久久天堂| .精品人妻一区二区三| 久久综合激情| 大香蕉欧美国产日韩高潮| 一本色道久久综合精品婷婷| 亚洲国产ⅴ高清在线观看| 99色综合| 久久久久人| 国产精品视频91久久| 青娱乐日韩无码| 欧美精品 - 91爱爱| 中国熟妇| 精品v日韩欧美国产| 美女露胸露奶头| 淫妻综合网| 一区二区三区色综合| 2024黄色视频| 99热国产| www.acm成人黄色毛片| 女欧美一区二三区| 欧美一级三级| 色网亚洲人| 日本免费专区| 青青久操| 亚洲AV麻豆Aⅴ无码电影一| 久操热线| 老色鬼成人精品视频下载大在线观看| 成人无码在线视频网站| 操人妻丝袜高跟| 欧美亚州综合网图片| 中文一区在线视频| 一区二区三区成人| 亚洲AV成人无码一二三久久| 五月婷婷丁香六月丁香| 欧美日韩丝袜 | www.婷婷五月天| 无卡一区=区| 精品国产一区二区三区四区在线看| 欧美三级不卡| 九九九九免费| 亚洲黑丝在线| 99re黄 | 成人激情无码在线视频| 欧美页片| 操操逼视频| 后入人妻一区| 久久产精品一区二区三区电影| 亚洲欧美精品91| 新怡红院| 欧美在线干| 精品高清牛人盗摄一区二区三区中文字幕A片免费在线观看 | 白 大 人妻 区 在线| 亚欧高清| 五月天久久婷婷亚洲 | 国产精品九九九| 95人妻爽爽人人做人人澡| 色欲天香天天综合网-成年人三级片网站-欧美乱妇狂野-日韩国产专区-久久久久久 | 欧美色图私拍91| 2018天天日天天日| 久久欧洲| 久久精品成人一区二区三区蜜臀| 亚洲熟女性高潮久久久| 亚州男人的天堂| 欧美不卡二区| 亚洲综合色在线| 欧美日韩国内不卡| 少妇大屁屁| 五月丁香久久| 91丨人妻丨国产丨丝袜| 人妻出轨一区二区三区| 一级AV性爱| 久久鲁夜| 狠狠色噜噜狠狠狠狠狠色综合久久| 欧洲精品一二三在线| 啪一啪免费视频| 在线 欧美 亚洲| 综合啪啪| 中文字幕一区二区三区50路| 国产精品情侣啪啪| A一区片| 久久精品夜色国产亚洲AV| 久久一区二区高清免费| 超碰97综合网| 蜜乳中文字幕a在线| 密臀AV在线| 婷婷丁香五月天综合东京热| 99少妇| 亚洲中文制服诱惑| A级毛片在线看免费| 色爽——AV| 婷婷六月色开| 91黑人狂躁丰满熟妇| 91色综合激情| 日韩不卡在线一区二区| 一区二区三区一亚洲中文字幕、综合区灬 | 久久国产视频专区一二三| 中文字幕一区二区三区字幕| WWW美腿丝袜香蕉中文| 五月婷丁香| 明星性猛交ⅹxxx乱大交| 亚洲欧洲色情高清| 欧美日综合| 午夜性生活av免费在线看| 国产女生在线| 亚洲色图欧美| 亚州高清色综合| 99热精品在线| 欧美Aⅴ| 丝袜加勒比| 宅男午夜在线视频| 欧美劲爆视频一区二区| 97精品久久| 91无摭挡| 国产精品久久9| 免费看A片毛毛片在线播| 老熟女91视频| 欧美色图91p| 综合网欧美在线| 大黄片做爱的大的| 夜夜爽夜夜爽| 9997se| 国产自产91区13区| 人人插人人搞人人操| 色欲天天婬色婬香WWW夜色| 四虎精品一区| 国产嫩草精品A88AV在线| 日本韩欧美在线播放a| 欧美操人视频| 992大香蕉| 60秒免费小视频| 好吊色在线观看| 久久‘黄片视频| 蜜乳中文字幕a在线| 久99在线免费观看视频| 亚洲揄拍网| 一品道视频一区二区三区| 浪人综合网| 亚洲精品一二牛牛| 亚洲丝袜少妇在线| 91超碰在线播放| 一区二区三区在线美女| 久久人妻熟女一区二区| 欧美青青草视频| 色诱中文字幕| 韩日精品四区| 欧美 亚洲 偷拍自拍| 强奸国产精品视频| 老司机福利青青草| 香蕉精品二区二区| 久久久久久久久国产| 国产精品午夜成人福利| 国产欧美精品日韩区二区麻豆天美| 人人做人人妻人人夜视频| 日韩激情毛片一级久久久| 中文字幕乱亚洲美女精品一区| 蜜桃臀一区二区三区久久| 亚洲熟女乱熟乱熟妇综合网二区| 97中文超碰| 九九碰九九爱97超碰| www黄片免费看com| 欧美黄色大片在线观看 | 99精品久久久久久久婷婷蜜桃| 久久国产性爱| 韩三级a视频在线观看| 水多多映视AV| 国产乱子伦久久精品综合一区二区三| 中文字幕熟女人妻丝袜丝| 丝袜美腿射精91| 大香蕉综合久久| 女一区二区| 久久色激情一区二区三区| av天堂影视中文在字幕在线中文| 制服乱伦| 九九无码视频| 人妻天堂网| 日韩97超碰| 久久激情视频| 天天日天天干天天摸天天操| 欧美色图自拍| 亚洲脚交| 97超碰影音| 精品白丝一区| 91在线一起| 久艹99| 九99久久| 性生活性生大爱77AV国产| 性高潮久久久| 一本大道青青| 青草精品视频一日本久久久久网站| 舔人妻中文免费视频| 女人18精品一区二区三区| 密臀成人视频久久久| 99热这里只有精品1| 丝袜视频网国产90| 欧美性高潮| 人妻精品一区二区| 97欧美综合| 免费一二区| 人人么人人操| 99久久精品无码一区二区毛片免费| 一级做a爰片性色毛片久久| 午夜a成v人电影| 亚洲第一免费视频| 亚洲图片欧洲图片aⅴ| 少妇干B| 日欧操屄视频| 欧美操逼一二三区| 国产视频三区四区| 国产极品久久久| 中文字幕狠狠玩| 大香蕉黄色一区| 熟女精品一区二区三区| 国产蜜臀精品一区免费尤物| 色第一页| av久日| 欧美色图片色哟哟| 狠狠爱大香蕉| 伊人五月天婷婷| 亚洲av影音先锋| 天天爽人人综合免费7799| 920日本午夜免费| 欧美香蕉视xxx| 内射卯月麻衣| 久久精品超碰| 中文字幕第9页萱萱影音先锋 | 色妇91| 久久蜜桃一区二区| 午夜性生活av免费在线看| 夜夜操青青草| 亚洲啪啪性视频| 18一区二区三区| 老女人碰碰在线碰碰视频| 2019男人的天堂| 激情小说在线视频| 国产免费操逼| 99热这里| 玖玖爱一区在线| 欧美韩日精品99综合| 精品无码秘 人妻一区二区| 欧美日韩日产免费网站看| 日本日皮视频逼| 久悠悠av| 中字一区| av网站在线看| 欧美劲爆视频一区二区| 久久性爱视频99| 中文字幕免费看大片| 日韩pv中文| 亚州色阁| 97精品免费视频网站| 操逼片国产| 青草视频在线看看看看看看看看看| 美女大乳久久久久久久女人18| 超碰偷拍| 翔田千里爆乳巨臀无码| 99性视频| 亚洲涩涩| 91精品91久久久久77777俄罗斯老妇姓x| 成人一级性爱| 免费观看有码高清视频| 亚洲日韩欧美一区二区| 香蕉视频欧美一卡二卡| 亚洲精品第一| 黄色小说亚洲| 超碰97男女| 福利伊人玖玖国产| 熟女在线视频| 精品久久97| 亚洲第一狼人丝袜美女另类| 欧美三级不卡| 日本一卡二区在线| 亚洲 欧美 偷拍 唯美| 欧美|91色综合| 国产精品粉嫩福利在线| 麻豆综合一区av| 中出91| 国产AB视频| 午夜操逼不卡| 成 人 影视 一区 二区 三区 四区 | 欧美春色| 最新中文字幕在线亚洲| 熟女中出视频| 国产精品96| 五月婷婷基地| 久久久久久裸体| 精品中文字幕第一页| 亚洲欧美九九| 亚洲天堂男| 欧美极度丰满熟妇hd| 成人精品一区二区三区| 天天上日日上日韩精品| 一二三区在线| julia国产在线| 插日本熟女视频| 婷婷五月天无码 | 欧美日韩资源| 久久久com| 大香交| 国产免费操逼| 性爱AV天堂| 亚洲春色欧美激情自拍| 岛国小电影| 男人的午夜天堂| 99色色网| 欧美另类丝袜熟女| 精品超碰国产| 曰本特级特黄特色黄色A级网站高清在线免费看 | 伊人专区一区二区三区| 性色avv| 中文字幕一二三| 婷婷尹人大香蕉免费| 精品女同一区二区三区| 人人看人人摸人人色| 久久 久久国内精品亚洲| 亚洲色图欧美色图制服诱惑| 久久精品中文字幕观看| 欧美天堂超碰97| 蜜乳av一区二区| 精品亚洲俞拍视频一区| 99久久精品欧美国产| 欧色综合| 翔田千里无码中出中文字幕| 欧美色997| 成人性爱AV在线免费观看| 亚州再线| 91影库| 97bbn| 91人妻素女| 91国产丝袜美女| 亚洲制服欧美另类内射| 插B在线观看| 无套内射性感少妇视频| 老熟乱一区二区三区四区| 久久99网站| 九九久久玖玖| 岛国小电影| 51久久夜色精品国产麻豆| 天天天天天天天天综合| 懂色天天爱天天日天天射天天澡| 国产第11页| 欧日a| 狠狠入| 爆乳免费黄网站| 免费A片三p视频| 欧美72网页| 亚洲第一黄色av网站| 色777999综合| Julia在线播放亚洲久久| 屁股久久久久久久| 75大香蕉| 国岛片视频| 96超碰网| 97视频在线观看播放与子乱对白在线……| 亚洲精品一区二区日本| 日韩人成网站在线播放| 骚日日av| 欧美毛片在线网| 黄色免费网| 日本孕妇孕交| 亚洲激情在线| 性色AV蜜色av色欲av| 日日夜夜草草草| 色综合久| 91美女在线观看| 丝袜视频一区二区在线播放国产中文| 免费啪啪一级视频| 美女啊啊啊啊啊啊| 麻豆天美传媒在线视频天堂| 亚洲最新中文字幕免费| 久久久女人| 高清不卡国产| AV污污污污| 鸥美中出| 日本不卡二三区| 一级免费啪啪片| 成人毛片免费| 97国产伦理| 蜜桃色色网站视频三区| 大学生口爆吞精| 久久久亚洲精品中文字幕人妻| 欧美最婬乱婬爆婬性视频 | 天天懆天天日| 人妻丰满熟妇av无码区蜜桃| 啪啪91| 秋霞影音一区二区三区| 天天做天天爱| 人妻黑丝袜电影| 67914亚洲精品| 在线a v| 国产精品播放| 欧美日韩另类字幕中文| 天堂蜜桃无码视频一区二区| 欧美激情另类一区二区| 99久久无色码| 欧美亚洲| 岛国爱情动作片在国产AV无码专区亚洲AV漫画| 青青三级视频| 丰满人妻一区二区三区在线| 性爱乱伦网址| 狠狠操,使劲操| 97在线免费公开视频| 亚州乱码中文字幕综合久久久| 国内精品久久久久影院亚洲| 日本羞羞的视频在线播放| 日日骚av| 夜精品久无码| 97免费在线视频在线观看| 亚洲一卡2卡3卡4卡乱码网站 | 亚洲天天综合| 舔人妻中文免费视频| 啊啊好多水| 综合色图区| 自慰白浆在线观看| 亚洲无码国产精品久久| 欧美第二页| 51一区二区三区| 97超碰久久色| 国产精品肉丝自拍| 六月婷婷色综合| 综合免费无码中文| 成人免费视瓶| 超碰色老头| 久久久久久中文| 都市激情人妻一区二区青青操视频 | 天天日少妇逼AV| 免费操逼视频下载| 少妇一区二区三区高速| 国产女大学生AV| 天堂性色| 抽插一区二区视频| 毛片麻豆91糖心精品毛情片| 天天看人人操屄犊摸阴| 国内精品999| 青青在线视频日韩欧美| 又黄又硬又粗又长国产视频| 色阁阁AV综合网| 久久中出在线| 99热免费| 久久黄黄| 五月天婷婷基地| 日本午夜久久电影| 高跟丝袜AV专区国产| 国产日韩精品人妻久久久久色欲网站| 久久精品国产亚洲5555| 男人天堂2030| 99re黄 | 人妻少妇蜜桃视频欧美一区| 色啪网| 国产亚洲综合欧美一区| 欧美性爱十八禁| 日韩丰满熟妇| 久久久久亚洲?V片无码V| 囯戸精品高潮呻吟旡码| 美日韩男女操屄视频| 国产一级舔足在线观看| 加勒比综合| 久久精品国产亚洲AV先锋| 啊啊啊啊好爽好舒服一区二区易域| 就去色综合| 亚洲欧美97√| 九九九九九九九九九国产精品 | 中文字幕性感少妇av| 99久久精品国产高潮| 亚洲人妻爽爽爽| 日日摸日日弄日日拍| 伊人性在线视频| 五月天久久人妻| 青青草公开在线免费不卡视频| 欧美黑人与女人91| 凌辱美少妇久久aV| 国产久久久久久| 欧美在线91| 国产在线综合福利网站| 一级性爱视频免费观看| 日韩操p| 日韩人妻制服丝袜av| 啪啪资源网| 最新日韩黄片| 在线日韩视频| 超碰超碰欧美| 日日天天久久啊啊aaa| 亚洲色9| 九区国产| 久久9精品网站| 风间由美日韩欧美久久| 综合久久2017| 国产精品懂色tv影视免费观看 | 97亚洲欧美| 人人性爱视频免费| 国产日韩精品无码去免费专区国产| 综合久久久久久久综合网| 久久精品国产亚洲AV片多多| 国产做?爰片久久毛片?片美国| 操操碰| 91人妻超碰| 国产天天看| 97欧美色综合| 后入 亚洲 美女 射| 成人无码专区精品视频| 亚洲性猛交| 四虎884| 欧美爱爱97| se01国产在线视频| 国产尹人在线视频免费| 国产剧情一区在线观看| 亚州色图狠狠干| 97久久国产亚洲精品超碰热| 欧美欧美少妇| 国产极品粉嫩馒头一线天av| 国产精品女久久久久av爽| 欧美日韩91| 久久一留热品黄| 91亚洲丝袜| 搡老女人老91二区| 中文字幕乱码人妻二区三区| 深夜激情无码| 91色女| 久久6热精品99视频| 天美麻豆一区二区三区| 欧美一级AAAAAAA| 国产懂色精品国产av| 欧美日韩高潮喷水91| 91处女视频在线观看| 视频在线97| yw尤物av无码点击进入麻豆| 激情综合二| 欧美色偷拍 | 大香蕉狠狠爱| 国产精品久久久久久久AV大片 | 日韩午夜啪啪视频| 欧美欲色| 青青草一本道福利视频| 日本羞羞的视频在线播放 | 日韩钢筋无码高清啾啾啾| 91精品国产91久久久久久久久久久久| 日韩熟女三十乱伦| 18禁超污无遮挡无码免费网| 五月天春色激情网| 亚洲欧美91√| 国产精品黑人一区二区三区| 手机看av网站在线看| 一区麻豆 高清中文字幕| 超碰97人人乐| 成人26uuu| 在线只有精品| 91欧美丨精品丨入口| 欧美高清色| 欧美日韩性爱无码| 欧亚乱色熟一区二区三四区| 91AV国产精品| 26uuu欧美日韩| 啊啊啊啊嗯嗯嗯用力好爽 | 久久久久久久国产| 日韩情色一区二区| 亚洲αv一区二区三区| 91女神在线视频| 黑人性欧美| 黑丝自慰喷水网站| 青苹果影院男人的天堂| 久久精品超碰| 日本性爱少妇| 97久久久精品| 婷婷五月天激情四射| 俺去俺来也在线www| 欧美日本天堂| 天美精品原创av片国产| 亚洲乱熟女一区二区三区大香蕉| 欧美中字二区| 免费观看日本操逼视频| 97福利视频| 欧美日日人人天天| 亚洲人妻在线一区| 啊嗯好大视频在线观看| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区 | 啊啊啊用力在线观看| 欧美操逼录像国产黄色国产| 亚洲精品啪视频| 伊人操操| 女人与公拘交酡2020视频| 免费看毛片操穴| 青女偷拍网| 天天操天天舔| 日韩亚洲97| 亚洲第一精品在线视频| 蜜桃视频一区二区三区在线观看| 国产精品久久久久久久久久久久| 亚洲夜夜欢无码一区二区| 久久久久人| 蜜乳AV一区| 欧美国产成人在线| 一本色道久久天天射天天干| 澳门成人网站久国产日韩| 色欧美亚洲| 久久久一区二区三区四曲免费听| 淫纸中9区| 无码少妇精品一区二区60岁老人| 欧美一区二区三区成人性生活| 中国一级操逼视频| 九九九久久久久| 久久久精品中文字幕爱豆| 久久9亚洲| 欧美成人免费在线观看| 热久久精品| 曰韩人妻中文字幕在线| 啊啊啊啊啊啊啊国| av激情亚洲五月天| 在现视频女上位好爽| 五十路熟女人妻一区二区三区四区五| 亚洲高潮少妇| se..亚洲欧美| 天天操av懂色| V A在线| 亚洲另类色图片| 操逼无码操逼| 91天堂视频| 极品综合| 91天天爱| 亚洲最新中文字幕免费| 国产诱惑| 日本在线激情一区二区三区| 超碰 欧美| 97久久视频| 亚洲影视综合| 欧美日韩国产中文精品字幕自在自线,| 色综合一区二区三区| 久九干| 亚洲无码成人精品| 97国产色图 | 婷婷五月天丁香| 啊v在线观看视频| 久久国产99精品72福利 | 狠狠干狠狠色| 99无码| 久久综合精品一区二区三区| 热久久国产| 欧美在线综合| 免费精品无码一级毛片牛牛影视 | 波多野结衣被操50分钟免费视频| 人妻内射一区二区在线视频| 熟女字幕| 色综合大香蕉| 91老司机在线视频免费观看| 先锋影音av先锋一区| 激情四射五月天| 免费看毛片操穴| 裸体1区| 久久男女激情视频网站 | 第45页一区二区| 欧美日韩色综合网|