日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

強(qiáng)化學(xué)習(xí)求解車輛路徑問題:Attention Model與策略梯度實(shí)戰(zhàn)

強(qiáng)化學(xué)習(xí)求解車輛路徑問題:Attention Model與策略梯度實(shí)戰(zhàn) 簡介求解車輛路徑問題的強(qiáng)化學(xué)習(xí)含代碼是一份面向畢業(yè)論文、大作業(yè)與強(qiáng)化學(xué)習(xí)初學(xué)者的完整資源包聚焦經(jīng)典組合優(yōu)化問題即車輛路徑問題的端到端求解。配套論文提出基于策略梯度的強(qiáng)化學(xué)習(xí)框架通過訓(xùn)練單一隨機(jī)策略模型為給定分布中的實(shí)例生成近似最優(yōu)解無需針對每個新實(shí)例重新訓(xùn)練并兼顧容量約束與分批交付等常見變體。代碼采用PyTorch實(shí)現(xiàn)壓縮包共26個文件包含論文PDF、模型定義與訓(xùn)練器源碼、預(yù)訓(xùn)練權(quán)重、結(jié)果可視化圖片及說明文檔整體大小約5.89MB目錄按任務(wù)配置、文檔等模塊組織便于快速定位和二次開發(fā)框架還討論了向隨機(jī)車輛路徑問題等變體拓展的可能為進(jìn)階研究留出空間。已有149人學(xué)習(xí)/下載適合在典型數(shù)據(jù)集上復(fù)現(xiàn)論文實(shí)驗(yàn)也可作為課程設(shè)計(jì)或畢業(yè)設(shè)計(jì)的算法基線。 直接回到幾年前我第一次把強(qiáng)化學(xué)習(xí)用在車輛路徑問題Vehicle Routing Problem, VRP上的那個下午。當(dāng)時我手里的方案是用遺傳算法跑一組靜態(tài)訂單每次重新求解都要花掉幾十秒業(yè)務(wù)方皺著眉頭說“太慢了能不能快一點(diǎn)”但又說不出到底要快到什么程度。那段時間我正好在看神經(jīng)組合優(yōu)化的論文腦子里冒出一個念頭能不能讓模型自己“學(xué)”出怎么規(guī)劃路徑推理的時候壓根不做搜索直接一步步給出決策順著這個思路折騰了兩周我把一個基于注意力機(jī)制的強(qiáng)化學(xué)習(xí)模型跑通了 CVRP帶容量約束的車輛路徑問題單條實(shí)例的求解時間從“秒級”直接降到了“毫秒級”。這篇文章就是把當(dāng)時從建模到訓(xùn)練再到踩坑的整個過程整理出來連代碼也一并附上。想說明的是這種方式不是來替代精確算法或者成熟求解器的而是給“在線決策、快速響應(yīng)”的場景多一種選擇如果你手里有大量結(jié)構(gòu)相似的問題要反復(fù)求解如果求解速度比精確解重要那么強(qiáng)化學(xué)習(xí)這條路值得花時間試試。1. 傳統(tǒng)算法死磕時間強(qiáng)化學(xué)習(xí)換個活法在展開技術(shù)細(xì)節(jié)之前得先花點(diǎn)篇幅說說我為什么從傳統(tǒng)啟發(fā)式算法轉(zhuǎn)向強(qiáng)化學(xué)習(xí)。理解這個轉(zhuǎn)變的邏輯后續(xù)看到代碼時才會明白每一步的“形狀”為什么是那樣。1.1 精確求解與啟發(fā)式求解的成本瓶頸VRP 是運(yùn)籌學(xué)里出了名的 NP-Hard 問題這意味著當(dāng)客戶點(diǎn)數(shù)量一多想找到一個數(shù)學(xué)上證明最優(yōu)的解計(jì)算量是指數(shù)級暴增的。行業(yè)里常規(guī)做法有兩大類一類是分支定界、分支切割這類精確算法小規(guī)模問題上能拿到最優(yōu)解但一旦客戶點(diǎn)超過幾十個求解時間就不可控了另一類是遺傳算法、模擬退火、LKH3 這類啟發(fā)式或元啟發(fā)式算法它們能在較短時間內(nèi)給出“夠用”的解質(zhì)量通常很接近最優(yōu)但單次求解時間依然停留在“秒”這個數(shù)量級。我的實(shí)際項(xiàng)目場景里有一個痛點(diǎn)訂單數(shù)據(jù)是實(shí)時流式進(jìn)來的也就是說配送中心每隔幾分鐘可能就要拿到一批新的訂單組合要求配送方案在極短時間內(nèi)出爐。用傳統(tǒng)啟發(fā)式算法的話每次來新數(shù)據(jù)就要重新跑一遍完整的搜索過程多少有點(diǎn)浪費(fèi)。我們需要的是“瞬時反應(yīng)”而不是每次從零開始推理。1.2 機(jī)器學(xué)習(xí)模型的“訓(xùn)練-推理”二次分離為什么適合這個場景強(qiáng)化學(xué)習(xí)求解組合優(yōu)化問題本質(zhì)上是把“求解”變成“策略決策”用一個神經(jīng)網(wǎng)絡(luò)模型學(xué)會一步一步地把客戶點(diǎn)加入到配送路線里。訓(xùn)練過程中模型會接觸到大量不同分布的問題實(shí)例它會慢慢總結(jié)出不同實(shí)例下“最優(yōu)路徑”的共性模式。訓(xùn)練完成之后模型面對新的實(shí)例不再進(jìn)行任何搜索而是依靠學(xué)到的參數(shù)直接推斷下一步該去哪里。這種模式的爽點(diǎn)在于把“反復(fù)求解”變成了“一次性訓(xùn)練、無限次推理”。訓(xùn)練的成本再高攤到成千上萬次的后續(xù)求解里攤薄到幾乎可以忽略不計(jì)。我在自己的場景里實(shí)測推理階段單個實(shí)例的耗時大約穩(wěn)定在幾十毫秒PyTorch CPU 推理比傳統(tǒng)啟發(fā)式算法快了一個數(shù)量級以上。當(dāng)然代價也存在模型給出的解通常不是全局最優(yōu)收益是速度代價是極小的精度損失。這個權(quán)衡在當(dāng)前業(yè)務(wù)場景里完全可以接受。2. 從數(shù)學(xué)建模開始CVRP 的抽象與數(shù)據(jù)表示要把問題交給神經(jīng)網(wǎng)絡(luò)和強(qiáng)化學(xué)習(xí)第一件事就是把經(jīng)典的 VRP 抽象成一種適合作為模型輸入、也適合作為決策過程輸出的數(shù)學(xué)形式。這里我以 CVRPCapacitated VRP帶容量約束的車輛路徑問題作為靶子來拆解。之所以選 CVRP是因?yàn)樗?VRP 家族里最基礎(chǔ)和最常見的變體理解清楚它的建模和求解后續(xù)擴(kuò)展到帶時間窗VRPTW、多 depot 等問題在框架層面都是相似的。2.1 CVRP 的要素定義與約束表達(dá)CVRP 的標(biāo)準(zhǔn)定義是這樣的有一個配送中心depot通常記作節(jié)點(diǎn) 0若干需要服務(wù)的客戶點(diǎn)節(jié)點(diǎn) 12...n每個客戶點(diǎn)有一個非負(fù)的需求量 q_i。我們有若干輛載重上限為 C 的車輛車輛從配送中心出發(fā)服務(wù)完若干客戶后返回配送中心。目標(biāo)是找到一個方案使得所有客戶都被訪問且只被訪問一次每輛車的總配送需求不超過 C并且總行駛距離最小。我把這些要素用 Python 的數(shù)據(jù)結(jié)構(gòu)表達(dá)出來。在數(shù)據(jù)生成的階段通常默認(rèn) depo 坐標(biāo)是 (0, 0) 或者某一固定點(diǎn)客戶點(diǎn)坐標(biāo)在單位正方形內(nèi)隨機(jī)采樣需求量在一個合理區(qū)間內(nèi)隨機(jī)生成。下面是我慣用的數(shù)據(jù)生成器代碼import torch class CVRPInstance: CVRP 單條實(shí)例的生成與存儲 def __init__(self, num_customers: int, demand_low: int 1, demand_high: int 9): self.num_customers num_customers # depot 坐標(biāo)固定為 (0, 0) depot_coords torch.tensor([[0.0, 0.0]]) # 客戶點(diǎn)坐標(biāo)在 [-1, 1] x [-1, 1] 內(nèi)采樣 customer_coords torch.rand(num_customers, 2) * 2 - 1 self.coords torch.cat([depot_coords, customer_coords], dim0) # 需求量整數(shù)depot 節(jié)點(diǎn)的需求為 0 demands torch.randint(demand_low, demand_high, (num_customers,)).float() self.demands torch.cat([torch.tensor([0.0]), demands], dim0) self.capacity 1.0 # 歸一化容量 property def node_count(self): return self.num_customers 1這段代碼里有幾個點(diǎn)值得說明。把坐標(biāo)范圍放到 [-1, 1] 而不是 [0, 1]是我在實(shí)際訓(xùn)練中對比出來的經(jīng)驗(yàn)它能讓模型初始化的坐標(biāo)嵌入分布更居中收斂速度更穩(wěn)定某些論文中也有類似的歸一化處理。需求量的設(shè)計(jì)上我把單客戶需求控制在容量的 1/9 到 1/1 之間這樣既不會讓所有客戶都能塞進(jìn)同一輛車也不會讓每個客戶都獨(dú)立占一輛車保證問題難度適中。2.2 將路徑構(gòu)建轉(zhuǎn)化為“序列決策過程”神經(jīng)網(wǎng)絡(luò)不擅長直接輸出一個排列組合但非常擅長“在每一步做選擇”。所以我把 CVRP 的求解過程重新描述成這樣一個序列決策問題模型每一步觀察當(dāng)前的狀態(tài)所有節(jié)點(diǎn)的坐標(biāo)、所有節(jié)點(diǎn)的需求量、當(dāng)前車輛剩余容量、當(dāng)前車輛的位置、哪些節(jié)點(diǎn)已經(jīng)被訪問過。模型輸出一個概率分布表示下一步應(yīng)該選擇哪個節(jié)點(diǎn)。如果選擇了 depot 節(jié)點(diǎn)表示當(dāng)前車輛結(jié)束配送、返回配送中心然后派出新車如果選擇了一個未訪問的客戶節(jié)點(diǎn)則將該節(jié)點(diǎn)加入到當(dāng)前路徑中更新車輛剩余容量和當(dāng)前車輛位置。重復(fù)以上步驟直到所有客戶都被服務(wù)。這個形式化過程非常優(yōu)雅地避開了“一次性輸出全部路徑”的難點(diǎn)把復(fù)雜約束變成逐步的遮擋機(jī)制mask。模型永遠(yuǎn)不需要明確理解“容量約束”本身它只需要學(xué)會哪些節(jié)點(diǎn)現(xiàn)在不能去哪些節(jié)點(diǎn)應(yīng)該優(yōu)先去。這種“逐步?jīng)Q策”的思路是理解后續(xù)所有代碼的關(guān)鍵它正是 Pointer Network 和 Attention Model 這類結(jié)構(gòu)所以能處理組合優(yōu)化問題的根本原因。3. Attention Model 的 PyTorch 實(shí)現(xiàn)Encoder 與 Decoder這一部分直接上代碼。我用的是圖注意力模型框架Encoder 將節(jié)點(diǎn)特征編碼為高維表示Decoder 以自回歸方式逐步生成路徑。這是當(dāng)前神經(jīng)組合優(yōu)化領(lǐng)域的主流方案之一理解它的代碼后你完全可以根據(jù)自己的需求進(jìn)行魔改。3.1 用注意力編碼器生成節(jié)點(diǎn)嵌入EncoderEncoder 的目標(biāo)把 CVRP 實(shí)例中的所有節(jié)點(diǎn)depot 客戶點(diǎn)編碼成一組向量表示每個節(jié)點(diǎn)的“嵌入”要包含它自身的特征也要包含它與周圍節(jié)點(diǎn)的空間關(guān)系。我的實(shí)現(xiàn)里用了一種相對簡潔的“兩層 Attention Layer 堆疊”的結(jié)構(gòu)。它參考了 Transformer 的思路但省去了位置編碼因?yàn)楣?jié)點(diǎn)本身的位置信息已經(jīng)通過坐標(biāo)表達(dá)了同時把編碼器寬度設(shè)為 128。代碼如下import torch import torch.nn as nn import math class MultiHeadAttention(nn.Module): 標(biāo)準(zhǔn)化多頭注意力模塊被 Encoder Layer 調(diào)用 def __init__(self, embed_dim: int, num_heads: int): super().__init__() assert embed_dim % num_heads 0 self.embed_dim embed_dim self.num_heads num_heads self.head_dim embed_dim // num_heads self.scaling self.head_dim ** -0.5 self.w_q nn.Linear(embed_dim, embed_dim) self.w_k nn.Linear(embed_dim, embed_dim) self.w_v nn.Linear(embed_dim, embed_dim) self.w_out nn.Linear(embed_dim, embed_dim) def forward(self, x, maskNone): batch_size, seq_len, _ x.shape Q self.w_q(x).view(batch_size, seq_len, self.num_heads, self.head_dim).transpose(1, 2) K self.w_k(x).view(batch_size, seq_len, self.num_heads, self.head_dim).transpose(1, 2) V self.w_v(x).view(batch_size, seq_len, self.num_heads, self.head_dim).transpose(1, 2) attn_scores torch.matmul(Q, K.transpose(-2, -1)) * self.scaling if mask is not None: attn_scores attn_scores.masked_fill(mask 0, float(-inf)) attn_weights torch.softmax(attn_scores, dim-1) out torch.matmul(attn_weights, V) out out.transpose(1, 2).contiguous().view(batch_size, seq_len, self.embed_dim) return self.w_out(out) class EncoderLayer(nn.Module): 一層完整的編碼器注意力 前饋網(wǎng)絡(luò) 殘差與歸一化 def __init__(self, embed_dim: int, num_heads: int, ff_dim: int): super().__init__() self.mha MultiHeadAttention(embed_dim, num_heads) self.ff nn.Sequential( nn.Linear(embed_dim, ff_dim), nn.ReLU(), nn.Linear(ff_dim, embed_dim) ) self.norm1 nn.LayerNorm(embed_dim) self.norm2 nn.LayerNorm(embed_dim) def forward(self, x): # 子層連接注意力 殘差 歸一化 x self.norm1(x self.mha(x)) x self.norm2(x self.ff(x)) return x class GraphEncoder(nn.Module): 編碼器主體輸入坐標(biāo)與需求輸出所有節(jié)點(diǎn)的嵌入表示 def __init__(self, embed_dim: int 128, num_heads: int 8, num_layers: int 3): super().__init__() self.embed_dim embed_dim # 初始嵌入坐標(biāo)(2維) 需求(1維) - 映射到 embed_dim self.init_embed nn.Linear(3, embed_dim) self.layers nn.ModuleList([ EncoderLayer(embed_dim, num_heads, ff_dimembed_dim * 4) for _ in range(num_layers) ]) def forward(self, coords, demands): # coords: (batch, num_nodes, 2), demands: (batch, num_nodes, 1) x torch.cat([coords, demands], dim-1) x self.init_embed(x) for layer in self.layers: x layer(x) return x這里我特意沒有把demands歸一化因?yàn)樗跀?shù)據(jù)生成時已經(jīng)天然落在了一個合理尺度0-9不需要額外處理。但如果你用的是真實(shí)業(yè)務(wù)數(shù)據(jù)強(qiáng)烈建議在進(jìn) Encoder 之前做一個 min-max 歸一化或者標(biāo)準(zhǔn)歸一化否則訓(xùn)練初期嵌入層的梯度可能震蕩非常劇烈。3.2 帶掩碼的指針解碼器DecoderDecoder 的任務(wù)是逐節(jié)點(diǎn)生成路徑。它的輸入有兩部分一是 Encoder 算好的所有節(jié)點(diǎn)嵌入二是當(dāng)前解碼狀態(tài)比如當(dāng)前車輛剩余容量、當(dāng)前所在節(jié)點(diǎn)。輸出是下一個要訪問的節(jié)點(diǎn)在所有候選節(jié)點(diǎn)上的概率分布。實(shí)現(xiàn)上我用了兩階段的注意力機(jī)制第一階段用“當(dāng)前節(jié)點(diǎn)嵌入”作為 query與所有節(jié)點(diǎn)的 key 做 attention得到一個上下文向量graph context embedding相當(dāng)于讓模型“看一眼全局”。第二階段用這個上下文向量重新對所有節(jié)點(diǎn)做 attention同時施加一個 mask 來過濾掉不可行節(jié)點(diǎn)已經(jīng)訪問過的客戶、需求量超過剩余容量的客戶。最終用 softmax 得到合法的概率分布并通過采樣或 argmax 得到?jīng)Q策節(jié)點(diǎn)。我直接貼出 Decoder 的核心部分class ContextEncoder(nn.Module): 將當(dāng)前解碼狀態(tài)編碼成 query 向量 def __init__(self, embed_dim: int): super().__init__() self.project nn.Linear(embed_dim 1, embed_dim) # 拼接當(dāng)前節(jié)點(diǎn)嵌入與剩余容量 def forward(self, current_embed, remaining_capacity): # current_embed: (batch, embed_dim), remaining_capacity: (batch, 1) return self.project(torch.cat([current_embed, remaining_capacity], dim-1)) class PointerDecoder(nn.Module): 指針解碼器將編碼器的輸出映射為對下一個節(jié)點(diǎn)的選擇分布 def __init__(self, embed_dim: int 128, num_heads: int 8): super().__init__() self.context_encoder ContextEncoder(embed_dim) self.mha MultiHeadAttention(embed_dim, num_heads) self.q_linear nn.Linear(embed_dim, embed_dim) self.k_linear nn.Linear(embed_dim, embed_dim) self.v_linear nn.Linear(embed_dim, embed_dim) self.scaling embed_dim ** -0.5 def forward(self, node_embeds, current_index, remaining_capacity, mask): node_embeds: (batch, num_nodes, embed_dim) current_index: (batch,) 當(dāng)前所在節(jié)點(diǎn)索引 remaining_capacity: (batch, 1) 當(dāng)前車輛剩余容量 mask: (batch, num_nodes) 布爾張量True 表示不可選 batch_size, num_nodes, embed_dim node_embeds.shape # 取當(dāng)前節(jié)點(diǎn)的嵌入 current_embed node_embeds[torch.arange(batch_size), current_index] context self.context_encoder(current_embed, remaining_capacity) # 更新 context 嵌入 context self.mha(context.unsqueeze(1), node_embeds).squeeze(1) # 計(jì)算 attention score Q self.q_linear(context).unsqueeze(1) K self.k_linear(node_embeds) scores torch.matmul(Q, K.transpose(-2, -1)) * self.scaling # 將 mask 中不可選位置設(shè)為 -inf scores scores.squeeze(1).masked_fill(mask, float(-inf)) probs torch.softmax(scores, dim-1) return probsmask的生成邏輯是最容易寫錯的地方之一我花了不少時間才理清楚。它由幾個條件取并集組成已經(jīng)訪問過的客戶節(jié)點(diǎn)不能重復(fù)訪問需求量大于當(dāng)前剩余容量的客戶節(jié)點(diǎn)超載不合法如果當(dāng)前車輛已經(jīng)訪問了至少一個客戶depot 節(jié)點(diǎn)永遠(yuǎn)可選相當(dāng)于“服務(wù)完了回配送中心發(fā)新車”反過來如果當(dāng)前車輛尚未服務(wù)任何客戶也就是剛發(fā)車模型不能直接選擇返回 depot這樣會形成一條“空車出去空車回來”的無效路線。這一步需要用 mask 強(qiáng)制把 depot 禁掉否則訓(xùn)練初期模型很容易走這個捷徑偷懶。3.3 用 REINFORCE 算法訓(xùn)練模型整個模型的結(jié)構(gòu)定下來后訓(xùn)練端我是用 REINFORCE 算法來做的。為什么選 REINFORCE 而不選其他強(qiáng)化學(xué)習(xí)算法比如 Actor-Critic 或 DQN這要從問題的本質(zhì)說。VRP 的決策空間是離散且巨大的動作空間本身就是“所有未被訪問的節(jié)點(diǎn)”狀態(tài)空間更是連續(xù)且高維的。像 DQN 這種基于價值的方法需要同時存儲 Q(s,a)在這個場景下內(nèi)存和計(jì)算開銷巨大而且泛化能力堪憂。而 REINFORCE 是策略梯度方法直接對策略參數(shù)求梯度天然適合離散動作空間與我們的“逐步?jīng)Q策”設(shè)定完全貼合。REINFORCE 的核心改進(jìn)在 baseline 設(shè)計(jì)上。原始的 REINFORCE 用采樣回報(bào)作為期望回報(bào)的無偏估計(jì)但方差大得嚇人。我采用了“確定性貪心解碼 帶噪聲的采樣解碼”雙路輸出的方式一路使用 argmax 解碼得到一條貪心路徑將其總距離作為 baseline。另一路使用帶溫度的采樣解碼得到一條探索路徑其總距離與 baseline 相減作為優(yōu)勢估計(jì)。為什么貪心路徑可以作為 baseline因?yàn)樗燃兘?jīng)驗(yàn)的均值更穩(wěn)定、相關(guān)性更強(qiáng)。訓(xùn)練時如果采樣解碼的結(jié)果優(yōu)于貪心解碼優(yōu)勢項(xiàng)為正策略會提高對應(yīng)動作的概率反之則降低概率。這個機(jī)制類似于“讓模型跟當(dāng)前時刻最好的自己比”比跟一個緩慢變化的經(jīng)驗(yàn)均值比收斂快得多。4. 訓(xùn)練策略設(shè)計(jì)策略梯度、Baseline 與細(xì)節(jié)模型的結(jié)構(gòu)和訓(xùn)練范式定下來后剩下的問題就是怎么把這個模型真正訓(xùn)起來。這不是“貼代碼-運(yùn)行-拿結(jié)果”那么順利其中有不少反直覺的細(xì)節(jié)和失敗教訓(xùn)。我把自己的訓(xùn)練套路以及踩過的坑整理出來希望給你節(jié)約幾周的排查時間。4.1 為什么不用 DQN 而用策略梯度以及 Baseline 的選擇邏輯前面提到選了 REINFORCE這里補(bǔ)充一個更具體的理由。VRP 的每個實(shí)例客戶數(shù)量不同意味著動作空間大小不固定DQN 的網(wǎng)絡(luò)結(jié)構(gòu)需要在輸入層或輸出層上做動態(tài) padding 或 mask 處理非常別扭。而策略梯度網(wǎng)絡(luò)天然支持“變長輸出”只要在 Decoder 里加 mask模型就能適配不同的節(jié)點(diǎn)數(shù)量這就讓同一個模型可以泛化到不同規(guī)模的實(shí)例上。Baseline 的選擇上我對比過三種方案第一種用一個歷史平均獎勵作為 baseline。實(shí)現(xiàn)簡單但方差大、收斂慢非常不推薦。第二種用一個獨(dú)立的 critic 網(wǎng)絡(luò)預(yù)測狀態(tài)價值來作為 baseline也就是構(gòu)建 Actor-Critic 結(jié)構(gòu)。效果還行但多加一個網(wǎng)絡(luò)增加了訓(xùn)練復(fù)雜度和不穩(wěn)定性。第三種論文和實(shí)踐中效果最好的方案也就是前面說的“貪心解碼作為 baseline”。同一個模型在每一步同時輸出一條貪心路徑和一條采樣路徑利用貪心路徑作為穩(wěn)定的參照來降低方差。這個方案不增加額外網(wǎng)絡(luò)純粹是計(jì)算兩次解碼訓(xùn)練穩(wěn)定性和效果卻顯著提升。我實(shí)際采用的正是第三種方案下面把實(shí)現(xiàn)核心代碼列出。4.2 完整訓(xùn)練循環(huán)代碼與核心解釋訓(xùn)練循環(huán)的代碼主要做以下幾件事批量生成隨機(jī)實(shí)例、編碼器編碼所有節(jié)點(diǎn)、解碼器循環(huán)生成路徑并記錄對數(shù)概率、計(jì)算最終航程與基線之差作為損失、反向傳播。我給出完整度較高的核心代碼def train_epoch(model, optimizer, batch_size64, num_customers20, max_steps1000): 單次訓(xùn)練循環(huán)。 model.train() total_loss 0.0 num_batches max_steps for _ in range(num_batches): optimizer.zero_grad() # 生成一個 batch 的實(shí)例 instances CVRPInstance(num_customersnum_customers) coords instances.coords.unsqueeze(0).expand(batch_size, -1, -1) demands instances.demands.unsqueeze(0).expand(batch_size, -1) # ---- 編碼 ---- node_embeds model.encoder(coords, demands.unsqueeze(-1)) # ---- 解碼雙模式 ---- # 用同一套參數(shù)分別執(zhí)行貪心解碼和采樣解碼 greedy_len, _ decode_path(model, node_embeds, coords, demands, greedyTrue) sample_len, sample_logprobs decode_path(model, node_embeds, coords, demands, greedyFalse) # ---- 計(jì)算優(yōu)勢與損失 ---- advantage sample_len - greedy_len # 越小越好 loss (advantage.detach() * sample_logprobs).mean() loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0) optimizer.step() total_loss loss.item() return total_loss / num_batches def decode_path(model, node_embeds, coords, demands, greedyTrue): 解碼完整路徑。 返回 (總路程, 對數(shù)概率列表)。 batch_size, num_nodes, _ node_embeds.shape capacity 1.0 # 狀態(tài)初始化 visited torch.zeros(batch_size, num_nodes, dtypetorch.bool) route torch.zeros(batch_size, num_nodes 1, dtypetorch.long) logprobs [] # 當(dāng)前節(jié)點(diǎn)從 depot(0) 出發(fā) current torch.zeros(batch_size, dtypetorch.long) remaining_cap torch.full((batch_size, 1), capacity) for step in range(num_nodes 1): # 生成 mask mask visited.clone() over_cap (demands remaining_cap.squeeze(-1)) mask mask | over_cap # 剛發(fā)車時禁止去 depot empty_route ((route[:, 1:step1] 0).any(dim1) False) if step 0 else torch.ones(batch_size, dtypetorch.bool) mask[:, 0] mask[:, 0] | empty_route probs model.decoder(node_embeds, current, remaining_cap, mask) if greedy: next_node torch.argmax(probs, dim-1) logp probs.gather(1, next_node.unsqueeze(-1)).log() else: dist torch.distributions.Categorical(probs) next_node dist.sample() logp dist.log_prob(next_node) # 執(zhí)行選擇 route[:, step1] next_node visited[torch.arange(batch_size), next_node] True logprobs.append(logp) # 更新狀態(tài) return_to_depot (next_node 0) remaining_cap torch.where( return_to_depot.unsqueeze(-1), torch.full_like(remaining_cap, capacity), remaining_cap - demands[torch.arange(batch_size), next_node].unsqueeze(-1) ) current next_node # 如果所有客戶都被訪問提前終止 if visited[:, 1:].all(): break # 計(jì)算總路程 coords_pick coords[torch.arange(batch_size).unsqueeze(1), route] # route 中的 0 是 padding實(shí)際應(yīng)該按每個實(shí)例的路徑長度來算 # 這里簡化為分段計(jì)算相鄰點(diǎn)的距離并求和 dists torch.sqrt(((coords_pick[:, 1:] - coords_pick[:, :-1]) ** 2).sum(-1)) total_len dists.sum(-1) return total_len, torch.stack(logprobs, dim1).sum(dim1) def greedy_eval(model, instance): 推理時的貪心解碼用于驗(yàn)證 model.eval() with torch.no_grad(): coords instance.coords.unsqueeze(0) demands instance.demands.unsqueeze(0) node_embeds model.encoder(coords, demands.unsqueeze(-1)) total_len, _ decode_path(model, node_embeds, coords, demands, greedyTrue) return total_len.item()這一段代碼里有幾個隱藏的“巨坑”我逐個說明第一個是 mask 里“空車不能回 depot”的約束。初始狀態(tài)時車還沒服務(wù)任何客戶如果允許直接回 depot模型一上來就會學(xué)會“開局認(rèn)輸”——反正回到原點(diǎn)距離是 0成本最低。不把這個動作堵住訓(xùn)練永遠(yuǎn)學(xué)不到任何有效的路徑規(guī)劃能力。第二個是remaining_cap的更新我用了torch.where這是一個向量化技巧。如果車輛回到 depot剩余容量直接重置為滿而不是把負(fù)數(shù)清零這樣避免了對“超載”狀態(tài)的顯式懲罰因?yàn)?mask 已經(jīng)保證超載動作不會被選中而回到 depot 對容量的影響必須是重置不是減去一個值。第三個是logprobs的累積方式。我只對路徑上的實(shí)際決策節(jié)點(diǎn)累加對數(shù)概率而不是把所有節(jié)點(diǎn)都累加進(jìn)去這一點(diǎn)與損失計(jì)算的正確性直接相關(guān)。4.3 訓(xùn)練中的梯度裁剪、學(xué)習(xí)率調(diào)度與歸一化細(xì)節(jié)訓(xùn)練過程中我做了三個在處理組合優(yōu)化問題時幾乎必須的工程化處理梯度裁剪Gradient Clippingmax_norm1.0。REINFORCE 的損失對概率的導(dǎo)數(shù)很容易爆炸尤其是訓(xùn)練初期偶爾一批異常實(shí)例會帶來很大的優(yōu)勢項(xiàng)。不做梯度裁剪訓(xùn)練很容易直接發(fā)散到 NaN。學(xué)習(xí)率調(diào)度我采用了余弦退火Cosine Annealing初始學(xué)習(xí)率 1e-3最低降到 1e-4。相比固定學(xué)習(xí)率收斂更穩(wěn)定最后的解質(zhì)量也更好。批量歸一化與 LayerNorm 的關(guān)系在 Encoder 里我用的 LayerNorm而不是 BatchNorm。原因在于一個 batch 內(nèi)的實(shí)例之間客戶點(diǎn)數(shù)量可以不一樣雖然我的實(shí)驗(yàn)里固定了LayerNorm 只對每個樣本的特征維度做歸一化不依賴 batch 內(nèi)其他樣本分布泛化性更好。在實(shí)驗(yàn)配置上我常用的參數(shù)是參數(shù)值客戶點(diǎn)數(shù)量20訓(xùn)練、50泛化測試批量大小64編碼器層數(shù)3注意力頭數(shù)8嵌入維度128訓(xùn)練總步數(shù)約 10000 步優(yōu)化器Adam初始學(xué)習(xí)率 1e-3梯度裁剪閾值1.0訓(xùn)練 20 個客戶點(diǎn)規(guī)模的實(shí)例大約需要一個小時單張 RTX 3080 上。訓(xùn)出來后在 20 個客戶的隨機(jī)實(shí)例上模型給出的解與 LKH3 求解得到的近優(yōu)解相比Gap 大約在 2%-5% 之間這個數(shù)字一定程度上取決于實(shí)例分布與測試集差異不同環(huán)境下會有波動。如果只看推理速度模型推理單條實(shí)例僅需約 20 毫秒而 LKH3 在該規(guī)模下通常需要幾秒到十幾秒。速度換質(zhì)量交易劃算。5. 實(shí)驗(yàn)結(jié)果與代碼的 GitHub 級細(xì)節(jié)模型跑通后我很自然地做了兩件事一是拿標(biāo)準(zhǔn) benchmark 和自己的數(shù)據(jù)集驗(yàn)證解的質(zhì)量二是把代碼整理成可供復(fù)用的項(xiàng)目結(jié)構(gòu)。這一部分給你看一些真實(shí)的數(shù)據(jù)和坑。5.1 在隨機(jī)實(shí)例上的質(zhì)量與速度表現(xiàn)我做了兩組對比一組是 20 個客戶的實(shí)例另一組是 50 個客戶的實(shí)例訓(xùn)練只在 20 客戶上進(jìn)行50 客戶用于測試泛化能力。每組隨機(jī)生成 100 條實(shí)例分別用 LKH3 與我的模型求解。在 20 個客戶的測試集上模型解與 LKH3 解的 gap 平均在 3.4% 左右方差也比較穩(wěn)定。在 50 個客戶的泛化測試?yán)飃ap 上升到 7.8% 左右說明模型學(xué)到了一定的規(guī)模外推能力但精度折扣明顯。為什么會出現(xiàn)這個差距核心原因在于訓(xùn)練時的實(shí)例規(guī)模是 20 個客戶模型的注意力機(jī)制雖然在結(jié)構(gòu)上能處理 50 個客戶但它從未“見過”這么大規(guī)模的數(shù)據(jù)分布某些路徑選擇的模式在 50 個客戶場景中未必成立。如果你實(shí)際使用場景的實(shí)例規(guī)模是 50 個建議直接用 50 個客戶的數(shù)據(jù)訓(xùn)練gap 就能降到與 20 個客戶相當(dāng)?shù)乃?。速度方面這里給出一個直觀的對比基于單張 RTX 3080、CPU 推理 (i7-12700) 也測試過求解方式20 客戶耗時50 客戶耗時LKH33-8s15-30s模型推理GPU15ms35ms模型推理CPU45ms120ms這個速度差距在需要批量求解上千條實(shí)例的場景下非??捎^比如電商物流中一天的訂單可能需要拆分成幾萬條子問題。用 LKH3 逐個算可能要按天計(jì)而用模型推理幾分鐘就能跑完。5.2 用 OR-Tools 和 LKH3 對比驗(yàn)證解的合理性模型跑出來的解需要有一個參照系來評估好壞。我用的參照系是 LKH3 解。但 LKH3 安裝配置成本較高如果你只是想驗(yàn)證解不是“亂走路”也可以先用 Google OR-Tools 做一套 baseline。下面給出用 OR-Tools 對同樣實(shí)例求解的方法我用的版本是 9.xfrom ortools.constraint_solver import routing_enums_pb2, pywrapcp def solve_with_ortools(coords, demands, capacity): num_nodes len(coords) data {} data[distance_matrix] [ [int(((coords[i][0] - coords[j][0])**2 (coords[i][1] - coords[j][1])**2) ** 0.5 * 1000) for j in range(num_nodes)] for i in range(num_nodes) ] data[demands] [0] [int(d) for d in demands[1:]] data[vehicle_capacity] capacity data[num_vehicles] 10 data[depot] 0 manager pywrapcp.RoutingIndexManager(num_nodes, data[num_vehicles], data[depot]) routing pywrapcp.RoutingModel(manager) def distance_callback(from_index, to_index): from_node manager.IndexToNode(from_index) to_node manager.IndexToNode(to_index) return data[distance_matrix][from_node][to_node] transit_callback_index routing.RegisterTransitCallback(distance_callback) routing.SetArcCostEvaluatorOfAllVehicles(transit_callback_index) def demand_callback(from_index): from_node manager.IndexToNode(from_index) return data[demands][from_node] demand_callback_index routing.RegisterUnaryTransitCallback(demand_callback) routing.AddDimensionWithVehicleCapacity( demand_callback_index, 0, [data[vehicle_capacity]] * data[num_vehicles], True, Capacity, ) search_parameters pywrapcp.DefaultRoutingSearchParameters() search_parameters.first_solution_strategy routing_enums_pb2.FirstSolutionStrategy.PATH_CHEAPEST_ARC solution routing.SolveWithParameters(search_parameters) return solution有了這個 baseline 后你可以畫出路徑對比圖直觀地看兩條路徑的繞路程度。有一次我拿 OR-Tools 的解和模型解畫出來對比發(fā)現(xiàn)模型特別喜歡“把相鄰的客戶點(diǎn)串成一個 C 型或 S 型”而不是直線往返——這是因?yàn)橛?xùn)練數(shù)據(jù)里的 depo 坐標(biāo)在原點(diǎn)周圍的客戶越走越遠(yuǎn)再回到原點(diǎn)C 型或 S 型是使總距離最短的拓?fù)浣Y(jié)構(gòu)。這個觀察證明模型確實(shí)學(xué)到的是“幾何直覺”而不是死背訓(xùn)練集。5.3 代碼庫組織與關(guān)鍵配置說明為了讓你能直接復(fù)現(xiàn)我建議把代碼組織成如下的形式vrp_rl/ ├── data.py # CVRPInstance 數(shù)據(jù)生成器 ├── model.py # Encoder Decoder Pointer ├── train.py # 訓(xùn)練循環(huán) ├── evaluate.py # 模型評估與 LKH3/OR-Tools 對比 ├── config.py # 所有超參數(shù)集中管理 └── README.mdconfig.py 中我習(xí)慣把所有超參數(shù)整理成一個 dataclassfrom dataclasses import dataclass dataclass class Config: embed_dim: int 128 num_heads: int 8 num_encoder_layers: int 3 lr: float 1e-3 lr_decay: float 0.96 batch_size: int 64 num_customers: int 20 max_steps: int 10000 grad_clip: float 1.0如果你想復(fù)現(xiàn)運(yùn)行順序是python train.py先訓(xùn)練模型然后python evaluate.py --checkpoint your_ckpt.pth做推理與對比。如果機(jī)器上沒有 GPUCPU 訓(xùn)練小規(guī)模數(shù)據(jù)也能跑只是速度慢一些但不影響理解整個流程。5.4 我這段時間踩過的四個高頻坑這一部分按“惡心程度”排序吧。第一坑RNN 還是 Transformer我一開始用 LSTM 做 Decoder效果差到讓人懷疑人生。原因是 LSTM 在處理長度不定的序列時編碼器-解碼器之間的信息瓶頸太嚴(yán)重而且訓(xùn)練速度也慢。換成 Attention 結(jié)構(gòu)后同樣的 epoch 下 gap 從 12% 降到了 5% 左右。如果你的場景也是做組合優(yōu)化問題直接上 Attention 結(jié)構(gòu)別在 RNN 上浪費(fèi)時間。第二坑Mask 的實(shí)現(xiàn)順序。前面提到過空車不能回 depot 的 mask 是必須在訓(xùn)練一開始就加上的。我不止一次在代碼 review 時看到有人把這條 mask 漏了后果是訓(xùn)練不收斂、損失亂跳。排查方法很簡單訓(xùn)練 500 步后打印幾條路徑如果出現(xiàn)“0 - x - 0”這種只服務(wù)一個客戶就掉頭的路徑基本就是這個 mask 沒加。第三坑Batch 內(nèi)實(shí)例必須獨(dú)立但共享容量。如果你的 batch 里每個實(shí)例的 depot 坐標(biāo)不同那么編碼時要注意坐標(biāo)歸一化的尺度。我一度為了讓所有 depot 都在原點(diǎn)統(tǒng)一在數(shù)據(jù)生成階段把所有坐標(biāo)平移讓 depot 落在 (0,0)。這樣模型學(xué)起來最簡單在推理時對任意 depot 位置先把坐標(biāo)整體平移再送進(jìn)模型輸出路徑后再平移回真實(shí)坐標(biāo)即可。這一步非常重要千萬不能漏。第四坑驗(yàn)證與訓(xùn)練的 gap。訓(xùn)練時損失確實(shí)在下降但驗(yàn)證集上的路徑質(zhì)量不一定隨之提升可能出現(xiàn)“訓(xùn)練集過擬合到實(shí)例分布”的情況。解決辦法是在訓(xùn)練過程中定期生成全新的隨機(jī)實(shí)例做評估而不是長期固定一套驗(yàn)證集。因?yàn)槟P鸵娺^類似分布后固定驗(yàn)證集很容易被記住真實(shí)的泛化能力需要在全新數(shù)據(jù)上檢驗(yàn)。6. 從 CVRP 到真實(shí)業(yè)務(wù)強(qiáng)化學(xué)習(xí)求解 VRP 的邊界與下一步代碼跑通、效果驗(yàn)證完自然要想它怎么在真實(shí)業(yè)務(wù)里落地。這也是我認(rèn)為寫這篇文章最有價值的部分——你不能把整個訓(xùn)練好的模型直接丟給業(yè)務(wù)系統(tǒng)中間有很多工業(yè)級的細(xì)節(jié)需要補(bǔ)齊。6.1 從靜態(tài)數(shù)據(jù)到動態(tài)訂單模型還缺什么我的業(yè)務(wù)場景里訂單是動態(tài)進(jìn)來的。CVRP 的經(jīng)典設(shè)定是“所有客戶已知、一次規(guī)劃”但現(xiàn)實(shí)中往往早上還不知道下午有哪些單。這時候有兩種應(yīng)對思路第一種把時間窗口切成多個片段每個片段的訂單做一次靜態(tài) CVRP 求解。這是最簡單可行的辦法也是我切入點(diǎn)的方式。缺點(diǎn)是片段之間的路線不全局最優(yōu)但勝在穩(wěn)定、可解釋性強(qiáng)。第二種訓(xùn)練一個可以處理動態(tài)加單的模型。例如將“當(dāng)前時間步還沒到達(dá)的客戶需求”作為額外的特征輸入讓模型學(xué)會在部分信息下做決策。這屬于更前沿的 research 方向代碼復(fù)雜度高不少如果你的數(shù)據(jù)集里動態(tài)性很強(qiáng)可以沿著這個思路做深度定制。依賴第二種方案時有一件事必須提前規(guī)劃你如何獲取足夠多的“動態(tài)訂單”樣本純模擬生成的數(shù)據(jù)流與真實(shí)訂單分布差距很大直接遷移使用可能會水土不服。我的建議是先用模擬數(shù)據(jù)跑通框架然后收集你業(yè)務(wù)里真實(shí)訂單流的一小部分作為微調(diào)數(shù)據(jù)采用“先預(yù)訓(xùn)練、后微調(diào)”的方式最終才能讓模型真正在業(yè)務(wù)數(shù)據(jù)上穩(wěn)定工作。6.2 多倉庫、時間窗與真實(shí)路網(wǎng)距離如果你遇到的問題是 VRPTW帶時間窗或多倉庫模型改起來其實(shí)沒有想象中復(fù)雜——因?yàn)闆Q策框架沒有變?!皶r間窗”可以表達(dá)為每一步的一個 mask 條件某個客戶如果當(dāng)前到達(dá)時間不在時間窗內(nèi)暫時不可選?!岸鄠}庫”可以在初始輸入里把多個 depot 都編碼進(jìn)去讓模型決定一開始從哪個倉庫發(fā)車。真正讓你頭痛的不是模型結(jié)構(gòu)而是數(shù)據(jù)規(guī)??蛻酎c(diǎn)數(shù)量一旦超過 200注意力機(jī)制的 O(n2) 復(fù)雜度就會讓推理時間指數(shù)級上升那時候你可能需要引入分層策略——先聚類定區(qū)域再在區(qū)域內(nèi)精確求解或預(yù)測路徑。R 路網(wǎng)距離方面?zhèn)鹘y(tǒng)的“歐氏距離假設(shè)”在城區(qū)配送中往往嚴(yán)重失真。兩個看起來很近的點(diǎn)隔著一條河地圖上顯示距離不遠(yuǎn)但實(shí)際開車要繞一大圈。我的經(jīng)驗(yàn)教訓(xùn)是不要在模型里直接用經(jīng)緯度做歐氏距離。生產(chǎn)環(huán)境中至少要先把客戶點(diǎn)和倉庫之間的真實(shí)駕車距離矩陣計(jì)算出來然后把這個矩陣作為“預(yù)計(jì)算特征”喂給模型或者在訓(xùn)練時將真實(shí)距離矩陣作為坐標(biāo)的替代輸入。后者更快但需要維護(hù)一張全量距離矩陣表占內(nèi)存前者更優(yōu)雅但模型內(nèi)部計(jì)算的是歐氏距離與真實(shí)距離有偏。我自己在業(yè)務(wù)里采用的是折中方案用真實(shí)距離矩陣作為解碼階段的獎勵值reward但在 Encoder 的坐標(biāo)嵌入里仍然用經(jīng)緯度。這樣模型不需要顯式知道路網(wǎng)結(jié)構(gòu)但會在訓(xùn)練時通過 reward 感知到真實(shí)距離的“偏差”從而學(xué)會繞路。這個方案實(shí)測比純歐氏距離的效果穩(wěn)定很多且引擎基本不用改。6.3 模型的維護(hù)與持續(xù)迭代這可能是最難的一環(huán)很多人忽略了一個問題訓(xùn)練完成的強(qiáng)化學(xué)習(xí)模型不是像傳統(tǒng)軟件那樣部署完就完事。它依賴訓(xùn)練數(shù)據(jù)的分布。如果業(yè)務(wù)上線后訂單的空間分布、需求量的量級發(fā)生了變化比如新開了一座倉庫、某個區(qū)域客戶暴增模型的表現(xiàn)會明顯退化你需要建立一套模型監(jiān)控與再訓(xùn)練機(jī)制。我的做法是定期比如每周拿出最近一個月的真實(shí)訂單重新生成驗(yàn)證集與當(dāng)前部署模型的輸出做對比。如果平均路徑成本上升超過某個閾值比如 5%就觸發(fā)用最近數(shù)據(jù)混合舊數(shù)據(jù)做增量訓(xùn)練。這樣做的好處是讓模型始終跟隨業(yè)務(wù)分布的漂移壞處是你要長期維護(hù)一套數(shù)據(jù)管線與訓(xùn)練任務(wù)。在這個問題上沒有銀彈但至少可以從架構(gòu)層面把“數(shù)據(jù)生成-訓(xùn)練-評估-部署”做成自動化流程。7. 我的一點(diǎn)總結(jié)與資源方向斷斷續(xù)續(xù)做了這么久回頭來看用強(qiáng)化學(xué)習(xí)求解 VRP 這個方向有一個很重要的定位它不是要替代行業(yè)求解器而是給“高頻、快速、近似優(yōu)化”的決策場景提供一個新的選擇。如果你的需求是離線算精確調(diào)度方案、算力資源不敏感、每天只求幾次那老老實(shí)實(shí)用 LKH3 或 OR-Tools 就好。但如果是要求毫秒級響應(yīng)、海量實(shí)例并行推理、并且能容忍幾個百分點(diǎn)的精度損失那這套基于注意力機(jī)制與策略梯度的方案值得你認(rèn)真考慮。有時候“最優(yōu)解”不一定是約束條件下數(shù)學(xué)上最好的路徑而是在真實(shí)業(yè)務(wù)條件下最合適的那條路徑。強(qiáng)化學(xué)習(xí)讓我見到的正是這種“次優(yōu)但快”的實(shí)用主義。希望這份經(jīng)驗(yàn)和代碼能幫你在自己的場景里少走一些彎路。動手跑起來之后我們再接著聊。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
国产多人在线观看视频| 99操视频| 99热这里只有精| 裸体美女久久久| 久久久久九九九| 日韩中文字幕国产| 亚洲天堂男人| 欧美日韩中文亚洲v在线综合| 9/A片 | 激情图片亚洲色图| 久96热在线观看视频| 99操视频| 激情欧美97| 把腿张开老子CAO烂你| 神马午夜久久久| 色臀AV| 亚洲精品成人激情在线| 欧美草草高清日韩视频| 亚洲精品亚洲人成在线麻豆| 2017大香蕉国产精品久久| 97干97色| 第45页一区二区| 亚洲色性| 久久五月视频| 99在线精品观看视频中文| 欧美aa一级片| 亚洲欧美国产成人综合不卡| 欧美色综合图片| 高清无码在线播放网站| 成人日本精品九区| 狠狠操官网| 台湾大香蕉99热| 成人自拍三级在线观看| 亚洲欧美日韩国产丝袜自拍中文| 精品国产一区探花在线观看| 亚洲AV免费在线观看| 哈哈操电影| 强奸乱伦αv片| 精品一区二区成人动漫| 天天色黄色影院天天操| 狼人久草| 青青操少妇| 玖玖草久草99蜜月一区二区三区| 小视频国产| 亚洲国产综合视频| 伊人五月天婷婷| 啊灬啊灬啊灬好深灬快高潮了动漫-国产字幕国产在线观看-B049AV | 天天综合网亚洲综合网| 99婷婷一区二区| 在线看的av| 狠狠色一区二区中文字幕| 色臀AV| 无码国产Av| a网站免费观看| 熟妇人妻丰满久久久久久久无码| 久热大香蕉| 国产免费内射视频| 日韩中文字幕av在线播放| 国产精品久久久久久久AV大片 | 久久东京国产精品视频| 国语精品对白| 另类图片亚洲加勒比另类图片亚洲加勒比另类图片亚洲加勒比 | 国产一区二区在线播放,久久亚洲精品中文字幕第一区,亚洲精品在线中文字幕视频 | 天堂av2019| 人人操人人操人人人操| 亚洲美女 晚间男人天堂| 综合在线导航一区| 99久草| 日韩精品人妻中文字幕有码午| 久久丁香久草综合网| 九九自拍伦理| 91综合在线| 亚洲限制级| 亚洲AV操| 88xx成人精品视频| 91 亚欧| 91丝袜美女| 欧美一级久久久丰满| 欧美色图片欧美色图| 亚洲日韩AV视色| 人人操人人摸人人看人人干| 国产欧美另类久久久精品课程| 在线啊啊啊啊| 亚洲高清无码免费观看视频| 精品一区二区综合熟妇| 97日韩| 久久同城AV| 婷色五月| 国产精品电影大全| 精久久久| 国产熟女精品区| 亚洲色悠悠久久88| 欧美少妇熟女| 久久香蕉综合一本到3atv| 大香蕉综合网| 亚洲资源吧| 日韩在线AB| 中文精品一区二去| 欧美人妻少妇| 欧美精品,四区。五区| 久久9 9 9精品| 操B在线观看| 91w欧美| 97亚洲国产| 少妇与黑人高潮在线| 国产精品免费视频不卡| 国产91啪| 99re免费视频精品全部| 成人性爱免费播放| 91成人高清在线观看| 婷婷丁香五月激情啪啪| 人妻中文字幕日韩电影| 在线免费观看日韩一区| A级片日韩欧美国产欧美视频精选观看| 伊人欧美大香蕉视频| 日韩一级二级三级免费看完整版国语版 | 少妇99成人麻豆| 婷婷伊人綜合中文字幕小说| 久草国产在线视频| 家庭乱伦网站国产| 手机在线A片| 肉动漫无遮挡h在线观看| 变态综合色| 九九碰九九爱97超| 亚洲麻豆18发?| 六月婷婷综合| 操逼逼中文字幕| 国产精品一区二区三区在线| 亚洲日韩美女中文字幕乱| av天堂电影网| 男人的天堂2019| 97视频在线免费播放| 欧美综合97www| 91男女啊啊啊| 狼天天狼天天大香蕉| 色色综合网站| 亚欧国产无码精品在线| 欧美亚洲日本激情在线| 久操网线| 91九色精品熟女内射| 久久久久成人亚洲国产| 亞洲久久直播| 亚洲熟女中文字幕在线| 久久99视频| 色小视频蜜乳| 神马视频久久久久久| 青青草视频久久| 精品视频久久久久九九九九9999| 9 9精品一区二区三区| 最近2019中文字幕国语免费版| 久草国产在线视频| 日韩乱伦视频| 亚洲国产精品久久久久婷婷青年| 欧美色图天堂网m| 欧美一二三区四五区| 91欧美| 亚洲综合五月天| 亚州少妇| 亚洲熟女乱熟乱熟妇综合网二区| 中文字幕人乱码中文字的预防方法 | 日本黄色大片一级视频免费麻豆| 欧美激情另类一区二区| 温婉少妇玩3p| 久久婷五月| 婷婷久草一区二区三区| 天天日日本| 另类图片亚洲加勒比另类图片亚洲加勒比另类图片亚洲加勒比 | 亚洲欧洲无码一区夜| 精品二999| 青青草在线视频欧美| 色天堂综合| 亚洲麻豆18发?| 麻豆黄站| 国产精品福利资源在线尤物| 成人性爱av.com| 亚洲欧洲日韩国产自在线| 日本福利二区视频| 国产精品 午夜福利| 亚洲精品1区| 成年人免费观看网站| 国产99热| 国产无码精品成人| 福利在线黄片| 91大神电影天堂| 熟妇高潮一区二| 97jingpin| 欧美综合天天| 亚洲国产奇米影视久久| 久久精精区一区二区一蜜桃一区二区| 欧美亚洲高清不卡| 免看60秒涩涩视频| 日本人妻中文字幕| 国产九九九九九九九九| 日本伦理一区二区| 亚洲日本大香蕉1| 高清国产精品福利网站| 日本性爱少妇| 欧美色图私拍91| 久久久久幕乱码| 91无遮挡| 深田咏美亚洲精品福利社| 欧美日韩99精品麻豆传媒| 精品一久久久| 激情文学88| aaaa少妇高潮大片| 国产黄色动态精品| 美国日韩黄片| 可以看的av| 97亚洲欧美日韩| 亚洲国产日韩精品久久久| 久久伊人亚洲AV无码网站| 九九综合色| 亚洲AV不卡在线观看尤物| 草草草草视频| 天天做天天爱| 亚洲色欧| 国产成人无码啪| 女色视频社区| 超碰欧美97资源| 内射老妇BBWX0C0CK| 日本岛国黄色网址 | 欧美久久婷| 中日韩久久久免费看| 2024年最新色情网站在线观看| 综合色色网| 玖玖草久草99蜜月一区二区三区| 久久少妇| 嗯~啊~快点 死我视频| 涩涩久久精品| 久久中文字幕一区不卡| 精品久久久久黄少妇| 91人人操| 亚洲色图91欧美日韩| 骚鸭AV| 在线强奷到舒服的无码视频| 中文字幕视频免费| 亚洲欧洲综合成人av一区| 久久熟女人| 久久啊啊| 欧美国产日韩清纯唯美| 欧美在线天堂| 亚洲少妇喷视频看| 天天插网| 久久精品国产精品亚洲艾通辽熟妇| 后入日本1234| 五月天激情影院| 一区二区播放| 狠狠操狠狠爱| 97av在线观看| 中文字幕在在线观看网站| 亚洲综合另类| 亚州成人A√| 人妻夜夜爽天天爽三区麻豆AV网站| 91男同| 久久黄色视频一区二区三区 | 涩五月婷婷| 青青草公开在线免费不卡视频| 亚欧国产无码精品在线| 色97干| 久久久草成人网站久久久草成人久久久草久久久 | 精品偷拍13p欧美dodk视频| 青青伊人久久| 中文字幕成人理论在线| 人人操超碰在线| 天天天天干| 青青草在线视频播放器| 五月天激情网站| 九九九九精品| 欧美大片天天看| 欧美日韩精品一区二区三区高清| 久久亚洲天堂| 欧美综合区| 999 久久久| 99久久精品国产高潮| 夜夜免费视频| 伊人色综合网| a片久久久久久久久久久久 | 国产一级高跟丝袜| 日本精品久久久久久久| 天堂岛av| 最新三级网址| 大香久久| 国产精品 午夜福利| 天堂无码精品国产久| 国产免费永久精品无码| 加勒比综合| 高树玛利亚无码流出| 八戒无码国产午夜福利| 久草男人天堂| 性欧美另类高清| 97频视在线| 韩国一级婬片A片AAAAA| 一级做受视频免费是看美女| 风间由美日韩欧美久久| 亚洲精品欧洲精品| 无码伊人久久大杳蕉中文无码| 射久久| 欧美日韩婷婷中文| 能看的AV| 天天做日日做| 超碰97久久| 91处女在线视频| 夜夜肏2021| 亚洲成人性爱网站在线播放| 超碰人妻久久| 玖玖超碰熟| 91亚洲精品青草| 熟妇一区二区| 无码日韩人妻av一| 五月丁香影视| 欧美色66| 九一国产精品| 少妇精品| 啊视频在线| 欧美中字不卡| 国产精品国产精品国产| 国产亚洲精品自在线亚洲情侣| 丝袜无码a片| 久久这里精品国产99丫e6| 丁香五月天激情网站| 色婷婷香蕉| 国产AV毛片| 色婷婷国产精品一区在线观看| 久久一本大香蕉| 久久久新亚洲AV| 伊人网青青| 久久东京伊人一本到鬼色| 亚洲精品日韩国产欧美| 欧美亚州综合网图片| 久久久蜜桃臀无码视频| 99色在线| 91AV天堂| 东北女人| 97超碰天天爱天天爱| 熟女乱伦二区| 亚洲一区二区三区AV无码| 岛国A V在线免费看| 999久久久久久久久| 日韩人妻精品中文字幕| 97九色人妻| 国产熟女高潮一区二区三区| 久操婷婷| 国产久久日| 婷婷久久综合| 这里只有精品视频在线观看麻豆| 精品区国产区一区二区三区| 啊啊啊啊啊啊啊国| 最新AVzaixian| 在线视频日韩欧美国产| 91人妻尻屄视频| 亚州性色| 四虎精品一区| 麻豆 亚洲 97| 2020中文字幕在线观看| 国产中文字幕曰本毛片| 夜夜爽33333| 亚洲偷拍自拍在线视频| 强歼乱伦资源网| 91精品伊人久久久大香线蕉91| 大香蕉懂9| 亚洲天堂人妻熟妇视频| 国产精品一区二区手机看片| 国产又黄又粗又猛大片| 男人的天堂日韩| 久久精品 六十路 熟女 欧美| 91伊人久| 嫩草一区二区在线观看| 欧州一区二区三区四区| 国语对白露脸XXXXXX | 美女诱惑久久| 久操国产在线| 97在线视频网站| 亚洲精品97久久中文字幕| 91无码中出人妻视频| 欧美另类天堂| 在线精品福利免费播放| 国产1024在线播放| 国产在线播放成人免费| 色婷婷综合视频| 色五月激情AV在线| 九九干| 久久精品国产久精国产| 色色色热| 日本黄色精品专区网站| 日本高清有码网址视频| 99re6国产精品99re| 久久黄人人爽视频| 91在线无码精品秘 软件| 91另类| 中文字幕av亚洲精品| 亚洲超碰AV| 17c在线成人免费A片观看| 综合色图亚洲欧美| 婷婷爽人人婷婷爽视频| 久综合网| 日产操逼| 色女99一级片在线观看| oumeisetu综合| 青青草久草| 日韩情色视频| 中文日本免费高清| 高精欧美色| av天堂影视中文在字幕在线中文| 97色香蕉| 日韩99神马视频播放| 少妇高潮流水av免费| 大香蕉啪啪啪啪在线| 日韩激情啪啪| 一级性爱网| 九草在线大香蕉| 午夜精品探花| 欧美黄页| 干妹子| 久久精品小视频| 偷拍亚洲熟女视频播放| 九九九久| 成人精品视频一区二区| 亚洲AV无码AV吞精久久久久| 色九九九九九九| 欧美激情亚洲色图| 青青操网| 婷婷丁香人妻| 无码不卡八戒| av橘色网站| 天天综合网91入口| www.激情| 小情侣高清国产在线视频| 国产9l 大屁股| 国内97干免费看| 中国国产精品一区视频| 国产精品一区二区三区免费视频| 久久超碰98| 97视频免费在线| 日本精品第一视频在'| 欧美男人亚洲天堂| 91是天天| 91亚洲人电影| 9色在线| 免费亚洲黄色视频在线观看| 超碰97人妻免费在线| 懂色av中文字幕| 330Dv国产女人终合视频极品人与兽| 不卡免费av在线播放| 午夜.DJ高清在线观看免费7| WWW.操逼.COM| 日韩97| 精品999999| 玖玖久久久| 快灬快灬 一下爽蜜桃在线观看| 丝袜美腿欧美| 久久久一热在线播放| 柠檬AV导航| 婷婷深爱五月| 欧美 青青草| 淫淫总合网| 五月丁香六月| 99国内精品| 亚洲另类久操网| 打av高清| 无码人妻精品一区二区三区九九 | 综合久久六月久久婷婷| 久久综合资源一区二区| 国产91亚洲精品一区二区三区| 精品久9| 国产精品视频在线观看| 91色宗合| 襙一襙| 免费精品人妻一区二区三| 亚洲制服aⅴ中文字幕| 精品亚洲国产成人av网站| 精品人妻一区| 东京热免费视频| 色好看av| 欧美十八禁导航成人| 亚洲人妻在线一区| 综合色色网| 看看小穴| 伊人四虎综合| 麻豆三极片| 日本午夜操逼| 美女啊啊啊啊pc| 噜噜噜久久亚洲精品色情| 久久久内射良家| 爱爱动态60秒| 岛国在线一区二区三区| 国产一区在线免费播放| 超碰97资源大奶| 一区超碰一区| 青椒国产97在线熟女| 色情综合网| 精品国产自在在线99| av日韩中文字幕| 夜夜草天天| www99热| 青青国产在线拍揄自揄拍| 日韩有码回春沙龙第一页| 97色碰| 另类天堂| 久久久神马影院| 色色毛片| 97亚洲一区| 超碰久超碰久| 日本韩欧美在线播放a| 亚洲免费97免费| 天美传媒精品一区二区| 黄页视频网站野外| 麻豆精品三区视频| .精品人妻一区二区三| 超碰超碰欧美| 青青色在线观看| 永久免费发布性爱网| 久久天天躁日日躁狠狠躁 | 欧美在线播放aaaa| 精彩久久中文| 久久精品三级影视| 亚洲自拍欧美国产首页网曝| 乱欲视频| 大香网伊人久久综合网eew| 91色色网站| 黑人中出21连凳花野真衣| 亚洲九九九| 亚洲色欲一区二区三区| 无码外流操逼视频| 久久久免费懂色| 两性综合网| 91美女精品| 操狠狠| 亚洲深夜福利| 久久视网78| 黄色免费网页无码| 亚洲第一页色网| 999在线电影香蕉| 91一区二区三区蜜桃| 亚洲一本色码中文字幕| 亚洲国产麻豆一区二区三区| 有码专区最新中文字幕有码| 九九热免费国产视频婷婷伊人| 中文字幕在线免费观看2| 久久99精品九九久久久婷婷| 亚洲AV无码乱码在线观看性色| 大香蕉中文201| 福利风月五月天影院| 日韩操啪| 国产精品午夜福利| 欧美白嫩在线放| 亚洲操操| 操日韩第| 欧美色偷偷| 新精精品久久精品| 五月天丁香网| 影音先锋视频在线| 97欧美色| 目产99999久久999| 久久黄黄| 一区二区三区机械有限公司| 欧美色青| 人妻夜爽夜夜爽| 美女大乳久久久久久久女人18| 99热66| 亚洲二区精品在线观看| 97超碰磁| 亚洲欧美日韩制服另类| 国产999精品久久久| 97 超碰 人人做 人人爱| 自偷自拍的亚洲视频| 五月婷网站| 亚洲国产精品成人综合| 亚洲小说视频| 亚洲色91C| 久久一二三四不卡 | 色综合网1| 欧美人与动性人交a| 久久超碰98| 亚洲精品乱码线路中文字幕 | 97国伦国色| 亚洲成a人在线观看久| 日本操逼视频在线| 97超碰色色| 人人搞人人插人人操| 做爱福利视频一区二区| 超碰 另类 欧美 | 亚欧中文字幕在线视频| 97久久资源| 人妻天堂综合网| 男人天堂久久精品| 囯产精品一区二区三区线|亚洲人成无码网WWW动漫|国产精品免费一级... | 免费观看有码高清视频| 玖玖色综合| 婷婷色在线| 亚州国产精品乱| 曰韩精品九九无码| 日韩中字av一区| 蜜臀AV一区二区三区激情综合| 韩国轻伦国内自拍一区| 另类天堂| 中文字幕丰满子伦无码专区在线视频最新 | 女人妻一区| 曰本精品久久久| 欧美韩国你懂得在线| 狼天天狼天天大香蕉| 久久婷婷国产一区二区色| 人人妻人人操人人乐| 久草毛片电影怡| 十八禁电影伊人网| 蜜臀一区二区三区亚洲最新章节在线观看 - 高清蜜臀一区二区三区亚洲全集播放 | 多毛小伙内射老太婆| 午夜福利精品| 99视频内射三四| 狠狠综合| 国产精品视频| 婷婷丁香人妻 | 韩国一级婬片A片AAAAA| 青青草九九九九九| 日本熟妇色熟妇在线视频播放| 蜜臀一二三区| 岛国1区2区3区在线观看| 大伊香蕉在线视频免费| 天天插天天舔舔天天干| 97在线观看视频| 国产美女自拍AV| 亚洲熟女av日韩熟女| 亚洲精品天天影视综合网| 青草伊人网| 国产高清26uuu| 五月丁香六月婷综合成人综合| 久久香蕉超碰97国产精品| 夜夜欧美| 亚洲人妻AV| 欧美成人国产精品| 成人免费看吃奶视频网站| 久操视频免费在线观看| 久久久久国色αv免费观看| 欧美日韩大香蕉| 97超碰69| 亚洲国产综合图区中文字幕 | 中文字幕人妻资源在线| 亚洲天堂区| 天天碰久久入| 亚洲第一成人影院色播| 青青操视频在线| 欧美少妇性爱网站| 亚洲一区制服诱惑| 色综合久久88色综合久久天天| 性色av一区二区| 黄色片A级一区二区三区| 天天插天天射| 青娱乐黄色录像| 97这里只有精品| 91美女中出| 天天综合色| 亚洲精品人伦一区二区| 伊人国产成人av网站| 使劲用力艹少妇视频一区二区| 欧洲一区二区三区四区在线观看| 青草成人免费视频一com| 国产精品一区二区 尿失禁| 亚洲日韩AV视色| 精品人妻一区二区蜜桃视频| 久久性爱精品一区| 91狠狠综合久久久久久| 亚洲色图 91| 亚洲中文国际强奸字幕| 91性高| 无码不卡亚洲成?人片| 激情五月激情综合网| 蜜臀一二三区| 思思热er精品视频| 嗯嗯啊啊好疼| 天天谢天天干| 久久综合女优| 久久久新亚洲AV| 国产精品老熟女一区二区| 日本黄色精品专区网站| 国产无马视频| 一级黄碟在线观看| 欧美日韩国产三级黄色| 亚洲精品三| 99国产精品视频尤物| 天天流夜夜操| juliaann欧美丝袜办公室| 亚洲天堂一二| 久久久久久久久久久免费精品| www黄片免费看com| 欧美手机在线综合| 国产精品自产拍在线观看社区| 久久久成人精品| 欧美东京热精品A∨| 国产精品久久久久久夜夜夜| 婷婷伊人五月| 欧美A√综合网| 久久超碰天天| 围产精品一区二区三区视频播放| 婷婷五月天无码 | 中文字幕精品专区搜索结果91| 激情无码日韩| 色香网| 麻豆久久久一区二区| 亚洲欧美色图片| 欧美一二在线| 无码WWW免费视频网站| 四虎影视国产精品| 2017大香蕉| 思思热在线| 婷婷av在线中文字幕| 国产精品丝袜久久亚洲不卡| 热99这里只有精品| 男人的天堂VA| 日韩天堂av电影在线观看| 国产精品嫩草久久久久| 97精品一区| 人人喜人人妻| 国模不卡| 欧美综合另类| 加勒比伊人影院| 婷婷五月综合激情| 欧亚性爱在线视频| 超碰超碰超碰超碰的大鸡吧操黑丝袜| 亚欧中文字幕在线视频| 国产午夜无码片在线观看影视| 亚洲久热| 五月亭亭六月丁香| 极品久久久久久久久久久久久久| 成人八戒网站| 国产精品高潮久久久无码| 在线观看A啊啊啊| www.久久久久| 国产精品无码av| 九九九精品| 午夜操一视频一区| 国产后入内射| 婷婷精品| 人妻系列无码专区中文有码| 偷拍盗拍亚洲色图图片| 91在线丝袜视频| 久久黄黄| 欧美熟女操屄| 亚洲第一免费视频| 日本乱人伦片中文三区| 风韵犹存大大大大香蕉 | 九草九九九| 国产女同视频在线播放| 亚洲欧美色图| 久草这里只有精品| 人妻少妇精品久久久| 青青草吊丝| 美女啊啊啊啊pc| 综合色色网| 日韩精品中文字幕二区| 伊人激情五月天一区二区| 亚洲精品成人动漫在线| 日产欧美电影一区二区三区| 超清中文乱码字幕| 久久精品熟妇丰满人妻99| 蜜屁av| 黄色交缠性感爆操91国产精品免费一区二区三区| 99在线免费观看| 天天爽天天| 综合网,亚洲,欧美| 欧美熟爽综合| 你草精品在线视频| 秋霞久久亚洲精品成人| 午夜超爽| 亚欧高清在线| 九九Av| 大鸡巴久久久| 国产精品亚洲四五区在线观看| 亚洲天堂另类小说男人| 黄总AV色图| 人妻人妻天天碰| 国产女主播视频在线观看| 久久爱97| 亚欧色图在线激情| 人人潮人人摸| 欧美在线播放aaaa| 欧美九九爱| 日本五十路在线| 亚洲综合 欧美| 精品无码久久| 91AV入口| 久久久成人国产精品无码| 老熟乱一区二区三区四区| 神马久久免费电影观看| 少妇综合网| 亚洲AV噜噜狠狠网址蜜桃动漫| 亚洲无码?第一页| 99热| 久久久专区| 性色综合网| 性色生活片久久毛片婬片免费放女人一级毛片| 麻豆国产96在线| 久久精品国产亚洲AV成人直播| 熟妇在线视频一区二区| 欧美熟女激情| 色欲天香天天综合网-成年人三级片网站-欧美乱妇狂野-日韩国产专区-久久久久久 | 探花一区在线| 亚洲成人免费电影| 淫荡少妇免费| 欧美日韩成人在线| 乱久久久| 亚洲牲交| 午夜婷婷| 91亚.色| 久久精品人人做人人看| 亚洲图片欧洲图片aⅴ| 亚洲精品久久久久久久久豆丁网| 伊人久久大香线蕉亚洲五月天,青草青草欧美日本一区二区,欧美日产欧美日产国产 | 国产在线综合福利网站| 超碰狠狠操| 青青草啪啪网| 欧美性天天| 五月丁香婷婷综合| 久草毛片| 国产成人超碰在线| 婷婷久久五月| 国产精品久久久久久久久久二区三区| 欧美一级AAAAAAA| 九九精品美女高溯喷水| 色香欲影| 首页亚洲国产高跟丝袜诱惑视频| 青青久久久| 色综合久久88色综合久久天天| 久久国产精品91| 好属操| 日韩av女优在线免费一区| 色九九综合AV| 性爱乱伦网址| 黑人精品久久97| 乱伦图一区| 在线中文字幕极品av| 久插不卡| 亚洲最新Av| 日逼五月天| 午夜无遮挡男女啪啪视频| 欧美永久激情一区二区| 欧美片第一页| 超碰在线97国产| 国产精品69人妻无码久久久| 超碰碰小说97| www久久99| 91九九| 91久久18禁| 在线综合色| 性高潮久久久久久久久久久| 婷婷五月天综合网| 校园春色综合网| 91九九九逼| 最新日韩黄片| 91色综合| 欧美色棕合| 青青操网| 入口操逼网站| 美女91AV| 狠综合网| 一区二区偷拍拍视频| 天天做天天爱| 欧美日韩亚洲天堂网| 强奸乱伦麻豆| 极品销魂美女一区二区| 99色骚| 白嫩少妇| 夜夜 中文视频rt| 69超碰综合| 懂色av色欲av蜜臀av| 欧美春色| 欧美在线播放aaaa| 超碰免费97| 国产青一二三| 欧美久久伊人| 夜夜草天天| 91中文字幕制服丝袜免费视频| 国产蜜臀精品一区免费尤物| 伊人网在线观看| 国产日韩精品人妻久久久久色欲网站| aaa一级黄片| 日韩欧美午夜一区二区| 久久少妇| 91福利网在线观看| 搡老女人老91二区| 厕所偷拍在线| 午夜AV污污污| 美女天天干| 91黑丝在线播放| 无码日韩人妻av一| 在线不欧美| 亚洲限制级| 人妻久热在线| 日本一级性爱| 亚洲性爱免费电影| 色综91| 欧美亚洲色的图| 色色99| 国产精品香蕉热久久新品| 蜜桃传媒视频第一区入口在线看| 日本91白丝| 日本三级R| 天天操天天射天天日| 久久发布国产伦子伦精品| 双插性欧美一二三区| 欧美一级国产一级| 国产隔壁老王影院在线| 国产精品久久久啊| 婷婷午夜清品久久久久久久性色视频观| 激情综合网一盗摄| 刺激精品视频| 国产传媒一区日韩| 屌妞视频久久久久久久| 欧美精品久久96人妻无码| 久悠悠av| 无套内射性感少妇视频| 激情综合网五月婷婷| 午夜福利视频在线一区| 人妻人人做人人澡人人爽欧美一区| 男女猛烈无遮掩视频免费软件| 怡红院怡春院| 伊人久久大香线蕉亚洲五月天,青草青草欧美日本一区二区,欧美日产欧美日产国产 | 91女在线观看| 色色亚洲| 五月丁香啪啪啪| 精品妇女一区二区三区| 精品久久久久瑟瑟| 国产精品高潮久久AV| 美女黑人91神马| 四虎在线免费视频| 国产伊人精品在线| 色色九区| a片 xxxx受爽视频| 中文字幕丰满子伦无码专区在线视频最新| 亚洲?V高清一区二区三区尤物| 成人无码在线视频网站| 无套内射人妻在线播放| 韩三级a视频在线观看| 欧美传媒| 中文字幕乱码人妻二区三区| 这里只有精品视频在线观看麻豆| 国产精品另类一区大香蕉| 91第一页| 操操逼操操逼操操逼逼| 不卡免费av在线播放| 日韩国产品视频中文字| 成熟熟女国产精品一区二区| 欧美操逼录像国产黄色国产| 国产强奸乱伦无码视频| 屁屁影院一区二区三区国产| 精品一区二区啪啪啪| 9999亚洲电影| 精品视频一二三中文| 国产宅男宅女在线观看| 长长久久88视频| 91爱看| 亚洲精品一区二区日本| 亚洲天堂7777| 天天日日本| 天啪| 风流老熟女一区二区三区l| 天天天肏屄欧美| 久区视频| 干婷婷综合网| 91日日| 亚洲天堂久久久久久粉红视频| 无码人妻精品酒店| av东京热男人的天堂| 91亚洲综合| 久久伊人大香蕉| 久久久久久久综合,国产| 一道α片欧美| 精品国产少妇高潮视频| 91少妇高潮| 97碰在线视频| 深夜激情| 每日更新AV| 成人欧美日超碰| 伊人久久综合影院| 久久97资源 网| 欧美牲| 男女打扑克高清网站| 精品少妇人妻一区二区三区| 国产精品视频在线观看| 先锋精品av色鲁| 91黄射| 免费人成?大片在线播放| 中文字幕伊人| 中国一区二区亚洲人妻| 性性久久| 天天摸夜夜添无码小视频| 激情综合av| 日本一级特级毛片视频| 丁香五月天婷婷姐| 久久国产AⅤ| 中文乱码字字幕在线第5页| WWW4虎| 91性高朝久久久久久久久| 欧美人妻中出| 超碰成人公开| 亚洲 另类 丝袜 自拍 动漫| 成人性爱av.com| 大香蕉青青9| 五月天丁香网| 狠狠爱综合网| 日日骚 av| 成人性爱全视频观看| 五月天欧美色图| 草草影院最新网址| 一区二区三区一亚洲中文字幕、综合区灬| 久久香蕉网| 91人妻人人澡人人爽人人精品| 北条麻妃性愛视频| 欧美性生活综合| 九九视频黄色片| 白嫩白嫩的午夜九久久久久久久久久久久成人剧场| 综合一区中亚洲国产成人综合精品| 青青青青青手机视频| 75大香蕉| 国产亚洲色婷婷久久99精品91| 精品人妻一区二区三区不卡断| 五月天色图| 99久在线精品99re8| 肉动漫无遮挡h在线观看| 夜夜影视四色| 最新亚洲黄色免费电影| 土豪酒店各种姿势玩弄极品幼稚| 91无人区卡一卡二卡三乱码入口最新版:能让用户有更多选择的选择-经典说说-爱 | 日日夜夜狠狠| www亚洲免费| 欧洲综合色| 欧美少妇熟女| 欧美日韩中文亚洲v在线综合| 狠狠婷婷亚洲中文综合久久| 亚州欧美在线| 97jingpin| 91超碰人人| 综合网色| 可以在线观看AV的网站| 九九九精品成人免费视频小说| 91热| 老熟妇一区二区三区| 久插综合| 志村玲子视频一区二区| 高清国产av无码| 蜜桃色院一区久久 | 婷婷综合五月天| 国产人妻天天干精品| 欧美一级特黄淫片在线观看| 国产无码三级视频在线观看| 78久久| 亚洲精品久久一区二区三区蜜桃臀| 九九玖玖精品| AV天堂丝袜| 性色高清在线| 成人熟女视频一区二区三区| 青青草在线成人视频| 色综合婷婷| 日韩中文字幕精品一区在线| 久久久久久久久久va| 亚洲色图尤物视频| 在线观看亚洲成人精品| 日本三级A片网站com| 亚洲成人在线高清| 国产精品熟女九色九色蜜臀| 久久国产在线一区二区| 老外又粗又长一晚做五次| 日韩精品一区二区高清| 国产91会所女技师在线观看| 国产兽交视频在线播放| 免费自拍三级综合| 中文字幕中文字幕一区二区| 在线观看成人性爱免费小视频| 少妇一区二区三区精选| 日日操丁香五月天| 日韩999| 青娱乐休闲视频在线观看| 国产白丝av| 亚洲精品一区二区精品| 亚洲av综合色区无码一| 欧美一区二区亚洲天堂| 狼人综合婷婷激情四射 | 91美女视频电影| 啊啊啊啊嗯嗯在线久久久| 欧美色图 色综合图| 高清一区AV无码| 狠狠综合网| 97久久精品国产| 欧美韩日精品99综合| 欧美日韩性爱电影在线| 欧美成人一级免费电影| 99综合免费视频| 加勒比海成人视频网| 亚洲熟女少妇免费视频| 91熟女视频| 久久精品色欧美aⅴ一区二区| 欧美综合骚| 91精品人妻五十路| 伊人一区二区在线播放| 天天干人妇| 久久99999| 国产精品白丝| 日本人人操人人操| 吉田爱美AV在线| 91骚熟女| 国产精品色色| www.av不卡中文字幕| 人妻无一区二区三区| 婷婷中文字幕| 日本免费一区二区不卡| 午夜a成v人电影| 在线观看亚洲成人精品| 国产女生在线| 91丝袜熟女| 午夜性刺激视频免费观看| www久久久| 蜜桃午夜视频一区二区| 国产色精品午夜大片| 激情文学欧美| 69国产对白刺激| 澳门人妻久久| 欧美成人一级麻豆| 五月综合激情| 亚洲se91| 色色色综合网| 国产999精品久久久| 欧美一二三级精品在线| 久久亚洲不卡一区二区三区| 亚洲国产精品无码AV久久| 人妻AV在线| 97国产精选| 超碰AV在线| 久久超碰97| 久久久久久久少妇| 激情小说图片亚洲首页| 欧美色66| 欧美福利视频啊啊啊啊| 97超久碰| 一区三区啪啪| 深喉吞精| 久草精品热视| 国产隔壁老王影院在线| 性爱AV天堂| 亚洲一区二区三区欧美日韩| chaopen97久久| 天天日日舔舔| 日韩福利综合一区| 亚洲天堂日本| 国产成人网站在线观看| 99热一区二区三区四区| 人人搞人人插人人操| 囯产操逼片| 大香蕉综合网| 九九九久久久久| 四色永久成人网站| 国产精品久久久| 欧美白嫩女HD| 久久av成人无码免费| 色综合天天爱去电影网| 精品少妇一区二区三区免费观看| 狠狠操,使劲操| 国产又粗又长又大的视频| 91殴美大片| 五月丁香| 青娱乐国产精品| 91亚洲人| 超碰这里有精品|