日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Actor-Critic算法精講:從策略梯度、TD誤差到RLHF與PPO實(shí)戰(zhàn)

Actor-Critic算法精講:從策略梯度、TD誤差到RLHF與PPO實(shí)戰(zhàn) 強(qiáng)化學(xué)習(xí)這兩年在業(yè)界和學(xué)術(shù)圈的熱度不用多說(shuō)從游戲博弈到機(jī)器人控制再到 ChatGPT 背后的 RLHFReinforcement Learning from Human Feedback人類反饋強(qiáng)化學(xué)習(xí)幾乎處處都能看到它的影子。而不管算法包裝成什么樣只要深入到大模型對(duì)齊那一層就必然會(huì)碰到一個(gè)繞不開的組合Actor-Critic 算法。網(wǎng)上關(guān)于強(qiáng)化學(xué)習(xí)的資料很多但普遍存在兩個(gè)問(wèn)題要么只講概念不給推導(dǎo)要么直接甩出一堆公式不講直覺(jué)。這篇教程會(huì)把演員-評(píng)論家算法作為主線從策略梯度為什么需要評(píng)論家講起先把 TD 誤差的數(shù)學(xué)含義拆開再一步步推導(dǎo) Actor-Critic 的更新公式最后結(jié)合 RLHF 場(chǎng)景說(shuō)明 PPO 在語(yǔ)言模型對(duì)齊中的落地方式并給出一份可以運(yùn)行的 PyTorch 示例代碼。適合剛接觸強(qiáng)化學(xué)習(xí)、希望看懂 RLHF 內(nèi)部原理或者準(zhǔn)備在實(shí)際項(xiàng)目中使用 Actor-Critic 框架的開發(fā)者閱讀。1. 強(qiáng)化學(xué)習(xí)與 RLHF 的關(guān)系1.1 什么是強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)研究的是一個(gè)智能體Agent在與環(huán)境Environment交互過(guò)程中如何通過(guò)不斷試錯(cuò)來(lái)學(xué)習(xí)最優(yōu)策略Policy的問(wèn)題。每次交互可以拆解為智能體在當(dāng)前狀態(tài) (s) 下根據(jù)策略 (\pi(a|s)) 選擇一個(gè)動(dòng)作 (a)環(huán)境返回一個(gè)即時(shí)獎(jiǎng)勵(lì) (r)并轉(zhuǎn)移到新狀態(tài) (s)。如此循環(huán)智能體的目標(biāo)不再是最大化某一步的獎(jiǎng)勵(lì)而是最大化長(zhǎng)期累積獎(jiǎng)勵(lì)的期望。這個(gè)過(guò)程和人們常說(shuō)的“監(jiān)督學(xué)習(xí)”有本質(zhì)區(qū)別。監(jiān)督學(xué)習(xí)有明確的標(biāo)準(zhǔn)答案模型通過(guò)擬合標(biāo)簽來(lái)學(xué)習(xí)輸入輸出映射而強(qiáng)化學(xué)習(xí)沒(méi)有標(biāo)準(zhǔn)答案只有獎(jiǎng)勵(lì)信號(hào)。獎(jiǎng)勵(lì)信號(hào)往往稀疏、延遲、存在噪聲這就導(dǎo)致算法必須解決“信用分配”問(wèn)題到底哪一步動(dòng)作導(dǎo)致了最終的高回報(bào)傳統(tǒng)表格型方法在狀態(tài)空間較小時(shí)可以工作一旦狀態(tài)空間連續(xù)或維度很高就必須借助函數(shù)近似例如神經(jīng)網(wǎng)絡(luò)。深度強(qiáng)化學(xué)習(xí)Deep Reinforcement Learning就是“強(qiáng)化學(xué)習(xí) 深度神經(jīng)網(wǎng)絡(luò)”用深度網(wǎng)絡(luò)來(lái)表示策略、價(jià)值函數(shù)或模型。1.2 從強(qiáng)化學(xué)習(xí)到 RLHFRLHF 嚴(yán)格來(lái)說(shuō)并不是一種全新的強(qiáng)化學(xué)習(xí)算法而是一種“訓(xùn)練范式”。它解決的是“如何讓模型行為符合人類偏好”的問(wèn)題。以大語(yǔ)言模型為例普通的監(jiān)督微調(diào)只能讓模型學(xué)會(huì)模仿人類給出的答案但無(wú)法真正理解“什么回答更好”。于是研究者設(shè)計(jì)了一條流程先訓(xùn)練一個(gè)獎(jiǎng)勵(lì)模型Reward Model讓它學(xué)會(huì)對(duì)人類偏好打分。再用強(qiáng)化學(xué)習(xí)算法去優(yōu)化語(yǔ)言模型讓模型生成的回答獲得更高的獎(jiǎng)勵(lì)分?jǐn)?shù)。在這個(gè)流程中語(yǔ)言模型本身就是強(qiáng)化學(xué)習(xí)里的 Actor它負(fù)責(zé)生成文本獎(jiǎng)勵(lì)模型輸出的分?jǐn)?shù)就是獎(jiǎng)勵(lì)信號(hào)。為了讓訓(xùn)練穩(wěn)定通常還會(huì)引入一個(gè)評(píng)論家網(wǎng)絡(luò)Critic來(lái)估計(jì)狀態(tài)價(jià)值或動(dòng)作價(jià)值。因此 RLHF 在實(shí)現(xiàn)層面大量使用 Actor-Critic 框架尤其是 PPOProximal Policy Optimization算法。這也是本文把“Actor-Critic”和“RLHF”放在一起講的原因。1.3 容易混淆的概念實(shí)際閱讀資料時(shí)有幾組概念經(jīng)常被混用先在這里做一次區(qū)分概念含義常見誤區(qū)Actor策略網(wǎng)絡(luò)輸入狀態(tài)輸出動(dòng)作分布被誤認(rèn)為只是“生成動(dòng)作的模型”Critic價(jià)值網(wǎng)絡(luò)輸入狀態(tài)輸出價(jià)值估計(jì)被誤認(rèn)為必須和 Actor 共享結(jié)構(gòu)TD 誤差時(shí)序差分誤差用于衡量真實(shí)獎(jiǎng)勵(lì)與估計(jì)之間的偏差被誤認(rèn)為是“優(yōu)勢(shì)函數(shù)”本身優(yōu)勢(shì)函數(shù)某個(gè)動(dòng)作相對(duì)平均水平的優(yōu)勢(shì)A(s,a)Q(s,a)-V(s)被誤認(rèn)為只能用 TD 誤差估計(jì)RLHF用人類反饋訓(xùn)練獎(jiǎng)勵(lì)模型再用強(qiáng)化學(xué)習(xí)優(yōu)化策略被誤認(rèn)為是一種具體算法理解這些概念后再看 Actor-Critic 推導(dǎo)會(huì)順暢很多。2. 策略梯度與 Actor-Critic 的動(dòng)機(jī)2.1 策略梯度為什么直接用獎(jiǎng)勵(lì)會(huì)不穩(wěn)定在策略梯度方法中我們希望最大化期望累積獎(jiǎng)勵(lì)[ J(\theta) \mathbb{E}{\tau \sim \pi\theta} [R(\tau)] ]其中 (\tau (s_0, a_0, r_0, s_1, a_1, r_1, \dots)) 是一條軌跡(R(\tau) \sum_{t0}^{T} \gamma^t r_t)。對(duì)參數(shù) (\theta) 求梯度可以得到著名的策略梯度定理[ \nabla_\theta J(\theta) \mathbb{E}{\tau \sim \pi\theta} \left[ \sum_{t0}^{T} \nabla_\theta \log \pi_\theta(a_t|s_t) \cdot R_t \right] ]這里的 (R_t \sum_{kt}^{T} \gamma^{k-t} r_k) 是軌跡從時(shí)刻 (t) 起的累積折扣回報(bào)。這個(gè)公式看起來(lái)很簡(jiǎn)單但直接使用存在一個(gè)問(wèn)題方差極大。因?yàn)椴煌壽E之間的回報(bào)差異可能非常大同一個(gè)動(dòng)作在高回報(bào)軌跡和低回報(bào)軌跡中都可能出現(xiàn)算法難以判斷動(dòng)作本身是好是壞。為了降低方差通常會(huì)給獎(jiǎng)勵(lì)減去一個(gè)基線Baseline改成[ \nabla_\theta J(\theta) \mathbb{E} \left[ \sum_t \nabla_\theta \log \pi_\theta(a_t|s_t) \cdot \left( R_t - b(s_t) \right) \right] ]基線 (b(s_t)) 只要不依賴于動(dòng)作 (a_t)就不會(huì)改變梯度的期望但能顯著降低方差。一個(gè)自然的選擇是狀態(tài)價(jià)值函數(shù) (V^\pi(s_t))。于是策略梯度中的“回報(bào)減去基線”就變成了“動(dòng)作價(jià)值減去狀態(tài)價(jià)值”也就是優(yōu)勢(shì)函數(shù) (A^\pi(s_t, a_t) Q^\pi(s_t, a_t) - V^\pi(s_t))。這正是 Actor-Critic 的思想起點(diǎn)。2.2 從 REINFORCE 到 Actor-CriticREINFORCE 是典型的蒙特卡洛策略梯度算法它必須等到一條軌跡結(jié)束后才能計(jì)算累積回報(bào)。這種做法的優(yōu)點(diǎn)是估計(jì)無(wú)偏缺點(diǎn)是方差大、學(xué)習(xí)效率低。如果能在每個(gè)時(shí)間步都獲取一個(gè)“即時(shí)反饋”就可以更快更新。于是評(píng)論家出現(xiàn)了。評(píng)論家網(wǎng)絡(luò)負(fù)責(zé)估計(jì)價(jià)值函數(shù)例如 (V(s)) 或 (Q(s,a))。Actor 網(wǎng)絡(luò)負(fù)責(zé)生成策略。訓(xùn)練時(shí)Actor 根據(jù)評(píng)論家提供的優(yōu)勢(shì)估計(jì)更新策略評(píng)論家則根據(jù)實(shí)際觀察到的獎(jiǎng)勵(lì)和下一狀態(tài)的價(jià)值來(lái)更新自己。兩者交替訓(xùn)練這就是 Actor-Critic 框架。從 REINFORCE 到 Actor-Critic核心變化是把“采樣完整軌跡再計(jì)算回報(bào)”改成“用價(jià)值函數(shù)估計(jì)作為回報(bào)近似”。這種做法引入了偏差因?yàn)閮r(jià)值函數(shù)本身估計(jì)不準(zhǔn)但換來(lái)的是方差大幅下降。在深度強(qiáng)化學(xué)習(xí)實(shí)踐中方差問(wèn)題往往比偏差問(wèn)題更致命因此 Actor-Critic 方法成為主流。2.3 為什么需要 CriticCritic 網(wǎng)絡(luò)承擔(dān)了“評(píng)估當(dāng)前策略好壞”的任務(wù)。如果沒(méi)有 CriticActor 就只能依賴真實(shí)獎(jiǎng)勵(lì)信號(hào)而真實(shí)獎(jiǎng)勵(lì)通常是稀疏的。例如機(jī)械臂抓取任務(wù)只有抓到物體才給 1 獎(jiǎng)勵(lì)其他時(shí)候都是 0這種稀疏獎(jiǎng)勵(lì)讓策略梯度很難學(xué)習(xí)。Critic 可以通過(guò)學(xué)習(xí)狀態(tài)價(jià)值為每一步提供一個(gè)稠密的“預(yù)期收益”信號(hào)即使當(dāng)前沒(méi)有真實(shí)獎(jiǎng)勵(lì)也能通過(guò) (r \gamma V(s) - V(s)) 給出一個(gè)更新信號(hào)。這就是時(shí)序差分Temporal DifferenceTD學(xué)習(xí)的價(jià)值。3. TD 誤差概念與公式推導(dǎo)3.1 TD 誤差的定義時(shí)序差分學(xué)習(xí)是強(qiáng)化學(xué)習(xí)中的核心思想之一。它結(jié)合了蒙特卡洛采樣和動(dòng)態(tài)規(guī)劃的思想用一步真實(shí)獎(jiǎng)勵(lì)加上下一狀態(tài)的價(jià)值估計(jì)來(lái)更新當(dāng)前狀態(tài)的價(jià)值估計(jì)。TD 誤差定義為[ \delta_t r_t \gamma V(s_{t1}) - V(s_t) ]其中(r_t) 是時(shí)刻 (t) 執(zhí)行動(dòng)作后獲得的即時(shí)獎(jiǎng)勵(lì)(\gamma) 是折扣因子取值范圍通常為 ([0, 1])(V(s_t)) 是當(dāng)前狀態(tài)價(jià)值的估計(jì)值(V(s_{t1})) 是下一狀態(tài)價(jià)值的估計(jì)值。如果 (V) 是真實(shí)價(jià)值函數(shù)那么根據(jù)貝爾曼方程(r_t \gamma V(s_{t1})) 的期望應(yīng)該等于 (V(s_t))因此 TD 誤差的期望為 0。如果估計(jì)有偏差TD 誤差就反映了這種偏差。在 Actor-Critic 中TD 誤差不僅是評(píng)論家的更新目標(biāo)也可以作為動(dòng)作優(yōu)勢(shì)的近似估計(jì)。3.2 TD 誤差與優(yōu)勢(shì)函數(shù)的關(guān)系優(yōu)勢(shì)函數(shù)定義為[ A^\pi(s_t, a_t) Q^\pi(s_t, a_t) - V^\pi(s_t) ]而動(dòng)作價(jià)值 (Q^\pi(s_t, a_t)) 滿足[ Q^\pi(s_t, a_t) r_t \gamma V^\pi(s_{t1}) ]將上式代入優(yōu)勢(shì)函數(shù)[ A^\pi(s_t, a_t) r_t \gamma V^\pi(s_{t1}) - V^\pi(s_t) \delta_t ]因此 TD 誤差可以被看作優(yōu)勢(shì)函數(shù)的一種單步采樣估計(jì)。當(dāng)然實(shí)際使用中由于價(jià)值函數(shù) (V) 是近似估計(jì)TD 誤差存在偏差但它在每一步都能計(jì)算非常適合在線學(xué)習(xí)。3.3 多步 TD 與 GAE單步 TD 雖然方差低但偏差可能較大尤其是在獎(jiǎng)勵(lì)延遲明顯的任務(wù)中。為了平衡偏差和方差可以使用多步回報(bào)[ A^{(n)}t \sum{k0}^{n-1} \gamma^k r_{tk} \gamma^n V(s_{tn}) - V(s_t) ]更進(jìn)一步GAEGeneralized Advantage Estimation廣義優(yōu)勢(shì)估計(jì)通過(guò)對(duì)不同步數(shù)的 TD 誤差做指數(shù)加權(quán)平均得到更靈活的優(yōu)勢(shì)估計(jì)[ A^{GAE}t \sum{l0}^{\infty} (\gamma \lambda)^l \delta_{tl} ]其中 (\lambda \in [0,1]) 控制偏差和方差的權(quán)衡。(\lambda 0) 時(shí)退化為單步 TD(\lambda 1) 時(shí)接近蒙特卡洛估計(jì)。PPO 等現(xiàn)代算法普遍使用 GAE就是因?yàn)樗谙∈瑾?jiǎng)勵(lì)場(chǎng)景下表現(xiàn)更好。關(guān)于 GAE 的推導(dǎo)本質(zhì)上是把多步優(yōu)勢(shì)估計(jì)按照 (\lambda) 做指數(shù)平滑這里不再展開矩陣形式但理解這個(gè)加權(quán)思路對(duì)調(diào)參很有幫助。4. Actor-Critic 算法數(shù)學(xué)推導(dǎo)4.1 目標(biāo)函數(shù)與梯度Actor 的目標(biāo)是最大化期望累積獎(jiǎng)勵(lì)但為了引入基線我們寫成[ \nabla_\theta J(\theta) \mathbb{E}{\pi\theta} \left[ \sum_t \nabla_\theta \log \pi_\theta(a_t|s_t) A(s_t, a_t) \right] ]其中 (A(s_t, a_t)) 代替了原來(lái)的回報(bào) (R_t)。這就是帶基線策略梯度的一般形式。在實(shí)際實(shí)現(xiàn)中期望用采樣近似因此 Actor 的損失函數(shù)一般取負(fù)的代理目標(biāo)[ L_{actor} -\frac{1}{N} \sum_{i1}^{N} \log \pi_\theta(a_i|s_i) \cdot A_i ]如果使用 TD 誤差作為優(yōu)勢(shì)估計(jì)則 (A_i) 用 (\delta_i r_i \gamma V_{\phi}(s_{i1}) - V_{\phi}(s_i)) 代替。但單步 TD 偏差較大所以實(shí)際項(xiàng)目中更常用 GAE 或使用評(píng)論家輸出 (V(s)) 計(jì)算多步優(yōu)勢(shì)。4.2 評(píng)論家的目標(biāo)函數(shù)評(píng)論家的目標(biāo)是讓價(jià)值函數(shù)估計(jì)更準(zhǔn)通常使用均方誤差MSE損失[ L_{critic} \frac{1}{N} \sum_{i1}^{N} \left( V_\phi(s_i) - \hat{R}_i \right)^2 ]其中 (\hat{R}_i) 是目標(biāo)回報(bào)例如[ \hat{R}i r_i \gamma V{\phi_{target}}(s_{i1}) ]需要注意評(píng)論家網(wǎng)絡(luò) (V_\phi) 如果和目標(biāo)回報(bào)使用同一組參數(shù)會(huì)造成自舉偏差的累積。因此很多實(shí)現(xiàn)會(huì)使用一個(gè)目標(biāo)網(wǎng)絡(luò)Target Network或延遲更新機(jī)制。在 PPO 中由于策略更新幅度被限制評(píng)論家網(wǎng)絡(luò)通常直接和 Actor 共享部分底層特征或完全獨(dú)立具體取決于狀態(tài)空間和動(dòng)作空間的復(fù)雜度。4.3 Actor-Critic 更新算法流程一個(gè)標(biāo)準(zhǔn)的 Actor-Critic 循環(huán)可以寫成下面的偽代碼初始化 Actor 網(wǎng)絡(luò) π_θ 和 Critic 網(wǎng)絡(luò) V_φ for 每個(gè)回合: 初始化狀態(tài) s for 每個(gè)時(shí)間步 t: 根據(jù) π_θ(·|s) 采樣動(dòng)作 a 執(zhí)行動(dòng)作 a觀察獎(jiǎng)勵(lì) r 和下一狀態(tài) s 計(jì)算 TD 誤差: δ r γ V_φ(s) - V_φ(s) 存儲(chǔ) (s, a, r, s, δ) 更新 Critic: φ ← φ - α_c * ?_φ (δ)^2 更新 Actor: θ ← θ α_a * ?_θ log π_θ(a|s) * δ s ← s實(shí)際深度強(qiáng)化學(xué)習(xí)中通常不是單步更新而是先收集一批數(shù)據(jù)再用小批量梯度更新類似于經(jīng)驗(yàn)回放。為什么需要批量因?yàn)閱蝹€(gè)樣本的 TD 誤差噪聲太大直接在線更新會(huì)讓網(wǎng)絡(luò)參數(shù)震蕩。4.4 從 Actor-Critic 到 PPOActor-Critic 框架雖然有效但直接使用策略梯度更新 Actor 時(shí)如果學(xué)習(xí)率設(shè)置不當(dāng)一次更新過(guò)大策略會(huì)發(fā)生突變導(dǎo)致訓(xùn)練崩潰。PPO 的解決方案是裁剪代理目標(biāo)[ L^{CLIP}(\theta) \mathbb{E} \left[ \min\left( r_t(\theta) A_t, ; \text{clip}(r_t(\theta), 1-\epsilon, 1\epsilon) A_t \right) \right] ]其中 (r_t(\theta) \frac{\pi_\theta(a_t|s_t)}{\pi_{\theta_{old}}(a_t|s_t)}) 是新舊策略的比率。通過(guò)裁剪PPO 限制每次更新的幅度從而保持訓(xùn)練穩(wěn)定。PPO 仍然使用 Actor-Critic 結(jié)構(gòu)Critic 估計(jì)狀態(tài)價(jià)值A(chǔ)ctor 輸出策略分布。這也是 RLHF 中最常用的強(qiáng)化學(xué)習(xí)算法。5. RLHF 中的 Actor-Critic 應(yīng)用5.1 RLHF 訓(xùn)練流程拆解RLHF 的完整流程可以分成三個(gè)階段監(jiān)督微調(diào)SFT先讓語(yǔ)言模型具備基礎(chǔ)對(duì)話能力。獎(jiǎng)勵(lì)模型訓(xùn)練收集人類對(duì)多個(gè)回答的排序或打分訓(xùn)練一個(gè)獎(jiǎng)勵(lì)模型用來(lái)代替人類的實(shí)時(shí)反饋。強(qiáng)化學(xué)習(xí)優(yōu)化用 PPO 等算法以獎(jiǎng)勵(lì)模型給出的分?jǐn)?shù)作為獎(jiǎng)勵(lì)信號(hào)更新語(yǔ)言模型策略。在第三個(gè)階段Actor 就是語(yǔ)言模型本身它的輸入是提示Prompt輸出是生成的整段文本。Critic 則是一個(gè)價(jià)值網(wǎng)絡(luò)輸入狀態(tài)通常是提示 已生成文本的某種嵌入到當(dāng)前步為止的上下文輸出一個(gè)標(biāo)量?jī)r(jià)值。因?yàn)樯呻A段被建模為馬爾可夫決策過(guò)程每一步生成一個(gè) token 相當(dāng)于一個(gè)動(dòng)作。5.2 為什么 RLHF 要用 PPO 而不是直接策略梯度直接使用原始策略梯度在語(yǔ)言模型場(chǎng)景下有幾個(gè)問(wèn)題語(yǔ)言模型參數(shù)規(guī)模龐大一次采樣一條完整回答成本很高逐 token 的獎(jiǎng)勵(lì)非常稀疏只有整個(gè)回答生成完畢才能得到獎(jiǎng)勵(lì)模型的分?jǐn)?shù)如果單步更新太大模型會(huì)產(chǎn)生語(yǔ)法崩壞、重復(fù)冗余的輸出。PPO 通過(guò)重要性采樣和裁剪解決了更新幅度問(wèn)題同時(shí)利用 Critic 對(duì)每個(gè) token 的狀態(tài)價(jià)值進(jìn)行估計(jì)能夠把“整段獎(jiǎng)勵(lì)”逐 token 分解成優(yōu)勢(shì)信號(hào)從而更新每一步的 token 生成策略。此外PPO 還加入 KL 散度懲罰項(xiàng)防止模型為了獎(jiǎng)勵(lì)模型的高分而偏離原始 SFT 模型太遠(yuǎn)。KL 懲罰的實(shí)際作用可以理解為“不要為了分?jǐn)?shù)犧牲可讀性”。5.3 PPO 在語(yǔ)言模型中的損失函數(shù)完整 PPO 損失通常包含三個(gè)部分Actor 的裁剪策略目標(biāo)Critic 的價(jià)值函數(shù)損失熵正則Entropy Bonus和 KL 懲罰項(xiàng)??梢詫懗蒣 L^{PPO} - L^{CLIP}(\theta) c_1 L^{VF}(\phi) - c_2 \mathcal{H}[\pi_\theta] \beta \cdot \text{KL} ]其中 (L^{VF}) 是評(píng)論家價(jià)值損失(\mathcal{H}) 是策略熵KL 項(xiàng)衡量當(dāng)前策略與參考策略一般是 SFT 模型的分布距離。實(shí)際工程中各項(xiàng)系數(shù) (c_1, c_2, \beta) 都需要針對(duì)具體任務(wù)調(diào)整。一個(gè)常見問(wèn)題是KL 懲罰加在獎(jiǎng)勵(lì)上還是加在損失函數(shù)上兩種方式都存在。把 KL 懲罰加到實(shí)時(shí)獎(jiǎng)勵(lì)上更直觀PPO 采樣時(shí)每個(gè) token 獎(jiǎng)勵(lì)可以設(shè)置為[ r_t^{total} r_t^{reward_model}(samples) \cdot \mathbb{I}(t T) \beta \cdot \log \frac{\pi_{\theta}(a_t|s_t)}{\pi_{ref}(a_t|s_t)} ]這里只有最后一個(gè) token 收到獎(jiǎng)勵(lì)模型的標(biāo)量獎(jiǎng)勵(lì)其余 token 只收到 KL 懲罰信號(hào)。但實(shí)際實(shí)現(xiàn)中強(qiáng)化學(xué)習(xí)訓(xùn)練時(shí)整個(gè)序列的每個(gè) token 位置都會(huì)計(jì)算 Critic 的價(jià)值因此需要把序列級(jí)別的獎(jiǎng)勵(lì)映射到每一個(gè) token 位置。這也是 RLHF 訓(xùn)練代碼中最容易踩坑的地方。5.4 一個(gè)簡(jiǎn)化的 RLHF 訓(xùn)練偽代碼# 偽代碼僅用于理解流程不直接可運(yùn)行 for prompt in dataset: # 1. Actor 生成回答 response actor.generate(prompt) # 2. 計(jì)算每個(gè) token 的 logprob 和 KL log_probs actor.get_logprobs(prompt, response) ref_log_probs ref_model.get_logprobs(prompt, response) kl log_probs - ref_log_probs # 3. 獎(jiǎng)勵(lì)模型打分整段分?jǐn)?shù) reward_score reward_model(prompt, response) # 4. 將整段獎(jiǎng)勵(lì)分配到每個(gè) token常見做法最后一個(gè) token 得到獎(jiǎng)勵(lì) token_rewards torch.zeros_like(log_probs) token_rewards[-1] reward_score - beta * kl.mean() token_rewards[:-1] - beta * kl[:-1] # 5. 用 GAE 計(jì)算優(yōu)勢(shì) advantages gae(values, token_rewards, masks) # 6. 更新 Actor 和 Critic actor_loss clip_actor_loss(log_probs, old_log_probs, advantages) critic_loss mse_loss(values, returns) loss actor_loss critic_weight * critic_loss - entropy_weight * entropy loss.backward() optimizer.step()注意真實(shí) RLHF 代碼會(huì)比這段復(fù)雜得多包括共享內(nèi)存采樣、微批量更新、動(dòng)態(tài) KL 系數(shù)、長(zhǎng)度歸一化獎(jiǎng)勵(lì)等。理解流程后再去看開源實(shí)現(xiàn)會(huì)輕松很多。6. 最小可運(yùn)行示例PyTorch 實(shí)現(xiàn) Actor-Critic接下來(lái)給出一份可以直接運(yùn)行的 Actor-Critic 示例代碼環(huán)境使用 OpenAI Gym 的 CartPole-v1。這個(gè)任務(wù)相對(duì)簡(jiǎn)單不需要 GPU適合驗(yàn)證算法流程。代碼核心思路是用一個(gè)共享兩層全連接網(wǎng)絡(luò)分別輸出策略分布參數(shù)和價(jià)值標(biāo)量通過(guò) TD 誤差更新。6.1 環(huán)境準(zhǔn)備本示例建議使用以下環(huán)境Python 3.8 及以上PyTorch 1.13 或 2.xgymnasium 0.28 或以上注意新版已從 gym 改名為 gymnasium安裝命令pip install torch gymnasium如果你的環(huán)境已經(jīng)安裝了老版本gym也可以跳過(guò)安裝但需要將代碼導(dǎo)入部分改為import gym。版本差異不影響算法邏輯。6.2 完整代碼# 文件路徑actor_critic_cartpole.py import torch import torch.nn as nn import torch.optim as optim import gymnasium as gym import math class ActorCritic(nn.Module): 共享底層特征的 Actor-Critic 網(wǎng)絡(luò)。 Actor 輸出動(dòng)作概率的 logitsCritic 輸出狀態(tài)價(jià)值 V(s)。 def __init__(self, state_dim, action_dim, hidden_dim128): super(ActorCritic, self).__init__() self.fc1 nn.Linear(state_dim, hidden_dim) self.fc2 nn.Linear(hidden_dim, hidden_dim) self.actor_head nn.Linear(hidden_dim, action_dim) self.critic_head nn.Linear(hidden_dim, 1) def forward(self, state): x torch.relu(self.fc1(state)) x torch.relu(self.fc2(x)) policy_logits self.actor_head(x) value self.critic_head(x) return policy_logits, value def get_action(self, state): policy_logits, value self.forward(state) dist torch.distributions.Categorical(logitspolicy_logits) action dist.sample() log_prob dist.log_prob(action) return action.item(), log_prob, value def train(env, agent, optimizer, gamma0.99, max_steps1000): 單回合訓(xùn)練采集軌跡計(jì)算 TD 誤差并更新網(wǎng)絡(luò)。 log_probs [] rewards [] values [] dones [] state, _ env.reset() state torch.tensor(state, dtypetorch.float32) total_reward 0 for step in range(max_steps): action, log_prob, value agent.get_action(state) next_state, reward, terminated, truncated, _ env.step(action) done terminated or truncated log_probs.append(log_prob) values.append(value) rewards.append(reward) dones.append(done) state torch.tensor(next_state, dtypetorch.float32) total_reward reward if done: break # 計(jì)算 TD 誤差和 Actor/Critic 損失 returns [] G 0.0 for i in reversed(range(len(rewards))): G rewards[i] gamma * G * (1 - dones[i]) returns.insert(0, G) returns torch.tensor(returns, dtypetorch.float32) values_tensor torch.cat(values).squeeze() log_probs_tensor torch.stack(log_probs) # Critic 損失價(jià)值估計(jì)與累計(jì)回報(bào)之間的 MSE critic_loss nn.functional.mse_loss(values_tensor, returns) # Actor 損失策略梯度的負(fù)對(duì)數(shù)似然 * 優(yōu)勢(shì)用 TD 誤差近似 advantages returns - values_tensor.detach() actor_loss -(log_probs_tensor * advantages).mean() loss actor_loss critic_loss optimizer.zero_grad() loss.backward() optimizer.step() return total_reward if __name__ __main__: env gym.make(CartPole-v1) state_dim env.observation_space.shape[0] action_dim env.action_space.n agent ActorCritic(state_dim, action_dim) optimizer optim.Adam(agent.parameters(), lr1e-3) episodes 500 for episode in range(episodes): reward train(env, agent, optimizer) if (episode 1) % 20 0: print(fEpisode {episode 1}, total reward: {reward})6.3 代碼說(shuō)明這段代碼雖然簡(jiǎn)單但完整展示了 Actor-Critic 的核心流程。ActorCritic類中actor_head輸出動(dòng)作分布的 logitscritic_head輸出狀態(tài)價(jià)值。get_action通過(guò) Categorical 分布采樣動(dòng)作返回動(dòng)作、動(dòng)作對(duì)數(shù)概率和當(dāng)前狀態(tài)價(jià)值估計(jì)。訓(xùn)練函數(shù)中先與環(huán)境交互收集一整條軌跡然后在軌跡結(jié)束時(shí)計(jì)算累積回報(bào)G并把累積回報(bào)作為 Critic 的回歸目標(biāo)。優(yōu)勢(shì)函數(shù)使用returns - values.detach()這里并沒(méi)有直接用 TD 誤差而是用蒙特卡洛回報(bào)近似優(yōu)勢(shì)因?yàn)閱尾?TD 在 CartPole 上也可以運(yùn)行但方差更大。如果你希望觀察 TD 誤差的作用可以把優(yōu)勢(shì)換成rewards gamma * next_value - value注意需要額外計(jì)算下一狀態(tài)價(jià)值。運(yùn)行后如果網(wǎng)絡(luò)正常收斂你會(huì)在 200 到 400 個(gè)回合之間看到回報(bào)穩(wěn)定在 200 左右CartPole 的最大步數(shù)限制通常為 200。如果你的代碼在 100 回合內(nèi)回報(bào)不升反降一般是因?yàn)閷W(xué)習(xí)率過(guò)大或優(yōu)勢(shì)計(jì)算錯(cuò)誤。6.4 擴(kuò)展到 PPO 需要考慮什么上面的示例是單步更新的“原始 Actor-Critic”與 PPO 還有差距。要把它改成 PPO需要額外做幾件事保存每步的old_log_prob使用 GAE 計(jì)算優(yōu)勢(shì)對(duì) Actor 損失進(jìn)行裁剪多輪小批量更新而不是每回合只更新一次增加熵正則項(xiàng)鼓勵(lì)探索。如果這篇文章發(fā)布后大家感興趣我可以再單獨(dú)寫一篇“從零實(shí)現(xiàn) PPO”的教程把這三處改造逐一拆開?,F(xiàn)在先把 Actor-Critic 的基礎(chǔ)打好。7. 常見問(wèn)題與排查思路問(wèn)題現(xiàn)象常見原因解決思路訓(xùn)練一開始回報(bào)就在下降然后陷入震蕩學(xué)習(xí)率過(guò)大Actor 更新步長(zhǎng)過(guò)大調(diào)小學(xué)習(xí)率或使用 PPO 裁剪機(jī)制回報(bào)一直很低但 Critic 損失很小Critic 已經(jīng)收斂但 Actor 策略陷入局部最優(yōu)增大熵正則系數(shù)或增加動(dòng)作探索優(yōu)勢(shì)值波動(dòng)非常大梯度爆炸獎(jiǎng)勵(lì)尺度差異過(guò)大或 GAE 中的 lambda 設(shè)置不當(dāng)對(duì)獎(jiǎng)勵(lì)做歸一化例如除以獎(jiǎng)勵(lì)均值調(diào)整 gamma 和 lambdaRLHF 訓(xùn)練中模型輸出變得重復(fù)、死板KL 懲罰過(guò)小模型過(guò)度優(yōu)化獎(jiǎng)勵(lì)模型增大 KL 懲罰系數(shù)或使用動(dòng)態(tài) KL 系數(shù)語(yǔ)言模型生成退化輸出無(wú)意義符號(hào)PPO 更新時(shí)熵正則系數(shù)為 0策略過(guò)早確定添加熵正則并監(jiān)控 token 級(jí)別的熵多個(gè)進(jìn)程采樣時(shí)動(dòng)作分布不一致隨機(jī)種子未固定或模型權(quán)重不同步對(duì)齊隨機(jī)種子統(tǒng)一初始化權(quán)重Actor 和 Critic 共享網(wǎng)絡(luò)導(dǎo)致兩者梯度沖突兩個(gè)任務(wù)的梯度方向不一致使用雙頭網(wǎng)絡(luò)但底層分離或使用兩個(gè)獨(dú)立網(wǎng)絡(luò)訓(xùn)練不穩(wěn)定損失出現(xiàn) NaN數(shù)值溢出通常是 log 概率為 0 或梯度爆炸給 log_prob 加 epsilon使用梯度裁剪這些坑在學(xué)術(shù)示例和實(shí)際項(xiàng)目中都很常見。特別是 RLHF 場(chǎng)景問(wèn)題往往不是算法本身而是獎(jiǎng)勵(lì)設(shè)計(jì)和 KL 約束沒(méi)有調(diào)好。建議每訓(xùn)練一段時(shí)間就手動(dòng)查看模型生成文本不要只盯著獎(jiǎng)勵(lì)曲線。8. 最佳實(shí)踐與工程建議8.1 優(yōu)勢(shì)函數(shù)與價(jià)值網(wǎng)絡(luò)的設(shè)計(jì)在 Actor-Critic 框架中Critic 的作用是為 Actor 提供低方差的學(xué)習(xí)信號(hào)。因此價(jià)值網(wǎng)絡(luò)的預(yù)測(cè)準(zhǔn)確性直接影響訓(xùn)練效果。建議在同一個(gè) batch 中Critic 可以多更新幾次而 Actor 每次更新幅度不要太大。在 PPO 中Critic 通常使用與 Actor 相同的 batch 數(shù)據(jù)但損失函數(shù)權(quán)重可以獨(dú)立調(diào)節(jié)。如果 Critic 和 Actor 使用共享底層特征需要小心梯度競(jìng)爭(zhēng)。很多成熟實(shí)現(xiàn)例如 Stable-Baselines3默認(rèn)使用兩個(gè)獨(dú)立的 MLP或共享一個(gè) Encoder但分開 Head。8.2 獎(jiǎng)勵(lì)工程設(shè)計(jì)強(qiáng)化學(xué)習(xí)對(duì)獎(jiǎng)勵(lì)尺度極其敏感。RLHF 中獎(jiǎng)勵(lì)模型輸出的分?jǐn)?shù)范圍可能很大直接在多個(gè)任務(wù)上使用會(huì)不穩(wěn)定。一種常見做法是對(duì)獎(jiǎng)勵(lì)做標(biāo)準(zhǔn)化z-score或者除以獎(jiǎng)勵(lì)標(biāo)準(zhǔn)差。但也不要過(guò)度歸一化否則會(huì)損失區(qū)分度。對(duì)于語(yǔ)言模型還有一種有效做法是按回答長(zhǎng)度歸一化獎(jiǎng)勵(lì)避免模型通過(guò)生成超長(zhǎng)文本來(lái)刷分。這是工業(yè)界總結(jié)出的寶貴經(jīng)驗(yàn)在學(xué)術(shù)論文中很容易被忽略。8.3 探索與利用的平衡Actor-Critic 的本質(zhì)是“邊探索邊利用”策略熵正則項(xiàng)是控制探索能力的關(guān)鍵。熵太大會(huì)導(dǎo)致策略過(guò)于隨機(jī)無(wú)法收斂熵太大會(huì)導(dǎo)致過(guò)早收斂到局部最優(yōu)。實(shí)踐中一般將熵系數(shù)設(shè)置為 0.01 到 0.001并在訓(xùn)練后期線性衰減。監(jiān)控每批次策略熵的平均值如果熵突然跌到 0說(shuō)明策略幾乎變成了確定性策略這在許多任務(wù)中是危險(xiǎn)的。8.4 RLHF 工程中的安全與合規(guī)RLHF 的目的是讓模型行為對(duì)齊人類偏好但“人類偏好”本身帶有主觀性必須遵守法律法規(guī)和倫理邊界。在訓(xùn)練獎(jiǎng)勵(lì)模型時(shí)要使用合法合規(guī)的數(shù)據(jù)集避免通過(guò)對(duì)抗樣本或惡意提示來(lái)“攻擊”獎(jiǎng)勵(lì)模型。不要試圖讓模型繞過(guò)安全限制也不要讓模型在敏感領(lǐng)域產(chǎn)生虛假信息。工程上RLHF 訓(xùn)練需要在受控環(huán)境中進(jìn)行設(shè)置人工審核環(huán)節(jié)對(duì)于人工反饋數(shù)據(jù)要做匿名化處理并確保數(shù)據(jù)采集獲得用戶授權(quán)。8.5 代碼可持續(xù)性強(qiáng)化學(xué)習(xí)實(shí)驗(yàn)代碼比普通訓(xùn)練代碼更容易腐化。建議從一開始就把“環(huán)境配置”“采樣循環(huán)”“模型更新”拆成獨(dú)立模塊。采樣環(huán)境使用向量化環(huán)境例如gymnasium.vector可以提升訓(xùn)練吞吐量。模型定義和損失函數(shù)用獨(dú)立函數(shù)封裝方便切換算法。日志系統(tǒng)記錄每個(gè) step 的獎(jiǎng)勵(lì)、價(jià)值損失、策略熵、KL 散度這能在排錯(cuò)時(shí)省下大量時(shí)間。保存模型時(shí)除了權(quán)重還要保存 optimizer 狀態(tài)、隨機(jī)種子和超參數(shù)否則無(wú)法復(fù)現(xiàn)實(shí)驗(yàn)結(jié)果。8.6 性能優(yōu)化CartPole 這類小環(huán)境用單進(jìn)程訓(xùn)練沒(méi)問(wèn)題但真實(shí) RLHF 任務(wù)通常要并行采樣。語(yǔ)言模型生成文本很慢一般使用 vLLM 等推理框架加速采樣Critic 的價(jià)值網(wǎng)絡(luò)可以用單一的 GPU 作為獨(dú)立服務(wù)。數(shù)據(jù)傳輸建議使用共享內(nèi)存隊(duì)列避免序列化開銷。在更新階段Actor 和 Critic 可以輪流更新也可以同時(shí)更新。PPO 通常采用“先收集大量樣本再多次更新”的方式因此采樣進(jìn)程和訓(xùn)練進(jìn)程分離是必要的。如果你需要在多機(jī)環(huán)境訓(xùn)練還涉及參數(shù)同步和通信開銷建議先單機(jī)多卡跑通再擴(kuò)展。9. 總結(jié)與學(xué)習(xí)建議Actor-Critic 算法的價(jià)值在于它為深度強(qiáng)化學(xué)習(xí)和 RLHF 提供了一套穩(wěn)定的訓(xùn)練框架。理解了 Actor 輸出策略、Critic 輸出價(jià)值、TD 誤差充當(dāng)學(xué)習(xí)信號(hào)這三者之間的關(guān)系就相當(dāng)于打通了強(qiáng)化學(xué)習(xí)的主流脈絡(luò)。在此基礎(chǔ)上繼續(xù)學(xué)習(xí) GAE、PPO、TRPO、SAC 會(huì)更快。RLHF 本質(zhì)上是 Actor-Critic 在語(yǔ)言模型對(duì)齊中的應(yīng)用核心難點(diǎn)并不在策略梯度本身而在于獎(jiǎng)勵(lì)模型的質(zhì)量、KL 約束的調(diào)節(jié)以及大規(guī)模分布式訓(xùn)練工程。如果你想繼續(xù)深入建議按以下路線實(shí)踐先手動(dòng)推導(dǎo)一遍策略梯度定理和 TD 誤差公式運(yùn)行本文的 CartPole 示例修改優(yōu)勢(shì)估計(jì)方式觀察方差變化閱讀 Stable-Baselines3 的 PPO 源碼逐行對(duì)照公式用開源 RLHF 框架如 TRL、DeepSpeed-Chat跑一個(gè)小模型查看訓(xùn)練日志和生成效果。強(qiáng)化學(xué)習(xí)是一門“看公式覺(jué)得懂了寫代碼立刻懵”的學(xué)問(wèn)但多寫幾次代碼多調(diào)幾次參數(shù)后直覺(jué)會(huì)逐漸建立起來(lái)。希望這篇教程能成為你理解 Actor-Critic 和 RLHF 的第一塊墊腳石遇到問(wèn)題也歡迎在評(píng)論區(qū)討論。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
加勒比色99999| 91久久精品中文字幕| AV和黑人在线播放| 中文啪啪视频| 日日骚一区二区三区| 狠狠色伊人亚洲综合网站色| 婷色五月| 国产精品另类一区大香蕉| 欧美一级美片在线观看免费| 日本不卡三级网在线播放| 天天操福利视频综合网站| 1769国内精品视频| 亚洲欧美另类少妇精品| 女人精品内射国产99| 色五月综合| 97超碰中文| 亚洲自拍天堂| 内射卯月麻衣| 国产精品亚洲一区二区三区四区| 夜夜做夜夜爽精品视频| 久久久精品无码亚免费| 中出91视频| 国产第25页在线观看| 久婷婷一区| 亚洲国产精品无码AV久久| 大香蕉乱伦视频网| 久久精品无码一区二区三区| 三级三久久线久久99久目本WW| 天天内射| 日韩av一级黄片| 一区中文字幕二区日韩| 欧州一区二区三区四区| 91九久| 91宗合网| 国产91美女高潮| 欧美精品庄| 狠狠爱综合网| 91丝袜美女视频| 大香樵伊人网| 乱伦日本中文自拍| 中日韩久久人妻一区二区| 一区二区三区免费视频入口| 国产精品久久久久久夜夜夜| 日本熟女不卡视频| 加勒比日本在线| 一级片视频啪啪| 午夜天堂网| 韩国一级婬片A片无码天美| 日本天天人人狠狠在线日美女 | 日本999精品| 欧美精品一区二区少妇免费A片 | 精品无码一区二区三区| 亚洲人久久久网| 色噜噜精品一区二区三| 日本三级精品| 久久久久久久久久久久久久9999| 另类视频在线| 黄人人操人人操| 午夜天堂网| 少妇一区二区三区精选| 久久夜精品一区二区三区| 亚洲污污网站| 免费观看啪视频| 少妇高潮一区二区三区在线| 深夜啪啪啪视频免费| 久久97超碰| 91丝袜美腿网站| 国产最火爆久久国产网站网站| 超碰97最新人妻| 高潮的A片激情扒开一区| 另类图片亚洲加勒比另类图片亚洲加勒比另类图片亚洲加勒比 | 久久久免费高清中文视频| 日本午夜福利视频| 九九操久久国产免费视频| 丁香五月综合| 欧美偷拍区| 亚洲成人在线资源| 天堂麻豆天美| **一级毛片国产| 99re超碰| 日韩 欧美 国产 麻豆| 色吧五月| A V视频日本| 试看60秒 爽| 97色色国产视频| 人人考人人摸人人干| 亚洲综合在线第一页| 五月丁香黄色网| 亚洲欲| 婷婷五月天色| 亚洲超碰AV| 操逼操2| 天天拍天| 午夜欧美神马久久久久| 欧美第38页| 91精品黄在线观看| 蜜桃视频成a人v在线| 日韩精品亚洲一二三| 久久欧洲| 国产久久日韩网站导航| 天天爽天天操| 美女自卫慰黄网站免费| 青娱乐蜜桃臀AV色婷| 熟女突然公开看18禁影片| 色网站导航大全| 久操电影网| 国产精品视频播放| 艳美熟妇先锋一二三区| 国产久久久久久久久一区二区 | 无码聚合| 午夜无码精品免费看性色| 欧美亚洲天堂| 天天干夜夜操一区二区| 亚洲天堂五月天国产| 欧美色图片欧美色图| 在线综合 亚洲 欧美中文字幕 | 久久色情| 日韩性爱小视频| 91成人久久| 久久亚洲不卡一区二区三区| 自拍盗摄一区| 日韩中字av一区| 国产麻豆一级精品视频| 欧美成人A天堂片在线观看| 亚洲欧美不卡线| 日韩在线观看AV| 欧美亚洲宗合色性图| 免费人人搞97| 91天天爱| 伊人aaa| 久久中日麻豆| 超碰1997| 中文字幕精品亚洲熟女| 日韩欧美天堂| 国产97视频免费观看| 国产欧美在线观看免费观看| 欧美亚洲激情| 久草午夜| 国产又黄又爽| 超碰97人妻免费在线| 91爱网| 欧美色网络| 上床啊啊啊| 91制服丝袜中文字幕| A 在线网址| 色婷婷视频| 亚洲国产成人精品久久久国产成人一区二区三. | 91在线美女| 日韩人体偷拍| 乱日视频| ,成人免费啪啪视频| 日韩啪啪网| 日日躁狠狠躁天天躁精品| 一区二区不卡免费| 日本久久久久久久久久| 色天天野狼综合社区| 这里只有精品视频在线| 午夜福利免费福利视频| 激情久久久| 激情五月综合网| 99热18| 久久99综合| 日日夜夜干| 久久超碰爱| 日韩影片中文字幕一区二区三区| 天天看人人操屄犊摸阴| 婷婷丁香五月天综合东京热| 亚洲日韩精品在线播放| 九九九综合精品| 国产熟妇一区二区| 33044男人的天堂深夜备| 蜜汁欧美| 370p日韩欧美亚洲精品| 激情综合五月天| 欧美大码在线视频| 日本孕妇孕交| 91色宗合| 久久精品国内Av熟女高清| 中文字幕,人妻,日韩| 嫩草影院在线观看精品| 长长久久88视频| 欧美狠狠弄| 青青久久手机线视频| 51一区二区三区| 韩国一级做A片免费的| 天天爽天天干| 东北女人操比视频| 好爽视频在线观看视频 | 亚洲色宗合| 热思思免费视频| 综合性视频99| 国产原创自拍| 高潮综合网| 噜噜噜噜天天狠狠| 色综合V| 日韩Va亚洲va欧美Ⅴa久久| 999九九九九国产动| 久久禁| 97超碰日韩| 精品成人亚洲午夜电影| 99热精品在线播放| 操b网站亚洲无码| 国内外激情在线| www.99色| 大香蕉男女超碰精品在线| 男人的天堂欧美| 91天美免费| 东京热视频网| 老熟女91av| 青青草好吊| 婷婷久久五月综合激情| 熟女视频久久| 囯产精品强| 97天天摸天天碰| 亚洲综合小视频小说在线观看| 国产精品乱码久久久久久久| 成人自拍三级在线观看| 99这里有精品视频| 91成人久久| 丁香五六月啪啪| 五月天激情视频| 欧美亚洲宗合色性图| 亚洲精品久久久久久久蜜桃臀| 久久久久久久亚洲Av无码| 超碰亚洲97| 四虎精品永久在线观看| 搡老女人老妇女AAA一VU麻豆| 极品色社| 色欲久久99国产精品久久久久久| 青青草无码视频| 欧美极品美女aaaaaa级黄片| 蜜桃臀av在线观看| 老鸭窝在线视频播放| 先锋色眉乱伦资源| 男人精品天堂一区| 萌白酱自拍视频| 欧美精品91| 天天肏天天干| 九九伊人网| 久久人体一区二区| 日韩成人大片一区二区| 黄色一区三区| 婷婷五月天激情网| 东北操逼| 日韩av在线免费网站| 乱老熟女一区二区三区| 国产强奸91| 欧美熟妇人体| 欧洲综合无码| 天天看人人操屄犊摸阴| 国产精品乱码久久久久久久久久久久| 男人天堂资源| 久久精品视频久久久| 亚洲性天堂| 五月天激情小说网| 亚洲男人天堂2017| 亚洲一区深夜| 国产主播福利| 啊好爽快点-国产一区二区三区撒尿在线-成人AV | 麻豆天美久久91| 天天综合影院91| 欧美综合91| av天天在线观看| 91天堂| 婷婷五月在线视频| 亚洲欧美999| 中文字幕第页| 午夜亚洲WWW湿好大| 中文字幕片| 男人的天堂成人的社区| 强奸抽插av| www.AV有限公司一区| 另类综合另类| 欧美日韩不卡传媒| 亚洲麻豆精品二区三区| 欧美懂色综合网| 成人午夜小视频手机在线看| 久热这里| 色老汉玖玖爱| 人妻一区二区三区视频| 欧美人妻色| 国产精品极品美女视频| 欧美 日韩第一性色| 中文字幕日本久久| 60秒不遮不挡| 亚洲成人精品久久久| 99国产在线 精品 视频| 欧美劲爆第一页| 国产久久一区二区午夜| 无码天天操| 欧美另类天堂| 午夜呻吟欧美| 狼狼色丁香久久婷婷综合五月| 久久一区二区加油站| 色噜噜人妻丝袜a∨先锋影| 色路综合| 台湾大香蕉99热| 国产精点久久久成人| 欧美92| 蜜桃传媒一区二区亚洲| 加勒比在线视频一区二区三区 | 日本一卡二区在线| 按摩中文字幕| wwwcaobibi| 男人久久天堂| 天天综合网~91综合网| 日韩一区二区精品视频| 少妇被玩视频二三区| 日韩综合无码色欲vv| 97操B| 国产SV一线| 欧美久久伊人| 人人操人人干xxx| 都市久久精品激情亚洲| 免费AV中文网在线观看| 熟妇高潮精品一区二区三区下载| 日韩一级片| 美女被啪到深处抽搐视频| 天天射夜夜| 另类图片五月| 操逼网站视频漫画国产| 人妻精品免费一二三区| 欧美综合色图片| 69精品人人人人| 亚洲操操| 91free福利| 夜夜操美女| 久久无码成人| 百度百度日本操逼| renqi久久久久久久久久久久| 国产又黄又粗又猛大片| 97超久碰| 色婷婷综合久久久久中文国产精品一区中文字幕,国产福利电影一区二区三区 | 亚洲欧美激情在线视频| 97人人夜夜精品视频| 亚洲,欧美,综合网| 国产精品福利视频| 亚洲国产精品久久久久婷婷老年| 精品福利视频| 中文一区二区三区影院| 亚洲天堂7777| 日韩成人精品| AA级电影三区| 亚洲九区| 精品偷拍13p欧美dodk视频| 9999久久久| 密臀在线视频| 超碰吊日色| 蜜桃臀av在线观看| 闷骚老熟女15P| 色婷婷在线视频| 久久久精品成人国产| 日韩天堂av电影在线观看| 99国产精品免费| 性色av婷婷久久一区二区点复制| 精品国产一区二区三区香蕉欧美| 亚洲麻豆精品二区三区| 婷婷在线视频| 久久九色| 亚洲天堂 视频你懂的| 丰满少妇乱子伦精品无| 国产91精品福利在线| 都市久久精品激情亚洲| 色五月69夫妻| 国产欧美一区二区| 亚洲免费精品一区| 英伦大奶子熟妇吊带| 四虎影视在线| 老熟女熟妇| 日日干夜夜操视频h| 东京太热久久久| 久操黄色视频| 97人人爱人人做人人乐| 久久熟女久| 久久亚码| 夜夜嗨一区| 日韩人妻无码不卡网站| 91精品人| 天天色天天干天天爱| 麻花豆传媒剧国产MV出差| 久久人人爽爽人人爽人人片αV| 国产操伦| 无码国产精品午夜不卡(| 久久人人看| 超碰在线99| 色综合98| 久久国产免费激情视频| 亚洲制服欧美另类内射| 岛国精品视频在线观看| 色97| 久久久久78| 久久久91福利姬| 亚洲熟女诱惑| 人人操我人人干| 中文字幕av亚洲在线| 美日韩成人| 视频在线观看一二三区| 丝袜狠狠草尤物 91| 91国产丝袜白虎| 婷婷婷婷婷婷久久久久| 久久久精品无码亚免费| 亚洲欧美精品一区天堂久久| 男女激情中文字幕| 亚洲另类色综合网站| 97爱亚洲| 人妻乱仑一区二区三区| 久久婷婷国产一区二区色| 久久久∴| 蜜桃臀 后入 一区 二区 三区 在线| 99精品视频在线观看| 91国产精品在线看| 美女91在线| 欧洲黄色网| 日韩少妇丰满亚洲| 97情超碰色| 亚洲久9| 亚洲天天做日日做天天谢日日| 秋霞无码av鲁丝片一区| 久久9 9 9精品| 97超色| 91亚洲欧美| 综合久久久久久久综合网| 久久老子无码午夜伦不卡| 香一区二区三区| 国产人妻精品一区二区三区秋霞| 成人蜜乳小视频网站| 区一二区日韩亚洲乱码av电影| 日韩中文字幕熟妇人妻 | 囯产精品一区二区三区线|亚洲人成无码网WWW动漫|国产精品免费一级... | 后入日本1234| 欧美色图综合网| 久久精品国产亚洲AV无码做| 青青操97| 人妻熟女一区二区在线视频| 一起草日韩| 草草影院日本第一页| 超碰国产情侣自拍网| 亚洲国产av中文字幕久久| 日韩综合第八区国产精品| 免费视频一二三区| 国产一级αv免费看片| 大香蕉一人在线| 大色综合| 99国内精品| 99色热| 久热香蕉精品在线视频| 国产精品视频播放| 日本操逼视频在线| 亚洲人精品久久久喷水| 狠狠爱大香蕉| 五月丁香啪| 亚洲素人综合| 免费中文在线| 日韩精品系列| 国产精品在线一区二区| 人人插人人搞人人操| 玖玖综合网| 超碰天天操| 久久精彩视频| 中国一区二区亚洲人妻| 日本午夜久久电影| 日本道人妻久久久在线不卡色视频| 在线免费观看高清无码视频| 秋霞久久亚洲精品成人| 亚洲精品 欧美97色色| 97干色天堂| 久热9| 浪人综合网| 激情婷婷综合久久| 丝袜综合网| 97爱啪| 欧美一二三区四五区| 国产精品老师| 国精精品无码一二三区水多多| 97色色,97综合| 日韩性爱一级片| 国产一区二区精品在线视频| 国产精品色色| 亚洲天堂 视频你懂的| A 在线网址| 天天上日日上日韩精品| 揉揉日日日日| 日韩乱伦影音先锋| 自拍偷拍草一草| 国产精品96久久久久久| 久久婷婷苹果| 9.1小视频| 欧洲精品人妻| 在线亚洲精品久久久| 人妻AV 中文字幕的| 男男H黄动漫啪啪无遮挡网站| 国产亚洲色婷婷久久99精品91 - 百度 | 无码人妻精品一区二区中文| 韩国免费播放一级毛片| 精品人妻一二三| 人人贴人人摸| 久久久久久99999国产精品| 少妇滛荡视频| 欧美组图日韩亚洲中文字幕| 极品粉嫩少妇视频| 国产欧美亚洲精品a第2页| 综合亚洲欧美| 老熟女阿 国产91| 欧美性巨大╳╳╳╳╳高跟鞋| 大香网伊人久久综合网eew| 黄片免费看黄片免费看| 69一区二区三区 | 中文字幕99999| 丝袜 中出 制服 人妻 美腿 中文字幕| 久久精品一区一起草| 蜜桃丰满熟妇av无码区不卡| 91超碰在线播放| 在线情色电影 91大| 天天干人妻| 久久偷偷色综合蜜桃| 精品一区二区2| 欧美色五月| 六月丁香五月婷婷| 97色色网| 日欧美色| 91少妇通奸网站| 成人草草视频| 国产精品人妻无码久久久互動交流 | 成年人免费观看网站| 少妇精品久久久八区九区| 亚洲风情综合网| 久久久四区| 综合色区偷拍| 欧美日韩99| 91无码中出人妻视频| 中亚av| 国产精品区在线12p| 97干在线视频| 国产熟女少妇一区| 蜜臀久久99精品久久综合| 中韩中文字幕在线观看| 久久啊啊啊| 亚洲天堂男人天堂网| 青娱乐福利99| 国产欧美日韩在线不卡第一页| 五月婷婷五月天| 伊人久久大香线综合无码| 亚洲影院无码在线| 久干9操| 天天爽爽爽爽| 97天天插| 国产黄色在线播放观看| 黄网在线播放| 偷拍欧美激情| 在线国产一区二区av| 天天久久久久久| 久久久久久999| 美国人人操人人操| 99久久无色码| 大香久久| 亚洲日韩精品在线播放| 九九九九免费高| 亚洲情色91| 亚洲资源站| 亚洲国产精品99久久久| 男人亚洲91首页在线| 亚州欧美综合| 尤物黄色在线观看网站| 国产欧美一区二区| 9118禁| 国产女人9999| 永久电影三级在线观看| 久久久久9| 中亚黄色三级大片| 国产日韩区| 九九九久千久久激情蜜桃在线看 | 亚洲欧美啪啪| 1人人看人人摸人人操| 综合影院亚洲| 天天做天天爱| www.久久爱| 岛国黄色大片网站| 夜夜黄| 肏逼福利网站| 中文字幕一二三区| 91另类| 五月丁香激情综合网| 神马九九九| 亚洲人妻中文高清| 中文字幕第页| a人片中文字幕一区二区| 久久人| 性性欧美| 免费日韩黄片| 日韩精品99久久久久久中文字幕| 国产在线综合福利网站| 有码免费观看| 亚洲一卡二卡在线免费| 韩国三级三级BD在线| 国产午夜精品理论片一二三区区| 欧美少妇一区二区三区| 久久无码一区二区二三区性色| 美女91网站| 日本淫穴在线| 手机看片91人妻| 中文字幕少妇色| 日韩在线欧美精品一区二区| 五月天综合网| xxx0国产在线播放| 91操熟女视频| 亚洲久久天堂| 亚洲激情网| 一本久道久久综合狠狠爱一密臀精| 亚洲成人在线播放| 日韩兔费看黄片| 91色图片| 国产区性爱在线视频秋霞豆| 操久久久久| 天天摸天天插天天日| 偷拍欧美激情| 日韩 女同 综合| 国产AV中文| 少妇 综合| 综合 亚洲 欧美| 91 丝袜在线| 免费人成在线观看网站品爱网| 91 丝袜在线观看| 日本3级一区二区免费| 欧美 亚洲 第一页| 麻豆成人av| 丁香五月婷婷啪啪| www.色吧5.com| 亚洲欧洲日本精品中文a∨| 亚洲精品一二牛牛| 加勒比久久av| 亚码激情| 日韩欧美中文| 色悠久| 久久婷婷欧美| 激情综合97| 欧洲成人性爱视频| 亚洲一二三四区| 亚洲国产精品久久久男人的天堂| 日韩中文字幕二区| 欧美爆乳精品一区二区| 亚洲综合色图欧美| 精品一久久久| 人妻啊啊人妻啊| 黑人狂躁日本妞一区二区三区| 欧美色91| 精品一区二区三区四区外站| 91爱综合| 伊人99热| 在线可观看的黄色网址| 波多野结衣之双飞调教在线播放| www.久久超碰| 日日夜夜模| 密臀在线免费观看| 熟女人妻久久中文字幕一二区| 最新av网站在线观看| 中国操逼无码| 大粗鳼巴久久久久| 天天操天天7| 无码操逼视频一下| 六月激情网| 综合久久六月久久婷婷| 亚洲国产一级黄色视频| 青青草好吊色| 高颜值美女口爆高潮浪叫| 91网站视频在线观看| 久久一区无码| 欧美熟女少妇| 操操AV电影| 婷色五月| 超碰人人干| 国产精品激情久久久久久久| 99这里只有精品国产| 色在线视频导航| 亚洲在线91| 天天干18禁| 97伦综合| 久久香蕉国产线看观看亚洲女人| 狠狠爱夜夜干| 欧亚日韩综合精品国产| 日韩中文字幕2020| 激情视频一二三| 大香蕉欧美国产日韩高潮| 久久伊人网视频一区二区三区| 六六久久日韩不卡| 亚洲色图大香| 97中文超碰| 91原创在线观看| 黄页大片在线观看| 久久久一热在线播放| 欧美熟爽综合| 国精品一区二区三| 97超碰色屌| baiduhicn.com。| 久偷拍欧美日韩三区| 久久九精品| 九一国产精品| 正宗无毛一线天嫩逼| 人妻夜爽夜夜爽| 蜜臀99久久国产| 午夜精品久久久久久久久久久久久 | 26uuu久久| 久久久久久亚洲Av无码| 无码国产Av| AV无码久久久精品| 99天堂网| 精品人妻一区二区三区-国产| 久久综合乱子伦国产免费| 麻豆九九九| 秋霞福利网| 欧美精品系列| 久操精品| 三级色综合| 熟女六十路| 青青草操逼逼视频| 亚洲.欧美.丝袜.中文.综合| 熟女91网| 亚洲a色| 精品一区二区三区国产| 天堂а√在线最新版在线| 肉嘟嘟www视频在线观看高清| av资源在线观看少妇| 一本一道人妻久久一区二区三区 | 国产毛片精品一区二区色欲黄A片| 欧美成人9797| 操死我了嗯嗯嗯| 亚洲有薄码区久久在线一区| 夜夜骑夜夜操| 女人 A一级| 黄色网址久久精品欧美喷水| 国精综合一二三区影视| 好湿好紧视频| 性爱网站一区二区| 国产一级黄色片在线观看| 97超碰jingpin| 夜夜久久久| 偷拍三区| 男人的天堂2010| 久久综合av| 欧美超碰97| 亚洲午夜福利视频| 影音综合网| 伊人网在线点播| 国产日韩手机视频在线| 五月丁香大香蕉| 男人网站婷婷| 日本一级特级毛片视频| 精品国产久热在线观看| 天天享受天天看| 亚洲一区二区三区婷婷| 伊人女女资源在线观看| 日韩国产十八禁| 亚洲一区二区AV| 久久久久国产一区二| 欧美爆操91| 色噜噜狠狠色综无码久久合欧美| 熟女人妇一区二区三区| 欧美婷婷久久| 福利视频合集| 精品人妻伦一二三区久久| 锕锕好爽 死我在线观看| 欧美18 在线观看| 精品少妇后入一区二区三区四区人妻巨乳 | 性在久久久久久| 厕所偷拍在线| 精品午夜福利| 丁香六月综合激情| 97在线欧| 婷婷午夜成人色中色| 热久久九九热| 97超级欧美| 91亚洲欧美激情| 综合欧美激情网| 97精品视频免费| 中文字幕欧美日韩三级| 国产美女自拍AV| 欧美专区第一页| 欧综合网| 99性爱视频| 美女黄页网站| 99热这里是精品| 亚洲狠狠入| 秋霞一级视频在线观看免费| 欧美玖玖爱免费玖玖| 日韩免费看在线黄色片| 欧美熟妇精品黑人巨大一二三区| 凹凸精品熟女在线观看| 天天弄天天操| 久久啊啊| 夜夜爽77777| 啊啊啊爽爽| 国产成人资源| 成人性爱免费播放| 麻豆福利视频导航| 国产精品探花色| 天美传媒在线一区| 久干9操| 欧美线天码中字| 国产无马av| 大香蕉狠狠爱| 婷婷三区| 操逼天美3区| 天天拍天| 亚洲色久| 99无码狠狠久久| 白丝少妇一区二区| 久干9操| 91无码人妻精品一区二区三区蜜桃| 欧亚免费视频| 亚洲成人贴图| 熟女自慰久久久| 日本免费专区| 天天操福利视频综合网站| 狠狠综合| 人人性爱视频免费| 天堂涩涩| 日韩无码成人电影| 亲子敌伦对白在线播放| SS久久| 人成午夜免费大片| 蜜臀久久99精品久久久| 天天看片麻豆| 婷婷丁香五月激情啪啪| 亚洲本色精品一区二区久久| 青青草男人天堂| 99久久久久| 立川理惠被中出无码| 欧美天堂亚洲电影院一区在线播放| 国产视频一区二区免费| 神马久久午夜| 亚洲欧美一区二区不卡视频播放| 国产粉嫩出水在线播放| 五月丁香激情四射| 1.igao73.com 加入收藏 免费专区 国产精品 中文字幕 日韩精品 欧美精品 精彩 | 国产极品一区二区三区三州| 九九热三级片| 91欧美性| 97视频网站在线观看| 国产专区第一页| 鸥美中出| 91欧美性| 伊人五月天青青草婷婷| 亚洲一区二区精品福利| 人人模人人看| 亚洲中文字幕av| 又摸又舔在线观看网站| 在线另类| 萌白酱自拍视频| 思思热国产高清| 午夜九九| 97精品国产精品免费观看| 东京热亚洲一区二区| 亚欧视频在线| 日韩无码一级黄色av片| 四虎精品永久在线观看| 天天干天天中出av| 久久精品视频久久久| 国产精品久久久久久久久AV大片 | yazhououmeizongya| 久久綜合很很很| 天天综合色电影| 日韩,欧美,中文在线| 国产精品白丝在线播放| 91精品人妻一区二区三区蜜臀| 国产情色第一第二页在线观看| 白丝1区2区3区| 天天插天天插| www.超碰在线| 在线强奷到舒服的无码视频 | 久久在线观看免费视频| 国产又粗又长又大的视频| 少妇99| 热久日综合| 9超碰免费| 亚洲日韩av一区二区三区百合| 色色婷婷五月天| Blackedraw视频一区二区| 国产日韩欧美操逼视频| 国产午夜精品理论片a大结局| 老司机香蕉久久久久| 夜夜嗨免费视频| 久久久久久久六六| 大香蕉男人的天堂| 欧美色日本| 少妇500双飞99| 一区二区三区日韩欧美| 97操97色| 国产综合永久精品日韩鬼片| 999久久久国产精品| 青青操日韩| 丝袜美腿91| 亚洲做性| 夜夜高潮夜夜爽夜夜爱爱一区| 久久9免费视频| 亚欧美综合| 一二区在线观看视频| 91蜜桃传媒精品久久久一区二区| 国产精品午夜精品| 97在线播放| 欧美色综合网| 欧美写真视频一区| 韩国三级色呦呦| 欧美成人免费在线观看| 四虎国产精品永久在线囯在线 | 懂色AV网| 久久内射| 欧美色图色综合| 人妻另类 专区 欧美 制服| 91视频精品| 精品久久久高清无码| 午夜爽爽爽在线观看永久入口姬片| 久久人人舔人人爽舔人人av片| 国产福利小视频高清在线观看| 92午夜免费福利视频| 久久久久9| 欧美午夜精品久久久久久超碰| 黄色乱论网站| 日本不卡二三区| 职场同事知名国产国产精品久久欧美日韩| 欧美色图97| 久区视频| 女沟厕偷窥piss小便| 秋霞成人做爱| 亚洲精品成人激情在线| 精品少妇一区二区三区免费观看| 超碰在线974| 亚洲性图91| 青青青青青手机视频| 亚洲欧洲av影音| 亚洲强奸乱伦影视网| 中文字幕一区av| 亚洲天堂第一页| 国产AV天美传媒一区二区三区 | 亚洲无码国产探花在线观看| 中文字幕性感少妇av| 欧美偷偷网| 精品人妻一区二区三区蜜桃视频| 亚洲欧美洲综合| 欧美成人一区二区| 99re在线视频| 精品国产乱码久久久久久蜜臀| 91免费看一区二区三区| 999亚洲国产视频| 色99在线| 大乔未久88一区| 日韩在线电影| 国产亚洲精品农村妇女| 欧美激情综合色综合啪啪五月| 中文字幕少妇色| 久久精品成人| 色婷婷六月丁香七月婷婷| 女同性恋久久| 嫩草 人人网精品| 91久热| 亚洲精品成人动漫在线| 婷婷综合久久| 国产亚洲精品美女| 男人亚洲天堂| 日韩一级片在线看| 狠插 制服 自拍| 96久久久久久久| 欧美久久人人网| 快点操死我| 美女性91| 国产精品无码av在线| 综合久草| 2017天天插| 日日碰狠狠添天天爽超| 10000部十八禁看电影| 性一级黄色录像片网站导航| 一区二区三区 日韩欧美| 国产suv精品一区二区四| 欧美日韩国产精品久久色婷婷| 国产精品久久久无码aV去| 嗯嗯啊啊视频在线看| 精品人妻视频一区二区在线播放 | A男人的天堂| 青青操网| 神马视频久久久久久| 99re6在线视频播放免费精品| 盗摄女人妻在线| 伊人一区二区三区| 懂色Av| 天天插天天干| 欧美日韩人妻精品一区二区三区| 性在久久久久久| 一区,二区,三区视频| 国产精品不卡av免费在线观看| 狠狠色综合网| 啊啊啊骚| 大香蕉乱伦视频网| 超碰 国产熟女精品一区| 99国产在线 精品 视频| 97青娱乐超碰久久| 国产偷拍网站| 日韩内射视频| av影片在线观看不卡| 日韩AV片| 久久久久久久久999| 99热综合| 精精品人妻一区二区三区| 国产高潮AA片免费看| 超碰97人人乐| 97干在线视频| 78m啪啪啪| 中文字幕永久在线| 久久东京热久久| 日韩97超碰中文字幕| 亚洲情色综合| 伊人影院在线理论播放| 女人天堂av在线播放| 一本正道久久熟女| 国产精品久久天天干| 国产青视频| 精品高清一区二区三区三州| 都市激情人妻一区二区青青操视频 | 久久久久久久性爱| 麻豆天美国美国产| 欧美黄色手机在线观看| 青青草手机在线免费观看| 欧美性生活免费网| 午夜精品久久久久久久| 99久久网站| 亚洲加勒比久久日本道| 国产60区。| 天天视频黄网站| 中文字幕黄色一起草| 亚洲综合春色| 69少妇一区二区| 亚洲欧美综合网站| 九九成人视频| 国产亚洲精品一区二区三区| 国产精品suv一区| 国产 v乱码一区二| 97天天综合| 久久精9| 极品色www影院| 校园春色五月天| 亚洲免费97免费| 婷婷亚洲五月***久久| 91爱网| 成人一区二区三区四区| 久久人人爽人人爽人人片Ⅴ| 另类天堂| AV色五月天| 久久精品人体| 高清无码 国产精品| 蜜臀网 一区| 色九九九综合| 91狠狠色丁香婷婷综合久久精品| 日韩成人性日韩成人性爱视频在线免费观看| 欧美乱妇狂野欧美在线视频| 桃花色涩综合影院| 国产午夜福利专区综合| 熟妇一区,二区,三区。| 91久久国产综合久久| 少妇高潮特黄A片| 淫荡网址| 国产精品第一页国产大屁股视频免费区i | 日韩大香蕉| 大香蕉青青9| 青青草自拍视频在线播放| 亚洲五码一区二区三区| 九九九九九九视频免费| 日韩 女同 综合| 九九九久千久久激情蜜桃在线看 | 神马影院午夜福利久久久| 狠狠综合| 少妇高潮对白在线观看| 日韩中文字墓| 国产精品白丝www| 国产亚洲日本| 九一亚洲国产免费| 99视频自拍| 手机在线视频国内精品| 91综合网| 日韩久射综合| 亚洲高清在线se| 久久綜合很很很| 亚洲色图91欧美日韩| 日韩乱插| 日韩欧美aⅴ综合网站发布| 色婷婷国产精品一区在线观看| 99最新日韩偷拍视频| 99xav| 青娱乐 成人娱乐在线| 色99在线| 人妻熟女av国产网站| 欧美日本中字另类在线| 91大神精品长腿在线观看网站| 蜜臀网 一区| 青青草在线视频播放器| 亚洲资源网| 伊人网在线观看| 日本熟人妻中文字幕在线|...久久国产精品-国产精品_日本一区二区三区中文字幕 | 奸色色 男人天堂 天天射| 国内毛片无码一级毛片| 最近2019中文字幕国语免费版| 成人精品久久久午夜福利| 大色综合| 欧美成人性活片| 中文字幕在线免费观看 | 97资源站久久| 欧美亚洲激情一二三| 中文字幕久久精视频久久大全| 国内精品久久国产,www香蕉久久五月丁香,亚洲欧美日韩精品永久在线,日本精品一 | 中文字幕诱惑制服人妻丝袜美丝袜美| 久久的网站啊啊啊啊啊| 91N欧美| 日韩在线76| 精品国产一区二区三区av在线资源| 国模少妇一区二区三区| 国产强奸超碰AV| 亚洲制服欧美另类内射| 美国日韩黄色片| 韩国三级理论在线| 中文字幕狠狠玩| 一区二区三区精品视频| 天天日天天干天天整| 九九综合久久| 欧美亚洲天堂| 抽插一区二区视频| 密臀成人视频久久久| 日韩无码服务区| 国产一区二区精品久久久不卡蜜臀| 婷婷久久久精品| 四虎在线视频| 少妇一区二区三区| 亚洲无码精品AV久久久| 大屁股人妻女教师撅着屁股| 国产精品久久久久久亚洲色欲| 日韩激情电影中文字幕| 一个色导综合| 在线观看AV片| 国产精品视频白浆免费| 日本三级日本三级99| 日韩精品99999| 人妻精品4K4K4K4K4| 五十路熟女工口 | 97爱免费插| 欧中日成人免费影视| 日本一天色道久久久精品视频| 粉嫩AV输入| 欧美同性恋 的搜索结果 - 91n| 亚欧洲日韩国产精品| 亚洲成人久久美女| 国产精品麻豆成人av| 亚洲精品自拍| 日韩色| 日本免费亚洲欧美| 亚洲人成色9999精品久久| 青青操在线亚洲视频观看欧美在线 | 精品国产无码中文| 欧美黄片欧美黄片xxx| 五月婷婷六月丁香| 中文字幕在在线观看网站| 蜜臀亚洲综合一二三四区| 欧美瑟综合| 国产肏逼网站| 留下AⅤ黄色片| 久久久久久亚洲精品中文字幕人妻|