日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

基于DQN的室內(nèi)無線資源分配:Matlab仿真實現(xiàn)與調(diào)參實踐

基于DQN的室內(nèi)無線資源分配:Matlab仿真實現(xiàn)與調(diào)參實踐 上一周我做室內(nèi)無線網(wǎng)絡(luò)的資源分配仿真時遇到一個很典型的困惑在靜態(tài)拓撲下傳統(tǒng)注水算法和輪詢方案表現(xiàn)都還可以可一旦把用戶終端位置變化、突發(fā)業(yè)務(wù)和信道波動放進去固定策略的效果就會迅速劣化。折騰了一陣子后我徹底轉(zhuǎn)向了深度Qlearning強化學(xué)習(xí)方案——把功率分配看作一個序貫決策問題讓智能體在仿真環(huán)境里反復(fù)試錯學(xué)出一套“狀態(tài)到動作”的映射策略。這篇文章就把我踩過的坑和最終跑通的Matlab仿真實現(xiàn)完整記錄下來內(nèi)容包括室內(nèi)無線資源分配問題的建模思路、深度Q網(wǎng)絡(luò)DQN各核心組件的落地細節(jié)、Matlab環(huán)境搭建到訓(xùn)練主循環(huán)的完整鏈路以及收斂性分析和調(diào)參心得。適合通信工程相關(guān)專業(yè)的研究生、剛接觸強化學(xué)習(xí)但想盡快上手仿真驗證的工程師以及所有準備在無線網(wǎng)絡(luò)領(lǐng)域引入智能決策方案的朋友參考。1. 問題建模把室內(nèi)無線資源分配寫成一個強化學(xué)習(xí)能理解的決策過程任何強化學(xué)習(xí)項目的第一步都不是敲代碼而是想清楚“智能體到底在做什么決策”。這一步?jīng)]有處理好后面網(wǎng)絡(luò)結(jié)構(gòu)再漂亮、調(diào)參再努力訓(xùn)練出來的策略也大概率是廢的。我自己的習(xí)慣是先花大量時間定義狀態(tài)、動作、獎勵并且用最樸素的語言把問題描述一遍確認這個MDP馬爾可夫決策過程閉環(huán)是合理的再開始寫Matlab代碼。1.1 為什么室內(nèi)場景比室外場景更需要動態(tài)分配策略室內(nèi)無線網(wǎng)絡(luò)和室外宏基站覆蓋有一個很大的不同點信道狀態(tài)受環(huán)境結(jié)構(gòu)影響極其顯著。穿墻損耗、人員走動遮擋、家具擺設(shè)反射、多徑衰落混疊在一起信號強度的空間變化非常劇烈。加上用戶終端往往是手機或筆記本電腦移動性雖然不如車載場景那么夸張但在辦公室、商場、實驗室這樣的環(huán)境里用戶隨時可能在幾個AP的覆蓋范圍內(nèi)切換。在這種條件下如果使用固定資源分配策略最直觀的問題就是信道質(zhì)量好的用戶可能被分配了過高的功率造成對相鄰信道用戶的額外干擾而信道質(zhì)量差的邊緣用戶又沒有得到足夠資源吞吐量被壓得很低。傳統(tǒng)做法一般有兩種思路應(yīng)對一種是通過信道狀態(tài)信息CSI的實時測量做集中式調(diào)度另一種是采用自適應(yīng)功率控制。集中式調(diào)度在用戶數(shù)少、拓撲穩(wěn)定時算力開銷還能接受但一旦用戶規(guī)模上來每時隙的優(yōu)化問題復(fù)雜度會快速提升現(xiàn)實場景中很難做到毫秒級響應(yīng)。強化學(xué)習(xí)的思路則完全不同。它把資源分配策略隱含在一個神經(jīng)網(wǎng)絡(luò)里通過智能體與仿真環(huán)境的持續(xù)交互逐步逼近最優(yōu)策略。每次決策只需要一次前向傳播推理速度非??於宜恍枰_知道信道模型的數(shù)學(xué)表達式是典型的“數(shù)據(jù)驅(qū)動”方法。這正是它在室內(nèi)動態(tài)場景下的核心價值所在。1.2 馬爾可夫決策過程的四項要素如何落到無線資源分配上將一個物理問題轉(zhuǎn)化為MDP最常見的困惑就是“我的狀態(tài)空間到底要包含哪些信息”。我的經(jīng)驗是遵循一個原則只放那些對當(dāng)前決策有直接影響、且智能體能夠觀測到的信息。在室內(nèi)無線資源分配這個場景中我的狀態(tài)設(shè)計如下信道狀態(tài)信息所有用戶到各接入點的信道增益矩陣。因為室內(nèi)信道有快衰落分量實際仿真中一般取瞬時CSI或者經(jīng)過平滑后的有效SNR。用戶業(yè)務(wù)需求每個用戶當(dāng)前時隙的需求速率或緩存隊列長度。這決定了資源分配的優(yōu)先級。歷史資源分配結(jié)果上一時隙各用戶獲得的功率或資源塊數(shù)量。加入這個狀態(tài)可以讓智能體感知到“上一輪我給了誰多少資源”有利于策略的平穩(wěn)性。干擾水平各接收端當(dāng)前受到的鄰區(qū)干擾功率。在室內(nèi)多AP場景中這個量對吞吐量影響很大。動作空間是強化學(xué)習(xí)建模中最需要謹慎設(shè)計的部分。連續(xù)功率分配可以用連續(xù)動作空間的DDPG等算法來做但Matlab仿真調(diào)試成本相對較高。我的做法是做離散化處理將每個用戶的發(fā)射功率劃分為若干等級。假設(shè)一個AP給它的關(guān)聯(lián)用戶分配下行功率功率范圍為0到20dBm以2dBm為步長就是11個等級有N個關(guān)聯(lián)用戶時聯(lián)合動作空間就是11的N次方這個復(fù)雜度顯然不可接受。所以更合理的做法是每次只為某個特定的用戶分配功率或者將用戶按優(yōu)先級排序后逐個決策。我在仿真中采用了“逐用戶決策”的方式每次智能體選擇一個用戶的功率等級然后環(huán)境返回對應(yīng)的瞬時吞吐量反饋更新狀態(tài)后繼續(xù)為下一個用戶決策。這樣動作空間就是11個離散等級網(wǎng)絡(luò)輸出維度完全可控。獎勵函數(shù)的設(shè)計直接決定了算法最終學(xué)出來的策略長什么樣。我的獎勵項拆成三部分吞吐量獎勵當(dāng)前用戶獲得的吞吐量這是核心目標公平性懲罰用Jain公平性指數(shù)作為正則項如果某一輪資源分配導(dǎo)致用戶間速率差距過大就給予懲罰功率代價發(fā)射功率本身有能耗代價同時過大的發(fā)射功率會加劇干擾所以對高功率等級施加輕微懲罰。將三者按權(quán)重相加得到最終的獎勵值。這里有一個關(guān)鍵經(jīng)驗獎勵的數(shù)值尺度要保持在合理范圍如果獎勵值動輒上千神經(jīng)網(wǎng)絡(luò)訓(xùn)練的穩(wěn)定性會非常差。我通常將吞吐量歸一化處理讓單位時隙獎勵落在0到5之間。生活化一點去理解這個建模過程智能體就像一位外賣調(diào)度員不能只知道哪個餐館訂單多就往哪里安排騎手還要知道每個騎手的位置、路況、訂單時效要求和超時懲罰才能做出合理派單。強化學(xué)習(xí)要做的就是讓調(diào)度員在大量派單-反饋循環(huán)中逐漸積累經(jīng)驗。1.3 狀態(tài)空間維度與動作離散化粒度的權(quán)衡在定義MDP時很多人會犯一個錯誤把能觀測到的信息統(tǒng)統(tǒng)塞進狀態(tài)向量。我剛開始做的時候也是這樣結(jié)果網(wǎng)絡(luò)參數(shù)量驟增樣本效率急劇下降訓(xùn)練幾百輪都不見收斂。一個比較穩(wěn)妥的做法是控制狀態(tài)向量維度在幾十以下。在8個用戶、4個AP的室內(nèi)場景中狀態(tài)向量可以設(shè)計成狀態(tài)項維度說明用戶信道增益8×432展平為向量歸一化業(yè)務(wù)需求8每個用戶需求速率上一輪功率等級8上一時隙各用戶功率當(dāng)前干擾水平8各接收端的干擾功率合計56維屬于全連接網(wǎng)絡(luò)能夠處理的范疇。如果用戶數(shù)量繼續(xù)增加比如到32個用戶就需要考慮用降維處理比如只取Top K個干擾源的信息或者對CSI做特征提取否則網(wǎng)絡(luò)訓(xùn)練難度會顯著上升。動作離散化粒度方面2dBm步長通常是一個不錯的起點。如果步長太細動作數(shù)量增多每個動作被探索到的概率下降訓(xùn)練時間增加如果太粗功率控制精度不夠算法的性能上限會受影響。實際仿真中可以先粗后細先用較大步長驗證整體框架能收斂再逐步細化功率等級。2. 深度Q網(wǎng)絡(luò)與表格Q學(xué)習(xí)的本質(zhì)差異為什么無線資源分配必須上神經(jīng)網(wǎng)絡(luò)這一節(jié)我想重點聊一聊DQN這個方法本身因為很多初學(xué)者把DQN當(dāng)成一個通用黑盒工具直接調(diào)用不理解它內(nèi)部三個關(guān)鍵機制的設(shè)計動機一旦仿真不收斂就完全不知道從哪里排查。2.1 表格Q-Learning在連續(xù)狀態(tài)空間下的致命缺陷Q-Learning的核心是維護一張Q值表 (Q(s,a))記錄每個狀態(tài)-動作對的價值估計。算法每次與環(huán)境交互后根據(jù)獲得的獎勵和下一狀態(tài)的最大Q值來更新當(dāng)前Q值[ Q(s,a) \leftarrow Q(s,a) \alpha [r \gamma \max_{a} Q(s, a) - Q(s,a)] ]這個公式理解起來并不困難真正的問題在于表格的規(guī)模。如果狀態(tài)向量是56維就算每個維度只做二值化處理狀態(tài)總數(shù)也有 (2^{56})這個數(shù)量的Q值表不要說存儲就是遍歷一遍都不可想象。更何況信道增益、業(yè)務(wù)需求這些變量本質(zhì)上都是連續(xù)值簡單量化會丟失信息。更關(guān)鍵的一點是泛化能力完全喪失。無線信道狀態(tài)幾乎不會和歷史狀態(tài)完全一致表格方法遇到一個沒見過的狀態(tài)就無從決策只能重新隨機探索。這使得表格Q-Learning在真正意義上的無線資源分配場景里完全不可行。而DQN用神經(jīng)網(wǎng)絡(luò)擬合Q函數(shù)輸入是連續(xù)狀態(tài)向量輸出是每個動作的Q值估計天然具備泛化能力相似的輸入會得到相似的決策輸出。2.2 經(jīng)驗回放與目標網(wǎng)絡(luò)讓神經(jīng)網(wǎng)絡(luò)訓(xùn)練穩(wěn)定下來的兩個關(guān)鍵機制神經(jīng)網(wǎng)絡(luò)訓(xùn)練的基本前提是樣本獨立同分布。但在強化學(xué)習(xí)中數(shù)據(jù)是智能體與環(huán)境交互產(chǎn)生的時序數(shù)據(jù)相鄰時隙的狀態(tài)、動作、獎勵高度相關(guān)直接用這些時序數(shù)據(jù)做梯度下降訓(xùn)練過程會劇烈震蕩甚至發(fā)散。經(jīng)驗回放機制就是針對這個問題設(shè)計的。實現(xiàn)上很簡單在Matlab中維護一個經(jīng)驗緩沖區(qū)每輪交互產(chǎn)生的四元組狀態(tài)、動作、獎勵、下一狀態(tài)存入緩沖區(qū)訓(xùn)練時隨機從緩沖區(qū)中采樣一個小批量進行網(wǎng)絡(luò)更新。隨機采樣打破了樣本之間的時間相關(guān)性同時多條歷史經(jīng)驗可以被反復(fù)使用提高了數(shù)據(jù)利用效率。我的經(jīng)驗是緩沖區(qū)容量不要設(shè)得太小至少2萬條起步否則隨機采樣的效果不明顯。目標網(wǎng)絡(luò)機制解決的是另一個問題自舉偏差。Q值更新的目標中包含當(dāng)前網(wǎng)絡(luò)本身的輸出 ( \max_{a} Q(s,a) )這意味著網(wǎng)絡(luò)在更新時是在“用自己當(dāng)前的價值判斷去指導(dǎo)自己更新”。如果當(dāng)前估計已經(jīng)偏差很大更新方向也會被帶偏形成惡性循環(huán)。DQN的做法是維護一份延遲更新的目標網(wǎng)絡(luò)每隔固定步數(shù)才從在線網(wǎng)絡(luò)復(fù)制參數(shù)。更新目標網(wǎng)絡(luò)時使用目標網(wǎng)絡(luò)輸出的是Q值而不是當(dāng)前正在訓(xùn)練的網(wǎng)絡(luò)輸出[ y_i r_i \gamma \max_{a} Q_{\text{target}}(s_i, a) ]再結(jié)合經(jīng)驗回放訓(xùn)練穩(wěn)定性會有質(zhì)的提升。我從實測中的感受是目標網(wǎng)絡(luò)更新周期設(shè)置在400到1000步之間效果較好更新太頻繁目標網(wǎng)絡(luò)和在線網(wǎng)絡(luò)過于接近容易恢復(fù)震蕩更新太慢價值估計收斂變慢。2.3 網(wǎng)絡(luò)結(jié)構(gòu)選擇與Double DQN的必要性對于室內(nèi)無線資源分配這種規(guī)模的問題網(wǎng)絡(luò)結(jié)構(gòu)不需要太復(fù)雜。我在Matlab中使用的網(wǎng)絡(luò)結(jié)構(gòu)如下% 狀態(tài)維度56維動作數(shù)量11個 % 使用Deep Learning Toolbox構(gòu)建網(wǎng)絡(luò) statePath [ featureInputLayer(56, Normalization, none, Name, state) fullyConnectedLayer(128, Name, fc1) reluLayer(Name, relu1) fullyConnectedLayer(128, Name, fc2) reluLayer(Name, relu2) ]; qNetwork [ statePath fullyConnectedLayer(11, Name, output) ];兩個隱藏層、每層128個單元這個規(guī)模對56維輸入、11個動作的輸出空間已經(jīng)完全夠用。更深的網(wǎng)絡(luò)結(jié)構(gòu)在復(fù)雜視覺任務(wù)中有效但在無線資源分配這類狀態(tài)維度并不太高的場景中過度加深網(wǎng)絡(luò)只會增加過擬合風(fēng)險和訓(xùn)練時間。Double DQN是針對Q值過估計問題的改進。傳統(tǒng)的DQN在計算目標值時要取 ( \max_{a} Q(s,a) )由于函數(shù)逼近存在誤差取最大值操作會系統(tǒng)性高估動作價值而且這種高估在訓(xùn)練后期會越來越明顯導(dǎo)致策略變得過于激進。Double DQN的思路很簡單用在線網(wǎng)絡(luò)選擇最優(yōu)動作用目標網(wǎng)絡(luò)評估該動作的Q值[ a^* \arg\max_{a} Q_{\text{online}}(s, a) ] [ y_i r_i \gamma Q_{\text{target}}(s_i, a^*) ]在Matlab中實現(xiàn)這個邏輯時最關(guān)鍵的技術(shù)點在于如何在不打斷自動微分鏈路的情況下只使用在線網(wǎng)絡(luò)做動作選擇。具體做法是先用predict(onlineNet, nextState)得到在線網(wǎng)絡(luò)的所有動作Q值找到最大值對應(yīng)的動作索引然后用predict(targetNet, nextState)取出該索引對應(yīng)的值作為目標Q值。這兩個操作都只做前向傳播不參與梯度計算。我的實際經(jīng)驗是Double DQN幾乎不會比原始DQN差在多數(shù)情況下能明顯改善訓(xùn)練的穩(wěn)定性屬于性價比極高的改進。如果你已經(jīng)決定做這個仿真項目建議直接從Double DQN起步不要先用標準DQN跑通了再改省掉一次重復(fù)調(diào)試的時間。3. Matlab仿真實現(xiàn)全流程從場景參數(shù)配置到訓(xùn)練主循環(huán)Matlab做強化學(xué)習(xí)仿真有兩個路線一是使用自帶的Reinforcement Learning Toolbox它提供了rlQAgent等現(xiàn)成接口缺點是自定義環(huán)境相對繁瑣而且工具箱版本差異較大二是完全手寫訓(xùn)練流程靈活度高適合做研究驗證。我個人傾向后者因為要觀察每一步的中間結(jié)果、修改獎勵函數(shù)、打印調(diào)試信息手寫代碼更直觀可控。3.1 室內(nèi)場景參數(shù)配置與信道模型選擇仿真場景我設(shè)置為一個20米×30米的室內(nèi)空間部署4個接入點用戶數(shù)量根據(jù)實驗需求調(diào)整默認8個用戶。AP位置固定在四個角落附近用戶在場景內(nèi)隨機分布并關(guān)聯(lián)到距離最近且信號強度最佳的AP。核心參數(shù)如下參數(shù)數(shù)值說明場景尺寸20m × 30m模擬中型辦公環(huán)境AP數(shù)量4位于固定位置用戶數(shù)量8可在4到20之間調(diào)整載波頻率2.4 GHz室內(nèi)WiFi典型頻段發(fā)射功率范圍0 ~ 20 dBm按2dBm步長離散化噪聲功率-90 dBm接收機底噪路徑損耗指數(shù)2.8室內(nèi)視距與非視距混合穿墻損耗8 dB/堵墻隔斷墻體損耗陰影衰落標準差4 dB對數(shù)正態(tài)陰影業(yè)務(wù)需求速率1 ~ 10 Mbps按均勻分布生成信道模型方面我采用的是經(jīng)典的路徑損耗加陰影衰落模型再加上一階自回歸模型模擬時間相關(guān)性。這樣做比每時隙完全獨立生成信道要更貼近真實場景。Matlab中可以用如下方式生成% 生成室內(nèi)路徑損耗 function pl pathLoss(d, fc, n) % d: 距離(m), fc: 載波頻率(Hz), n: 路徑損耗指數(shù) pl 20*log10(4*pi*d*fc/3e8) 10*n*log10(d); end % 加入陰影衰落和穿墻損耗 shadowStd 4; wallLoss 8; pl_total pathLoss(distance, 2.4e9, 2.8) ... shadowStd*randn wallLoss * numWalls;需要特別提醒的是穿墻損耗的加入對算法性能影響非常大。如果沒有穿墻損耗用戶只需選擇最近的AP就能獲得不錯性能問題過于簡單體現(xiàn)不出智能算法的優(yōu)勢加入墻體阻隔后用戶可能距離某個AP很近但隔了兩堵墻此時選擇另一個AP反而更好這種非直觀關(guān)聯(lián)正是強化學(xué)習(xí)能夠?qū)W習(xí)的價值所在。3.2 經(jīng)驗回放緩沖區(qū)與目標網(wǎng)絡(luò)更新實現(xiàn)經(jīng)驗回放緩沖區(qū)在Matlab中可以用簡單的結(jié)構(gòu)體數(shù)組實現(xiàn)。為了效率我預(yù)先分配了固定大小的矩陣并用環(huán)形緩沖的方式覆蓋舊經(jīng)驗。這一點非常重要——很多人在Matlab仿真中發(fā)現(xiàn)越跑越慢問題就出在反復(fù)動態(tài)擴容數(shù)組上。% 經(jīng)驗回放緩沖區(qū)初始化 bufferSize 50000; stateBuffer zeros(56, bufferSize); actionBuffer zeros(1, bufferSize); rewardBuffer zeros(1, bufferSize); nextStateBuffer zeros(56, bufferSize); doneBuffer zeros(1, bufferSize); bufferPtr 1; bufferCount 0; % 存儲一條經(jīng)驗 function storeExperience(state, action, reward, nextState, done) stateBuffer(:, bufferPtr) state; actionBuffer(bufferPtr) action; rewardBuffer(bufferPtr) reward; nextStateBuffer(:, bufferPtr) nextState; doneBuffer(bufferPtr) done; bufferPtr mod(bufferPtr, bufferSize) 1; bufferCount min(bufferCount 1, bufferSize); end % 隨機采樣一個小批量 batchSize 64; idx randi(bufferCount, batchSize, 1); batchStates stateBuffer(:, idx); batchActions actionBuffer(:, idx); batchRewards rewardBuffer(:, idx); batchNextStates nextStateBuffer(:, idx); batchDones doneBuffer(:, idx);目標網(wǎng)絡(luò)的更新不采用軟更新而是硬復(fù)制每訓(xùn)練500步將在線網(wǎng)絡(luò)參數(shù)整體賦值給目標網(wǎng)絡(luò)。在Matlab中可以用dlupdate配合自定義函數(shù)實現(xiàn)更簡單的方式是直接保存網(wǎng)絡(luò)結(jié)構(gòu)體再載入% 每500步更新一次目標網(wǎng)絡(luò) if mod(totalStep, 500) 0 targetNet onlineNet; % 直接賦值 end這里有一個性能優(yōu)化的細節(jié)在線網(wǎng)絡(luò)和目標網(wǎng)絡(luò)都使用dlnetwork類型訓(xùn)練時要把輸入狀態(tài)轉(zhuǎn)換為dlarray指定數(shù)據(jù)格式。建議把整個訓(xùn)練過程用“白箱”方式編寫每100步輸出一次當(dāng)前損失和平均獎勵方便實時觀察訓(xùn)練狀態(tài)。3.3 主訓(xùn)練循環(huán)中容易出錯的關(guān)鍵代碼段訓(xùn)練主循環(huán)是DQN的核心邏輯本身不復(fù)雜但有幾個細節(jié)容易出錯我逐個說明。第一個細節(jié)是狀態(tài)歸一化。信道增益數(shù)值范圍可能在1e-8到1e-4之間跳躍業(yè)務(wù)需求在1到10Mbps之間量綱不同會導(dǎo)致網(wǎng)絡(luò)輸入分布差異過大。我在生成狀態(tài)向量時將信道增益除以參考值業(yè)務(wù)需求除以最大需求功率等級減去平均值再除以標準差讓所有輸入落在相對一致的數(shù)值范圍內(nèi)。這一步對收斂速度的影響是決定性的。第二個細節(jié)是ε-greedy探索策略的設(shè)計。探索率從1.0線性衰減到0.05衰減步數(shù)一般是總訓(xùn)練步數(shù)的一半epsilon max(1.0 - totalStep / decaySteps, 0.05); if rand epsilon action randi(numActions); else qValues predict(onlineNet, dlarray(state, CB)); [~, actionIdx] max(extractdata(qValues)); action actionIdx; end第三個細節(jié)是在計算目標Q值時對終止?fàn)顟B(tài)的處理。如果下一狀態(tài)是終止?fàn)顟B(tài)那么目標Q值就等于獎勵本身不再加折扣的未來價值for i 1:batchSize if batchDones(i) targetQ(i) batchRewards(i); else % Double DQN: 在線網(wǎng)絡(luò)選動作目標網(wǎng)絡(luò)給價值 nextQOnline predict(onlineNet, dlarray(batchNextStates(:,i), CB)); [~, aBest] max(extractdata(nextQOnline)); nextQTarget predict(targetNet, dlarray(batchNextStates(:,i), CB)); targetQ(i) batchRewards(i) gamma * extractdata(nextQTarget(aBest)); end end很多初學(xué)者在Matlab代碼里會遺漏extractdata導(dǎo)致數(shù)值類型錯誤或者無法計算梯度這個坑我在調(diào)試時踩了不止一次。確認清楚當(dāng)前數(shù)據(jù)是dlarray還是普通數(shù)值數(shù)組訓(xùn)練過程的絕大多數(shù)報錯都能避掉。訓(xùn)練主循環(huán)整體流程如下先隨機重置一次室內(nèi)場景智能體在當(dāng)前狀態(tài)下對每個用戶依次執(zhí)行功率決策環(huán)境根據(jù)決策計算吞吐量、干擾和滿意度得到獎勵并轉(zhuǎn)移到下一狀態(tài)。當(dāng)一個時隙內(nèi)所有用戶的決策都完成后為一個完整回合episode然后重新隨機生成用戶位置和業(yè)務(wù)需求開始下一回合。4. 收斂性分析、傳統(tǒng)方案對比與常見異常排查訓(xùn)練完成后最關(guān)心的就是策略是否真正提升了資源分配性能。這一部分我拿實際仿真結(jié)果說話同時給出調(diào)試中經(jīng)常遇見的異常情況及對應(yīng)的排查思路。4.1 訓(xùn)練收斂曲線如何解讀獎勵曲線與損失曲線的配合判斷一個常見的誤區(qū)是只盯著獎勵曲線看不下降就認為算法有問題。獎勵曲線本身噪聲很大尤其在前幾百回合波動甚至可能看起來是負優(yōu)化。真正可靠的判斷指標是滑動平均獎勵曲線以及損失曲線的整體趨勢。我在8用戶場景下用如下參數(shù)訓(xùn)練了2000個回合每個回合執(zhí)行8次決策對應(yīng)8個用戶的功率分配超參數(shù)數(shù)值學(xué)習(xí)率1e-4折扣因子gamma0.95經(jīng)驗池容量50000批量大小64探索衰減步數(shù)30000目標網(wǎng)絡(luò)更新頻率500步訓(xùn)練回合數(shù)2000訓(xùn)練結(jié)果呈現(xiàn)典型的三個階段第一階段前200回合獎勵值在1.0到2.0之間波動基本沒有上升趨勢此時智能體主要靠隨機探索積累經(jīng)驗第二階段200到1000回合獎勵穩(wěn)步上升從2.0附近逐漸攀升到3.5左右說明網(wǎng)絡(luò)已經(jīng)開始學(xué)到有效的功率分配策略損失曲線同步下降第三階段1000回合之后獎勵曲線增幅放緩在3.5附近波動并趨于平穩(wěn)損失趨近于小范圍內(nèi)震蕩此時可以認為策略基本收斂。值得注意的是損失曲線并不一定完全平滑下降偶爾出現(xiàn)突然上升的尖峰是正常的。如果尖峰頻率過高且獎勵曲線同步驟降大概率是學(xué)習(xí)率過大可以把學(xué)習(xí)率從1e-4降到5e-5重新訓(xùn)練。4.2 與輪詢分配和最大信噪比分配的性能對比單看DQN自己的訓(xùn)練曲線無法說明算法好在哪里。我在相同場景下對比了三種方案輪詢RR平均分配、最大信噪比Max-SNR分配和DQN學(xué)習(xí)到的分配策略。每個方案運行100個獨立仿真時隙取平均結(jié)果方案平均系統(tǒng)吞吐量(Mbps)公平性指數(shù)平均功率(dBm)輪詢分配41.60.8410.0最大信噪比分配46.20.6212.4DQN策略52.80.8710.8從這個結(jié)果可以明顯看出DQN在系統(tǒng)總吞吐量上比傳統(tǒng)方案提升約14%到27%同時維持了較好的公平性。有意思的是Max-SNR方案雖然用更大的平均發(fā)射功率換來一定的吞吐量但用戶間速率差距被拉大公平性跌到0.62這種結(jié)果在真實業(yè)務(wù)中其實是不可接受的——邊緣用戶可能長期得不到服務(wù)用戶體驗非常差。從我個人實驗的角度來看DQN策略最大的價值不是簡簡單單提高吞吐量而是學(xué)會了“看人下菜碟”的分配邏輯對信道質(zhì)量好、業(yè)務(wù)需求大的用戶多給功率對信道質(zhì)量差、本身也沒有太多業(yè)務(wù)需求的用戶少給功率甚至不給功率。這種分配方式既保證了總體收益又兼顧了用戶間的平衡。4.3 訓(xùn)練不收斂與訓(xùn)練崩潰的排查路徑訓(xùn)練過程出現(xiàn)異常時不要盲目改參數(shù)先按下面幾個維度逐步排查。獎勵函數(shù)尺度問題如果獎勵值的絕對數(shù)值過大比如幾十上百神經(jīng)網(wǎng)絡(luò)梯度會異常大更新一步就足以讓參數(shù)面目全非。解決辦法是把獎勵值壓縮到一個合適的尺度我的做法是除以一個參考吞吐量常量把獎勵控制在0到5之間。鄰居信道的干擾建模出錯仿真中最隱蔽的錯誤是把所有用戶的信道增益統(tǒng)一用同一隨機種子生成導(dǎo)致用戶間的信道狀態(tài)高度相關(guān)算法學(xué)不到有效區(qū)分用戶差異的模式。檢查方法是輸出幾個用戶狀態(tài)向量看看數(shù)值分布是否明顯不同。梯度爆炸導(dǎo)致的NaN崩潰訓(xùn)練到一半損失突然出現(xiàn)NaN最常見的原因是梯度累積過大。此時需要檢查網(wǎng)絡(luò)層是否使用了合適的初始化或者在損失計算后添加梯度裁剪。在Matlab中可以手動裁剪梯度gradients dlgradient(loss, dlnet.Learnables); % 梯度裁剪閾值設(shè)為1 gradients dlupdate((g) max(min(g, 1), -1), gradients);“損失不降但獎勵在升”這類情況往往不是bug而是因為ε在衰減策略逐漸從隨機探索轉(zhuǎn)向利用已學(xué)知識Q值的估計誤差在合理范圍。可以查看一下訓(xùn)練的滑動平均獎勵是否持續(xù)走高如果是就繼續(xù)訓(xùn)練觀察不用擔(dān)心損失不降。5. 從單時隙決策到實際場景落地我實踐中的幾個心得體會與可擴展方向完成基礎(chǔ)DQN仿真之后如果想往深水區(qū)走有幾個方向值得繼續(xù)探索。第一階段可以先從算法改進入手——在同一個仿真框架上嘗試Dueling DQN或優(yōu)先經(jīng)驗回放。Dueling DQN將Q值拆分為狀態(tài)價值和動作優(yōu)勢兩部分在有大量相似狀態(tài)但不同動作的無線場景中這種結(jié)構(gòu)能讓網(wǎng)絡(luò)更快學(xué)習(xí)狀態(tài)價值函數(shù)從而提升收斂速度。優(yōu)先經(jīng)驗回放則重點關(guān)注那些TD誤差較大的歷史樣本讓網(wǎng)絡(luò)優(yōu)先學(xué)習(xí)“難樣本”在非平穩(wěn)信道場景下效果很明顯。第二階段是向多智能體方向拓展。單智能體DQN在做多AP協(xié)同資源分配時本質(zhì)上把全局觀測都集中到一個智能體上做決策。這種集中式做法在小區(qū)數(shù)量增大后狀態(tài)維度會迅速膨脹。更合理的思路是為每個AP部署一個智能體采用集中式訓(xùn)練、分布式執(zhí)行的架構(gòu)訓(xùn)練時每個智能體共享全局Q值信息執(zhí)行時只依賴局部觀測。以VDN或QMIX為代表的合作多智能體強化學(xué)習(xí)算法值得在室內(nèi)多AP場景中試一把。這里還想分享一個很實用的工程經(jīng)驗Matlab內(nèi)手寫的DQN代碼調(diào)通之后如果追求更快的訓(xùn)練速度可以用Matlab的Parallel Computing Toolbox并行跑多個環(huán)境的采樣。因為經(jīng)驗回放機制本來就能容忍不同環(huán)境產(chǎn)生的混合數(shù)據(jù)并行采樣可以有效打散樣本間的時序相關(guān)性一舉兩得。我在實驗里用4個并行工作器采樣訓(xùn)練時間大致縮短了50%以上收斂性能還略有改善。最后做一個邊界問題的提醒仿真環(huán)境畢竟是真實世界的近似DQN策略在仿真中訓(xùn)練到收斂并不等于部署到現(xiàn)網(wǎng)就能直接照搬。真實環(huán)境中存在信道估計誤差、反饋時延、信令開銷等問題這些都是仿真很難完美復(fù)現(xiàn)的。如果你的目標是學(xué)術(shù)驗證或算法對比當(dāng)前這套仿真框架已經(jīng)足夠扎實如果你希望走向?qū)嶋H部署更穩(wěn)妥的思路是首先在仿真中加入一個CSI估計誤差模型觀察策略的魯棒性變化再逐步引入更多非理想因素。這一步做扎實了算法從仿真到真實場景的距離才會真正縮小。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久草在线综合视频| 伊人网综合在线视频| 91狼人| AV色五月天| 欧美人妻少妇| 性爱av网站| 蜜臀亚洲综合一二三四区| 亚洲国产97| a片亚洲一本通视频| 91成人亚洲色图| 天天躁日日躁AAAAXXXX国产| 看看小穴| 亚洲一区二区av| xxx0国产在线播放| 大香蕉琪琪日本女优不卡| 97日韩| 一区二区三区精品视频| 密臀在线视频| 曰韩无码777| 亚洲一二三四区在线免费看视频| 久操视频资源站公开| 国产丝袜美腿美女麻豆| 96精品久久久久久久久| 日韩美女久久一区二区三区| 日夜精品| 天天操天天射青青草| 一本色道人妻久久| 精品久久青青草| 99中文字幕| 91neishe| 成人97人人超碰人人| 三级片大波波| 欧美综合娱乐久久| 日韩精品一二三| 人妻熟女av国产网站| 2019亚洲男人天堂| 久久久久久AⅤ无码免费肉站| 加勒比海成人视频网| 天堂性色| 欧美激情一区| 99re黄| 999岛国大片| 亚洲宗合网| 岛国1区2区3区在线观看| 人人操人人色网| 国产AV激情无码久久无码| 自拍盗摄一区| 午夜爽爽爽在线观看永久入口姬片| 偷拍超碰| 无码视频黄色网战| 久久超碰网| 久久久久久久久久久久黄色| 日本孕妇一区二区视频操逼免费看| 亚洲一区中文字幕久久,果冻传媒一区二区天美传媒 | 99在线免费观看| 97超碰色情| 婷婷视频网| 智利AV在线网| 艹我哪美一区无码| 久久久久久人体| 九九香蕉网| 欧州91高潮| 极品后入免费视频| 日本福利社| 美女被啪到深处抽搐视频| 免费中文在线| 久久99网站| 欧美性夜| 久久夜精品一区二区三区| 日韩精品一区的| 男人午夜天堂| 久久99深爱久久99精品| 800zy一区二区| 亚洲第一精品在线视频| 日日爱99| 青青操日韩| 国产精品亚洲四五区在线观看| 欧美一级国产一级| 夜夜骑夜夜操| 99re免费| 国产精品乱码久久久久久久久| 91超级碰碰碰| 五月婷婷六月丁香| 美国一区二区三区视频| 91色狼| 91强在线播放| 久久欧洲| 色综合尤物| 可以看的av| 日韩在线欧美精品一区二区| 熟妇一区二区| 亚洲国产成人综合碰碰三级经典| 国模91| 玖玖爱综合| 欧美日韩国产色图在线| 国产又色又粗又黄又爽| 91精品91久久久久77777俄罗斯老妇姓x| 好看的91视频| 欧洲Au麻豆| 久久99国产综合精品女同| 爱av免费| 亚洲成人日韩小说| 免费αV在线视频| 日本熟妇人妻一区二区三区| 抽插一区二区视频| 少妇久久久久久| 中国91AV| 人妻少妇精品视频一区二区三区| 蜜桃久久一区| 友优传媒精品在线一区二区| 丝袜AV一区二区三区| 97免费视频在线观看视频| 五月天久久婷婷亚洲 | 亚洲电影中字一区二区| 精品人妻一区二区三区在| 伊人嫩草| 极品出轨视频网站| 这里只有97精品| 97综合久第一页| 97在线青| 另类图片五月天| baiduhicn.com。| 国产精品欧美激在线| 欧美中文字幕一区| 日本欧美一区二区三区免费| 97操97色| 蜜桃在线观看一区二区三区 | 欧美日韩另类激情图片| 亚洲无套久久嗯嗯| 中文一区在线视频| 欧美性爱三区二区| 日韩av在线免费网站| 人妻一区视频| 欧美麻豆成人同性GⅤ在线| 91在线精品| 天天日B夜夜干B时时操B| 欧美特大AA级黄片| 色伊人91| 亚洲精品精品一区二区| 欧州色图区| 日韩精品高清资源在线| 999 久久久| 亚洲 欧美 日韩另类 麻豆| 91网站18+| 欧美日韩另类字幕中文| 日日躁天天躁狠狠躁| 国产视频第2页| 亚洲日本大香蕉1| 男人的天堂kva| 日韩人妻无码不卡网站| 强奸乱伦 亚洲一区| 一牛影视成人片免费| 午夜男人一级A片7777| 色婷网| 青青草在线成人视频| 国产av青草| 亚洲老司机123专区| 天天天堂影视日韩亚洲91| 中文字幕免费在线观看| 欧美97在线欧| 久思思热视频在线观看| 中文字幕黄色片| 2020视频1区2区3区| 久久人人妻| 亚洲天堂美臀在线| 欧美一级二级三级| 亚洲精品xxx| 一本一道人妻久久一区二区三区 | 欧美18 在线观看| 免费看久久久性性| 中文有码第五页| 91久热| 国产性爱强奸乱伦大全| 92午夜免费福利视频| 亚洲色啪| 男人把坤坤插入女人的下体| 久久 精品| 激情 欧美 亚洲 小说| 五月婷丁香| 亚洲情色图片区| 婷婷五月天激情四射| 一本一道vs波多野结衣| 国产熟女少妇一区| 蜜臀无码一区二区| 国产呦精品系列在线观看| 岛国网址国产| 91N综合网在线| 91精品人妻偷情| 五月丁香亭亭| 啊啊啊水好多| 国产一区二区在线电影| 国偷自 一区| 亚洲色图欧美色图日韩色图| 国产传媒1234区| 亚洲日韩天堂| 婷婷97| 综合网亚洲1| 美女视频尤物网在线看| 嗯啊啊啊轻点视频 | 欧美激色| 国产 热久久久久国产精品| 偷拍网站久久男女男| 午夜操操操| 欧美日韩国产三级黄色| 久久精品老司| 中文操嬖片。| 少妇久久久免费| 做爱A级亚欧| 欧美精品双插| 久久国内| 人人澡人人澡人人| 五月婷久久| 伊人久久亚洲色欲综合网站| 亚洲一区二区三区欧美日韩| 男人的天堂日韩| 国产专区第一页| 884t在线| 亚洲四虎熟女精品| 精品日日人妻| 五月天综合| 欧洲亚洲少妇| 精品久久久九九九孕妇| 黄片qw| 操操操操操操| 色在线亚洲视频www| 国产精品久久久久久久久久久久久久吹 | 精品国产乱码久久久久久免费| 人人操人人搞人人草| 中出789在线视频| 久久久少妇| 香一区二区三区| 亲子敌伦对白在线播放| 91成人在线| 亚一综合久久久久久久久久| 中文字幕一区二区三区人妻少妇在线| 欧美一区二区三区成人性生活| 呦呦影院| 欧美操逼视频二区| 老司机深夜18禁污污网站| 精品人妻一区二区免费蜜桃| 国产亚洲精品一区二区三区| 亚洲日产专区婷婷| 丁香婷婷久久| 国产色产精品在线观看| 日韩精品免费高清视频在线| 国产一区二区在线播放,久久亚洲精品中文字幕第一区,亚洲精品在线中文字幕视频 | 色亚洲欧美| 99久久亚洲精品无码毛片潘甜甜| 性性久久| 噜噜噜狠狠色综合| 欧美日韩国产成人高清| 久久天堂网| 午夜人妻精品综合在线| 国产二区视频在线观看电影| 亚洲性综合11| 日日天天久久啊啊aaa| 芊芊操逼视频无码| 26uuu久久| 天天激色| 97超碰逼| 淫妻综合网| 欧美性爱91| 亚洲情色 欧美| 91丝袜激情在线| 一级A片女人高潮叫床| 99热伊人| 亚洲综合一| 五月香婷婷| 另类TS人妖一区二区三区| 久久成人精品| 欧美AB在线观看| 日本精品网站在线中文| 97精品97久久| 日本一级二级三级网站| 超碰97人妻自拍| 尻女朋友一夜| 天天操夜夜操| www…国产操逼| 国产精品不卡高清在线观看| 日韩AV噜噜噜一区二区三区四区 | 这里只有精品97| 91jk色拍| 激情五月综合| 国产JDAV无码视频在线观看| 亚洲人妻色图| 中文在线视频| 伦理弟一页| 色999人与兽| 日本中文字幕在线视频| 国产女人和拘做爰视频 | 日日爽夜夜爽| 秋霞一级视频在线观看免费| 日本三级A片网站com| 狠狠爱夜夜| 日韩中文字幕宗合在线| 夜夜嗷嗷一区二区| 亚洲色图 欧美热图 清纯唯美 另类自拍| JIZZJIZZ国产精品喷水| 欧美日韩国产中文精品字幕自在自线 | 亚洲色图 欧美热图 清纯唯美 另类自拍 | 操一区| 国产亚州高清国产拍精| 一,爱啪啪,在线免费视频| 亚洲成人黄色在线观看| 日韩欧美日韩| 久久天堂| 国产美女口爆吞精视频| 国产精品久久久久久亚洲色欲| www.成人无码| www.acm成人黄色毛片| 裸体1区| 先锋音影AV| 九九玖玖精品| 天天日天天操VV| 欧美久久婷婷| 精品999日本| 麻豆性爱视频在线播放| 日本超碰97日韩精品人妻| 中文久久一区| 激情四射五月天| 亚洲欧美日韩国产丝袜自拍中文| 色拍偷亚洲| 日本高清一本二本免费不卡| 欧美亚洲丝袜人妻制服中文99| 凌辱美少妇久久aV| 91精品老女人| 免费观看网黄| 激情接吻视频久久久久久| 天天躁日日躁XXXXYY| 欧美国产伊人久久久久| 91狠狠综合久久久| 国产蜜臀精品一区免费尤物| 久久久熟妇熟女国产| 日本大香蕉| 无毛精品| 欧美成人精品一区二区男人蜜臀| 亚洲国产日韩精品久久久| 欧美人妻少妇| 国产v片在线免费观看| 做爱A级亚欧| 大香蕉伊人久久| 色噜噜人妻av 中文字幕| 天堂日本亚洲欧美| 天天情欲宗合网| 中国少妇啪啪视频| 日韩欧美aⅴ综合网站发布| 强奸乱伦av电影| 亚洲日产专区| 亚州色图片在线色| 天天干人人看综合| 永久免费发布性爱网| 97人人射| 超碰97在线中文| 久久久不卡| 国产又黄又爽又刺激久久久久久| 大香蕉乱伦视频网| 欧美在线色图| 亚洲 欧美 色图| 色图综合网| 在线综合色| 欧美亚洲玖玖玖| 成人精品一区二区三区| 亚洲 欧美综合| 国产福利视频精品视频| 国产这里只有精品| 日韩丝袜高跟制服在线观看| 中文久久| 99综合免费视频| 国产盗摄美女如厕大神作品在线观看| 精品九九九九九九| av资源在线播放天堂| 久久欧洲| 在线观看啊啊啊啊啊| 在线αⅴ| 女色视频社区| 亚洲深夜福利| 每日更新AV| 九九玖玖精品| 91天天综合日韩欧美| 亚洲国产午夜真人一级片中文字幕精品黄网站 | 天天射天天操天天干天天吃2018| 亚洲成人免费在线| 天操天操夜操夜月月年年操操| 少妇熟女1区2区3区| 久久丁香五月天| 一区二区三区色综合| 久久久96| 日本天天吊| 婷婷10月天青娱乐| 亚洲 欧美 手机在线观看| 抽插爽| 国产60页| 骚货人妻偷情自拍在线视频| 亚洲综合第一页| 天天综合网站| 亚洲在饯| 国产一区96在线| 人妻丝袜美腿中文字幕| 4141514逼喷水三级片| 日日摸日日碰夜夜爽视频| 91黑人无码激情在线| 91久久久老司机| 国产一级内射无挡观看| 东北女人av| 欧美日韩在线小说| 野狼激情网| 啊啊啊啊网站| 欧美性,亚州色| 大香蕉一级黄色片久久| 亭亭丁香激情| 中文字幕久热视频在线| 美日韩一二三区| 亚洲暴力强奸AV| 国产在线精品电影观看| 国产AV久久久蜜爱影集| 亚洲色阁| 绑缚麻绳人妻寝取完整版| 欧美五十路熟| 亚洲伊人久久精品影院| 99久久婷婷丁香| 9999久久久久| 成年女人18级毛片毛片免费观看| 日韩99999| h在线看免费版在线看| 国产400孕妇孕交群| 韩国一区二区精品亚洲| 无码区蜜乳| 亚洲男人的天堂网| 亚洲精品日日夜夜52| 偷拍片久久| 91久久99久久91熟女精品| 91性感在线| 欧洲中文字幕| 黄色性爱网网| 99re在线| 亚洲欧美日韩国产丝袜自拍中文| 人妻人人操| 国产高清自拍视频| 四虎在线免费视频| 99国产人成精品| 国产主播福利| 男人的天堂三级| 日本在线一二| 色官网色综合| 99re在线| 日韩干B| 人妻人人操| 久久成年片色大黄全免费网站| 女生自91网站| 99热这里都是精品| 一本精品日本在线视频精品| 97国产|免费| 亚洲中文人妻色| 亚洲欧美日韩精品久| …亚洲黄色厕厕女女在线播…| 久久欧洲| 在线 制服丝袜中出 人妻| a一区二区三区乱码在线| 天天综合网AV91| 福利操逼| 另类图片综合| 肉丝中文无码高清| 亚洲码和欧洲精品激情系列| 日本网色| 国产AV精久久| 综合网亚洲| 我爱操| 欧美综合在线91| 天天日天天色| 日本日皮视频逼| 国产福利电影| 97中文综合| 亚洲中文字母在线播放| 九九九九免费| 干妹子| 激情图片亚洲色图| 婷婷五月天激情网| www.av在线观看| 一区二区三区黄色片a| 中文字幕丰满子伦无码专区在线视频最新 | 国产精品不卡少妇白| 天天色怡春院| 亚洲色性情三级| 嗯嗯啊在线视频| 黄色av一区二区在线| 久久人人爽爽人人爽人人片αV| 一起草三级AV电影在线观看| 久久97超碰| 96久久久久久久| 青青草影视蜜久久| 久久九九国产精品| 天天色黄色影院天天操| 亚洲,日韩,欧美,成人播放| 欧美成人一级麻豆| 私色综合网| 亚洲男人久久综合天堂| 97超碰国产亚洲精品| 超碰亚洲欧美日韩无| 日韩乱插| 黄片在线免费在线观看| 天天视频黄网站| 国产精品999zyz| 国产探花日韩援交| 东北丰满熟女国产一区| 午夜男女爽爽爽影院视频| 秋霞色色影院| 久久这里只精品免费福利| 日韩成人性日韩成人性爱视频在线免费观看 | 天堂中文资源在线bt| 北约熟女超碰| 日韩钢筋无码高清啾啾啾| 综合网~91综合网| 绯色AV粉色AV蜜臀AV| 亚洲五区熟女| 超碰久草| 熟女性视频| 久操视频在线| 精品日韩中文在线| 久久久99999久网站| 99这里只有精品国产| 欧美九九爱| 日韩草久视频| 超碰色中文| 岛国人妻少妇av在线观看| 九九拍拍精品视频在线播放| 我中文字幕6区 | 中文字幕一区二区视频在线观看| 美女91网站| 亚洲黄片免费在线播放| 亚洲成人美女无吗| 99热综合| 97一区二压| 欧美亚洲清纯| 日韩欧美加勒比| 久操操AV电影| 探花激情视频| 九久久九精品视频| 美女爽爽爽刺痛洞洞| 99re视频在线播放青草| 强被迫伦姧在线观看无码网站| 啪啪啪东京| 高清国产av无码| 婷婷丁香六月| 狠狠图片青青草 | 亚洲天堂自拍| 骚妻少妇精品性色无码四色A V| 久久综合97| 都市久久精品激情亚洲| 色婷婷电影网| 欧美91久久久久| 一本久道久久综合狠狠爱一密臀精| 人人操人人插 - 百度 - 百度| 黄色免费网页无码| 老鸭窝亚洲毛片| 物业黑人 AV一区| 国产日本一区二区三区蜜臀在线观看| 欧美少妇性爱网站| 久久久久久久久久久人妻| 爱妻综合网| av网站免费看| 99自拍视频在线观看| 欧美美女在线高潮999| 欧洲站一级二级三级h| 新亚洲无码| 日本岛国黄色网址| 欧美高潮| 天美传媒精品一区二区| 丁香五月天堂网| 久久久久9999精品九九九| 在线洲亚线| 精品国产人成在线| 中文字幕日韩精品一区二区三区| 精品一区二区三区丰满熟女-亚洲欧美一区| 日本免费中文字幕在线| 一二三啪啪专区| 96超碰网| 成人av动漫在线观看| 亚洲黄色网址| 操逼视频色| 久久久久久久久久久人妻| 夜夜骑日日| 欧美一级黄片视频在线| 久久久婷| 五月亭亭六月丁香| 97超碰国产精品| 精品超碰中文在线| 久久久女人| 在线观看中文av字幕| 樱花草社区www中国| 五月婷亚洲精品天堂| 久碰视频| 日韩97P| www.色婷婷| 国产精品久久久午夜夜伦鲁鲁| 亚洲一级特黄大片在线播放91| 欧美韩国你懂得在线| 色色色五月婷婷| 色五月婷婷五月天| 1024精品在线| 婷婷五月av| 亚洲午夜精品久久久中文影院| 久久性爱大全| 清纯唯美综合亚洲| 99亚洲天堂| 超碰4A| www99热| 伊人91| 精品国产嫩穴视频| 成人性爱免费播放| 日韩人妻无码精品系列| 欧美偷拍| 大伊香蕉在线视频免费| 少妇熟女视频一二三区| 日本岛国黄色网址| 在线中文字幕视频| 日本一区二区电影网站| 成人自拍三级在线观看| 久草精品一区| 99精品在线播放| 中文字幕一区二区三区50路| 精品妇女一区二区三区| 伊人午夜福利视频| 激情丁香婷婷| 中文字幕一区二区视频在线观看| 伊人久久大香线综合无码| 中日亚韩免费视频| 啊啊啊轻点在线观看| 99色在线| 亚洲免费成人在线高清无码视频| 五月天亚洲网| 女人爽到高潮久久久| 欧美性爱综合,免费| 久久久久网站-538在线视频-欧美永久乱码 | 久久久久熟女| 中日无幕一二三四区| 亚洲精品尤物yw在线影院| 超碰久久精品| 亚洲一区深夜| 午夜120视频在线观看| 熟妇人妻精品一区二区| www.夜夜| 肥臀熟女福利视频一区二区| 清纯唯美综合亚洲| 欧美在线官网| 亚洲第一狼人丝袜美女另类| 亚洲狠| 操一区| 久热色情精品| 日本欧美亚洲高清在线看| 中文字幕在线免费观看 | 日韩一区二区三区四区五区| 91五十路| 少好三P| 亚洲国产综合久久久性感熟妇| 日本丝袜人妻内射| 一区二区三区四区理论片| 亚洲97p| 91爽啪| 91在线精品| 日本成人免费一区二区三区| av日韩中文字幕| 超碰97网址| 夂久色| 激情干在线| 国产无码高清操逼视频| 久久风骚城市| 国产地址二三| 国产SV一线| 最新加勒比丝袜在线| 亚洲图片偷拍视频区| 91精品久久久久五月天精品| 久久久精品| 美国三级日本三级久久99| 久久超碰、| 极品五月天噜噜| 人人操人人大香蕉| 性爱Av免费| 亚洲欧美一区二区网址| 超碰在线91| 欧美草草高清日韩视频| 久久精品日韩专区免费观看| 欧洲亚洲天堂精品| 国产精品久久久777| 屌逼传媒| 99热最新网址| 人妻中文字幕精品无码 | 亚洲精品美女操逼| 无码久久国产 | 国产丝袜视频| 久久社区一区二区三区| 无码99| 日本男人插女人的逼黄色| 伊人久久88国产女| 桃色五月天| 丁香五月成人| 99自拍视频在线| japan日本高清乱xxxx| 天天操夜夜操狠很操| heyZO天然素人无码AⅤ专区| 日韩免费在线观看不卡| 天天色图| 三级日本一区二区三区| 欧美精品二区视频在线| 91精品无码久久久久久久| 中文字幕av亚洲精品| 亚洲网站一区二区在线| 日韩免费a级毛片无码a∨| 黄片视频观看| 麻豆国产97在线| 欧美一区二区一级岛国大片| yiqicaoav| 欧美亚洲国产91在线| 都市久久精品激情亚洲| 伊人五月天激情| 婷婷深爱五月| 色性综合| 综合 青草 伊久久 影院 综合 | 一个国产在线综合网站| 乱伦色图网址是多少| 性爱免费视频成人| 俺去俺来也在线www| 欧美日韩性爱无码| 日日操天天操| 欧美72网页| 大香蕉在线SuP| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区 | 精品欧美А∨无码黑人大荫蒂| 色yeye成人免费视频| 欧美性爱精品一区二区| 婷婷色一区| 91国产美女丝袜足交精品视频| 亚洲性综合| 国产白丝AV| 26uuu欧美日韩| 26uuu国产免费观看| 国产欧美伊人| 成熟熟女国产精品一区二区| 国产又粗又长又大的视频| 青青草久草| 东京热男人的天堂| 亚洲 一区二区 自拍| 丁香婷婷色五月| 嫩草伊人久久精品| 67914在线兔费成人视频| 日韩无码极品| 日韩乱插| 99热导航| 亚洲日韩美女丝袜美腿人妻视频| 蜜乳Av成人片网站| 夜夜一区二区| 歐美性天天| 国产精品视频在线观看| 日韩欧美中文日韩欧美色| 深夜啪啪啪视频免费| 亚洲综合图片在线| 岛国爱情动作片在国产AV无码专区亚洲AV漫画| 高清无码 国产精品| 丁香五月婷婷色| 亚州综合图片| 乱欲视频| 九九Av| 2017超碰| 国产美女自拍AV| 亚洲夜色在线| 99黄页网站| 亚洲综合电影| 91狠狠综合久久久久久| 午夜福利在线合集| 欧美自拍偷拍综合图片| 天天干天天做| 一本大道久| 强奸乱伦资源| 1204金沙人妻懂旧版免费| 精品78| 久操网线| 91AV天堂| 欧美中文字幕日韩在线| 久久熟女人| 少妇无码999| 国产日本久久免费精品| 超碰97在线色男人??| 男人的天堂午夜av| 欧洲Au麻豆| 国产精品com| 加勒比无码一区二区三区| 亚洲综合性网址| 中字幕人妻一区二区三区| 99久热| 啪啪啪男女亚洲中文字幕99| 韩国三级理论在线| 91N综合网在线| 老子午夜伦不卡影院| 黄色成品网站| 免费人成毛片乱码| 婷婷综合网站| 精品人妻一区二区三区四区| 国产免费一区在线观看| 福利天天都操| 99操视频| www亚洲欧美| 91neishe| 日本成人在线不卡一区二区三区| 深夜激情无码| 限制级中的三级片中的黑粗大屌屌日人妻熟女 | 北条麻妃99精品青青久久| 日本免费二区三区| 麻豆这里只有精品| 久久日韩肥臀| 久久午夜伦| 国产精品国产精品国产| 69人妻人人揉人人躁人人精品| 网友自拍第一页| 亚洲精品一二三四区| 99无码狠狠久久| 天天看特黄的免费网站| 亚洲无码成人精品| 国产一区二区三区,在线观看观看| 美女被啪到深处抽搐视频| 超碰 另类 欧美 | 草草草视频| 久久久久久性爱片| 久久伊人亚洲AV无码网站| AV99热18这里只有精品| 国产激情在线| 久久久久久久| 国产高清不卡视频| 亚洲日韩美国人妻| 丝袜足交视频| 天天色怡春院| 日日夜夜天天| 成人无码电影在线观看网| 一本色道久久综合狠狠操| 国产精品91一样| 免费精品人妻一区二区三| 丰满人妻-区二区三区免费看 | 五月天激情国产综合婷婷婷| 日韩操逼性鲍| 久久精品区| 狠狠亚洲| 欧美熟妇视频| 97摸视频| 影音先锋少妇| 久 久无码人妻AV| av久日| 毛片视频白嫩| 91久操| 亚洲啪啪视频一区二区| 超碰色综合| 国产精品一区二区麻豆| 神马久久中文字幕| 国产乱码久久| 人人考人人摸人人干| 欧美在线永久天堂| 96一区二区| 久久久九精品| 秋霞午夜视频一区二区| 亚洲午夜免费狠狠干| 97任你吞精| 久久这里是精品| 亚洲欧美日韩偷拍色图| 国产精品另类一区大香蕉| 福利一级版子| 欧美狠狠操| 天堂九九九九九九九九九| 性爱1区| 少妇干B| 男人的天堂午夜av| 97超碰人人模人人拍人人| 日日骚一区二区三区| 日本好吊色视频| 天天看高清麻豆| 97硬碰| 大香蕉伊人网WWWn0n| 丁香五月偷拍| 色五月婷婷久久| 中文字幕性感少妇av| 亚洲欧美在线观看免费| 尤物黄色在线观看网站| 国产在线综合网| 精品国产Av无码久久久伦古装| 日韩欧美女求操每天更新| 熟女熟妇伦久久影院毛片一区二区| 九九九九九用不成了| 中文字幕av久久爽Av| 日韩伦理久 久久 清纯| 色av中文字| 精品四五区| 91久久国产综合久久| 超碰av人人人| 中文字幕一区av| av天堂影视中文在字幕在线中文| 五月丁香| 欧美视频在线第3页| 色五月婷婷五月天| 丁香激情网| 熟女乱伦二区| AA丁香综合激情| 国产成人啪一区二区| 强奸乱伦亚洲第一页| 天天日天天操天天射河南省| 日本一区二区三区四区五区六区七区八区九区| 国内一级精品| 黄色成年| 久久久四区| 青娱乐91| 亚洲 欧美 日韩 国产一区二区| 亚洲中文字幕在现观看| 国产精品不卡av免费在线观看| 91人妻人人澡人人爽人人精品| 五月天亚洲色图| 日韩性爱小视频| 91丨九色丨国产丨人妻在线| 性暴力欧美猛交在线直播| 欧美日韩亚洲一区二区在线观看| 国产精品视频自拍在线| 日韩欧美中文| 绑缚麻绳人妻寝取完整版| 精…码一二三区| 成人日本片久久久蜜桃| 99久在线精品99re8蜜桃| 欧美性暴力| 久久狠狠色噜噜狠狠狠狠97| 日韩性爱免费观看视频| 精品偷拍13p欧美dodk视频| 国产中文字幕曰本毛片| 国产精品一区二区黄片| 99性爱| 色九九九| 激情四射婷婷六月天| 加勒比99999| 激情黄色片在线观看| 亚洲欧美第一页| 岛国免费视频在线| 激情丁香五月| 热思思免费视频| av在线播放国产一区| 国模不卡| 超碰av人人人| 西西美女视频网| 国产天天噜一噜久久久| 欧美牲| 午夜操逼不卡| 婷婷操逼| 日韩丝袜高跟制服在线观看| 亚洲AV永久无码精品成人调教| 色色毛片| 自慰白浆在线观看| 99热超碰| 一二三卡欧美日韩人妻免费精品| 国产三级片在线观看| 国产日韩区| 首页亚洲国产高跟丝袜诱惑视频 | 91伊人久久在线| 五十路三区在线| 1二区9| 大香蕉人妻久久| 国产精品国产自产高清AV| 久操电影网| 国产精品96久久久久久| 日本十八禁免费看污网站| 桃色五月天| 国产精品久久久久久久久久久久久久久 | 人人喜人人妻| 99re99在线视频| 国产二区三区免费视频| 欧美天天综合网| 大色综合网| 精品乱子一区二区三区99| 国内外毛片在线观看| 国产AAAAAABBBBB| 尹人大香蕉视频在线| 九九九精品一区二区无码| av网站免费看| 思思热在线观看| 欧美在线中M| 韩三级a视频在线观看| www.99中文字幕| 精品美女在线视频| 91亚洲欧洲| 两性综合网| 99热日| 国产精品久久久久无码A√| 男人天堂婷婷五月天校园春色| 天天性射网| 久久久久久久久成人av解说| 国产传媒一区日韩| 亚洲一区日韩精品中文字幕| 另类小说五月天| 欧美综合狠| 天天欧美| 欧美日韩插逼视频| 久久黄色网址| 国产精品一区二区三| 日韩欧美亚洲一区二区三区影院| 亚洲成人妻日韩在线| 综合伊人激情| 色一射色一射| 国产一级内射高清视频 | 久久久96| 亚州情色j区| 啊啊啊啊免费视频| 久久久18| 国产精品另类| 九九综合久久| 久99在线免费观看视频| 中字乱伦AV| 91精品久久久久久| 激情综合婷婷| 欧美性爱一区二区三区| 日本女人操逼| 91老司机精品| 久久无码精品| 国产AV超爽| 精产品久久| 中日992视频| 求求你操操我| 中文字幕,人妻,日韩| 农村妇女精品一区二区| 伦伦成年午夜免费视频| 欧美精品第四五页中文字幕在线观看| 国产精品又黄又猛又粗| 99在线观看无大码| 高潮毛片无遮挡高清免费| 足交视频老司机| 亚洲色图欧美视频| 欧美色交| 日韩在线视频1234| 欧美激情性久久久久久| 啊啊啊好湿国产一二| 欧美亚洲素人制服精品| 久久一区二区加油站| 大香蕉黄色一区| 91n欧美| 操B久久| A一区片| 中文字幕精品专区搜索结果91| 啪啪91| 日本精品中文字幕视频| 丰满精品人妻少妇久久字幕| 亚洲最新a在线观看| 欧美精品激情| 嗯嗯嗯嗯啊啊啊好紧好大| 免费一级精品啪啪视频| 日本一卡二区在线| 久久人妻视频网| 亚洲精品性爱片| 91精品91久久久久77777| 95人妻爽爽人人做人人澡| 蜜臀99久久精品久久久久| 超碰2017| 九九拍拍精品视频在线播放| 久久久久久久久一区二区三区| 日本 免费 一区二区三区 久久香蕉| 黄片国产精品一区二区| 男人的天堂2010| 91欧美亚洲| 色天堂在线观看| 亚洲高清在线| 精品视频久久区| 欧美日不卡| 为用户提供免费看黄网址在线观看| 天天操狠狠日夜夜干超大胆开放com大香蕉视频在线观看 | 国产成人亚洲精品自产在线| 婷婷干黄色| 精品人妻少妇| 国产亚洲精品美女| 久久九九99| 多毛小伙内射老太婆| 亚洲国产综合图区中文字幕| 啊啊啊不要好爽日韩无码一区| 翔田千里一区二区三区奶水| 国产九九九九九九| 亚洲。日韩。欧美| 日韩国产乱子伦App| 97亚洲欧美日韩| 精品精品精品| 人人操人人爽人人操人人| 亚洲综合色男人网| 精品中文字幕一区二区| 桑老女人九区| 伦在线97| 久久久久13| 97精品久久| 懂色影视久久| 亚洲涩涩| 中文字幕一区 二 区 三 四 五 区日 日 骚 | 91精品综合久久久久久五月丁香| 两女互慰AV高潮喷水在线观看| 视频二区美腿制服人妻欧美| 劲爆欧美人妖三区91| 玖玖爱综合| 九九色婷婷| 26uuu国产免费观看| 6080YYY午夜理论片在线观看| 97色综合中文网| julia国产在线| 亚洲久草AV色图| 色亚州人久干视频在线观看免费版| 嗯嗯啊啊用力视频免费| 97WW精品| 综合网欧美在线| 国产农村妇女精品一二区| A 天堂| 综合久草| 唐山老熟妇露脸啪啪叫| 狠狠色一区二区中文字幕| 亚洲?V无码专区在线电影| 丝袜综合| 国产家庭乱伦网址| 精品人妻无码一区二区三区不卡-精品人妻无码一区二区...|精品少妇一区二区三 | 日韩综合无码色欲vv| 日本裸体久久色噜噜| 一级毛片久久久久久久女人18| 青操影院| 九九成人视频| 操逼操逼视频操逼| 人妻在线大香蕉| 久操网视频| 毛片麻豆91糖心精品毛情片| 777奇米影视777四色| 欧美性爱精品一区二区| 日韩97精| 91狼人| 好吊色综合| 久久男人网| 人人做,人人操,人人摸| 又黄又粗又硬又长又大| 家庭乱伦国产| 男人的天堂啪啪啪啪啪蜜桃不卡| 国产又大又硬又长又粗| 超碰人人干| 超碰97导航| 91狠狠综合久久| 欧美日韩不卡a片| 蜜臀99久久国产| 亚洲欲色| 日韩有码专区| 色老汉色| 亚洲天天更新| 九九精品美女高溯喷水 | 中文字幕精品一区二区精品| 欧美日韩另类在线播放| 狠狠热这里都是精品| 亚洲国产精品成人久久蜜臀| 久久久啊啊啊| 2021久久国产综合精品青草| 久久久久久免费电影| 噜噜噜久久亚洲精品色情| 五月激情天| 日本亚洲vr欧美不卡高清专区| 97天天搞在线| 超碰在97| 国产丝袜高跟美女av免费观看| 欧州激情视频在线一区二区| 17c嫩草51久久91嫩草| 欧美中字二区| 蜜桃久久一区二区三区| 91动漫操逼视频| 久久久不卡| 久草毛片|