日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

基于DQN的交通信號(hào)燈相位時(shí)間優(yōu)化:從SUMO仿真到實(shí)戰(zhàn)調(diào)參

基于DQN的交通信號(hào)燈相位時(shí)間優(yōu)化:從SUMO仿真到實(shí)戰(zhàn)調(diào)參 簡(jiǎn)介面向畢業(yè)設(shè)計(jì)與課程設(shè)計(jì)場(chǎng)景資源提供了一套基于開源SUMO交通仿真平臺(tái)和深度強(qiáng)化學(xué)習(xí)DQN算法的信號(hào)燈相位時(shí)間優(yōu)化項(xiàng)目。整套代碼采用Python編寫覆蓋路網(wǎng)構(gòu)建、仿真交互、模型訓(xùn)練與結(jié)果分析等關(guān)鍵環(huán)節(jié)適合對(duì)智能交通和強(qiáng)化學(xué)習(xí)感興趣的開發(fā)者快速上手。項(xiàng)目共32個(gè)文件包含路網(wǎng)配置、地圖數(shù)據(jù)、算法腳本、實(shí)驗(yàn)結(jié)果表格及說明文檔其中XML和OSM文件用于構(gòu)建仿真環(huán)境PY文件為核心控制邏輯壓縮包僅533KB部署輕量。目前已有545人學(xué)習(xí)使用。通過閱讀源碼可以理解狀態(tài)特征選取、動(dòng)作輸出方式和獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)并掌握將DQN應(yīng)用于交通信號(hào)控制的完整流程理解從路網(wǎng)搭建、仿真交互到模型訓(xùn)練與收斂評(píng)估的整個(gè)鏈路便于在此基礎(chǔ)上擴(kuò)展優(yōu)先級(jí)決策或遷移至其他路網(wǎng)場(chǎng)景。 大概半年前我準(zhǔn)備一個(gè)交通仿真的課程項(xiàng)目時(shí)盯著SUMO仿真界面里的紅綠燈發(fā)呆東西方向已經(jīng)堵成一片南北方向卻一輛車都沒有可信號(hào)燈依然按著固定配時(shí)在傻傻地放行。那一刻我意識(shí)到交通信號(hào)燈控制遠(yuǎn)比看起來復(fù)雜它本質(zhì)上是一個(gè)動(dòng)態(tài)環(huán)境下的序列決策問題而這類問題恰好是強(qiáng)化學(xué)習(xí)的看家本領(lǐng)。于是我基于Python SUMO仿真平臺(tái)用DQN做了一套能根據(jù)實(shí)時(shí)車流調(diào)整交通信號(hào)燈相位時(shí)間的方案整套源碼也整理成了一個(gè)開源項(xiàng)目。這篇文章就把這套方案從環(huán)境搭建、算法設(shè)計(jì)到訓(xùn)練調(diào)參的完整過程拆給你看適合正在做畢設(shè)、參加競(jìng)賽或者想入門強(qiáng)化學(xué)習(xí)在交通領(lǐng)域應(yīng)用的同學(xué)參考。1. 信號(hào)燈控制的痛點(diǎn)為什么固定配時(shí)總是差一口氣1.1 交通流本身就是非平穩(wěn)的傳統(tǒng)路口信號(hào)機(jī)用的都是固定配時(shí)方案也就是預(yù)先算好每個(gè)相位的紅綠燈時(shí)長(zhǎng)然后按周期循環(huán)執(zhí)行。這種方式在車流比較穩(wěn)定的時(shí)候勉強(qiáng)夠用但一旦遇到早晚高峰、學(xué)校放假、突發(fā)事故、旁邊路口修路車流特征就會(huì)完全變化。固定配時(shí)沒有任何感知能力只能按部就班地放行結(jié)果就是綠燈方向沒車紅燈方向排隊(duì)幾百米整個(gè)路口通行效率大幅下降。很多同學(xué)可能會(huì)覺得那我用多時(shí)段配時(shí)方案不就行了高峰一套、平峰一套。這確實(shí)比固定配時(shí)強(qiáng)但本質(zhì)上還是開環(huán)控制交通流一旦出現(xiàn)計(jì)劃之外的波動(dòng)多時(shí)段方案照樣失靈。交通仿真里我們經(jīng)常說一句話交通流本身是非平穩(wěn)的每分鐘的車流量都在變所以真正有效的策略必須是閉環(huán)的、能根據(jù)實(shí)時(shí)狀態(tài)做出反應(yīng)的。1.2 DQN在信號(hào)燈場(chǎng)景里到底做什么用DQN解決信號(hào)燈問題其實(shí)是把信號(hào)燈控制器當(dāng)成一個(gè)智能體讓它通過與環(huán)境不斷試錯(cuò)來學(xué)習(xí)一套控制策略。每個(gè)決策時(shí)刻智能體觀察當(dāng)前路口的狀態(tài)比如各個(gè)方向的車隊(duì)有多長(zhǎng)、車輛等了多久然后決定當(dāng)前綠燈相位應(yīng)該繼續(xù)延長(zhǎng)還是切換到下一個(gè)相位。切換之后環(huán)境發(fā)生改變智能體會(huì)得到一個(gè)獎(jiǎng)勵(lì)信號(hào)比如等待車輛減少了多少。經(jīng)過成千上萬次試探DQN會(huì)逐漸學(xué)會(huì)什么情況下該延長(zhǎng)、什么情況下該切換。用一個(gè)生活化類比固定配時(shí)相當(dāng)于一臺(tái)自動(dòng)售貨機(jī)投幣后永遠(yuǎn)出同一瓶飲料DQN相當(dāng)于一個(gè)有經(jīng)驗(yàn)的老交警他會(huì)看一眼各個(gè)方向的車流再?zèng)Q定先放誰、放多久而且隨著經(jīng)驗(yàn)積累判斷越來越準(zhǔn)。1.3 這個(gè)項(xiàng)目適合誰、能學(xué)到什么如果你正在做智慧交通方向的畢設(shè)或競(jìng)賽項(xiàng)目這個(gè)題目幾乎是標(biāo)配如果你想入門強(qiáng)化學(xué)習(xí)但不想跑那種玩具環(huán)境交通信號(hào)燈也是一個(gè)很合適的實(shí)戰(zhàn)場(chǎng)景。跑通這個(gè)項(xiàng)目你至少能收獲四樣?xùn)|西SUMO這個(gè)專業(yè)交通仿真器的基本使用包括路網(wǎng)生成、車流配置、TraCI接口調(diào)用強(qiáng)化學(xué)習(xí)三要素——狀態(tài)、動(dòng)作、獎(jiǎng)勵(lì)函數(shù)——如何映射到真實(shí)工程問題里DQN的完整訓(xùn)練鏈路包括經(jīng)驗(yàn)回放、目標(biāo)網(wǎng)絡(luò)、epsilon-greedy探索一套可以擴(kuò)展的多路口信號(hào)燈控制源碼框架后續(xù)換算法比如DQN換PPO只需要改agent部分。2. SUMO環(huán)境搭建與TraCI通信先說環(huán)境再談算法2.1 SUMO安裝與環(huán)境變量配置SUMO全稱Simulation of Urban MObility是一款開源的微觀交通仿真平臺(tái)。所謂微觀就是每輛車都有獨(dú)立的加速度、最大速度、換道行為能夠比較真實(shí)地模擬交通流。安裝方式取決于操作系統(tǒng)。Windows用戶可以直接去官網(wǎng)下載安裝包也可以用包管理器安裝Ubuntu等Linux系統(tǒng)推薦命令安裝macOS用brew也能裝。安裝完成后需要確認(rèn)SUMO_HOME環(huán)境變量指向安裝目錄并且把sumo和netconvert這些可執(zhí)行文件所在目錄加入PATH否則后續(xù)Python調(diào)用會(huì)找不到命令。驗(yàn)證安裝可以打開終端執(zhí)行一句命令sumo --version如果能看到版本號(hào)說明安裝成功。要注意的是SUMO更新迭代很快不同大版本的TraCI接口函數(shù)會(huì)有差異我這邊用的是1.15.0版本如果你用的版本比較新個(gè)別接口名可能需要微調(diào)。2.2 搭建一個(gè)十字路口仿真場(chǎng)景訓(xùn)練信號(hào)燈控制先得有一個(gè)能反復(fù)實(shí)驗(yàn)的路口場(chǎng)景。最經(jīng)典的就是單十字路口兩個(gè)方向交叉每條進(jìn)口道雙向各兩車道中間路口設(shè)置信號(hào)燈。SUMO里搭建場(chǎng)景有兩種方式一是用自帶的netedit圖形化編輯器畫二是用XML文件定義節(jié)點(diǎn)和邊然后通過netconvert命令生成路網(wǎng)。圖形化適合微調(diào)命令行適合自動(dòng)化生成我項(xiàng)目中用的是后者的思路。路網(wǎng)的基本結(jié)構(gòu)是nodes.xml里定義節(jié)點(diǎn)坐標(biāo)edges.xml里定義連接的邊。一個(gè)簡(jiǎn)單十字路口可以這樣描述nodes node idN x0 y300/ node idS x0 y0/ node idE x300 y150/ node idW x0 y150/ /nodes定義好節(jié)點(diǎn)后用netconvert生成路網(wǎng)時(shí)給中間節(jié)點(diǎn)加一個(gè)typetraffic_light屬性系統(tǒng)就會(huì)自動(dòng)為該路口分配一套兩相位信號(hào)燈方案。車流文件rou.xml則定義了車輛什么時(shí)候出現(xiàn)、從哪個(gè)進(jìn)口道到哪個(gè)出口道可以通過flow標(biāo)簽靈活設(shè)置每小時(shí)車流量。最后用sumo.sumocfg把這些文件匯總起來。訓(xùn)練時(shí)只需要在Python里用一行命令啟動(dòng)仿真import traci traci.start([sumo, -c, config.sumocfg])訓(xùn)練階段我強(qiáng)烈建議不用sumo-gui因?yàn)閳D形界面會(huì)拖慢仿真速度。要看可視化效果時(shí)再換回sumo-gui即可。2.3 TraCI接口讓Python成為交通指揮官TraCITraffic Control Interface是SUMO提供的通信接口基于TCP協(xié)議。Python通過import traci連接上仿真進(jìn)程后就能實(shí)時(shí)讀取路網(wǎng)狀態(tài)、控制車輛和信號(hào)燈相當(dāng)于給仿真環(huán)境開了一個(gè)后門。日常用得最多的TraCI方法大概是這幾個(gè)功能方法說明獲取當(dāng)前仿真時(shí)間traci.simulation.getTime()單位秒獲取車道排隊(duì)車輛數(shù)traci.lane.getLastStepVehicleNumber(laneID)通過具體車道ID查詢獲取路段等待時(shí)間traci.edge.getWaitingTime(edgeID)返回所有車輛等待總秒數(shù)獲取當(dāng)前信號(hào)燈相位traci.trafficlight.getPhase(tlsID)返回相位序號(hào)設(shè)置當(dāng)前相位剩余時(shí)間traci.trafficlight.setPhaseDuration(tlsID, dur)控制綠燈延長(zhǎng)/縮短切換相位序號(hào)traci.trafficlight.setPhase(tlsID, idx)直接跳轉(zhuǎn)到指定相位項(xiàng)目里為了統(tǒng)一獲取當(dāng)前路口的綜合狀態(tài)我會(huì)封裝一個(gè)StateExtractor類把所有TraCI查詢集中在一起這樣訓(xùn)練主程序看起來更干凈后面加特征也好維護(hù)。3. DQN建模三件套狀態(tài)、動(dòng)作、獎(jiǎng)勵(lì)函數(shù)的設(shè)計(jì)邏輯3.1 狀態(tài)空間給智能體一雙能看路況的眼睛狀態(tài)空間的設(shè)計(jì)直接決定智能體能不能學(xué)會(huì)策略。如果只給一個(gè)當(dāng)前時(shí)間DQN什么都學(xué)不會(huì)如果給全路網(wǎng)幾百輛車的坐標(biāo)輸入維度太大訓(xùn)練難度又會(huì)爆炸。需要找到一組既能描述路況、又足夠精簡(jiǎn)的特征。我最終使用的狀態(tài)向量由一個(gè)路口的關(guān)鍵信息拼裝而成四個(gè)進(jìn)口道方向的排隊(duì)車輛數(shù)單位輛四個(gè)方向的平均等待時(shí)間單位秒當(dāng)前相位編號(hào)和當(dāng)前相位已經(jīng)持續(xù)的秒數(shù)路口總等待時(shí)間單位秒。之所以要把當(dāng)前相位編號(hào)和相位已持續(xù)時(shí)長(zhǎng)放進(jìn)去是因?yàn)镈QN的動(dòng)作決策跟當(dāng)前信號(hào)燈在哪個(gè)狀態(tài)密切相關(guān)。同時(shí)排隊(duì)長(zhǎng)度和等待時(shí)間這兩類特征一個(gè)體現(xiàn)空間擁堵一個(gè)體現(xiàn)時(shí)間延誤組合起來能幫助智能體平衡放行效率和公平性。有一點(diǎn)必須提醒喂給網(wǎng)絡(luò)的輸入一定要做歸一化。排隊(duì)長(zhǎng)度可能到幾十輛等待時(shí)間可能到幾百秒這些數(shù)值直接放在一起會(huì)讓神經(jīng)網(wǎng)絡(luò)初期的梯度被大數(shù)值維度主導(dǎo)導(dǎo)致訓(xùn)練很不穩(wěn)定。我的做法比較簡(jiǎn)單排隊(duì)車輛數(shù)除以路口最大車道容量等待時(shí)間除以一個(gè)經(jīng)驗(yàn)上限比如180秒把大部分特征壓到0到1范圍內(nèi)。3.2 動(dòng)作空間把相位時(shí)間調(diào)整變成DQN的輸出標(biāo)題里的相位時(shí)間調(diào)整在代碼上其實(shí)可以抽象成兩類動(dòng)作設(shè)計(jì)方式。第一種是把綠燈時(shí)間離散成幾個(gè)固定檔位比如動(dòng)作0表示延長(zhǎng)5秒動(dòng)作1表示延長(zhǎng)10秒動(dòng)作2表示延長(zhǎng)15秒動(dòng)作3表示立即切換相位。這種方式動(dòng)作空間更細(xì)但會(huì)讓訓(xùn)練收斂變慢因?yàn)閹讉€(gè)延長(zhǎng)時(shí)間選項(xiàng)產(chǎn)生的狀態(tài)差異很小Q值難分高下。第二種是把動(dòng)作簡(jiǎn)化為二分類繼續(xù)延長(zhǎng)當(dāng)前綠燈相位或者結(jié)束當(dāng)前相位、進(jìn)入下一相位。我最終選擇的是這個(gè)方案。原因很簡(jiǎn)單單路口信號(hào)燈控制的本質(zhì)決策就是切換還是不切換至于延長(zhǎng)多久可以通過決策頻率來間接控制。我的決策間隔設(shè)為10秒也就是說每10秒智能體評(píng)估一次如果選擇保持綠燈自動(dòng)加10秒如果選擇切換信號(hào)燈就會(huì)在下一個(gè)仿真步進(jìn)入黃燈過渡再進(jìn)入下一相位。這個(gè)設(shè)計(jì)還有一個(gè)好處它完全符合真實(shí)信號(hào)機(jī)的工作邏輯?,F(xiàn)實(shí)中信號(hào)燈并不可能每秒鐘都在調(diào)整決策頻率過低或過高都不合理。決策間隔太短會(huì)導(dǎo)致頻繁切換形成綠燈剛亮就滅的抖動(dòng)現(xiàn)象間隔太長(zhǎng)又會(huì)讓智能體反應(yīng)遲鈍。10秒是我在試驗(yàn)中覺得平衡性最好的值。3.3 獎(jiǎng)勵(lì)函數(shù)排隊(duì)長(zhǎng)度變化量怎么量化獎(jiǎng)勵(lì)函數(shù)是強(qiáng)化學(xué)習(xí)最容易被忽略、但也最決定成敗的部分。信號(hào)燈控制最常見的優(yōu)化目標(biāo)是減小車輛平均等待時(shí)間、減少排隊(duì)、提高通行量但這些目標(biāo)直接作為獎(jiǎng)勵(lì)并不好優(yōu)化因?yàn)樗鼈兌际情L(zhǎng)期累積量反饋稀疏且延遲嚴(yán)重。我采用的獎(jiǎng)勵(lì)公式是R - (L_t - L_{t-1})其中L_t是當(dāng)前時(shí)刻路口所有進(jìn)口道的排隊(duì)車輛總數(shù)L_{t-1}是上一決策時(shí)刻的排隊(duì)車輛總數(shù)。這個(gè)公式的含義非常直觀如果這次決策讓排隊(duì)車輛減少了獎(jiǎng)勵(lì)為正讓排隊(duì)增加了獎(jiǎng)勵(lì)為負(fù)。智能體最大化累積獎(jiǎng)勵(lì)本質(zhì)上就是在最小化整個(gè)仿真時(shí)段內(nèi)的排隊(duì)增量。為什么不用平均等待時(shí)間作為直接獎(jiǎng)勵(lì)因?yàn)榈却龝r(shí)間的變化到?jīng)Q策之間有時(shí)序滯后而且受偶發(fā)車流波動(dòng)影響大方差很高。排隊(duì)長(zhǎng)度變化量則是一個(gè)相對(duì)平滑、立竿見影的指標(biāo)SRStability也更好。如果你想進(jìn)一步優(yōu)化可以在獎(jiǎng)勵(lì)里加一個(gè)切換懲罰項(xiàng)比如每次切換相位時(shí)額外減一個(gè)固定值防止智能體頻繁抖動(dòng)。我試驗(yàn)后發(fā)現(xiàn)加了切換懲罰反而會(huì)導(dǎo)致智能體過于保守該切換時(shí)不切換所以最終版本里沒加。3.4 三件套的整體聯(lián)動(dòng)狀態(tài)、動(dòng)作、獎(jiǎng)勵(lì)這三者不是孤立的它們共同定義了馬爾可夫決策過程。具體到運(yùn)行流程每個(gè)決策時(shí)刻智能體根據(jù)狀態(tài)選擇動(dòng)作動(dòng)作改變信號(hào)燈相位時(shí)間相位時(shí)間影響車流運(yùn)行車流運(yùn)行產(chǎn)生新的狀態(tài)和獎(jiǎng)勵(lì)然后進(jìn)入下一個(gè)決策循環(huán)。只有三者都合理DQN才能真正學(xué)到東西。我見過不少同學(xué)跑不出效果第一反應(yīng)是改網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)率其實(shí)問題往往出在狀態(tài)特征不夠或獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)不當(dāng)上。4. 訓(xùn)練流程與源碼拆解從經(jīng)驗(yàn)回放到目標(biāo)網(wǎng)絡(luò)4.1 網(wǎng)絡(luò)結(jié)構(gòu)與超參數(shù)設(shè)置DQN的核心是用深度神經(jīng)網(wǎng)絡(luò)來逼近Q函數(shù)也就是在當(dāng)前狀態(tài)下每個(gè)動(dòng)作能帶來的未來累計(jì)獎(jiǎng)勵(lì)期望。我的網(wǎng)絡(luò)結(jié)構(gòu)非常簡(jiǎn)單三層全連接import torch.nn as nn import torch.nn.functional as F class DQN(nn.Module): def __init__(self, state_dim, action_dim): super().__init__() self.fc1 nn.Linear(state_dim, 128) self.fc2 nn.Linear(128, 128) self.fc3 nn.Linear(128, action_dim) def forward(self, x): x F.relu(self.fc1(x)) x F.relu(self.fc2(x)) return self.fc3(x)信號(hào)燈控制的狀態(tài)維度本就不高一兩百維以內(nèi)沒必要上CNN、Transformer這類復(fù)雜的結(jié)構(gòu)。全連接網(wǎng)絡(luò)加兩到三層隱藏層就完全夠用隱藏層寬度設(shè)為128或256即可參數(shù)太多反而容易過擬合。經(jīng)驗(yàn)里比較關(guān)鍵的超參數(shù)我整理成了表格方便直接抄作業(yè)參數(shù)推薦值說明學(xué)習(xí)率1e-4調(diào)大容易出現(xiàn)Q值發(fā)散折扣因子gamma0.95兼顧短期排隊(duì)和長(zhǎng)期效果經(jīng)驗(yàn)池容量20000太大舊樣本占比過高batch size64常用值32偏慢128偏抖目標(biāo)網(wǎng)絡(luò)同步步數(shù)500太頻繁等于沒有目標(biāo)網(wǎng)絡(luò)epsilon初始值1.0早期充分探索epsilon最小值0.05保留一定隨機(jī)性epsilon衰減步數(shù)5000線性衰減4.2 訓(xùn)練主循環(huán)的流程拆解訓(xùn)練主循環(huán)的代碼骨架并不復(fù)雜關(guān)鍵是理解每個(gè)步驟為什么存在。最核心的邏輯如下for episode in range(EPISODES): traci.start(sumoCmd) state get_state() total_reward 0 while traci.simulation.getMinExpectedNumber() 0: action epsilon_greedy(state, epsilon) reward, next_state execute_action(action) replay_buffer.push((state, action, reward, next_state, False)) if len(replay_buffer) BATCH_SIZE: train_step() state next_state total_reward reward traci.close()每個(gè)episode相當(dāng)于一次完整的仿真比如模擬3600秒的早高峰交通。仿真開始后循環(huán)不斷讀取狀態(tài)、選動(dòng)作、執(zhí)行動(dòng)作、攢經(jīng)驗(yàn)、更新網(wǎng)絡(luò)直到所有車輛都離開路網(wǎng)一個(gè)episode結(jié)束。execute_action這個(gè)函數(shù)是關(guān)鍵。當(dāng)智能體選擇保持當(dāng)前相位時(shí)我會(huì)調(diào)用traci.trafficlight.setPhaseDuration(tlsID, currentRemain 10)讓當(dāng)前綠燈相位繼續(xù)延長(zhǎng)10秒當(dāng)選擇切換時(shí)就把當(dāng)前相位的剩余時(shí)間設(shè)為1秒讓SUMO自然進(jìn)入黃燈過渡相位再切換到下一相位。這樣做的目的是把相位切換的過渡處理交給SUMO內(nèi)部機(jī)制避免手動(dòng)跳相位導(dǎo)致車輛沖突。4.3 經(jīng)驗(yàn)回放和目標(biāo)網(wǎng)絡(luò)到底解決了什么DQN相比傳統(tǒng)Q-learning最大的改進(jìn)就是引入了經(jīng)驗(yàn)回放和目標(biāo)網(wǎng)絡(luò)這兩個(gè)機(jī)制都是在解決訓(xùn)練穩(wěn)定性的問題。經(jīng)驗(yàn)回放是把智能體探索過的所有(state, action, reward, next_state)存進(jìn)一個(gè)緩沖區(qū)訓(xùn)練時(shí)按batch隨機(jī)采樣。為什么要隨機(jī)采樣因?yàn)閺?qiáng)化學(xué)習(xí)的樣本之間存在高度時(shí)間相關(guān)性——車輛排隊(duì)、放行這個(gè)過程中相鄰幾步的狀態(tài)幾乎差不多如果直接用連續(xù)樣本訓(xùn)練網(wǎng)絡(luò)會(huì)在這段局部模式上來回震蕩學(xué)不到全局規(guī)律。隨機(jī)采樣打破了這個(gè)相關(guān)性讓每次梯度更新盡量來自于多樣的、獨(dú)立分布的經(jīng)驗(yàn)。目標(biāo)網(wǎng)絡(luò)是另一個(gè)穩(wěn)定器。DQN的損失函數(shù)是Loss (r gamma * max_a Q_target(s, a) - Q_online(s, a))^2注意這里計(jì)算目標(biāo)值時(shí)用的是Q_target網(wǎng)絡(luò)而不是正在更新的Q_online網(wǎng)絡(luò)。因?yàn)槿绻猛粋€(gè)網(wǎng)絡(luò)同時(shí)計(jì)算預(yù)測(cè)值和目標(biāo)值每一輪更新都會(huì)讓目標(biāo)和預(yù)測(cè)一起動(dòng)優(yōu)化過程就會(huì)變成追一個(gè)不斷移動(dòng)的靶子很容易震蕩甚至發(fā)散。目標(biāo)網(wǎng)絡(luò)的做法是定期比如每500步把在線網(wǎng)絡(luò)的參數(shù)復(fù)制過來固定一段時(shí)間讓目標(biāo)值相對(duì)穩(wěn)定訓(xùn)練才能收斂。4.4 源碼目錄結(jié)構(gòu)項(xiàng)目源碼的組織方式盡可能清晰核心目錄如下project/ ├── env/ │ ├── config.sumocfg # SUMO仿真配置 │ ├── net.net.xml # 路網(wǎng)文件 │ └── rou.xml # 車流文件 ├── agent/ │ ├── dqn.py # DQN網(wǎng)絡(luò)定義 │ ├── replay_buffer.py # 經(jīng)驗(yàn)回放緩沖區(qū) │ └── train.py # 訓(xùn)練主循環(huán) ├── utils/ │ ├── state_extractor.py # 從TraCI獲取狀態(tài)與獎(jiǎng)勵(lì) │ └── config.py # 超參數(shù)配置 └── evaluate.py # 訓(xùn)練后評(píng)測(cè)腳本源碼本身并不復(fù)雜但把它拆成環(huán)境、算法、工具三個(gè)模塊會(huì)讓你后續(xù)擴(kuò)展起來非常舒服。比如想換成PPO算法只需要替換agent目錄里的文件想換成多路口場(chǎng)景只需要在utils里增加一個(gè)狀態(tài)聚合器。5. 實(shí)驗(yàn)結(jié)果對(duì)比與參數(shù)調(diào)優(yōu)DQN比固定配時(shí)強(qiáng)在哪5.1 評(píng)價(jià)指標(biāo)與固定配時(shí)基線訓(xùn)練完成后需要用一套客觀指標(biāo)來評(píng)估DQN到底有沒有用。我做了兩輪實(shí)驗(yàn)第一輪把DQN和固定60秒周期配時(shí)做了對(duì)比第二輪嘗試了不同的車流強(qiáng)度。評(píng)測(cè)用的核心指標(biāo)有三個(gè)平均等待時(shí)間所有車輛在路口前停車的平均總時(shí)長(zhǎng)平均排隊(duì)長(zhǎng)度每個(gè)決策時(shí)刻各進(jìn)口道排隊(duì)的車輛數(shù)均值路網(wǎng)吞吐量仿真時(shí)段內(nèi)通過路口的車輛總數(shù)。固定配時(shí)的基線直接用SUMO默認(rèn)信號(hào)機(jī)方案不做任何優(yōu)化。評(píng)測(cè)時(shí)把DQN的信號(hào)燈控制程序接到同一套路網(wǎng)和車流文件上其他條件完全一致只讓信號(hào)燈決策邏輯不同。5.2 訓(xùn)練曲線怎么解讀DQN訓(xùn)練初期通常會(huì)有一段表現(xiàn)很差的階段。我的經(jīng)驗(yàn)里前20個(gè)episode獎(jiǎng)勵(lì)值甚至明顯低于固定配時(shí)的對(duì)照值因?yàn)閑psilon很大智能體在瘋狂探索經(jīng)常做出不合常理的切換動(dòng)作導(dǎo)致路口頻繁出現(xiàn)放行空車道、堵住車流量大的方向這種尷尬局面。這其實(shí)是正?,F(xiàn)象不要慌。隨著訓(xùn)練進(jìn)行epsilon逐漸衰減經(jīng)驗(yàn)池里累積了足夠的有效樣本網(wǎng)絡(luò)開始學(xué)到排隊(duì)長(zhǎng)的方向優(yōu)先放行這類規(guī)律獎(jiǎng)勵(lì)曲線會(huì)逐步上升并超過基線。大概訓(xùn)練到150個(gè)episode左右獎(jiǎng)勵(lì)曲線變得平穩(wěn)這時(shí)再跑評(píng)測(cè)DQN的每個(gè)指標(biāo)都會(huì)有可觀提升。我在一次典型的對(duì)比實(shí)驗(yàn)里得到的數(shù)字大概是在中等流量下DQN比固定配時(shí)降低了約18%的平均等待時(shí)間和22%的平均排隊(duì)長(zhǎng)度在輕流量場(chǎng)景下兩者差別不大因?yàn)檐嚤緛砭筒欢略谥亓髁炕蛄髁客蛔儓?chǎng)景下DQN的優(yōu)勢(shì)會(huì)進(jìn)一步拉開有時(shí)等待時(shí)間能降低30%以上。這說明DQN強(qiáng)項(xiàng)在于應(yīng)對(duì)不均衡、不穩(wěn)定的車流而不是替代所有配時(shí)方案。5.3 影響收斂的關(guān)鍵參數(shù)訓(xùn)練過程中有幾處參數(shù)是真正決定成敗的我單獨(dú)拿出來說。第一個(gè)是獎(jiǎng)勵(lì)的尺度。如果獎(jiǎng)勵(lì)數(shù)值波動(dòng)太大比如排隊(duì)長(zhǎng)度變化從-30到30網(wǎng)絡(luò)會(huì)對(duì)梯度方向非常敏感必須把獎(jiǎng)勵(lì)除一個(gè)縮放因子我這里除以了最大排隊(duì)長(zhǎng)度讓獎(jiǎng)勵(lì)落在[-1,1]區(qū)間訓(xùn)練穩(wěn)定很多。第二個(gè)是決策間隔。10秒是我最后選定的值但建議你做一次敏感性分析。間隔太短信號(hào)燈頻繁變動(dòng)車流根本來不及響應(yīng)間隔太長(zhǎng)智能體在兩次決策之間會(huì)錯(cuò)失很多優(yōu)化機(jī)會(huì)。用不同流量腳本做幾組對(duì)照你會(huì)找到最適合自己場(chǎng)景的數(shù)字。第三個(gè)是目標(biāo)網(wǎng)絡(luò)同步步數(shù)。設(shè)成太小比如每100步同步一次目標(biāo)網(wǎng)絡(luò)幾乎等于在線網(wǎng)絡(luò)失去意義設(shè)成太大比如每5000步目標(biāo)值和當(dāng)前預(yù)測(cè)偏離過大訓(xùn)練早期容易不穩(wěn)定。500到1000步是一個(gè)經(jīng)驗(yàn)合理區(qū)間。6. 踩坑記錄與個(gè)人心得十幾個(gè)小時(shí)仿真換來的經(jīng)驗(yàn)6.1 相位切換導(dǎo)致的處處紅燈問題我第一次把切換動(dòng)作設(shè)為直接調(diào)用traci.trafficlight.setPhase跳轉(zhuǎn)到下一個(gè)綠燈相位訓(xùn)練出來的效果慘不忍睹路口經(jīng)常出現(xiàn)四個(gè)方向全是紅燈的狀態(tài)車輛全部停擺。原因是SUMO信號(hào)燈內(nèi)部是有相位順序的直接跳轉(zhuǎn)跳過了黃燈過渡階段破壞了信號(hào)燈狀態(tài)機(jī)的內(nèi)部一致性。后來我把切換邏輯改成設(shè)置當(dāng)前相位剩余時(shí)長(zhǎng)為極短值1秒讓信號(hào)燈按SUMO自己的規(guī)則進(jìn)入黃燈過渡相位再進(jìn)入下一個(gè)相位問題就消失了。這里的一個(gè)經(jīng)驗(yàn)是不要跟仿真器內(nèi)置的狀態(tài)機(jī)對(duì)抗盡量順著它的機(jī)制去做控制否則你會(huì)在很多莫名其妙的仿真異常上浪費(fèi)時(shí)間。6.2 獎(jiǎng)勵(lì)函數(shù)方差過大導(dǎo)致訓(xùn)練崩潰還有一個(gè)坑出現(xiàn)在換用平均等待時(shí)間變化量作為獎(jiǎng)勵(lì)時(shí)。等待時(shí)間受單輛車極端值影響很大偶爾一輛車等了3分鐘這個(gè)變量的變動(dòng)會(huì)讓獎(jiǎng)勵(lì)瞬間產(chǎn)生很大波動(dòng)DQN的損失函數(shù)跟著震蕩訓(xùn)練曲線一路發(fā)散。后來我把獎(jiǎng)勵(lì)改成排隊(duì)長(zhǎng)度變化量再乘一個(gè)縮放系數(shù)訓(xùn)練曲線立刻穩(wěn)定下來了。如果你的任務(wù)必須用等待時(shí)間做獎(jiǎng)勵(lì)我建議對(duì)單值進(jìn)行截?cái)嗵幚肀热缱畲蟮却龝r(shí)間封頂180秒或者對(duì)獎(jiǎng)勵(lì)做clip到[-1,1]總之不要讓極端值主導(dǎo)梯度方向。6.3 如果打算擴(kuò)展到多路口該怎么做單路口跑通之后很多人會(huì)想擴(kuò)展到多路口協(xié)調(diào)控制。我的建議是不要簡(jiǎn)單粗暴地把每個(gè)路口都放一個(gè)獨(dú)立DQN那樣多個(gè)智能體在共同環(huán)境中各自優(yōu)化容易出現(xiàn)震蕩。更穩(wěn)妥的方式是先做一個(gè)多路口共享參數(shù)的單智能體方案把所有路口的狀態(tài)拼接成一個(gè)大向量輸入同一個(gè)網(wǎng)絡(luò)輸出所有路口的動(dòng)作這樣訓(xùn)練穩(wěn)定且代碼改動(dòng)不大。再往上的圖神經(jīng)網(wǎng)絡(luò)或多智能體強(qiáng)化學(xué)習(xí)屬于進(jìn)階方向建議先把單路口基本功打扎實(shí)再碰。最后再分享一個(gè)小技巧訓(xùn)練時(shí)每隔幾個(gè)episode就把當(dāng)前模型保存一份同時(shí)跑一次固定配時(shí)基線作為對(duì)照。這樣你能在訓(xùn)練過程中實(shí)時(shí)觀察智能體是否真的超過了基線也能在崩潰時(shí)回滾到之前效果最好的模型。我在這個(gè)項(xiàng)目里前前后后跑了十幾個(gè)小時(shí)的仿真大部分時(shí)間都花在調(diào)參和修bug上只有把環(huán)境、建模、訓(xùn)練鏈路都理順了強(qiáng)化學(xué)習(xí)在信號(hào)燈上的效果才真正凸顯出來。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲色图大香| 久久av成人无码免费| 花花AV导航| 男人女人18禁片免费看网站| 国产女人操逼视频| 97天天摸天天碰| 欧美黑人与女人91~| 校园春色中文字幕AV| 亚洲黄色电影| 亚洲阿v天堂无码z2018| 亚洲另类综合欧美| 夜夜操中文字幕| 欧美性夜| 成人国产精品三级A片| 欧日韩不卡视.频| 欧美国产有色电影| 外站AV在线| 又大又长又粗又爽又黄| 青青草在线成人视频| 色色综合网站| 九九九九97| 精品97久久| 男人精品天堂一区| 91综合网在线| 国语av最新自产拍在线观看| 日本美女性生活久久久久久久 | 在线中文字幕| 午夜男人天堂| 天天久久久久久| 五十路六十路七十路熟婆| 99色色网| www欧美91| 7777奇米影视久久| 日韩精品三区四区| 78操B| www.伪伪| 欧美色图亚州激情| 亚洲天天操| 亚洲欧美日韩精品久| 久都青青视频| 午夜操一操| 多乙久久久久久| 久久久av爱| 不卡码视频| 另类视频在线| 98一区二区精品| 九九九九九九九九九九九九九九九女| 久久久人妻| 综合一区中亚洲国产成人综合精品 | 激情综合网五月婷婷五月天| 97爱欧美| 牛牛AV人人夜夜澡人人爽| 色综合色色| 久久9精品网站| 后入式视频国产自| 午夜人人操| 狠狠久久四虎| 伊人91| 亚洲夜夜欢无码一区二区 | 午夜精品久久久久久久久久蜜桃| 欧美日韩国产中文超碰| 人妻天堂三区| 人妻嗯啊啊在线播放| 超碰成人人人爽人人爽| 欧美第二页| 99爱爱| 国产精品久久久久999| 91国产操逼视频| 欧美三级偷拍| 欧美在线|亚洲| 成人草草视频| 另类小说五月天| 狠狠躁久久躁| 久9热| 色哟哟精品1精品2| 欧美日韩第一页| 日韩BBN| 日本护士高潮| 96国产精品| 国产欧美一区激情交| 国产熟女高潮一区二区三区| 免费看久久久性性| 国产夫妻性生活视频| 超碰美国| 国产狂喷潮在线精品| 按摩中文字幕| 久久偷偷色综合蜜桃| 中文字幕日韩电影人妻| 97精品国产手机| 色在线亚洲视频www| 丝袜无码a片| 一牛影视成人片免费| 激情人妻另类| 国产肏屁眼视频| 九九热九九| 国产一区二区欧美日本| 日韩在线观看AV| 99热精品在线| 五月天亚洲色图| 久久透逼视频| jiujiujiujingpin| 强奸a片网| 97久久超碰日韩精品| 婷婷综合久久| 在线午夜成人无码视频| 久久久久久9999| 日本高清一区二区在线| 亚洲综合网91| 中文字幕AV片| 久热九九| 性色AV蜜色av色欲av| 96免费视频在线| 久久精品国产亚洲5555| 91久久久老司机| 2024人人操人人摸| 亚洲欧美综合| 97超碰公开| 又大又白奶子| 亚洲 国产 精品一区| 亚洲双插| 日本熟人妻中文字幕在线|...久久国产精品-国产精品_日本一区二区三区中文字幕 | 97资源久久| 无码一区二区三区四区五区六区七区八区九区十区视频 | 九色 人妻 大香蕉| 欧美亚洲一级在线观看| 1024精品在线| 97精品视频免费| 亚欧无码在线| 91肉片| 久久久男人的天堂| 天美AV片| 黄色网址在线免费观看| 综合网91| julia国产在线 | 国产免费一区二区三区最新不卡| 老司机深夜18禁污污网站| 色婷婷丁香五月天| 国产人妖的免费的视频| 亚洲综合伊人无码久久| 欧美在线55555| 国产AV超爽| 大色综合| 懂色av中文字幕| 青青爽| 探花一区在线| 日本熟女不卡视频| 奶水 人妻 哺乳 在线| 国产乱弄免费在线视频。| 3p国产色噜噜一区| 黄色片,com| 亚洲图片另类| 天天影视综合色| 97中文字幕色| 亚洲一区深夜| 国产麻豆一级精品视频| 免费一级a毛片久久久久久鸭绿欲| 四虎av在线| 8050午夜少妇无码| 26uuu最新| 97超色| 亚洲精品久久久久久久久豆丁网| 亚州综合图片| 久久久久久久久久久久久久久乱码| 先锋色眉乱伦资源| 新视频sss国产| 亚洲性高潮| 99re99视频在线免费观看| 天天日少妇逼AV| 成人5码视频| 久96热在线观看视频| 日本幼女18+| 国产一区二区在线播放,久久亚洲精品中文字幕第一区,亚洲精品在线中文字幕视频 | 亚洲无限观看| 亚州春色| 香一区二区三区| 日本午夜久久电影| 色嗨嗨在线| 黑人美精品 A片| 伊人热综合| 日日骚中文字幕| 天天综合欧美黑人| 曰本道人妻久久久在线不卡色视频| 97这里都是精品| 99青草| 国内外色色色色色成人视频| 色五月亚洲| 亚洲成人美女无吗| 亚av顶级裸体一区二区三区四区五区| 丁香五月天激情| av日韩在线观看电影| 国产在线激情视频| 狠狠中文字幕| 欧美一区二区三区另类精品| 亚洲免费成人在线高清无码视频| 免费看片黄| 蜜臀99久久精品久久久懂爱| 色吧 综合| 婷婷伊人五月| 色综合av综合久久| 天天射天天操天天干天天吃2018| av毛片aaaaa免费看| 亚洲日韩青青草色月| 97亚洲国产影视| 一本一道人妻久久一区二区三区| 曰韩欧美国产传媒麻豆第一区| 色色色综合| 丰满人妻一区二区三区在线| 啊灬啊灬啊灬好深灬快高潮了动漫-国产字幕国产在线观看-B049AV | 午夜精品久久久久久久99蜜桃一| 每日更新AV| 91人人臊| 九九内射在线| 精品久久久久瑟瑟| 欧美国产成人在线| 日韩不卡一二三四| 97操B| 欧美AB在线| 91美女视频| 亚洲一卡二卡在线免费| 亚洲国产精品9999在线观看| 8050午夜少妇无码| 国产刺激视频| 欧美一区二区情色| 欧洲精品区| 蜜臀99久久精品久久久久久| 久久激情婷婷| 久久精品 六十路 熟女 欧美| 免费国产电影一区二区| 亚洲黄色a级片| 99综合网| 厕所偷拍在线| 欧美久久人体| 人妻天天爽天天爽三区| 中文字幕AV乱伦| 亚洲一区二区三区AV无码| 欧美视频中文字幕区| 亚洲五月天激情| 成人影 天天操 亚洲| 最新中文字幕精品在线| 狠狠操狠狠插| 试看福利| 欧美宗合色| 麻豆国产97在线| 国产精品亚洲天堂网址| 3571色综合一区二区二区| 91伊人影视综合| 东京热大香焦| 亚洲欧美不卡线| se01国产在线视频| 亚洲天堂久久| 国产精品高潮久久AV| 成年人免费观看网站| 天天爽天天操啊啊啊| 在线观看不卡一区二区三区| 国产亚州高清国产拍精| 青青草亚洲一区 | 国产91精品福利在线| 狠狠综合| www.AV有限公司一区| 日本曲间由美性生活片| 天天综合,91入口| 婷婷色色五月天福利| 温婉少妇玩3p| 亚洲视频一二区| 亚洲欧洲日韩中文字幕一区| 蜜乳AV免费观看| 五月丁香社区婷婷日韩欧美精品影院| 国产精品久久久视频| 精品妇操一区二区三区| 欧美人黑A片无码免视费| 强奸乱伦动态污图免费| 免费看污网站| 久肏视频字幕| 国产精品久久久久久无码红治院| 伊人影院中文字幕| 亚洲人妻日日日| 国产自产自拍| 伊人色综合超碰| 一区二区无码视频| 精品一区二区在线针对华人免费观看这里只有精品免费观看 | 欧美性爱无码一区二区三区| 日韩欧美女优电影| 在线 欧美 亚洲| 激情熟女12P| 九九这里只有精品| 神马久久免费电影观看| 日韩无码三级影院| 91在线美女| 欧美性性性| 日韩一区二区高清在线观看的| 91原创在线观看| 亚春色色| 日本人人操人人操| 中国黄色特级精品一区二区三区片| 97爱爱爱| 亚洲午夜免费狠狠干| 日韩高清一二三| 精品丝袜无码一区二区三APP| 丁香五月成人| 久久久久女教师免费一区| 青娱乐国产精品| 91超碰人人操| 婷婷五月在线视频| 精品制服美女中文一区二区三区| 强奸国产在线| 天天干天天日天天射黄色片| 国产91影院| 大香樵伊人网| 一二三区精品视频| 97综合在线| 欧美综合在线第一页| 无码国产Av| 美女的肌被草喷水视频| 九月婷婷久久| 中文字幕一区 二 区 三 四 五 区日 日 骚 | AAA久久| 欧美丝袜美女电影一二三四区| 免费一级性爱久久| 诱惑人妻欧美一区在线播放| 国内毛片国产欧美拍| 亚洲男人的天堂一区二区| 亚洲天堂男人天堂| 少妇国产不卡| 日韩精品在线放| 色月天AV导航| 99久久久久久亚洲精品不卡| 情色五月天久久久| 97资源视频| 丝袜视频一区二区在线播放国产中文| 国产在线观看91精品一区| 国产60区。| 国产9 9在线 | 亚洲| 18岁禁 茉莉成人久久| 啪啪啪亚欧美视频| 亚洲另类综合欧美| 91春色| av优播| 欧美综合天天| 亚洲蜜臀懂色| 强奸乱伦麻豆| 青青操日韩| 中文字幕 国产区| 不卡视频一区蜜桃视频 | 正在播放:深夜激情大战,自带黑丝袜全力输出骚穴 | 亚洲第一精品在线视频| 亚 欧 美 综合| 午夜性生活av免费在线看| 国产剧情一区在线观看| 一区二区三区国产在线播放| 久久国产精品,久久国产| 欧美十八禁视频| 丝袜大香蕉| 色天使亚洲综合在线观看| 爱爱动态试试看6 0秒| 青青青青草av在线观看| 久久精品国产AV一区二区三区| 日韩在线观看三级电影| 97香蕉网| 成人熟女视频一区二区三区| 国产精品美女久久久久久网站| 成人无码专区精品视频| 国产精品69人妻无码久久久| 日韩精品亚洲一二三| 一道本久久棕合爱| 最新国内自拍av免费| 天天干夜夜肏| 一区二区偷拍拍视频| 综合伊人激情| 亚州精品人妻一二三区| 内射白嫩美女| 思思热在线cao| 992视频一区| 久久国产精品,久久国产| 99精品欧美一区二区三区桃色| 玖玖综合视频| 精品免费1| 免费伦费视频在线观看| 超碰美国| 亚洲天堂日本| 婷婷在线视频| 国产女人操逼视频| 婷婷色综合欧美日韩| 日韩无码AB| 开心激情站| 日日日日做夜夜夜夜无码| 国产夫妻性生活视频| 亚洲精品蜜桃久久久一区二区三区| 天天激情干| 97视频在线观看免费高清| 91欧美长吊| 色色色999| 国产精品人人爽人人做可爱福利| 国产精品久久久久久久久久久久久久吹| 色诱中文字幕| 婷婷久久综合久| 国产成人 综合亚洲 天堂| 日韩日韩日韩-国产乱码精品一区二区| 日本熟妇人妻中出视频| yiqicaoav| 97国产精品久久久久| 精品无码一区二区| 校园春色综合| 国产人妻精品一区二区三区秋霞| 天天射网| 99这里有精品| 吊色| 2021国产成人精品久久| …中文字幕亚洲乱,97人妻无码费视…| 日韩女优在线| 五月激情综合网| 操www| 欧美成人性活片| 情色五月天就去干| 欧美91网站| 亚洲……91| 一区二区娱乐网站| 国产成人手机视频激情| 日本熟女不卡视频| 大JI巴好深好爽又大又粗视频| 一本一道久久综合久久| 欧美第二页午夜| 97在线欧洲| 91综合网在线| 国色综合天| 污电影在线观看| 绯色AV粉色AV蜜臀AV| 亚洲精品男人的天堂| 人、人、摸,人、人、草| 久久久网一区| 800zy一区二区| 国产精品熟女丝袜一区二区| 死我十八禁| 黄色大片一区二区密桃丝袜| 亚洲人成网站7777| 欧美日日网| 天天做天天爱| 狠狠爱综合网| 久久久久9999| www久久99| 色综合久| 人妻少妇av在线观看| 日韩一区二区高清在线观看的| 摸奶性爱视频网站在线免费播放| 妇女性内射冈站HDWWWCOM| 欧美激情一区| 国产黄色剧情影片麻豆免费播放| 最新国产精品| 中文字幕高清精品一区| 成年人三级黄色片视频| 涩涩这里只有精品视频| 黄片免费看的| 亚洲av影音先锋| 视频国产精品未满十八禁止在线观看| 操高情无码| 国产 日韩 欧美 中文 另类,国产 欧美 另类 制服 变态,高清 日韩 欧美 中文,高 | 亚洲精品美女久久久久久久久| 国产精品色片一区二区| 伊人黄色视频免费观看| 亚欧Av| 九九无码视频| 色婷婷小说| 99色视频| 超碰久久性爱| 一区二区三区日韩欧美| 嗯嗯啊好大| 久久熟女久| 加勒比少妇AV婷婷六月天超碰超碰| 97网址97| 午夜啊啊| 成人免费性爱视视| 色操逼网| 天天躁日日躁XXXXYY| 日本福利二区视频| 中文字幕黑人大片| 蜜臀AV一区二区三区激情综合| 欧美一级欧美三级在线观看| 大香蕉欧美国产日韩高潮| 亚洲天堂情色| 嗯嗯啊啊的视频| 色噜噜日韩精品| 91免费看中出视频| 26uuu久久| 操婢日韩| 免费看A片毛毛片在线播| www成人啪啪18秘 免费| 在线观看一卡二卡| 国产传媒1234区| 欧美一区二区三区成人性生活| 密臀成人视频久久久| 亚洲人综合19| 被男人吃奶很爽的毛片| 欧亚性爱啪啪| 婷婷五月天福利| 无码欧美有限公司| 亚洲精品白丝| www.91视频网| 强奸乱伦免费网站| 999岛国大片| 色噜噜综合在线| 中文字幕二区日韩天堂| 欧美熟女妇同| 久热精品在线| 欧美一级二级三级| 黄色激情电影在线观看| 亚洲乱熟女一区二区三区大香蕉| 极品色社| 亚洲drav色图| 成人怡红院| 蜜乳AV.COM| 9+1视频网址| 日韩免费看黄片| 国产亚洲禁久一区二区 | 久久综合精品一区二区三区| 国产AB视频| 97亚洲精品| 欧美性爱视频免费一区一A| 免费观看有码高清视频| 欧美亚洲日韩16色| 九九九九9999| 强奸乱伦动态污图免费| 操九九九九九九| 97少妇人妻中文字幕久久| 日本天天干天天操一区| 精品国产丝袜一区二区三区乱码| 国产亚洲人妻综合日韩 久久| 东北老女人的激情视频| 蜜臀网 一区| 一级特级aaaa毛片免费观看| 久久久久久久久久久久久久久性生活视频 | 婷婷干黄色| 国产福利精品最新在线| 天天看,天天做| 亚洲精品97久久中文字幕| 人人看人人插| 久久婷五月天| 精品美女久久一二三| 麻豆亚洲AV成人无码久久精品| 综合五月婷婷亚洲一区| 在线女人91| 拍拍拍拍大尺度黄色三级片拍拍拍拍拍照| 奇米四色网| 91欧美长吊| 91少妇人妻| 日本韩欧美在线播放a| 欧美国产视频| 1240青青草一区二区三区视频天爱| AV污污污污| 亚洲影院小综合| 操人妻视频| 午夜男女爽爽爽在线视频| 麻豆人妻少妇在线免费观看| 少妇久久久久| 熟妇熟女视频一区二区三区| 国内外激情在线| 人人摸人人干人人拍97| 99抽插| 日本久久女同性恋视频| A V少妇特黄三级| 99热线麻豆 | 欧美性战999| 精品一区二区三区丰满熟女-亚洲欧美一区 | 色香综合天天影视综合 | 自拍偷拍 高清无码| 日韩99999色| 亚洲欧美在线丝袜| 日韩成人精品中文字幕| 久9综合在线| 秋霞久久亚洲精品成人| 亚洲精品蜜桃久久久久久久| 1769国内精品视频| 久久97资源 网| 玖玖爱在线视频免费观看| 亚洲色图激情小说| 四虎在线视频| 五月婷视频| 欧美色图99| 婷婷综合网站| 青青草综合在线| 90后性网国产欧美| 国产97av| 丁香五月av| 久久人妻熟女一区二区 | 人人操人人搞人人草| 亚洲激情色片 | 超碰在线人人射| 999久久久九| 91老司机精品| 大地资源在线观看中文第二页 | 人伦四五区| 天天精品| 欧美97网| 亚洲综合97中文网| 国产亚洲色停停久久99精品91| 久久国产视频专区一二三| 能在线播放的国产三级| 秋霞午夜视频一区二区| 欧美黑人精品在线播放| 欧洲与亚洲欧美精品中文字幕| 韩国一级AAA| 蜜桃精品一区二区三区久在线| 亚洲午夜福利视频| 91青青在线| 久久一二三四五六七八九区区区 | 男女性扦B| 特污免视频| 国产欧美在线观看免费观看| 少妇500双飞99| 国产日产精品久久快鸭的功能介绍| 国产第11页| 国产尹人在线视频免费| 欧美天天综合网版| 欧美丝袜激情| 成人乱码一区二区三少妇| 日韩有码中文字幕女同性恋 | 日少妇亚洲版| 亚洲精品国产熟女| 噜噜瑟| 啊啊啊啊啊啊在线看| 高清国产无码av| 亚洲性综合| 久久综合99| 97日韩欧美| 我中文字幕6区| 桃花色涩综合影院| 国产精品乱码久久| 国产欧美日本亚洲精品| 台湾佬中文娱乐网久久久久久久久久com | 国产免费小视频| 无码99| 一级@啪啪视频| 亚洲少妇综合| 麻豆黄四叶草网站| 美女极品一区二区三区| 91高潮| 精品97久久综合| 日韩成人免费电影| 欧美熟妇成人一区二区| 日韩欧美~中文字| 男人天堂站| 午夜精品久久久久| 黑人性暴力毛片| 青青色综合| 69XX一中文字幕人妻91| 春色综合免费| 久久9精品网站| 国产黄片在线免费观看| 国产精品一区二区密臀| 国内三级自拍小视频在线观看 | 久久久久密臀视频| 97在线视频观看| 国产精品爽爽v| 91成人无码| 色天堂在线观看| 美女啊啊啊啊pc| 日韩免费看黄片| 少妇久久久久久| 人人操人人精品影片| 超碰在线974| 久久婷婷五月天| 天天色,天天干,天天干| 精品国产乱码久久| 91精品在线播放| 伊人国产视频| 欧美中文字幕男人天堂久久精品 | 蜜臀久久99精品久久久久久酒店 | 久久久久久久久久久久久久9999| 新91视频.cmp| 亚洲AV不卡在线观看尤物| 久久久久久一日韩字幕无码| 国产欧美日产一区二区三区 - 国产欧美日| 91亚州日韩高清| 免费视频a级毛片免费视频| 操逼日批| 操逼网站网站| 91成人无码| 婷婷激情五月| 国产操逼逼网| 成全在线观看免费观看| 国产精品日本无码A片| 殴美性天天| 国产黑白丝在线| 久久超碰av在线| 青女在线| 伊人久久大香线蕉亚洲五月天,青草青草欧美日本一区二区,欧美日产欧美日产国产 | 国产自产自拍| 国产白丝av| 密臀在线一区尤物| 青青草依人大香蕉| 国产肏屁眼视频| 欧美中文字幕一区 | 91天堂网| 啊啊啊啊好疼| 九九九九热只有精品| 搡老熟女国产1000部| 亚洲日韩少妇一道本视频| 亚洲精品欧美专业| 久久9久9久99久9久9| 97超碰国产精品| 人妻久久久久久| 五月天婷婷综合| 久热9| 91日本在线观看| 国产一区在线免费播放| 强歼乱伦资源网| 久久久久九九九| 人人操人人干网页| 激情抓乳插进去啪啪啪日韩 | 成人片在线播放| 性爱av在线免费观看| 日韩一区二区三区四区五区 | 日夜尻逼网| 9 1超碰九色| 精品少妇高潮久久| 精品少妇一区二区| 久久国产精品一区二区| 91美女片在线| 亚春色色| 97天天| 国产91亚洲精品一区二区三区| 色欧美色交综合| 怡红院亚洲怡春院av| 中文字幕免费在线观看| 性欧美999| 天天干人人乐| 午夜操一操| 国产 日韩 欧美一区| 久久精品久久久久久久久| 久久欲| 久久久国产亚洲精品系列| 国产精品激情久久久久久久| 伊人黄色视频免费观看| 婷婷丁香在线| 色蜜AV| 天天综合网在线| 伊蕉97蜜桃97狠狠综合干| 美女的肌被草喷水视频| 欧美一区二区成人一卡| 精品视频久久区| 国产精品人妻免费精品| 亚洲综合码| 日韩av色图综合| 丰满人妻一区| 国产精品乱码久久久久久久久| 麻豆a'v电影| 色天使AV天堂| 久久久久久久| 熟女激情综合网| 国产亚洲日韩在线三区黑人| aaa一级黄片| 18一区二区三区| 久草热制服丝袜在线观看| 欧美日日人人天天| 日韩无码一区二区三区| 一区二区三区亚洲| 搡老熟女老女人老熟妇免费视频| 96精品在线| 久久国模av| 热热色青青草| AV麻豆免费一区| 家庭乱伦网站国产| 91久久国产综合久久| 日日A∨| 嗯嗯不要 视频| 黄色成人网久久久久久| 色噜噜人妻丝袜a∨先锋影 | 久久99精品九九久久久婷婷| 精品日韩产品在线,日韩在线不卡视频,欧美日韩免费专区/久, | 97精品视频在线| 久久男人的天堂| 中文字幕一区二区在线日韩精品| 亚洲欧美精品91| 国产美女精品| 麻豆天美在线| 国产精品久久久久无码A√| 狠狠爱综合| 国产美女口爆吞精| 天天爱天天操| 亚洲免费成人精品电影| 麻豆久久视频在线地址| 97草草| 91欧洲国产成人久久精品网站| 亚洲h片在线免费观看| 丁香五月综合| 超碰97欧美日韩| 黑人免费福利视频| 亚洲天堂 视频你懂的| 欧亚第一综合网| 国内毛片四区| 亚欧成人中文字幕一区| 情色日播放AV| 亚洲中文字幕久久无码精品| 日韩无码视频黄色| 婷婷激情四射| 亚洲一区制服诱惑| 日本中文字幕不卡视频| 五月丁香在线| 天天拍天| 尤物视频一区| 97 亚洲 日韩 欧美 在线| 久久久无码精品人妻二区| 免费1级a做爰片观看| 天天肏美女| 竹菊一区二区三区AV线| 欧美日产国产在线成人第一区| 97在线免费看| 清纯唯美亚洲另类| 久久精品店| 91九九九小逼| 青娱乐二区免费| 黑丝内射一区二区三区| 91蜜桃传媒精品久久久一区二区| 国产精品网址| 色九月综合| 青草精品视频-日本久久久久网站| a级理论午夜日本| 欧美91网站| 国产在线视频午夜精华在| 日日干日日| 天天日骚逼熟女| 啊啊啊在线看| 欧美一区二区三区四区综合| 精品夜夜澡人妻无码| 偷拍导航视频网站| 亚洲AV无码国产成人| 在线情色电影 91大| 麻豆综合一区av| 99.色网| 天天做天天爱| 探花精品视频| 夜夜嗨免费视频| 亚洲av影音先锋| 在线情色电影 91大 | 97超碰欧美精品| 玖玖在线视频| 国产91 丝袜在线播放 | 热无码中文亚洲H一道本一区二区| 天天综合,91综合永久| 成人国产二区三区在线,男女精品。| 中文字幕在线观看二区三区| 欧美成人精品一区二区男人蜜臀| 国产大学生口爆吞精合集| 国产亚洲精品美女| 五月婷网站| 天美传媒av一区二区| 国产区91柔拿会所技师| 亚州欧美综合| www网站黄| 亚洲天在线| 操美女高潮抽搐白浆| 久久久久大香青草精品综合| jk白丝没脱就开始啪啪| 久久精品视频一区三区小泽玛利亚| 一级特黄aaa大片在线观看成人一级片在线观看 | 韩国黄片aaaa| 家庭乱伦麻豆| 中文字幕日韩综合| 啊啊啊免费视频| 神马福利久草| 天天干天天舔| 99国产精品免费| 超97在线精品视频| 日本性一区| 九九久久综合| 超碰九7免费| 亚射在线| 免费一级精品啪啪视频| 婷婷九月国产| 99操碰| 久久午夜鲁丝片| 校园春色 亚洲| 免费一级毛片在线视频观看| 日天天九九天堂666| 天天干一干| 黄片免费日韩| 日本999精品| 欧美十八禁网站| 欧美日韩亚洲少妇寂寞影院正在播放| 91超级碰碰| 插入逼91| 使劲用力艹少妇视频一区二区| 国产美女高潮叫床视频| 日本97久久久精品| 啊啊啊男女| 资源在线观一 二| 久久国产AⅤ| 国产久久久久影院老熟女| 十八禁视频网站| 女性91网站| 97精品97| 91N综合网| 欧美黄页| 欧美爆操91| 亚洲精品天堂久久A∨51成人漫| 粉嫩小泬久久久一区二区| 在线观看综合精品亚洲| 另类欧美色| 国产自制av蜜乳| 久热伊人| 综合伊人激情| 四虎影视永久在线观看精品免费网站| 欧美激情综合色综合啪啪五月| 人人爱人人乐人人操| 日本黄色天堂| 亚洲欧洲偷拍一区| 国产51色综合久久免费| 欧美中日韩XXXX| 成人综合视频久久| 中文字幕 国产区| 国产精品不卡一区二区三区av| 免费亚洲国产精品久久一区| 熟妇人妻精品一区二区视频色欲| 国产精品一区二区亚洲人成毛片| 97se亚洲| 18岁禁 茉莉成人久久| 婷婷亚洲天堂| 超碰国产精品无码| 欧美色网络| 久9久精品视频| 偷窥自拍亚洲色图| 女人午夜视频777| 亚欧免费观看视频| 高潮9999外国| 亚洲熟女乱熟乱熟妇综合网二区| 思思热在线| 精品中文字幕第一页| 九九热九九| 午夜精品久久久99热蜜桃的功能特点| 中文字幕视频一区视频二区| 日本在线视频导航| 最新岛国大片| 偷拍亚洲| 老熟乱一区二区三区四区| 美欧老女人97| 人妻天天爽夜夜爽爽| 簧片免费看视频| 国产曰批免费观看久久久| 国产深喉视频一区二区| 91久热| 午夜综合在线| 9热9热综合网| 日韩精品区二区三区不卡| 夜色AV无码手机在线影院| 欧美在线永久天堂| 人妻精品一区二区| 超碰97人人乐| 日韩精品大香蕉伊人在线| 亚洲丝袜B诱惑| 69超碰综合| 成人精品在线| 无码人妻丰满热妇又大又粗| 日韩无码三级影院| 午夜国产成人精品视频| 夜夜欧美| 久久久久久十| 精品综合久久久久久97| 成人黄页| 欧美日韩国产电影| 蜜臀亚洲中文| 国产乱码久久| 日日日日日| 久久艹逼视频| 久久婷婷综合国际产色怕| 国产无马在线| 国内精品嫩模A∨私拍小视频| 69精品| 伊人九九九| 黑人性欧美| 中文字幕一二三av| 亚洲脚交| 成人精品水蜜桃久久久久久久| 男人的天堂日本东京热| 激情无码日韩| 欧美日韩人人精品| 99超碰色| 九色97| 又黄又爽在线观看视频| 久久婷综合| 99色热| 色综合色综合网| 精品久久99| 啊啊啊好爽快点啊啊啊嗯嗯| 日本在线不卡一二区| A片 AV一级在线播放观看免费| 岛国黄| 成人亚欧免费视频| 国产人妖视频一区在线观看| 国产成人午夜视频网址| 国产成人精品无码久久| 精品亚洲国产成人精品| 成人八戒网站| 久久香蕉综合一本到3atv| 午夜黄色免费在线观看| 插欧洲美女欧美精品| 色牛牛AV| 五月天开心网| 夜夜中出国产| 久久久精久久久| 黄色成品网站| 老汉网| 日本超碰97日韩精品人妻| 嗯嗯啊好大| 亚洲综合伊人| 2020天天色综合| 午夜在线播放| 亚洲国产成人精品女人久久久| 日韩三级伦理中文字幕| 亚洲精品97| 亚洲好看强奸乱伦| 无码免费精品高清| 成人性爱电影一区二区| 操久久久久久| 后入 亚洲 美女 射| 色欲人妻一区二区在线| 色眯眯射| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师 | 高清国产成人无码| 欧美日韩性爱无码| 开心五月婷婷激情| 91美女中出| 欧美激情欧美精品| 久久精品高清无码一区| 人妻精品一区一区三区蜜桃91| 欧美熟妇精品黑人巨大91| 日韩在线观看三级电影| 97在线视频观看网站| 日本激情免费大片| 日本三级韩三级99久久| 免费人人搞97| 久久有码视频| 啊啊啊久久久视频 | 青青草日韩免费观看高清在线| 尤物视频偷拍免费| 在线无码操| 亚洲欧美中文日韩视频中国语| 夜夜操2028| 亚洲美女30b| 日韩电影免费网站麻豆视频| 国语少妇精| 午夜乱轮操逼视频免费看| 久操网无码在线| 亚洲啪啪性视频| 久久一区无码| 中文一区在线日| 欧美精品庄| 久久无码一区二区二三区性色| 黄色免费网页无码| 男人天堂2019亚洲| 日日夜夜草草草| 少妇贴图| 国产精品嫩草影院午夜两性| 久久久久久AV无码免费网站| 亚洲国产一区二区三区在线| 亚洲drav色图| 亚洲无套久久嗯嗯| 99操逼| 香港成人一级视频在线青青草| 国产精品97超碰| 亚洲牲交| 色一色综合网| 久久久噜噜噜久久久| 九色 蝌蚪 熟女自| 999久久久免费精品国产牛牛| 插日本熟女视频| 蜜臀久久99精品| 天天性射网| 东京热视频网| 超碰99在线观看| 狠色婷婷久久一区二区三区_| 啊v在线观看视频| 日韩在线性爱免费视频| 日韩精品一区二区三区四虎影视| 男人网站婷婷| 亚洲婷婷丁香在线| 亚洲色图欧美视频| 嗯嗯嗯,草死我| rion磁力链接| 亚洲日韩美女中文字幕乱| 男人的天堂2018.| 97超碰大| 亚洲美女自拍偷拍视频| 看黑丝美女操逼青青网站| 国产区在线| 顶级丝袜熟女一区二区三区| 香蕉久久AⅤ...| 日韩精品一二三四| 精品国产综合久久福利,热99这里有精品综合久久,99热这里只有免费国产精品,精 | 婷婷丁香在线| 日韩图区| 伊人操你| 99热99re超碰精品| 青娱乐亚洲自拍| 在线观看一级α片刺激高潮视频| 超碰人人在线| 男人精品天堂一区| 韩国女主播青草在线| 看黑人AV不卡| 干B网| 国产乱码精品一区二区三区四川| 亚洲影院小综合| 97久久网| 综合色播| 欧美精品三区| 国产精品亚洲无码| 99热亚洲| 国产精品一区二区麻豆| 日韩在线一区高清在线| 人妻密肉在线观看| 九九九九九九视频免费| 色小视频蜜乳| 久久久9 9 9精品| 免费簧片在线观看| 人人超碰在线观看黄| 成人性爱免费播放| 亚洲精品一区二区三区新线路| 超碰在线91| 99热这里是精品| 天堂av最新电影网| ?亚洲伊人伊成久久人综合网| 九一亚洲国产免费| 上床不卡网站| 久草精品国产99| 久久国产99精品72福利 | 麻豆激情综合| 日韩簧片免费看| 男人的天堂激情| 五月天婷婷在线看| 欧美日韩免费专区在线| 极品销魂美女一区二区| 偷拍 亚洲| 啊啊啊啊啊啊在线观看| 97资源制服丝袜| 国产精品自拍视频| 啊啊啊啊啊啊啊国| 又大又大又大又粗爽高潮观看| 亚洲国产精品久久久久婷婷青年| 久操视频在线观看| 九九黄色网| 国产精品3| 操逼逼无码| 亚洲第一页综合在线| 久久精品国产免费观看99| 久久99久久99精品天美传媒棢·纸:. | 观看免费区二区三区二| 精品福利| 亚洲综合性感在线| 欧美亚洲一级在线观看| 99只有精品| 欧美国产伊人久久久久| 狠狠激情综合狠狠操中文字幕| 一区二区三区 丝袜 高跟 美腿 | 午夜福利1区2区3区| 干b在线性社区| 密乳AV免费观看| 黑人娇小av在线播放| 日韩啪啪啪啪啪| 色综合加勒比| 91在线限制级| 日韩欧美亚欧在线视频| 麻豆性爱视频在线播放| 天天搞在线综合网|