日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

貪吃蛇AI實(shí)戰(zhàn):Python實(shí)現(xiàn)BFS、A*與Q-Learning算法對(duì)比

貪吃蛇AI實(shí)戰(zhàn):Python實(shí)現(xiàn)BFS、A*與Q-Learning算法對(duì)比 簡(jiǎn)介這是一套面向算法學(xué)習(xí)與游戲AI初學(xué)者的貪吃蛇AI實(shí)現(xiàn)核心基于C/C編寫的智能體結(jié)合最短路徑、最長(zhǎng)路徑與決策策略在封閉地圖中自動(dòng)規(guī)劃尋食路線并在空間受限時(shí)切換策略以延長(zhǎng)生存時(shí)間最終朝吃滿整張地圖的目標(biāo)推進(jìn)。資源共57個(gè)文件壓縮包僅1.52MB含34個(gè)Python腳本覆蓋算法實(shí)現(xiàn)、運(yùn)行入口、可視化與對(duì)比測(cè)試另有g(shù)if動(dòng)圖、png截圖、md文檔與yml配置輔助演示和說(shuō)明。代碼目錄按求解器、界面、基礎(chǔ)工具、測(cè)試等模塊劃分結(jié)構(gòu)清晰便于定位核心算法與二次修改。目前已有1617人學(xué)習(xí)/下載適合想理解路徑規(guī)劃AI在游戲中落地的開發(fā)者參考。通過(guò)該項(xiàng)目可掌握貪吃蛇環(huán)境建模、最短與最長(zhǎng)路徑算法、決策權(quán)衡等核心方法并結(jié)合測(cè)試腳本與繪圖工具復(fù)現(xiàn)結(jié)果、調(diào)整參數(shù)是一份輕量但完整的游戲AI入門實(shí)例。1. 項(xiàng)目概述與分析1.1 這個(gè)項(xiàng)目到底在做什么Snake-AI本質(zhì)上是一個(gè)“讓程序自己玩貪吃蛇”的項(xiàng)目但它不是簡(jiǎn)單地寫死一套規(guī)則讓蛇按固定路線走而是讓AI在每幀游戲畫面中自主決策——往哪個(gè)方向移動(dòng)、怎樣規(guī)劃路徑、如何權(quán)衡眼前的食物和潛在的死亡風(fēng)險(xiǎn)。從課程設(shè)計(jì)的角度來(lái)說(shuō)這是一個(gè)非常典型的AI入門綜合項(xiàng)目它覆蓋了搜索算法、強(qiáng)化學(xué)習(xí)、狀態(tài)空間設(shè)計(jì)、獎(jiǎng)勵(lì)函數(shù)調(diào)優(yōu)等核心概念同時(shí)又能通過(guò)可視化界面直觀看到算法效果的優(yōu)劣。我當(dāng)初做這個(gè)項(xiàng)目的時(shí)候正值《人工智能導(dǎo)論》課程需要提交一個(gè)大作業(yè)。選來(lái)選去決定做貪吃蛇AI一來(lái)游戲邏輯足夠簡(jiǎn)單不用處理復(fù)雜的物理引擎二來(lái)AI決策的反饋非常即時(shí)蛇撞墻、咬到自己、吃到食物這些結(jié)果一眼就能看出來(lái)非常適合用來(lái)驗(yàn)證算法效果。做完回頭再看這個(gè)項(xiàng)目確實(shí)把AI領(lǐng)域幾個(gè)最基礎(chǔ)也最重要的概念串了起來(lái)——搜索、決策、試錯(cuò)學(xué)習(xí)后面無(wú)論轉(zhuǎn)CV還是NLP這些底層思維都用得上。1.2 適合誰(shuí)參考與學(xué)習(xí)如果你正在準(zhǔn)備人工智能相關(guān)課程的大作業(yè)或者想找一個(gè)“麻雀雖小五臟俱全”的項(xiàng)目練手Snake-AI是很好的起點(diǎn)。它適合以下幾類人群AI入門學(xué)習(xí)者想理解強(qiáng)化學(xué)習(xí)到底是什么但又不想直接啃Atari游戲那種復(fù)雜環(huán)境的同學(xué)。貪吃蛇的狀態(tài)空間比Atari小得多肉眼就能觀察訓(xùn)練過(guò)程。課程大作業(yè)選手需要提交一個(gè)demo或者課程報(bào)告的在校生。這個(gè)項(xiàng)目可以做得淺只實(shí)現(xiàn)BFS尋路也可以做得深完整實(shí)現(xiàn)DQN訓(xùn)練難度靈活可控。對(duì)游戲AI感興趣的開發(fā)者想看看經(jīng)典游戲中AI是如何做決策的比如為什么有的AI玩貪吃蛇看起來(lái)很“聰明”有的卻很“蠢”。我自己跑通這個(gè)項(xiàng)目大概花了三到四天時(shí)間其中環(huán)境搭建用了一天算法實(shí)現(xiàn)和調(diào)參用了兩到三天。如果只想復(fù)現(xiàn)基礎(chǔ)版本一個(gè)下午就能搞定。2. 整體設(shè)計(jì)與技術(shù)選型思路2.1 為什么選擇Python Pygame技術(shù)棧技術(shù)選型是這個(gè)項(xiàng)目最需要認(rèn)真考慮的事。我的選擇是游戲主體用Python編寫可視化用Pygame庫(kù)AI算法主體用純Python實(shí)現(xiàn)不依賴深度學(xué)習(xí)框架進(jìn)階版本用PyTorch實(shí)現(xiàn)DQN。選擇Python而不是C理由很實(shí)際AI部分的實(shí)驗(yàn)代碼用Python寫起來(lái)效率最高改獎(jiǎng)勵(lì)函數(shù)、調(diào)超參數(shù)、可視化訓(xùn)練曲線這些操作Python的生態(tài)最順手。網(wǎng)上很多“貪吃蛇C實(shí)現(xiàn)”的教程確實(shí)性能更好但如果你要在這個(gè)項(xiàng)目里反復(fù)試算法C的編譯調(diào)試周期會(huì)讓你抓狂。用Python做AI實(shí)驗(yàn)用Pygame做可視化整個(gè)開發(fā)閉環(huán)非常順暢。Pygame這個(gè)庫(kù)雖然看起來(lái)簡(jiǎn)陋但做2D游戲演示綽綽有余。它的核心邏輯就是一個(gè)主循環(huán)每幀處理輸入、更新游戲狀態(tài)、繪制畫面。貪吃蛇的規(guī)則簡(jiǎn)單用Pygame幾百行代碼就能把游戲環(huán)境寫得足夠健壯。更關(guān)鍵的是Pygame的刷新率可控AI做決策時(shí)不需要依賴真實(shí)時(shí)間完全由主循環(huán)驅(qū)動(dòng)這對(duì)訓(xùn)練和測(cè)試來(lái)說(shuō)非常友好。2.2 三種AI方案的選型對(duì)比我在項(xiàng)目中實(shí)現(xiàn)了三種AI方案這樣既能讓項(xiàng)目有深度又能直觀對(duì)比不同算法的優(yōu)缺點(diǎn)。三種方案分別是BFS最短路徑搜索、安全尋路算法A*變體、以及基于Q-Learning的強(qiáng)化學(xué)習(xí)。選這三種方案不是拍腦袋決定的而是對(duì)應(yīng)了AI決策的三種典型范式確定性搜索BFS、啟發(fā)式搜索A*、試錯(cuò)式學(xué)習(xí)強(qiáng)化學(xué)習(xí)。從課程設(shè)計(jì)角度講這三種范式覆蓋了AI核心知識(shí)體系的大半內(nèi)容從實(shí)際效果看它們的表現(xiàn)也很有層次感——BFS貪吃但不夠“聰明”A*能繞路但不夠“遠(yuǎn)視”Q-Learning前期很蠢但訓(xùn)練后能展現(xiàn)出意想不到的策略。這里說(shuō)明一下最終效果最好的是A安全尋路方案——它在我的評(píng)測(cè)中平均每局能吃到的食物數(shù)量是21個(gè)而BFS只能吃到12個(gè)左右。Q-Learning在訓(xùn)練5000局之后能達(dá)到16個(gè)左右雖然不如A但它的意義在于“從零學(xué)會(huì)玩游戲”這個(gè)學(xué)習(xí)過(guò)程本身就是亮點(diǎn)。2.3 為什么游戲環(huán)境要單獨(dú)封裝這個(gè)項(xiàng)目里最容易被忽略但我覺(jué)得最重要的設(shè)計(jì)決策就是把游戲引擎和AI決策完全解耦。游戲環(huán)境只負(fù)責(zé)維護(hù)蛇的位置、食物的位置、得分和游戲狀態(tài)同時(shí)對(duì)外暴露一個(gè)step(action)接口AI傳入方向指令環(huán)境返回新的狀態(tài)、獎(jiǎng)勵(lì)和是否結(jié)束。這個(gè)設(shè)計(jì)直接決定了項(xiàng)目的后續(xù)發(fā)展空間。當(dāng)你把環(huán)境封裝好了后面的算法實(shí)驗(yàn)就變成了“換一個(gè)agent傳入動(dòng)作”而已。我后面加入Q-Learning和DQN時(shí)幾乎沒(méi)改過(guò)游戲環(huán)境的代碼只是新增了一個(gè)agent類。如果你打算把這個(gè)項(xiàng)目擴(kuò)展成畢業(yè)設(shè)計(jì)這個(gè)解耦架構(gòu)能幫你省下大量重構(gòu)時(shí)間。3. 環(huán)境搭建與核心代碼實(shí)現(xiàn)3.1 基礎(chǔ)游戲環(huán)境實(shí)現(xiàn)游戲環(huán)境的核心邏輯并不復(fù)雜但有幾個(gè)容易踩坑的細(xì)節(jié)需要說(shuō)清楚。首先是蛇的移動(dòng)邏輯——我用了雙端隊(duì)列來(lái)存儲(chǔ)蛇身坐標(biāo)頭部新坐標(biāo)入隊(duì)尾部出隊(duì)這樣實(shí)現(xiàn)移動(dòng)只需要常數(shù)時(shí)間。from collections import deque import random class SnakeEnv: def __init__(self, width20, height20): self.width width self.height height self.reset() def reset(self): # 蛇初始位置在地圖中央長(zhǎng)度為3方向向右 self.snake deque([(self.width // 2 - 2, self.height // 2), (self.width // 2 - 1, self.height // 2), (self.width // 2, self.height // 2)]) self.direction (1, 0) # 右 self.score 0 self.steps 0 self._place_food() return self._get_state() def _place_food(self): while True: pos (random.randint(0, self.width - 1), random.randint(0, self.height - 1)) if pos not in self.snake: self.food pos break def step(self, action): # action: 0左轉(zhuǎn), 1右轉(zhuǎn), 2直行 # 或者直接傳入方向向量 (dx, dy) if action in (0, 1, 2): directions [(1, 0), (0, 1), (-1, 0), (0, -1)] idx directions.index(self.direction) if action 0: # 左轉(zhuǎn) idx (idx - 1) % 4 elif action 1: # 右轉(zhuǎn) idx (idx 1) % 4 self.direction directions[idx] else: self.direction action new_head (self.snake[-1][0] self.direction[0], self.snake[-1][1] self.direction[1]) self.steps 1 # 撞墻或撞自己 if (new_head[0] 0 or new_head[0] self.width or new_head[1] 0 or new_head[1] self.height or new_head in self.snake): return self._get_state(), -10, True self.snake.append(new_head) if new_head self.food: self.score 1 self._place_food() reward 10 else: self.snake.popleft() reward 0 # 防止蛇繞著圈無(wú)限走 if self.steps self.width * self.height * 4: return self._get_state(), -10, True return self._get_state(), reward, False這里有兩個(gè)細(xì)節(jié)是踩過(guò)坑才加的一是“步數(shù)上限”機(jī)制——如果不加這個(gè)限制蛇可能會(huì)在食物無(wú)法到達(dá)時(shí)繞著圈一直走單局游戲永遠(yuǎn)不會(huì)結(jié)束但訓(xùn)練過(guò)程就被卡死了二是“撞自己檢測(cè)”用坐標(biāo)是否在雙端隊(duì)列中來(lái)判斷——如果蛇很長(zhǎng)這個(gè)判斷是O(n)復(fù)雜度但在20x20的地圖上完全夠用。3.2 Pygame可視化層的實(shí)現(xiàn)細(xì)節(jié)可視化層通過(guò)Pygame實(shí)現(xiàn)核心是主循環(huán)。這里最需要注意的是不要讓可視化拖慢AI決策速度。我的做法是用pygame.time.Clock.tick(fps)控制幀率訓(xùn)練階段把fps設(shè)為0不限制讓AI飛速跑演示階段設(shè)為10剛好能看清楚蛇的移動(dòng)過(guò)程。import pygame import sys def render(screen, env, cell_size30): screen.fill((30, 30, 30)) # 畫蛇 for i, (x, y) in enumerate(env.snake): color (0, 200, 0) if i len(env.snake) - 1 else (0, 255, 0) pygame.draw.rect(screen, color, (x * cell_size, y * cell_size, cell_size, cell_size)) # 畫食物 fx, fy env.food pygame.draw.rect(screen, (200, 0, 0), (fx * cell_size, fy * cell_size, cell_size, cell_size)) pygame.display.flip() def run_demo(env, agent, fps10): pygame.init() screen pygame.display.set_mode((env.width * 30, env.height * 30)) clock pygame.time.Clock() state env.reset() while True: for event in pygame.event.get(): if event.type pygame.QUIT: pygame.quit() sys.exit() action agent.choose_action(state) state, reward, done env.step(action) render(screen, env) if done: print(fGame Over! Score: {env.score}) pygame.time.wait(2000) state env.reset() clock.tick(fps)運(yùn)行可視化時(shí)按Q鍵退出或者關(guān)閉窗口這個(gè)邏輯自己加一下就行。如果只是做實(shí)驗(yàn)不需要看畫面可以直接把run_demo里的pygame初始化部分注釋掉環(huán)境照常跑這樣就變成了純文本模式的訓(xùn)練腳本。4. AI決策算法的三種實(shí)現(xiàn)4.1 基線方案BFS最短路徑尋路BFS廣度優(yōu)先搜索是經(jīng)典的無(wú)權(quán)圖最短路徑算法用在貪吃蛇上很自然把網(wǎng)格看作圖蛇頭是起點(diǎn)食物是終點(diǎn)找一條最短路徑。BFS的好處是實(shí)現(xiàn)簡(jiǎn)單、運(yùn)行速度快在20x20的網(wǎng)格上每幀尋路的耗時(shí)可以忽略不計(jì)。from collections import deque def bfs_path(env): start env.snake[-1] target env.food visited set(env.snake) # 蛇身不可達(dá) visited.remove(start) queue deque([(start, [])]) while queue: (x, y), path queue.popleft() if (x, y) target: return path [(x, y)] for dx, dy in [(1, 0), (-1, 0), (0, 1), (0, -1)]: nx, ny x dx, y dy if 0 nx env.width and 0 ny env.height: if (nx, ny) not in visited: visited.add((nx, ny)) queue.append(((nx, ny), path [(x, y)])) return None # 無(wú)路可走BFS作為基線方案很合適但它的缺陷也很明顯它只考慮“能不能到食物”不考慮“到了之后能不能活”。蛇從食物旁邊經(jīng)過(guò)時(shí)如果把自己繞進(jìn)了死胡同BFS是感知不到的。實(shí)際運(yùn)行中BFS方案的蛇經(jīng)常在吃到幾個(gè)食物后把自己困死。這個(gè)結(jié)果本身就是一個(gè)很好的教學(xué)案例——最短路徑不等于最安全的路徑。4.2 進(jìn)階方案A*安全尋路A*算法在BFS的基礎(chǔ)上引入了啟發(fā)式函數(shù)搜索效率更高。但更重要的改進(jìn)是增加了“安全檢測(cè)”步驟——在決定走向食物的路徑之前先模擬“如果蛇沿著這條路走到食物吃完之后蛇身會(huì)變長(zhǎng)此時(shí)蛇頭是否還有退路”。這個(gè)“退路檢測(cè)”是整個(gè)項(xiàng)目里最關(guān)鍵的一步。我的實(shí)現(xiàn)方法是在BFS或A*找出的路徑上模擬食物的位置和蛇吃完后的狀態(tài)然后從吃完后的蛇頭位置出發(fā)再次執(zhí)行BFS搜索這次目標(biāo)是任意可達(dá)區(qū)域如果在無(wú)路可走之前能搜索到的格子數(shù)大于蛇的長(zhǎng)度就認(rèn)為這條路是安全的。def is_safe_after_eat(env, path): # 模擬吃完食物后的狀態(tài) simulated_snake list(env.snake) list(path[1:]) simulated_snake simulated_snake[-(len(env.snake) 1):] new_head path[-1] # 把全身看作障礙從新蛇頭出發(fā)看能到達(dá)多少格子 visited set(simulated_snake[:-1]) queue deque([new_head]) count 0 while queue and count len(simulated_snake) 4: x, y queue.popleft() if (x, y) in visited: continue visited.add((x, y)) count 1 for dx, dy in [(1, 0), (-1, 0), (0, 1), (0, -1)]: nx, ny x dx, y dy if 0 nx env.width and 0 ny env.height: if (nx, ny) not in visited: queue.append((nx, ny)) return count len(simulated_snake)這段代碼背后的直覺(jué)是吃完食物后如果蛇頭所在的連通區(qū)域足夠大能容納得下蛇的整個(gè)身體那蛇就不會(huì)立刻把自己憋死。這個(gè)啟發(fā)式在絕大多數(shù)情況下都很好用。有了安全檢測(cè)之后A方案的工作流程就是先用A或BFS找一條到食物的路徑然后模擬這條路徑的安全性如果安全就走如果不安全則改為執(zhí)行“尾部追蹤”策略——朝蛇尾方向移動(dòng)等待新的機(jī)會(huì)出現(xiàn)。這個(gè)方案的實(shí)戰(zhàn)效果非常驚艷在我的測(cè)試中蛇在22x22的網(wǎng)格上幾乎不會(huì)主動(dòng)撞墻偶爾會(huì)陷入來(lái)回兜圈子的狀態(tài)但整體表現(xiàn)遠(yuǎn)優(yōu)于純BFS。4.3 學(xué)習(xí)方案Q-Learning從零學(xué)起Q-Learning是強(qiáng)化學(xué)習(xí)里最經(jīng)典的“免模型”算法。它不需要知道環(huán)境的具體規(guī)則只通過(guò)“狀態(tài)-動(dòng)作-獎(jiǎng)勵(lì)”的三元組來(lái)更新一張Q表讓agent學(xué)會(huì)在每個(gè)狀態(tài)下選擇最優(yōu)動(dòng)作。貪吃蛇的狀態(tài)空間設(shè)計(jì)是Q-Learning最大的難點(diǎn)。如果直接用完整地圖作為狀態(tài)20x20的網(wǎng)格、每個(gè)格子有蛇身/食物/空地三種狀態(tài)狀態(tài)空間大到完全無(wú)法建表。所以必須做特征提取把高維狀態(tài)壓縮成少量離散特征。我用的特征提取方案是組合式設(shè)計(jì)把狀態(tài)拆成三部分危險(xiǎn)信號(hào)蛇頭左前、正前、右前三個(gè)方向是否碰墻或碰自己身體3個(gè)布爾值食物方向食物在蛇頭的左方、前方、右方、還是后方4選1當(dāng)前移動(dòng)方向蛇正在朝哪個(gè)方向移動(dòng)4選1組合起來(lái)狀態(tài)空間是 2^3 × 4 × 4 128 種。這個(gè)規(guī)模對(duì)于Q表來(lái)說(shuō)非常輕松。獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)我迭代了幾版。最初版本是“吃到食物1死亡-1”但訓(xùn)練效果很差蛇學(xué)會(huì)繞圈不吃食物來(lái)避免死亡。后來(lái)改成“吃到食物10死亡-10每一步活著-0.1”這相當(dāng)于給蛇一個(gè)“步數(shù)成本”鼓勵(lì)它盡快找到食物。這個(gè)改動(dòng)讓學(xué)習(xí)效果立刻有了明顯提升。import numpy as np class QLearningAgent: def __init__(self, state_size128, action_size3, lr0.1, gamma0.9, epsilon1.0, epsilon_min0.05): self.q_table np.zeros((state_size, action_size)) self.lr lr self.gamma gamma self.epsilon epsilon self.epsilon_min epsilon_min self.epsilon_decay 0.995 def get_state(self, env): head env.snake[-1] direction env.direction # 三個(gè)方向是否危險(xiǎn) danger [] for turn in [0, 1, 2]: # 左轉(zhuǎn)、直行、右轉(zhuǎn) # 計(jì)算轉(zhuǎn)向后的方向向量 directions [(1, 0), (0, 1), (-1, 0), (0, -1)] idx directions.index(direction) if turn 0: idx (idx - 1) % 4 elif turn 2: idx (idx 1) % 4 new_dir directions[idx] check_pos (head[0] new_dir[0], head[1] new_dir[1]) danger.append(1 if (check_pos[0] 0 or check_pos[0] env.width or check_pos[1] 0 or check_pos[1] env.height or check_pos in env.snake) else 0) # 食物方向左前右后 dx env.food[0] - head[0] dy env.food[1] - head[1] if direction (1, 0): # 右 food_dir 0 if dy 0 else 1 if dx 0 else 2 if dy 0 else 3 # 其他方向類似篇幅原因省略 # 方向編碼 dir_idx [(1, 0), (0, 1), (-1, 0), (0, -1)].index(direction) return int(.join(map(str, danger)), 2) * 16 food_dir * 4 dir_idx def choose_action(self, state): if np.random.random() self.epsilon: return np.random.randint(0, 3) # 隨機(jī)探索 return int(np.argmax(self.q_table[state])) def update(self, state, action, reward, next_state, done): best_next np.max(self.q_table[next_state]) if not done else 0 td_target reward self.gamma * best_next td_error td_target - self.q_table[state, action] self.q_table[state, action] self.lr * td_error if done: self.epsilon max(self.epsilon_min, self.epsilon * self.epsilon_decay)訓(xùn)練流程上探索率epsilon從1.0開始每局結(jié)束乘以0.995經(jīng)過(guò)約500局后降到0.1左右此時(shí)策略趨于穩(wěn)定。學(xué)習(xí)率0.1折扣因子0.9這兩個(gè)參數(shù)我試過(guò)幾組這個(gè)組合收斂速度最合適。Q-Learning訓(xùn)練過(guò)程中的“頓悟時(shí)刻”很有意思。前200局蛇幾乎是個(gè)瘋子到處亂撞300局之后開始有了“繞著走”的趨勢(shì)說(shuō)明它學(xué)到了轉(zhuǎn)彎的機(jī)制500局以后能連續(xù)吃3-5個(gè)食物到2000局左右能穩(wěn)定吃到10個(gè)以上。整個(gè)過(guò)程肉眼可見地在進(jìn)步這種體驗(yàn)比直接跑一個(gè)完美的A*方案要讓人興奮得多。5. 訓(xùn)練評(píng)測(cè)與結(jié)果對(duì)比5.1 訓(xùn)練過(guò)程中的觀察與調(diào)參記錄Q-Learning的訓(xùn)練過(guò)程遠(yuǎn)不是一帆風(fēng)順的。我記錄了三個(gè)主要的坑如果你要復(fù)現(xiàn)大概率也會(huì)遇到首先是獎(jiǎng)勵(lì)崩塌問(wèn)題。訓(xùn)練開始時(shí)蛇經(jīng)常在出生后的前幾步就撞墻導(dǎo)致“死亡-10”的懲罰占絕對(duì)主導(dǎo)。這時(shí)Q表會(huì)傾向于選擇“原地不動(dòng)”類動(dòng)作來(lái)回避懲罰但貪吃蛇的規(guī)則決定了每走一步都在改變狀態(tài)原地不動(dòng)其實(shí)是轉(zhuǎn)向并不是完全靜止。這個(gè)問(wèn)題的解決辦法是增大吃到食物的獎(jiǎng)勵(lì)從1調(diào)到10讓“食物”這個(gè)正反饋在信號(hào)中占更大比重。其次是探索率衰減速度。我最初設(shè)了0.999的衰減率訓(xùn)練1000局后epsilon還在0.37左右蛇依然在大量隨機(jī)探索效果很糟改成0.995后1000局時(shí)epsilon約0.06策略基本收斂效果立竿見影。探索率不是越小越好而是要在“探索”和“利用”之間找到平衡點(diǎn)。最后是狀態(tài)編碼的順序穩(wěn)定性。我的狀態(tài)編碼里不同特征組合出來(lái)的整數(shù)可能相同導(dǎo)致Q表更新相互干擾。排查了很久才發(fā)現(xiàn)因?yàn)樘卣魈崛〈a里方向索引和食物方向的計(jì)算在個(gè)別邊界情況下會(huì)返回相同的編碼。解決方法是把三個(gè)危險(xiǎn)信號(hào)編碼放在最高位方向放在最低位確保唯一映射。5.2 最終效果對(duì)比與結(jié)論在22x22的網(wǎng)格上我用相同的起始條件蛇長(zhǎng)3位于中央對(duì)三種方案各跑了100局取平均得分方案平均得分平均步數(shù)最大得分純隨機(jī)移動(dòng)0.5253BFS最短路徑12.328027A*安全尋路21.640545Q-Learning5000局訓(xùn)練后15.831838從數(shù)據(jù)看A安全尋路在最終得分上確實(shí)一騎絕塵Q-Learning雖然比不過(guò)A但它的價(jià)值在于泛化能力——如果換一張更大的地圖或改一下障礙物布局A*可能還需要重新調(diào)參而Q-Learning只要重新訓(xùn)練就能適應(yīng)。這也引出了一個(gè)很本質(zhì)的討論規(guī)則算法能解決已知環(huán)境下的最優(yōu)解而學(xué)習(xí)算法解決的是未知環(huán)境下的適應(yīng)性問(wèn)題。6. 常見問(wèn)題與排坑指南6.1 Q-Learning不收斂/訓(xùn)練失敗的原因排查如果你在訓(xùn)練Q-Learning時(shí)發(fā)現(xiàn)蛇的得分始終上不去可以先按下面的順序排查檢查狀態(tài)編碼是否完備把蛇頭位置的鄰居狀態(tài)、食物方位、當(dāng)前方向都打印出來(lái)確認(rèn)不同狀態(tài)下編碼不沖突。檢查獎(jiǎng)勵(lì)是否被“步數(shù)懲罰”壓制我沒(méi)加步數(shù)懲罰時(shí)蛇學(xué)到的是“活著但不吃食物”的策略每步獎(jiǎng)勵(lì)為0死亡-10最優(yōu)策略是盡量晚死。加入-0.1步數(shù)懲罰后這類“擺爛策略”就被淘汰了。檢查探索率是否過(guò)高如果訓(xùn)練過(guò)程中蛇總是在隨機(jī)轉(zhuǎn)向說(shuō)明epsilon衰減太慢可以調(diào)低衰減率即加快衰減或者設(shè)一個(gè)更小的epsilon_min。檢查Q表初始化我用的全零初始化如果你用正態(tài)分布初始化且方差較大前幾百局行動(dòng)會(huì)非常激進(jìn)可能導(dǎo)致訓(xùn)練不穩(wěn)定。6.2 Pygame可視化時(shí)的性能問(wèn)題可視化不加控制的話幀率可能飆到幾百看都看不清。更麻煩的是如果訓(xùn)練和可視化同時(shí)跑pygame的時(shí)鐘會(huì)拖慢訓(xùn)練速度導(dǎo)致一局要等很久。我的做法是訓(xùn)練和演示分離訓(xùn)練階段完全關(guān)掉pygame初始化只使用SnakeEnv類演示階段加載訓(xùn)練好的策略或者運(yùn)行A*算法才打開可視化窗口。這樣訓(xùn)練速度從每局幾十秒縮短到每局幾百毫秒效率提升非常明顯。6.3 蛇“原地轉(zhuǎn)圈”的問(wèn)題A*方案在特定的蛇身布局下會(huì)出現(xiàn)蛇頭不斷繞圈、不去吃食物的現(xiàn)象。這個(gè)問(wèn)題源于“安全檢測(cè)”誤判——當(dāng)尾部的可達(dá)空間剛好等于蛇身長(zhǎng)度時(shí)算法認(rèn)為移動(dòng)是安全的但實(shí)際上一旦吃完食物蛇變長(zhǎng)后就會(huì)立刻沒(méi)有退路。我最后的解決辦法是加了一個(gè)邊界條件如果“吃完食物后可到達(dá)格子數(shù)”小于“蛇身長(zhǎng)度5”就放棄吃食物改為直接追尾巴。這個(gè)“5”的余量是經(jīng)驗(yàn)值實(shí)測(cè)下來(lái)穩(wěn)定性最好。6.4 隨機(jī)種子影響實(shí)驗(yàn)結(jié)果訓(xùn)練Q-Learning時(shí)如果不固定隨機(jī)種子每次訓(xùn)練結(jié)果差異會(huì)很大。這不是bug而是強(qiáng)化學(xué)習(xí)的正?,F(xiàn)象——探索過(guò)程本質(zhì)是隨機(jī)過(guò)程。但如果要對(duì)比不同參數(shù)的效果建議在訓(xùn)練開始時(shí)固定random.seed(42)和np.random.seed(42)保證每次對(duì)比都在同樣的初始條件下進(jìn)行否則很難判斷效果差異是參數(shù)引起的還是隨機(jī)性引起的。7. 項(xiàng)目擴(kuò)展方向7.1 從Q-Learning升級(jí)到DQNQ-Learning的局限在于Q表只能處理離散且有限的狀態(tài)。如果你覺(jué)得128個(gè)狀態(tài)太簡(jiǎn)單可以升級(jí)到DQNDeep Q-Network用神經(jīng)網(wǎng)絡(luò)來(lái)擬合Q值函數(shù)。這樣一來(lái)狀態(tài)輸入就可以直接用完整的地圖信息比如把整個(gè)網(wǎng)格編碼成張量不再需要人工設(shè)計(jì)特征。DQN的實(shí)現(xiàn)在這個(gè)項(xiàng)目基礎(chǔ)上并不難只需要把Q表替換成一個(gè)簡(jiǎn)單的多層感知機(jī)加上經(jīng)驗(yàn)回放和固定Q目標(biāo)網(wǎng)絡(luò)。我自己在擴(kuò)展時(shí)發(fā)現(xiàn)貪吃蛇這個(gè)環(huán)境非常適合用來(lái)理解DQN的“經(jīng)驗(yàn)回放”機(jī)制——因?yàn)樯叩南噜彔顟B(tài)高度相關(guān)如果不打亂樣本順序神經(jīng)網(wǎng)絡(luò)很容易過(guò)擬合到最近的經(jīng)歷上。7.2 加入雙人對(duì)戰(zhàn)模式如果你想讓項(xiàng)目更有趣可以讓兩條蛇在同一張地圖上競(jìng)爭(zhēng)食物每條蛇由不同的AI策略控制。這時(shí)候原來(lái)的“單智能體決策”就變成了“多智能體博弈”策略要考慮對(duì)手的移動(dòng)來(lái)預(yù)判和反制。這個(gè)方向已經(jīng)有一定復(fù)雜度了但做出來(lái)作為課程設(shè)計(jì)的加分項(xiàng)綽綽有余。不過(guò)說(shuō)實(shí)話貪吃蛇的雙人對(duì)戰(zhàn)很難做到真正“智能”因?yàn)閷?duì)手的行為不確定性太高算法的重心會(huì)轉(zhuǎn)移到預(yù)測(cè)對(duì)手路徑上這和單機(jī)版的尋路邏輯差別很大。7.3 輸出訓(xùn)練過(guò)程數(shù)據(jù)與可視化分析訓(xùn)練過(guò)程中可以記錄每一局的得分、步數(shù)、探索率、平均Q值然后用matplotlib畫成曲線。這些圖表放進(jìn)課程報(bào)告里既能直觀展示算法的收斂過(guò)程也能佐證你的調(diào)參分析是提升報(bào)告質(zhì)量性價(jià)比最高的投入。我的經(jīng)驗(yàn)是一張訓(xùn)練曲線圖比數(shù)百字的文字描述更有說(shuō)服力評(píng)審老師看到得分曲線從0爬升到15基本就能認(rèn)可你的算法實(shí)現(xiàn)是有實(shí)際效果的?;氐阶畛醯膯?wèn)題——這個(gè)項(xiàng)目值得做嗎我的答案是非常值得。它不像很多“玩具項(xiàng)目”那樣只是一堆代碼的堆砌而是真正讓你從零完整走一遍“定義問(wèn)題—設(shè)計(jì)方案—實(shí)現(xiàn)—調(diào)優(yōu)—評(píng)測(cè)”的AI項(xiàng)目全流程。你寫代碼時(shí)處理的每一個(gè)細(xì)節(jié)——狀態(tài)定義、獎(jiǎng)勵(lì)設(shè)計(jì)、探索率調(diào)整——都是在為以后做真實(shí)AI項(xiàng)目打基礎(chǔ)。最后再分享一個(gè)我個(gè)人的教訓(xùn)一開始不要追求復(fù)雜算法先把BFS這種基線版本跑通再看數(shù)據(jù)決定是優(yōu)化還是換方案。有基線數(shù)據(jù)做參照后面的改良才有意義否則你根本分不清一個(gè)改動(dòng)到底是變好了還是變?cè)懔?。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲欧美日韩电影网站一区 | 黄页大片在线观看| 中文字幕熟女人妻丝袜丝| 五月婷亚洲精品天堂| jizzjizz欧美| 国产 大胆 对白| AⅤ片水多多| 被男人添B超爽视频| 亚洲中文字幕精品久久久久久直播| 伊人久久大香线综合无码| 亚洲黄色AV电影| 曰韩成人免费视频| 翔田千里av一区二区三区| 青娱乐国产盛宴视频| 中文字幕人成乱码熟女香港| 国产精品ⅴ无码大片在线看.| 久久区| 日本幼女18+| 亚洲欧美啪啪| 舔足天天操天天射| 日韩操啪| 亚洲欧洲自拍图片专区满春格| 国产一级舔足在线观看| 天天干天天操天天拍| www.人人cao| 五月丁香社区婷婷日韩欧美精品影院| 免费一级视频特黄色大片| 91干熟女| 婷婷97| 亚洲精品无码少妇久久| 人人扣人人操| 香蕉在线一区二区三区| 极品丝袜无码| 在线观看午夜婷婷久久久久清性观看| 国产高清午夜成人在线观看| 欧美国产精品久久九九| 婷婷丁香五月激情啪啪| 人人看欧美性爱| 精品超碰中文在线| 亚洲色狠| 操操操操操操| 无码 有码 国产18p| 九九九久| 91大学精品激情戏| 97色五月天完| 精品久久久久久AV无码| 亚洲人91| 亚洲九区| 三级精品三级在线观看| 狠狠干妹子| 综合欧美日本三级| 国产久久久久久| 亚洲人精| 大香网站| 久9久9久9久9久9久9| 9+1视频网址| 亚洲一二三四区| 国产久久日韩网站导航| 午夜福利国产欧美日韩夜夜| 无码操逼天堂| 青娱乐亚洲热| 国产精品蜜乳AV| 久久久免费高清中文视频| 骚逼高潮久久精品| 日本人妻一区二区| 99日精品欧美国产| 亚洲图片小说欧洲| 狠插 制服 自拍| 欧美日韩国产高清在线一二三区| 欧美劲爆第一页| 国产av青草| 免费毛片在线播放| 黄色片一区二区三区四区五区 | 粉嫩在线一区二区懂色| 97精品| 任你干在线视频| 久久久久免费少妇| 大地资源在线观看中文第二页| 少妇高潮九九九九| 91精品久久久久久久久久| 99热久| 国产欧美精选激情视频| 狠狠爱大香蕉| 日本媚薬中文字幕在线| 亚洲熟女少妇免费视频| 日韩另类色图| 丁香激情五月| 717影院理论午夜伦八戒| 18禁无码永久免费无限制| 中文字幕熟女人妻丝袜丝| 91伊人影视综合| 很很干很很操| 久操精品网| 91午夜无码| 国产91福利小视频在线观看 | 人妻熟女午夜精品在线| 亚欧视频在线| 99国产在线 精品 视频| 色欲天天综合久久久无码网中文| 一区,二区,三区视频| 无码91| 色欲天天综合网| 亚洲精品一区二区三区在线播放| www..com操老师| 亚洲婷婷综合网| 人妻丝袜一区二区三区在线| 天堂网亚洲区手机版| 大香蕉青青9| 狠综合网| 亚洲色图国产另类| 久久99手机免费视频| 黄色乱论网站| 美日韩一卡二卡三卡免费人妻精品| 99爱爱| 美女自卫慰黄网站免费| 久久99久久99久久99人受| 欧洲熟妇xxXx欧美老妇裸体| 影音先锋中文字幕日本好一区二区| 亚洲成人久久一区二区| 成人三级片无码| 国产粉嫩出水在线播放| 欧美亚洲中文字幕| 又黄又爽在线观看视频| 大胆91| 青青草视频这里只有精品| www.99热| 久久9久9久99久9久9| 天堂资源欧美| 91亚洲黄色网| 精…码一二三区| 超碰97综合| 亚洲综合九九| 亚洲AV秘无码一区..| 综合网欧美| 欧美成人免费在线观看| 无码人妻精品一区二区三区99不卡| 国产无马在线| 激情网色| 青草av在线| 91精品综合久久久久久五月丁香| 综合影院亚洲| 91性| 亚洲天天操| aV中亚| 玖玖爱在线视频免费观看| 尤物视频视频官网| 免费精品中文字幕| 十八禁视频网站| 色五月av| 日韩精品三级| 色婷婷国产精品一区在线观看| 日本影视久久免费| 999岛国大片| 久热这里| 高跟伊人julia ann| 亚洲情色一区二区三区| 中国特猛少妇色xxx| 91肉片| 1024人妻熟女一区二区三区| 欧美熟爽综合| 蜜桃臀一区二区aV| 亚洲一区二区三区在线激情| 天天躁日日躁AAA片李宗瑞| 亚洲日韩一区电影| 欧美亚洲成人在线一区二区三区| 一区二区影视| 久久一级无码精品毛片6| 99久久99久久综合| 啊啊啊啊啊啊啊网址在线观看| 欧美日韩亚洲少妇寂寞影院正在播放| 国产精品高潮久久久无码| 久久人人爽爽人人爽人人片αV| 婷婷综合五月| 久久久99999久网站| 97久久久久| 四虎影视永久在线免费| 人人手机欧洲亚洲国产人妻| 综合大香蕉美。| 日韩电影在线观看网址| 久久久久久久久久8888| 淫乱图区 | 97天天在线| 日夜伊人网| 亚洲成人性爱在线观看| 国产午夜视频| 国产精品久久久久无码Av网曝门| www.99视频| 久草在| 国产在线激情| 乱伦熟女区| 青娱乐蜜桃臀AV色婷| 农村少妇久久久久久久| 亚洲AV成人无码久久精品播放| 中文字日本乱码| 国产精品一区二区三区四区五区| 97色色视频| 亚洲色图第一页| 欧亚性爱在线视频| 色色99| 97超碰久久| 91九色首页| 欧美丝袜美女电影一二三四区| 97精品一区二区视频| 狠狠综合| 久久精品超碰| 18一区二区三区| 91制服丝袜| 亚洲码专区| 人妻无码一区二区三区久久99| 午夜福利一区二区影院| 欧美熟女激情| 乱欲视频| 亚洲不卡AV在线| 久啪视频| 亚码激情| 国产欧美日本亚洲精品| 日本999精品| 国产精品不卡一区二区三区av | 欧美日韩在线国产在线| 好吊爽好吊爽在线视频,中文字幕精品一区二区日本,国产良妇出轨视频在线观看, | 国产视频一区二区三区在线免费观看| 亚洲天堂女优在线| 天天摸夜夜添无码小视频| 色 婷97| 色色97爱| 国产日本熟女顶级一区二区三区视频 | 在线观看中文av字幕| 色悠久久久av| 93人人操人人| 国产自产22区| 少妇一线天久久久久久| 欧州一区二区三区四区| 不卡超碰护士AV在线免费播放| 久久91| 亚洲一二三精品久久网| 国产精品无码在线| 欧美97超碰| 久久久噜噜噜久久久| 91美女视频| 女人的天堂大香蕉网| 凹凸视频在线一区二区| 欧美婷婷久久| 婷婷AV一区二区三区| 33044男人的天堂深夜备| 精品国产片亚洲一区| 中文字幕三四五区| 蜜桃久久精品一区二区三区| 日本中文字幕在线电影| 91在线美女| 久久这里只精品免费福利| 色天堂综合| 一级久久性爱视频| 激情 欧美 亚洲 小说| 美骚妇av高清在线| 熟妇操花| 天天透伊人| 中文字幕日韩电影人妻| 99热这里都是精品| 九九九九欧美| 日本韩国一本产品小视频日本韩国一本产品久久久产品小视频日本韩国一本产品久 | 91超碰人人操| 日本免费中文字幕在线| 九九九999久久久网站| 久久久久9久久久久| 日韩色欲久久一二三四区| 超碰精品97| 啊好爽受不了无码| 大香蕉九九| 精品91日日夜夜超清资源| 久久一本大香蕉| 五月丁香综合网| 国产成人自拍视频视频| 欧美精品97| 国产25页| 传媒免费一区二区三区| 久久婷婷视频| 中文一区在线视频| 成年人网站在线免费观看| 超碰在线成人电影| 97精品视频网站| 99热这里只有精| 天天做日日做天天欢。| 欧美一区二区三区互相| 欧美激情激情xxxx欧美专区| 日本媚薬中文字幕在线| 九九九九九九综合| 国产日产欧产美韩系列麻豆免费| 亚洲 欧美 另类 日韩 人妻一区| 国产成人精品亚洲日本| 人人操人人操人人操人人操人人操人人人11.CM | 亚洲AV秘 精品久久老牛影视| 男人的天堂 在线一区| 韩日性爱av| 女生91网站| 9.1小视频| 中文字幕一区二区三四五区日日骚| A V少妇特黄三级| 99九九久久| 成人网站 免费观看| 国产精品网址| 国产h片在线观看视频| 婷婷在线视频在线观看| 国产日韩精品suv| 97免费在线视频| 亚洲男人天堂网站| 九九九九精品一区| 亚洲Av噜噜一区二区三区妖精| 殴美日韩m| 蜜色网色哟哟| 蜜桃精久三区| 亚洲在高跟鞋自慰久久在色线| 在线啊啊啊| 天天综合网~91入口| 330Dv国产女人终合视频极品人与兽| 天美麻豆精品视频99| 99精品在线播放| 亚洲人妻中文高清| 亚洲高清无码AAA久久久精品| 蜜乳Av成人片网站| 91在线视频免费播放| 97亚洲综合影院| 大二网站亚洲| 国产女人91精品嗷嗷嗷嗷| 在线性黄高清免费视频| 情侣开房子拍 日韩无码 女的很漂亮| 一区二区久久天天干狠狠| 天天操av懂色| 色眯眯av| 好吊色综合| 一二三四视频中文字幕在线看| 91性生活久久久| 日本东京热大香蕉a片| 亚洲国产精品久久久久婷婷老年| 亚洲不雅视频1区二区| 97干97色| 色综合久久88色综合久久天天| 爱媛媛久久国产福利| 九色97| 99热导航| 亚洲女人91| 五月天久久综合网| 日本黄 R色 成 人网站| 九一综合精品视品av| 无码操逼天堂| 99精品国产户外露出| 国产三级中文有码在线视频| 天天综合网~69| 亚洲区限制级| 久久区| 日本激情免费大片| yirendaxiangjiashipin| 天天操熟妇| 午夜男女爽爽大片免费观看| 中文字幕av乱伦| 欧美精品丝袜久久久中文字幕| 超碰在线综合97| 亚洲午夜未满十八勿入网站日本又色又爽又黄| 久久久精品视频免费观看| 婷婷成人久久久精品| 亚洲精品黑丝| 久久免费99精品久久久久久| 天美av在线观看| 丰满欧美放荡少妇在线| 国产精品99精品视频网站| 超碰在线国产| 9久9久| 丝袜剧情| 999综合色| 黑人娇小av在线播放| 日韩AC| av东京热男人的天堂| 亚洲中文字幕在现观看| 欧美亚州手机在线| 91 综合网| 99热这里只有精品地址| 青草影院内射高潮| 啪啪啪东京| 久久人妻97久久久久久久| 欧美在线电影| 丁香五月婷婷基地| 欧美成人精品一区二区男人蜜臀| 黄片com.| 亚州欧美总和| av日韩国产一区二区| 亚州精品丝袜-不卡成人免费| 亚洲激情综合另类| 9/A片| 亚洲精品99| 欧美综合综合| 丁香五月影院| 激情文学88| 日韩pv中文| 97干97色| 久久AV无码1区2区3区| 国产无码精品久久久久久| 大鸡巴久久久| 日本东京热久久久电影| 2019天天操天天爽天天拍| 香蕉欧美| 久啪| 熟女色综合久久| 亚洲情色综合网| 中文自拍欧美影视| 另类欧美综合| 天天欧美色| 亚洲中文字幕在线视频一区二区| 午夜天堂精品久久| 精品人妻一区二区视频| 中文字幕久久亚州无码| 国模吧 一区二区三区| 亚洲人精品久久久| 日韩美一区| 肏逼视频日本| 91nbbbbbb| 久久99精品九九久久久婷婷| 亚洲成人免费中文字幕| 中文字幕欧洲有码| 夜夜嗨一区二区| 国产精品久久aV| 无码男人天堂| 久久激情视频| 99久久精品欧美国产| 国产天美传媒精品| 久9视频| 91青青草| 久啪| 欧美 亚洲 制服 精品| 国产亚洲精品美女久久久| 久久熟女久| 狠狠色丁香| 乱操乱伦AV| 91劲爆| 澳门人妻久久| 日本一区二区成人在线| 91久久久久久久久18| 日本爽爽爽爽爽爽免费视频| 久久精品中文| 国产11页| 日韩中文字幕人妻视频| 天天综合网在线观看| 神马午夜久久久| 人人色人人操在线| 精品人妻1区| 色欧美在线| 操b网站亚洲无码| 亚洲av综合色| 乱伦一区二区三区‘| 91精品亚洲内射孕妇| 色婷婷99| 一牛影视成人片免费| 天天射日日干| 天美传媒av在线| 人妻天天爽夜夜爽爽| 天天躁日日躁xxxxx| 无码粉嫩白虎一线天b区| 亚洲在线欧美| 97久久天天综合色天天综合色电影| 老色69| 午夜福利免费福利视频| 国内精品嫩模A∨私拍小视频| 国产精品高朝久久久久久久| 日本日日色视频| 九九亚洲| 日本岛国黄色网址| 亚洲欧美日韩精品久久久一区二区| 国产在线观看一区二区三区| 东京太热男人的天堂久久久| 久久久九| 亚洲AV色图一区| 超碰 av 女人天堂| 亚洲国产剧情少妇激情| 欧美日韩丝袜 | 久久大精品乱码视频人妻熟女| 日日夜夜干| 蜜桃av综合网发布| 思思热影视| 天美一二三在线观看Av| 精品人妻一区二区三区-国产| 制服乱伦| 亚洲欧美国产日本一区二区三区| 日本精品一区二区中文字幕| 久久香蕉综合一本到3atv| 91午夜无码| 一区不卡在线观看av| 欧美人与动性人交a| 性猛交| 91网站18| 欧美精品三级黄片| 韩国一级做a久久久久| 日日骚中文字幕| 精品传媒在线一区| 98久久| 一起草三级AV电影在线观看| 屁股久久久久久| 亚洲色图 欧美| 久久夜夜| 无码高清操逼网址| 亚洲欧洲精品视频发布| 精品成人av一区二区三区在线| 国模无码一区二区三区在线| 蜜乳av首页| 91丨九色丨国产打屁股| 风韵犹存大大大大香蕉 | 91男人天堂网| 亚洲91射| 久久久久久久97| 欧美影院一区二区三区| 51久久夜色精品国产麻豆| 欧美性爱免费短视频| 污污汅18禁网站在线永久免费观看| 神马久久久久久伦理片| 久久激情五月| 天天看天天综合成人网| 性性久久| 992视频一区| 久久精品熟女亚洲AV麻豆软件| 丝袜人妻av一区二区| 91在线秘 男同| 小视频玖玖| 色999五月色| 久热69九色熟妇97| 激情视频一二三| 亚洲图片视频小说| 2024黄色视频| 日韩欧美中文| 日本 成 人 小说 电影 一区二区| 日韩 人妻 精品| 精品综合久久久久久97| 精品久久久久久久| 国产精品干干干| 色色操| 偷拍亚洲高清图片| 丝袜加勒比| 日韩黄色片子| 亚洲国产无码精品首页久久久| 水滴偷拍| 粉嫩粉嫩一区性色AV片| 欧美少妇大量自拍视频在线观看| 日本熟妇精品九九| 中文字幕欧美日韩三级| 熟女字幕| 国产又大又粗又长视频在线| 97操B| 久久久久亚洲三级电影| 激情五月综合网| 97超碰久| 天天草天天日| 操人无码| 久久精品高清无码一区| 五码视频在线观看| 亚洲天堂电影精品一区| 日本道日本道中文字幕日本道最新日本道在线观看 | 国产欧美日产一区二区三区 - 国产欧美日 | 久久九九久精品国产尤物|国产精品爽黄69天堂A片潘金莲,国产亚洲精品第一综合 | 亚洲国产精品有声| 久久9精品视频| 蜜臀网址在线| 无码操逼网| 青青草国产亚洲精品久久| 99热这里都是精品| 国语对白在线播放视频| 亚洲成人色情五月天丁香花| 国产无码精品久久久久久| 美女自卫慰黄网站免费| 98超碰日本| 操逼日批| 99自拍B亚洲 | 国产 日韩 欧美 中文 另类,国产 欧美 另类 制服 变态,高清 日韩 欧美 中文,高 | 99热线麻豆 | 巨爆乳肉感一区二区三区竹菊影视| 日韩9999| 在线人成亚洲视频免费观看| 国产欧美日韩女同性恋ww喷水精品| 亚洲精品久久久久久| 乱伦1色页| 人人做,人人操,人人摸| 日本久操视频| 最新亚洲黄色免费电影| 亚洲一区中文字幕久久,果冻传媒一区二区天美传媒 | 欧美亚洲综合色| 欧美情色亚洲| www.超碰| 女人综合网| 国产成人亚洲精品自产在线| 78超碰| 欧美视频在线第3页| 久久久久久九九九九九| 91碰碰碰| 97超碰人妻| 午夜精品99久久久久传媒| 欧美不在线| 欧美超碰9798| 大香蕉乱级| 中文字幕天天操| 中文字幕一区二区三区高清| 制服丝袜第二页| 国产视频不卡在线观看| 91天天综合在线| 伊人91| 日韩肏逼视频| 玖玖资源中文字幕制服丝袜| 久久成人午夜精品影院| 亚洲 无码 有码 中文字幕| 丁香五月激情综合国产| 亚洲精品久久久久久久蜜桃臀| 欧美性视频二区三区| 婷婷AV一区二区三区| 97Ai亚洲| 在线视频一区二区传媒| 嫩草一区二区在线观看| 亚洲美女高潮喷水视频| 四虎影库国产精品免费| 精品成人亚洲午夜电影| 国产suv精品一区| 色综合一区二区三巨| 国产真乱mangent| 加勒比少妇AV婷婷六月天超碰超碰| 日本福利二区视频| 色吧5亚洲| 国产日韩欧美| 资源在线观一 二| 亚欧毛片基地国产毛片基地 | 久久黄色网址| 乱伦1色页| 大香蕉狠狠爱| 超碰在线97国产| 操人无码| 亚洲AV无码翔田千里网站| 国产怡红院在线| 中文字幕一二三区| 人妻精品一区二区在线| 测评在线观看AV| 四虎在线观看网站| 亚洲 中文 女同| 日韩不卡毛片Av免费高清| www.夜夜| yellow网站免费观看日韩高清无码| 天堂亚洲欧美| 色www精品视频在线观看| 婷婷五月天网| 极品美女福利在线观看| 亚洲不卡三级手机播放| 久草毛片| 日韩9999| 久久综合18p| 秋霞视频一区二区| 萌白酱自拍视频| 亚洲本色精品一区二区久久| 亚洲中文字幕av| 亚洲 另类 丝袜 自拍 动漫| 欧美精品另类人妖xxxx| 另类专区在线观看| 约操熟妇| 日韩黄片视频试看| 中文字幕欧美丝袜07资源| 亚洲成人帖图| 96久久久精品| 爽爽爽免费视频| 五月综合色| 亚洲无码一区二区三区三州| 99re公开精品免费视频| 欧美传媒| 欧美视频一| 欧洲久久一二线| 亚洲人妻五月丁香婷婷| 四虎影视国产精品| 久久久久久久久国产| 日本一天色道久久久精品视频| 日韩三级久久久| 激情久久久| 久久精品一区二区三区蜜桃臀| 久久久久久久久久久999| 欧美精品在线观看| 东京热亚洲一区二区| 色爱国产| 色狠狠综合| 999岛国大片| 一个人免费HD91视频| 久草视频在线视频在线视频在线观看 | 精品人妻一区二区免费蜜桃| 亚洲 欧美 中文 日韩超碰 | 自拍大香蕉乱插| 国产精品女久久久久av爽| 亚洲色图尤物视频 | 97chaopengongkai| 日韩91网站| 欧美性夜| 无码国产精品96久久久久孕妇| 精品久9| 蜜臀99久久精品久久久久| 九九九九九精品视频| 不卡视频一区蜜桃视频 | 九九五月天| 嗯嗯嗯啊啊在线观看| 玖玖资源视频一区二区三区| 精品丰满熟妇人妻一区| 欧美 色 亚洲| 亚洲日韩电影| 秋霞一集毛片观看| 乱伦a片视频| 欧美亚洲厕所精品偷拍91| 精品9区| 肉丝中文无码高清| 另类小说欧美激情校园春色| 久久 精品| 中国农村熟妇毛片视频| 97在线观看播放视频| 性爱精品一区| 婷婷爱五月| www.操| s片在线观看| 不卡六六在线91| 不卡视频一区蜜桃视频| 日本中文字幕不卡视频| 在线色导航| 一区二区三区精品久久| 狠狠久久亚洲欧美专区| 99re69综合| 无码人妻丰满熟妇区毛片| 9久热这里只有精品| 呦呦影院| 亚洲无码一区二区三区三州| 殴美,日韩国产伦精品| 欧美日动态视频| 综合熟妇一区二区三区| 亚洲视频中文一区| 精品偷拍13p欧美dodk视频| 人妻AV在线| 有码色中文字幕在线观看| 日韩干B| 蜜臀一区二区三区在线 | 日韩精品中文字幕人妻| 久久精视频美日韩在线视频| 9/A片| 中文字幕伊人| 久久久久久亚洲精品不卡人乳 | 五月婷婷久久综合| 1234区中文字幕在线观看_青青草国产在线_日韩一区二区 | 99在线免费观看| 日本一天色道久久久精品视频| 欧美激情 亚洲色图| 天天色天天干天天爱| 日产狠狠干| 欧美91久久久久| 无码精品久久久久久亚洲| 两性综合网| 久插综合| 一区二区不卡视| 破苞ⅩXXX性无码动漫无码| 成人网欧美风情| www欧美91| 天天干夜夜一操| 色狠人在线99| 97超碰中文在线| 亚洲无码一区二区三区三州| 久久国产对白激情浪潮| 九九AV| 99视频只有精品| 青青草中日韩在线| 国产亚洲精品无码三区| 男人天堂.AB| 91性感在线| 97在线视频观看| 国产深喉| 天天躁日日躁AAA片李宗瑞| 日韩精品9999| 午夜人人操| 97香焦色区| v91av| 狠狠干综合| 日日干日日摸| 自拍第一页| 亚洲天堂人妻熟妇视频| 国产不卡中文字幕免费avi| 国产精品com| 中文字暮97| 精品九九九九九| 调教熟妇 久久久久久| 人妻熟女一区二区三区视频| 欧美中出1| 亚洲性刺激| 久久xxxx| 97超碰欧美手机| 免费视频无码| 性猛交| 青娱乐 成人娱乐在线| 特色a在线上| 日本久操视频| 国产精品人妻无码久久久老鸭窝 | 亚洲熟女国产综合另类| 大香蕉中文| 久久精品亚洲婷婷| 欧美巨大性舒爽顶到了| 色五月69夫妻| ji熟女.com| 日韩精品9区| 国产亚州精品美女久久久免费| 午夜久久久| 99天堂网| 成人羞羞视频国产| 夜夜嗷嗷一区二区| 探花在线免费观看视频国产一区| 啊啊啊啊啊好舒服视频| 3p国产欧美99热| 97超碰超| 亚洲高清视频在线观看| 美女尤物人人操| 欧洲自拍第一页| 有码专区最新中文字幕有码| 五月天偷拍| 91AV入口| 在线小视频| 婷婷色导航| 亚洲网站一区二区在线| 精品国产国产AV| 日本一级性爱| 中文字幕国产在线天堂| 自拍视频大全亚洲专媒视频/一区二区三区| 收看日本人日bb| 久久精品中文字幕女同| 天天操天天插| 91丨九色丨国产丨人妻在线| 五月天亚洲网| 色哟哟国产精品免费网址| 操逼视频色| 国产人妻久久精品一区二区三区| 极品白嫩福利在线| 性在久久久久久| 97色综合中文网| 色婷婷婷五月天激情四射| 国产精品岛国片在线观看| 亚洲天堂男人网| 日韩无码AB| 超碰人人妻| 18禁免费视频| 天天做天天爱| 欧美大干日韩| 亚洲精品丝袜| 亚洲高清无码免费观看视频| 日本人妻丰满熟妇久久久久久| 欧美激情亚洲情色| 久久久久久久久久久久久9999| 久干9操| 日本一级真人黄色性爱视频| 欧美日韩亚洲电影| 日韩成人色图| 亚洲精品日日夜夜52| 国产精品黑人一区二区三区| 超碰社区97| 午夜亚洲WWW湿好大| 深喉吞精| 热的中文 热的有码 热的国产| 韩国久久97| 婷婷五月天激情网| WWW啪啪的com| 啊啊啊想要| 久肏视频字幕| 亚洲欧美日韩国产丝袜自拍中文| 天综合中文| 婷婷久热| 香蕉人人操tv| 巨爆乳一区二区爆乳区| 亚洲无992tv| 亚洲小说视频| 超碰97综合网| 男人的天堂久久狠| 麻豆一区在线| 国产久久视频| 亚州操操穴网| 红杏大香蕉| 激情四射五月天| 国产综合操逼高清| 国产AV久久野战精品| 久久无码一区二区二三区性色| 一本久道久久综合狠狠爱一密臀精| 久久精品电影| 亚洲性综合| 欧洲精品网| 97国产天堂岛| 伊人久久大香线综合无码| 伊人97色天使| www老逼91| 91女在线观看| 熟妇高潮一区二区免费视频| 久久草草欧美精品| 深爱激情五月天| 婷婷激情四射| 涩涩五月天| 五月丁香在线| 天天摸,夜夜摸| 免费观看欧美日韩操逼视频| 色婷婷视频| 可以看的av| 久久久一区二区三区麻豆| 97资源站国产精品| 九九热只有精品| 国产精选视频| 女人综合网| 国产精品成人AV片免费看网站| 中文字幕av亚洲精品| 欧美一级在线观看成人| 午夜精品久久一区二区| 高清国产无码av| 国产强奸乱伦xd| 国产精品无套内谢| 国产激情在线| 亚洲五月丁香花狠狠干一区二区三区 | 六月色色| 欧美 亚洲 综合 制服| 婷婷伊人一区| 欧美夜夜骑视频| 偷拍亚洲情色| 久久内射| www.亚洲黄色| 色久桃花影院在线观看| 欧亚免费视频| 国产不卡精品91| 妇人噜噜| 美女天天干| 香蕉人欧美综合| 免费一级性爱久久| 天天精品| 亚洲欧洲小说图片视频| 粉嫩少妇自慰在线| 久久久久久99999国产精品| 无码粉嫩白虎一线天b区| 看全色黄大色大片免费视频| 九月激情婷婷| 久久伊人大香蕉| 欧洲Au麻豆| 欧美日韩中国x| 久草在线| 手机在线人成免费视频| 小泽玛利亚一二三| 二级久久网| 熟人人妻少妇精品久久| 亚洲成人黄色在线观看| 久久精品国产亚洲AV无码电影| 熟女精品一区二区三区| 欧美白嫩女HD| 91精品国| 老司机深夜18禁污污网站| 亚洲一区二区精品福利| 天美av在线观看| 天天内射| 国产60页| 探花一区在线| 亚洲狼狼干综合1| 麻豆一区二区AV天美| A一区片| 亚洲黄色影视| 欧美日韩国产电影| 国产精品不卡少妇白| www亚洲免费| 狠狠操夜夜操蜜桃视频三区| AV色五月天| 一级毛片电影免费看| 精品-91人妻子系列| 亚洲综合99999| 欧美综合第一页| 日本成人电影资源网| 中文字幕视频一区视频二区| 日本高清视频在线观看黄已三辽| 久久精品国内Av熟女高清| www.夜夜| 亚洲se电影| 国产日韩在线播放av| 色穴精品| 日韩一级二级三级| 爆操无码| 久久精品国产久精国产| A片大香蕉在线| 无码9区| 色原狠狠天天天| 久久九九视频九九视频| 亚洲、日韩、综合、另类| 91色亚洲| 一区二区三区视频| 亚洲综合色在线| 久草视频观看视频在线| 国产精品久久久久久夜夜夜| 神马麻豆福利院| 亚洲精品亚洲人成人网| 九九九九九九免费视频| 黄片视频,下载| 午夜性| 欧美18老人禁| 暖暖精品二区三区观看| 亚洲91在线| 亚洲午夜免费狠狠干| 91n处女在线观看| 亚洲精品人妻吞精av | 亚洲色图 欧美热图 清纯唯美 另类自拍 | 天天综合亚洲综合| AV中文在线可看| 精品视频一二三中文| 日韩欧美视频青青| 91老司机在线| 一区二区三区在线资源| 久久啊啊| 一本一道人妻久久一区二区三区 | 久久精品一区二区| 欧美.亚洲.另类.丝袜.制服.诱惑| 久久一区二区蜜桃| 久久久九97| 欧美色999| 在线 亚洲 网爆 自拍| 欧美v亚洲v综合v国产v妖精| 熟妇视频一区二区三区在线观看| 黄色大片视频在线免费看| 久久久久久久久久久人妻| 操国产逼| 亚洲 另类 丝袜 自拍 动漫| 福利视频一区二区微拍| 青青草好吊| 丁香六月婷婷| 粉嫩av在线| 久久超碰免费的| 3028国产精品| 中国韩国明星一极片一区乱码毛片人妻熟女一区二区三区 | 日韩欧美麻豆大片| A一区片| 久湿久久 | 人妻少妇一区二区| 99久久无码| 日韩丝袜高跟制服在线观看| 国内毛片国产专区二| 黄色工厂这里只有精品| 91原创在线观看| 亚洲精品国产无码高清| 人人操人人射人人干| 色色色色电影网| 99久久99久久免费精品蜜臀| 求求你操操我| 久久香蕉综合一本到3atv| 97色综合中文网| 久久视网78| 日本亚洲熟女视频| 九九九九9999| 97AV在线免费观看| 日韩中文欧美| 欧美成人A√在线一区二区| 粉嫩av一区二区三区四季| 大香交伊人网| 无码国产Av| 亚洲Av诱惑| 91黑丝美女| 大香蕉AV在线| 国内毛片无遮挡国产| 极品美女嘿咻| 啊啊啊好舒服好爽啊啊啊视频| 无码国产精品久久久久| 中国人高清www色视频免费| 激情综合网一盗摄| 91neishe| 欧美久久伊人| 波多野42部激情无码喷潮| 老鸭窝在线视频播放| 夜夜嗨av午夜成人| 狠狠干婷婷| 操逼国产免费| 蜜桃av色偷偷av老熟女| 欧美性视频二区三区| 精品.99999| 探花精品视频| 日韩性爱视频在线免费观看| 网友自拍第1页| 亚洲国产亚洲天堂| 97欧美精品综合| 色婷婷久久| jizzjizz欧美| 乱伦一二三区| 欧美日韩97| 蜜桃天美传媒AV一区二区三区| 亚洲揄拍网| 久久色一区| 色九九九九久| 欧亚在线视频| 亚洲 自拍偷拍 欧美| 亚洲av噜噜噜噜噜噜| 风韵犹存大大大大香蕉| 玖玖超碰熟| 精品人妻一区二区三区夜夜| 成人AV素股で擦久久| 99精品网| 性色av婷婷久久一区二区点复制| 国产欧美精选激情视频| 天天射天天| 91夜色| 男人亚洲天堂| 亚洲日韩精品一区二区| 亚洲色性| 东京男人天堂| 欧美黑人日韩少妇色情| 国产一区二区久久| 青青草色情网站视频| 日日日啊啊啊| 日韩美女久久一区二区三区| 丁香五月激情综合| 99热久| 五月天激情国产综合婷婷婷| **一级毛片国产| 岛国成人av在线播放网址| 日本人人操人人操| 亚洲乱码国产乱码精网站| 中文字幕一二三| 亚洲天堂第一页| 大香蕉欧美伊| 亚洲色图欧美色图制服丝袜| 91美女视屏| 美女黄页| 日本不卡高清免v欧美日韩在线观看| 91人妻爽爽人人做人人澡| 婷婷中文字幕| 天天爽爽爽爽| 91国产精品熟女| 伊人影院在线理论播放 | 日本在线不卡一二区| 亚洲古典另类欧美在线| 成人免费在线网站| 精品国产www久久| 午夜黄色免费在线观看| 亚洲天堂 视频你懂的| 337p大胆噜噜噜噜噜91Av| 99精品热| 日韩乱码Av| 美女淫穴| 亚洲精品97中文字幕| 国产精品大屁股999| 97鸡把在线视频| 嗯嗯啊啊操我| 亚洲一卡二卡在线免费| 午夜视频好爽啊| www黄片免费看com| 五月香婷婷| 在线啊啊啊啊| 级品肉射| 婷婷五月天色网| 欧美综合91| 人妻偷拍一区二区三区| 日韩卡一卡二卡三在线| 国产大学生高潮在线播放| 人妻AV 中文字幕的| 国内精品不卡无毒99999| 一区二区三区蜜桃成人撸久久东京热| 亚热日本熟女| 天堂亚洲精品| 亚洲性爱成人| 超碰在线一区二区三区| wwe 天天干.com| 亚洲熟久久| 婷婷8月天青娱乐| 亚洲色图图片| 日韩国产欧美伦理在线| 静品嫩模一区二区| 精品国产一区二区久久| 91 综合 色| 91综合网站| 先锋色眉乱伦资源| 五月婷婷五月天|