日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Redis腦裂深度解析:從主從復(fù)制到數(shù)據(jù)一致性防護(hù)

Redis腦裂深度解析:從主從復(fù)制到數(shù)據(jù)一致性防護(hù) 1. 這篇文章真正要解決的問題如果你負(fù)責(zé)過 Redis 生產(chǎn)環(huán)境或者用 Redis 搭過主從加哨兵的架構(gòu)大概率碰到過一個(gè)非常詭異的現(xiàn)象主節(jié)點(diǎn)明明還在運(yùn)行日志里也沒有出現(xiàn)崩潰但業(yè)務(wù)卻突然寫入失敗或者部分?jǐn)?shù)據(jù)悄悄丟了。等你去查監(jiān)控發(fā)現(xiàn)“不分青紅皂白”地出現(xiàn)了一個(gè)新的主節(jié)點(diǎn)而原來的老主節(jié)點(diǎn)變成了一臺(tái)孤立的“光桿司令”。更讓人懵的是當(dāng)網(wǎng)絡(luò)恢復(fù)后老主節(jié)點(diǎn)仿佛被“降級(jí)”了一樣之前那幾分鐘寫入的數(shù)據(jù)全部沒了。你翻遍業(yè)務(wù)日志沒有發(fā)現(xiàn)任何顯式的報(bào)錯(cuò)數(shù)據(jù)就是沒了。這就是 Redis 腦裂Split Brain的典型表現(xiàn)。很多人第一次聽到“Redis 腦裂”第一反應(yīng)是是不是 Redis 有 Bug是不是哨兵Sentinel不靠譜是不是主從復(fù)制出了問題這里先給一個(gè)明確判斷Redis 腦裂不是 Redis 本身的 Bug也不是哨兵的隨機(jī)抽風(fēng)而是分布式系統(tǒng)中“網(wǎng)絡(luò)分區(qū) (Network Partition) 主備切換機(jī)制”共同作用下的必然結(jié)果。換句話說只要你用了 Redis 主從 哨兵模式又沒有對(duì)寫入方做任何保護(hù)腦裂就隨時(shí)可能發(fā)生。這不是概率問題而是時(shí)間問題。這篇文章我想把 Redis 腦裂這件事徹底講透。我會(huì)從主從架構(gòu)和哨兵的原理講起帶你看清楚腦裂發(fā)生的完整鏈路然后給你可以直接照做的排查命令、防腦裂配置和最佳實(shí)踐。如果你正在用 Redis 做緩存、做分布式鎖或者準(zhǔn)備在生產(chǎn)環(huán)境搭建 Redis 高可用集群這篇文章建議先收藏。腦裂等出問題時(shí)再學(xué)代價(jià)往往已經(jīng)不太小了。2. 什么是腦裂從現(xiàn)實(shí)場(chǎng)景理解分布式系統(tǒng)的“人格分裂”腦裂這個(gè)術(shù)語最早來自醫(yī)學(xué)指的是連接左右腦半球的胼胝體受損后左右腦各自為政人體出現(xiàn)“兩個(gè)意識(shí)”的狀態(tài)。在分布式系統(tǒng)里腦裂的含義類似一個(gè)集群中因?yàn)榫W(wǎng)絡(luò)分區(qū)、節(jié)點(diǎn)假死等原因原本只有一個(gè) Leader主節(jié)點(diǎn)的系統(tǒng)里同時(shí)出現(xiàn)了兩個(gè)或多個(gè)節(jié)點(diǎn)認(rèn)為自己是 Leader繼續(xù)對(duì)外提供服務(wù)。對(duì) Redis 來說腦裂的直接表現(xiàn)就是同一份數(shù)據(jù)同時(shí)有兩個(gè)主節(jié)點(diǎn)在寫。這里要區(qū)分一個(gè)概念Redis 腦裂并不是 Redis 主從復(fù)制本身壞了而是“容錯(cuò)切換決策”和“實(shí)際存活狀態(tài)”之間出現(xiàn)了不一致。2.1 為什么會(huì)出現(xiàn)兩個(gè)主節(jié)點(diǎn)Redis 主從模式下正常情況下只有一個(gè) master所有寫操作都走 master從節(jié)點(diǎn)slave/replica只同步數(shù)據(jù)不對(duì)外提供寫服務(wù)。當(dāng) master 出現(xiàn)故障時(shí)哨兵會(huì)發(fā)起故障轉(zhuǎn)移failover從從節(jié)點(diǎn)里選出一個(gè)新的 master。這個(gè)過程本身沒有錯(cuò)。但問題是哨兵是怎么判斷 master 故障的答案是“主觀下線”和“客觀下線”。這部分后面細(xì)講簡(jiǎn)單說就是如果 master 和哨兵之間的網(wǎng)絡(luò)斷了但 master 本身還在運(yùn)行比如還在接收客戶端的寫請(qǐng)求那么哨兵會(huì)主觀認(rèn)為 master 掛了然后發(fā)起故障轉(zhuǎn)移選出一個(gè)新 master。于是老 master 還在接受寫入。新 master 也在接受寫入。兩邊同時(shí)寫數(shù)據(jù)分叉。這就是腦裂。2.2 Redis 腦裂的本質(zhì)是 CAP 的取舍要真正理解腦裂不能只看 Redis 配置還要理解 CAP 理論。CAP 理論說的是一個(gè)分布式系統(tǒng)在網(wǎng)絡(luò)分區(qū)發(fā)生時(shí)P你只能在一致性C和可用性A之間二選一。Redis 做主從切換追求的是高可用A當(dāng)主節(jié)點(diǎn)失聯(lián)時(shí)盡快選出新主讓業(yè)務(wù)不中斷。但代價(jià)是什么是可能犧牲一致性C在極端情況下舊主節(jié)點(diǎn)并沒有真正宕機(jī)它只是和哨兵網(wǎng)絡(luò)斷了用戶寫入的數(shù)據(jù)沒有同步到新主。所以更準(zhǔn)確的說法是Redis 腦裂不是故障而是 Redis 在“網(wǎng)絡(luò)分區(qū)高可用切換”場(chǎng)景下默認(rèn)選擇了“可用性優(yōu)先”的必然結(jié)果。理解這一點(diǎn)很重要因?yàn)樗鼪Q定了你不能用“加幾個(gè)哨兵”來解決腦裂而要從架構(gòu)設(shè)計(jì)層面去約束“舊主”的行為。3. Redis 主從架構(gòu)與哨兵腦裂出現(xiàn)前的基礎(chǔ)設(shè)施在深入腦裂機(jī)制之前必須先梳理 Redis 主從和哨兵的工作流程。很多人對(duì)腦裂的理解模糊其實(shí)是基礎(chǔ)概念不牢固。3.1 主從復(fù)制Master-Slave ReplicationRedis 主從復(fù)制的作用簡(jiǎn)單說就是把一臺(tái) Redis 節(jié)點(diǎn)的數(shù)據(jù)實(shí)時(shí)同步到其他節(jié)點(diǎn)。主節(jié)點(diǎn)master處理寫請(qǐng)求把寫操作記錄到自己的內(nèi)存并異步發(fā)送給從節(jié)點(diǎn)。從節(jié)點(diǎn)replica只處理讀請(qǐng)求接收主節(jié)點(diǎn)的同步數(shù)據(jù)保證和主節(jié)點(diǎn)最終一致。主從復(fù)制的核心步驟是從節(jié)點(diǎn)向主節(jié)點(diǎn)發(fā)送PSYNC命令請(qǐng)求同步。主節(jié)點(diǎn)執(zhí)行BGSAVE生成 RDB 快照同時(shí)把新寫入的命令記錄到復(fù)制緩沖區(qū)。主節(jié)點(diǎn)把 RDB 文件發(fā)送給從節(jié)點(diǎn)。從節(jié)點(diǎn)加載 RDB 文件后主節(jié)點(diǎn)繼續(xù)把復(fù)制緩沖區(qū)中的寫命令發(fā)給從節(jié)點(diǎn)。后續(xù)主節(jié)點(diǎn)每執(zhí)行一條寫命令都會(huì)實(shí)時(shí)發(fā)送給從節(jié)點(diǎn)。注意第 5 步Redis 的復(fù)制默認(rèn)是異步的。主節(jié)點(diǎn)執(zhí)行SET key value之后并不會(huì)等待從節(jié)點(diǎn)確認(rèn)“我已經(jīng)寫好了”而是直接返回給客戶端。這意味著什么意味著主節(jié)點(diǎn)上存在一段“最近寫入但還沒有同步到從節(jié)點(diǎn)”的數(shù)據(jù)窗口。一旦主節(jié)點(diǎn)在這時(shí)發(fā)生故障或切換這部分窗口數(shù)據(jù)就可能會(huì)丟失。3.2 哨兵Sentinel如何工作Sentinel 是 Redis 提供的高可用解決方案它的職責(zé)是監(jiān)控所有 Redis 節(jié)點(diǎn)的健康狀態(tài)。當(dāng)主節(jié)點(diǎn)出現(xiàn)問題時(shí)自動(dòng)執(zhí)行故障轉(zhuǎn)移從從節(jié)點(diǎn)中選出新的主。把新主節(jié)點(diǎn)的信息通知給客戶端。哨兵有幾個(gè)關(guān)鍵概念概念解釋主觀下線SDOWN單個(gè)哨兵發(fā)現(xiàn)主節(jié)點(diǎn)沒有在down-after-milliseconds時(shí)間內(nèi)響應(yīng)標(biāo)記為“主觀下線”客觀下線ODOWN多個(gè)哨兵達(dá)到 quorum 數(shù)量都認(rèn)為主節(jié)點(diǎn)下線則標(biāo)記為“客觀下線”故障轉(zhuǎn)移Failover客觀下線后哨兵們選出一個(gè) Leader 哨兵從從節(jié)點(diǎn)中選出新主并修改配置這里就出現(xiàn)了第一個(gè)容易被忽略的點(diǎn)主觀下線只需要一個(gè)哨兵就能觸發(fā)。它依據(jù)的是哨兵和主節(jié)點(diǎn)之間的網(wǎng)絡(luò)通信狀態(tài)而不是主節(jié)點(diǎn)本身的存活狀態(tài)。如果 Redis 主節(jié)點(diǎn)所在的服務(wù)器只是網(wǎng)絡(luò)暫時(shí)抖動(dòng)或者主節(jié)點(diǎn) CPU 負(fù)載過高導(dǎo)致無法及時(shí)響應(yīng) Ping但主節(jié)點(diǎn)本身還在正常運(yùn)行哨兵依然會(huì)判定它主觀下線。于是后面的事情就順理成章哨兵 A 發(fā)現(xiàn)主節(jié)點(diǎn) ping 不通標(biāo)記主觀下線。如果多個(gè)哨兵都收不到主節(jié)點(diǎn)的響應(yīng)達(dá)到 quorum標(biāo)記客觀下線。哨兵觸發(fā)故障轉(zhuǎn)移從從節(jié)點(diǎn)中選出新主。而客戶端那邊呢如果客戶端還連在舊主上寫操作依然會(huì)成功。兩個(gè)主節(jié)點(diǎn)同時(shí)工作的局面形成了。4. Redis 腦裂的完整觸發(fā)過程從網(wǎng)絡(luò)抖動(dòng)到數(shù)據(jù)丟失現(xiàn)在我們把上面的知識(shí)串起來完整走一遍 Redis 腦裂的生命周期。假設(shè)我們有這樣一個(gè)環(huán)境3 個(gè) Redis 節(jié)點(diǎn)1 個(gè) master、2 個(gè) replica。3 個(gè) Sentinel 實(shí)例。業(yè)務(wù)應(yīng)用通過哨兵獲取主節(jié)點(diǎn)地址連接 Redis。4.1 第一階段網(wǎng)絡(luò)分區(qū)發(fā)生假設(shè) Redis 主節(jié)點(diǎn)所在的機(jī)器因?yàn)榻粨Q機(jī)故障或者網(wǎng)絡(luò)擁塞和 Sentinel、從節(jié)點(diǎn)之間的網(wǎng)絡(luò)徹底斷了。但這里有個(gè)關(guān)鍵細(xì)節(jié)**主節(jié)點(diǎn)所在的機(jī)器本身沒有宕機(jī)Redis 進(jìn)程也沒有崩潰。**主節(jié)點(diǎn)依然可以接受客戶端連接和寫入只是它再也聯(lián)系不上從節(jié)點(diǎn)和哨兵了。此時(shí)其實(shí)已經(jīng)形成一個(gè)“網(wǎng)絡(luò)分區(qū)”分區(qū) A舊 master 連接它的客戶端。分區(qū) B哨兵 兩個(gè)從節(jié)點(diǎn) 通過哨兵路由的客戶端。4.2 第二階段哨兵判定主節(jié)點(diǎn)下線哨兵節(jié)點(diǎn)每隔sentinel monitor配置的時(shí)間間隔會(huì)向主節(jié)點(diǎn)發(fā)送 Ping。因?yàn)榫W(wǎng)絡(luò)斷了哨兵收不到主節(jié)點(diǎn)的 Pong 響應(yīng)等待超過down-after-milliseconds后哨兵會(huì)把這個(gè)主節(jié)點(diǎn)標(biāo)記為sdown主觀下線。如果 3 個(gè)哨兵都這樣認(rèn)為并且配置的quorum值小于等于 2那么主節(jié)點(diǎn)被標(biāo)記為odown客觀下線。于是哨兵開始執(zhí)行故障轉(zhuǎn)移流程。4.3 第三階段選出新主節(jié)點(diǎn)哨兵集群經(jīng)過投票選出一個(gè) Leader 哨兵由它執(zhí)行故障轉(zhuǎn)移從兩個(gè)從節(jié)點(diǎn)中選出一個(gè)執(zhí)行SLAVEOF NO ONE提升它為新的 master。另一個(gè)從節(jié)點(diǎn)執(zhí)行SLAVEOF new_master_ip new_master_port變成新主的從節(jié)點(diǎn)。哨兵更新自己的配置通知客戶端新的主節(jié)點(diǎn)地址。從這一刻開始分區(qū) B 中已經(jīng)有自己的 master 了。4.4 第四階段舊主依然接收寫入腦裂形成關(guān)鍵問題來了在分區(qū) A 中舊 master 依然活著依然接收客戶端的寫請(qǐng)求。如果客戶端沒有通過哨兵動(dòng)態(tài)感知主節(jié)點(diǎn)變更而是維護(hù)了一個(gè)靜態(tài)的主節(jié)點(diǎn)連接那么客戶端寫請(qǐng)求還是會(huì)打到舊 master 上。舊 master 接收到SET key value后它無法把這寫命令同步給從節(jié)點(diǎn)因?yàn)榫W(wǎng)絡(luò)斷了。但它會(huì)正常執(zhí)行并且告訴客戶端“寫入成功”。此時(shí)舊 master 上有最新的數(shù)據(jù)。新 master 上只有網(wǎng)絡(luò)斷開前同步過的老數(shù)據(jù)。兩個(gè)“主節(jié)點(diǎn)”同時(shí)接受寫請(qǐng)求數(shù)據(jù)開始分叉。這就是 Redis 腦裂的完成形態(tài)。4.5 第五階段網(wǎng)絡(luò)恢復(fù)和無情的數(shù)據(jù)丟失假設(shè)網(wǎng)絡(luò)修復(fù)了舊 master 和哨兵、從節(jié)點(diǎn)的連接恢復(fù)了。哨兵發(fā)現(xiàn)舊 master 還活著但此時(shí)新 master 已經(jīng)產(chǎn)生。那么哨兵會(huì)強(qiáng)制把舊 master 降級(jí)為從節(jié)點(diǎn)并向新 master 發(fā)起全量同步full resync。全量同步意味著什么意味著舊 master 會(huì)在同步前清空自己的數(shù)據(jù)然后加載新 master 的 RDB 快照。在腦裂期間舊 master 上多寫入的數(shù)據(jù)全部丟失。這個(gè)數(shù)據(jù)丟失不可恢復(fù)因?yàn)樗鼜膩頉]有同步到任何其他節(jié)點(diǎn)。所以你看整個(gè)鏈路下來沒有任何一個(gè)環(huán)節(jié)是“故意丟數(shù)據(jù)”的但最終數(shù)據(jù)就是丟了。這就是分布式系統(tǒng)的一致性和可用性博弈的代價(jià)。5. 如何判斷 Redis 是否發(fā)生過腦裂腦裂發(fā)生的時(shí)候業(yè)務(wù)端不一定有明顯報(bào)錯(cuò)數(shù)據(jù)丟失也常常是“悄悄發(fā)生”的。但我們可以通過一些跡象和命令來判斷。5.1 查看哨兵日志哨兵日志里會(huì)有明顯的故障轉(zhuǎn)移記錄。當(dāng)你發(fā)現(xiàn)以下日志時(shí)說明發(fā)生過主備切換# 主觀下線 sdown master mymaster 192.168.1.10 6379 # 客觀下線 odown master mymaster 192.168.1.10 6379 #quorum 2/2 # 開始故障轉(zhuǎn)移 try-failover master mymaster 192.168.1.10 6379 # 選出了新主 switch-master mymaster 192.168.1.10 6379 192.168.1.11 6379switch-master后面那行就是切換前后的主節(jié)點(diǎn)地址??吹竭@一行就要意識(shí)到剛才可能發(fā)生過腦裂。5.2 檢查 Redis 節(jié)點(diǎn)的角色變化使用info replication命令可以查看當(dāng)前節(jié)點(diǎn)的角色信息。在舊主節(jié)點(diǎn)上執(zhí)行redis-cli -p 6379 info replication正常情況下主節(jié)點(diǎn)的role應(yīng)該是master。如果發(fā)生了腦裂且網(wǎng)絡(luò)已恢復(fù)舊主會(huì)被降級(jí)為slave并指向新主。如果腦裂尚未恢復(fù)你可以看到舊主還是master但它的connected_slaves計(jì)數(shù)為 0說明沒有從節(jié)點(diǎn)連接它這就很可疑。# 舊主節(jié)點(diǎn)在腦裂期間的輸出 role:master connected_slaves:0 master_replid:xxxxx再看新主節(jié)點(diǎn)能看到它已經(jīng)有從節(jié)點(diǎn)了# 新主節(jié)點(diǎn)恢復(fù)后的輸出 role:master connected_slaves:1 slave0:ip192.168.1.12,port6379,stateonline,offset12345,lag05.3 查看命令統(tǒng)計(jì)中的延遲和拒絕如果配置了min-replicas-to-write參數(shù)后面會(huì)講腦裂期間舊主會(huì)拒絕寫入。此時(shí)通過info stats命令可以看到redis-cli -p 6379 info stats | grep rejected sync_rejected_writes:5sync_rejected_writes統(tǒng)計(jì)了因?yàn)閺墓?jié)點(diǎn)數(shù)量不足而被拒絕的寫命令數(shù)量。一旦這個(gè)值大于 0說明系統(tǒng)曾經(jīng)觸發(fā)過寫保護(hù)。5.4 客戶端側(cè)如何發(fā)現(xiàn)如果你用的是 Lettuce 或 Jedis 客戶端并且配置了哨兵模式當(dāng)主節(jié)點(diǎn)變更時(shí)客戶端會(huì)收到重定向通知。但這里有個(gè)容易被忽略的坑舊主節(jié)點(diǎn)只是網(wǎng)絡(luò)分區(qū)并沒有真正宕機(jī)客戶端如果保持長(zhǎng)連接它不會(huì)主動(dòng)感知主節(jié)點(diǎn)變更。所以在實(shí)際項(xiàng)目中更可靠的做法是通過 Redis Sentinel 獲取當(dāng)前主節(jié)點(diǎn)地址來建立連接并監(jiān)聽主節(jié)點(diǎn)切換事件。這樣在主節(jié)點(diǎn)切換時(shí)客戶端能重新建立連接。具體的處理邏輯各語言客戶端支持不同落地時(shí)要選對(duì) API。6. 防止 Redis 腦裂后的數(shù)據(jù)丟失min-replicas 詳解明白了腦裂的原理現(xiàn)在要解決實(shí)際問題怎么防止腦裂時(shí)的數(shù)據(jù)丟失。有人可能會(huì)說那我不用主從、不用哨兵行不行當(dāng)然可以但這就放棄了高可用。如果你的業(yè)務(wù)允許短暫停機(jī)單節(jié)點(diǎn) Redis 反而是最簡(jiǎn)單可靠的方案。但大多數(shù)生產(chǎn)系統(tǒng)需要高可用所以必須接受“主備切換可能發(fā)生”這個(gè)現(xiàn)實(shí)。在此基礎(chǔ)上我們能做的是讓舊主在失去從節(jié)點(diǎn)同步能力時(shí)主動(dòng)拒絕寫入。這樣就算腦裂發(fā)生舊主上也不會(huì)產(chǎn)生新數(shù)據(jù)網(wǎng)絡(luò)恢復(fù)后降級(jí)為從節(jié)點(diǎn)數(shù)據(jù)不會(huì)丟。這個(gè)能力 Redis 早就提供了就是min-replicas-to-write和min-replicas-max-lag。6.1 配置項(xiàng)說明在 Redis 的配置文件中redis.conf主節(jié)點(diǎn)可以設(shè)置兩個(gè)參數(shù)# 當(dāng)主節(jié)點(diǎn)擁有的健康的從節(jié)點(diǎn)數(shù)量小于該值時(shí)停止接受寫請(qǐng)求 min-replicas-to-write 1 # 從節(jié)點(diǎn)的數(shù)據(jù)同步延遲超過該值秒視為不健康 min-replicas-max-lag 10含義是min-replicas-to-write 1主節(jié)點(diǎn)必須至少有一個(gè)健康的從節(jié)點(diǎn)才允許接受寫請(qǐng)求。min-replicas-max-lag 10從節(jié)點(diǎn)的復(fù)制延遲lag不能超過 10 秒。如果超過就認(rèn)為這個(gè)從節(jié)點(diǎn)不健康。兩個(gè)條件同時(shí)滿足才允許寫。也就是說如果健康的從節(jié)點(diǎn)數(shù)量 min-replicas-to-write拒絕寫入?;氐侥X裂場(chǎng)景網(wǎng)絡(luò)分區(qū)后舊主無法和從節(jié)點(diǎn)通信從節(jié)點(diǎn) lag 不斷增長(zhǎng)超過 10 秒。主節(jié)點(diǎn)檢查發(fā)現(xiàn)“健康從節(jié)點(diǎn)數(shù)量”變?yōu)?0小于配置的min-replicas-to-write 1。于是后續(xù)的寫請(qǐng)求被拒絕客戶端會(huì)報(bào)錯(cuò)不是寫入超時(shí)而是直接被拒。這樣舊主就不會(huì)產(chǎn)生新的增量數(shù)據(jù)。網(wǎng)絡(luò)恢復(fù)后舊主降級(jí)為從節(jié)點(diǎn)數(shù)據(jù)依然一致不會(huì)丟失。6.2 動(dòng)態(tài)配置如果你已經(jīng)部署了 Redis可以通過命令動(dòng)態(tài)調(diào)整參數(shù)不用重啟# 登錄 Redis 后執(zhí)行 CONFIG SET min-replicas-to-write 1 CONFIG SET min-replicas-max-lag 10 # 同時(shí)寫入配置文件防止重啟后失效 CONFIG REWRITE6.3 這兩個(gè)配置有什么代價(jià)先說清楚min-replicas-to-write不是沒有代價(jià)的。假設(shè)你的主節(jié)點(diǎn)確實(shí)掛了但是從節(jié)點(diǎn)還沒有被哨兵提升為新主這期間客戶端寫入會(huì)失敗。相當(dāng)于用“暫時(shí)不可用”換取了“數(shù)據(jù)不丟失”。這其實(shí)是把 Redis 從“可用性優(yōu)先”拉向了“一致性優(yōu)先”。對(duì)緩存場(chǎng)景來說寫入失敗問題不大緩存 miss 后下次再寫即可。但對(duì)分布式鎖、秒殺扣減庫存、訂單狀態(tài)更新等強(qiáng)一致場(chǎng)景寫入失敗比“寫入成功但數(shù)據(jù)丟失”要好得多因?yàn)榍罢咧辽倌鼙粯I(yè)務(wù)方感知并重試后者是無聲丟失排查代價(jià)極高。所以在生產(chǎn)環(huán)境建議這樣配置場(chǎng)景建議只做緩存允許少量數(shù)據(jù)丟失可以不配置 min-replicas-to-write 或設(shè) 0緩存 數(shù)據(jù)一致性要求高配置min-replicas-to-write 1分布式鎖 / 強(qiáng)一致業(yè)務(wù)必須配置且要配合 RedLock 等方案做兜底6.4 配置參考示例以下是一個(gè)完整的 redis.conf 主節(jié)點(diǎn)相關(guān)配置示例可作為生產(chǎn)環(huán)境模板參考# 基本主從配置 replica-read-only yes # 腦裂保護(hù) min-replicas-to-write 1 min-replicas-max-lag 107. 完整實(shí)踐搭建一個(gè)可復(fù)現(xiàn)腦裂的 Redis 環(huán)境理解了理論最好親手驗(yàn)證一次。下面用一個(gè)最小化的本地環(huán)境模擬“主節(jié)點(diǎn)網(wǎng)絡(luò)分區(qū)導(dǎo)致腦裂和數(shù)據(jù)丟失”的過程。7.1 環(huán)境準(zhǔn)備在本地安裝 Redis 后創(chuàng)建三個(gè)目錄分別模擬三個(gè)節(jié)點(diǎn)mkdir -p /tmp/redis-lab/{6379,6380,6381}分別創(chuàng)建三個(gè)配置文件。主節(jié)點(diǎn)配置 /tmp/redis-lab/6379/redis.confport 6379 daemonize yes dir /tmp/redis-lab/6379 logfile redis.log pidfile /tmp/redis-lab/6379/redis.pid # 腦裂保護(hù)配置 min-replicas-to-write 1 min-replicas-max-lag 10從節(jié)點(diǎn) 1 配置 /tmp/redis-lab/6380/redis.confport 6380 daemonize yes dir /tmp/redis-lab/6380 logfile redis.log pidfile /tmp/redis-lab/6380/redis.pid replicaof 127.0.0.1 6379從節(jié)點(diǎn) 2 配置 /tmp/redis-lab/6381/redis.confport 6381 daemonize yes dir /tmp/redis-lab/6381 logfile redis.log pidfile /tmp/redis-lab/6381/redis.pid replicaof 127.0.0.1 63797.2 啟動(dòng)節(jié)點(diǎn)redis-server /tmp/redis-lab/6379/redis.conf redis-server /tmp/redis-lab/6380/redis.conf redis-server /tmp/redis-lab/6381/redis.conf啟動(dòng)后在主節(jié)點(diǎn)上確認(rèn)從節(jié)點(diǎn)已經(jīng)連上redis-cli -p 6379 info replication預(yù)期輸出類似# Replication role:master connected_slaves:2 slave0:ip127.0.0.1,port6380,stateonline,offset14,lag0 slave1:ip127.0.0.1,port6381,stateonline,offset14,lag07.3 模擬網(wǎng)絡(luò)分區(qū)為了模擬腦裂我們不能直接殺掉主節(jié)點(diǎn)進(jìn)程因?yàn)?Redis 主節(jié)點(diǎn)如果真正宕機(jī)就不會(huì)再接受寫請(qǐng)求了。正確做法是使用 Linux 的iptables規(guī)則只阻斷主節(jié)點(diǎn)到從節(jié)點(diǎn)、哨兵的通信但保留主節(jié)點(diǎn)到客戶端的連接。在真實(shí)環(huán)境中網(wǎng)絡(luò)分區(qū)往往就是這么發(fā)生的。# 阻斷主節(jié)點(diǎn) 6379 訪問 6380 和 6381 的端口 iptables -A OUTPUT -p tcp --dport 6380 -j DROP iptables -A OUTPUT -p tcp --dport 6381 -j DROP7.4 觀察腦裂保護(hù)是否生效等 10 秒以上超過 min-replicas-max-lag 設(shè)定的 10 秒讓主節(jié)點(diǎn)察覺到從節(jié)點(diǎn)延遲超限。此時(shí)向主節(jié)點(diǎn)寫入數(shù)據(jù)redis-cli -p 6379 set name test-split-brain預(yù)期返回錯(cuò)誤(error) NOREPLICAS Not enough good replicas to write.這個(gè)錯(cuò)誤告訴我們主節(jié)點(diǎn)因?yàn)榻】祻墓?jié)點(diǎn)數(shù)量不足已經(jīng)拒絕寫入。7.5 模擬未配置保護(hù)的后果現(xiàn)在我們?nèi)サ裟X裂保護(hù)配置再來一次redis-cli -p 6379 CONFIG SET min-replicas-to-write 0 redis-cli -p 6379 CONFIG SET min-replicas-max-lag 0再執(zhí)行寫入redis-cli -p 6379 set name data-without-protection # 輸出 OK這時(shí)主節(jié)點(diǎn)會(huì)返回OK。如果你在真實(shí)生產(chǎn)環(huán)境不小心出現(xiàn)過這種情況說明腦裂期間數(shù)據(jù)已經(jīng)開始分叉了。7.6 清理環(huán)境實(shí)驗(yàn)結(jié)束后清除防火墻規(guī)則并停止 Redisiptables -F redis-cli -p 6379 shutdown nosave redis-cli -p 6380 shutdown nosave redis-cli -p 6381 shutdown nosave這里要額外提醒iptables -F會(huì)清空所有自定義規(guī)則如果在有業(yè)務(wù)流量的機(jī)器上執(zhí)行要謹(jǐn)慎。建議實(shí)驗(yàn)環(huán)境使用專用的 namespace 或測(cè)試機(jī)生產(chǎn)環(huán)境不要直接操作防火墻規(guī)則來模擬分區(qū)。這個(gè)實(shí)驗(yàn)的核心結(jié)論是不配置 min-replicas-to-write主節(jié)點(diǎn)會(huì)傻傻地持續(xù)接受寫入直到數(shù)據(jù)被覆蓋配置了之后主節(jié)點(diǎn)在失去從節(jié)點(diǎn)連接時(shí)會(huì)主動(dòng)“暫停寫入”寧可報(bào)錯(cuò)也不讓數(shù)據(jù)分裂。8. 生產(chǎn)環(huán)境 Redis 腦裂的常見問題與排查思路在實(shí)際生產(chǎn)環(huán)境腦裂的排查往往比模擬復(fù)雜得多。這里整理幾個(gè)高頻問題和對(duì)應(yīng)排查路徑。問題現(xiàn)象可能原因排查方式解決方案業(yè)務(wù)突然大批量報(bào) NOREPLICAS 錯(cuò)誤主節(jié)點(diǎn)健康從節(jié)點(diǎn)數(shù)量不足查看主節(jié)點(diǎn)info replication確認(rèn) connected_slaves 數(shù)量和 lag檢查從節(jié)點(diǎn)網(wǎng)絡(luò)、主從復(fù)制狀態(tài)根據(jù)業(yè)務(wù)容忍度調(diào)整 min-replicas 參數(shù)主節(jié)點(diǎn)日志出現(xiàn)switch-master但客戶端沒有感知客戶端沒有通過哨兵獲取主節(jié)點(diǎn)地址查看客戶端連接配置是否使用 Sentinel-aware 模式改用帶哨兵感知的客戶端 API訂閱主節(jié)點(diǎn)切換事件網(wǎng)絡(luò)恢復(fù)后舊主數(shù)據(jù)被清空哨兵將舊主降級(jí)為從節(jié)點(diǎn)并執(zhí)行全量同步檢查舊主info replication的 run_id 和數(shù)據(jù)量變化配置 min-replicas-to-write 從源頭避免舊主寫入腦裂期間寫請(qǐng)求超時(shí)而非報(bào)錯(cuò)舊主網(wǎng)絡(luò)隔離但 TCP 連接未斷開請(qǐng)求遲遲得不到響應(yīng)抓包確認(rèn)連接狀態(tài)查看應(yīng)用端超時(shí)配置在客戶端設(shè)置合理的超時(shí)時(shí)間配合 Redis 側(cè) min-replicas 快速拒絕哨兵判定主觀下線過于頻繁down-after-milliseconds設(shè)置過小主節(jié)點(diǎn)因負(fù)載高或 GC 停頓誤判查看哨兵日志中 sdown 的觸發(fā)時(shí)間和主節(jié)點(diǎn)負(fù)載調(diào)大 down-after-milliseconds降低誤判概率主節(jié)點(diǎn)切換后數(shù)據(jù)延遲很大從節(jié)點(diǎn)的復(fù)制積壓緩沖區(qū)設(shè)置過小導(dǎo)致切換后需要全量同步查看從節(jié)點(diǎn)日志中是否有 full resync調(diào)大 repl-backlog-size減少全量同步頻率8.1 排查思路的順序遇到疑似腦裂問題時(shí)建議按下面的順序排查先看哨兵日志確認(rèn)是否發(fā)生過主備切換。再對(duì)比主從節(jié)點(diǎn)的run_id查看歷史上是否有多個(gè) run_id 交替。然后檢查主從節(jié)點(diǎn)的info replication確認(rèn)當(dāng)前角色和數(shù)據(jù)同步狀態(tài)。最后通過slowlog和應(yīng)用日志定位數(shù)據(jù)丟失的時(shí)間窗口確認(rèn)是否與主備切換時(shí)間吻合。要注意的是Redis 本身沒有直接記錄“腦裂事件”的日志項(xiàng)需要結(jié)合哨兵日志、節(jié)點(diǎn)角色變化、客戶端錯(cuò)誤日志三份信息交叉驗(yàn)證。9. 最佳實(shí)踐與工程建議Redis 腦裂這個(gè)問題越早做防護(hù)成本越低。下面這套配置和方案是我認(rèn)為在實(shí)際項(xiàng)目里比較穩(wěn)妥的基線。9.1 配置層面至少做到這一步在所有的 master 節(jié)點(diǎn)上配置min-replicas-to-write 1 min-replicas-max-lag 10解釋一下為什么是 1 和 10min-replicas-to-write 1只要還有 1 個(gè)健康從節(jié)點(diǎn)主節(jié)點(diǎn)就繼續(xù)服務(wù)保證可用性當(dāng)從節(jié)點(diǎn)全部失聯(lián)時(shí)拒絕寫入保證一致性。min-replicas-max-lag 10允許從節(jié)點(diǎn)最多延遲 10 秒。10 秒是一個(gè)相對(duì)合理的閾值既能容忍網(wǎng)絡(luò)的瞬時(shí)抖動(dòng)又不會(huì)讓數(shù)據(jù)分歧窗口過大。如果你的業(yè)務(wù)對(duì)數(shù)據(jù)一致性要求極高比如用 Redis 存庫存、存訂單狀態(tài)可以進(jìn)一步收緊min-replicas-to-write 2 min-replicas-max-lag 5但要注意配置越高可用性越低。如果只有一個(gè)從節(jié)點(diǎn)還宕機(jī)了主節(jié)點(diǎn)就會(huì)拒絕所有寫入這是必須要接受的權(quán)衡。9.2 架構(gòu)層面避免單點(diǎn)Redis 至少要一主兩從且三個(gè)節(jié)點(diǎn)分布在不同的物理機(jī)器上最好是不同機(jī)架。Sentinel 至少部署 3 個(gè)實(shí)例quorum設(shè)為 2保證故障轉(zhuǎn)移需要多數(shù)派同意??蛻舳吮仨毷褂蒙诒兄倪B接方式不要直連寫死的主節(jié)點(diǎn)地址。9.3 客戶端層面記住“收到成功不代表真的安全”Redis 主從復(fù)制是異步的主節(jié)點(diǎn)返回 OK 不代表數(shù)據(jù)已經(jīng)同步到從節(jié)點(diǎn)。這一點(diǎn)只要使用了主從模式就無法徹底消除。所以對(duì)于強(qiáng)一致業(yè)務(wù)比如分布式鎖、扣減庫存還要考慮引入 RedLock 這樣的多節(jié)點(diǎn)寫入方案或者把最終一致性交給數(shù)據(jù)庫Redis 只做加速層。9.4 監(jiān)控層面要能第一時(shí)間發(fā)現(xiàn)切換建議監(jiān)控以下指標(biāo)master_link_down_since_seconds主從連接斷開時(shí)長(zhǎng)。connected_slaves主節(jié)點(diǎn)的從節(jié)點(diǎn)數(shù)量。master_repl_offset與slave_repl_offset的差主從復(fù)制延遲。哨兵日志中switch-master的出現(xiàn)頻率。一旦發(fā)現(xiàn)主從切換就要查一下切換原因確認(rèn)是真實(shí)的節(jié)點(diǎn)故障、還是網(wǎng)絡(luò)抖動(dòng)誤判。不要讓腦裂成為“事后才知道”的事。9.5 上線前做一次故障演練很多團(tuán)隊(duì)直到線上出問題才第一次見識(shí)腦裂。建議在測(cè)試環(huán)境做一次完整的故障演練搭建主從 哨兵環(huán)境。用 iptables 模擬主節(jié)點(diǎn)網(wǎng)絡(luò)分區(qū)。觀察哨兵是否發(fā)生切換。觀察舊主節(jié)點(diǎn)是否拒絕寫入。確認(rèn)網(wǎng)絡(luò)恢復(fù)后數(shù)據(jù)是否一致。整個(gè)演練不會(huì)超過半天但能幫團(tuán)隊(duì)提前暴露很多配置上的問題。腦裂這種問題演練時(shí)發(fā)現(xiàn)成本很低線上出現(xiàn)再復(fù)盤可能就是事故報(bào)告了。10. 總結(jié)與后續(xù)學(xué)習(xí)方向Redis 腦裂不是 Redis 特有的缺陷而是分布式系統(tǒng)在 CAP 約束下必然面對(duì)的問題。這篇文章核心講了四件事第一腦裂的本質(zhì)是網(wǎng)絡(luò)分區(qū)下舊主節(jié)點(diǎn)還在接收寫入而哨兵已經(jīng)選出了新主節(jié)點(diǎn)形成兩個(gè)主節(jié)點(diǎn)同時(shí)工作的局面。第二腦裂導(dǎo)致的數(shù)據(jù)丟失發(fā)生在網(wǎng)絡(luò)恢復(fù)后舊主被強(qiáng)制降級(jí)為從節(jié)點(diǎn)并執(zhí)行全量同步此前的增量寫入被直接覆蓋。第三最有效的預(yù)防手段是配置min-replicas-to-write和min-replicas-max-lag讓舊主在失去健康從節(jié)點(diǎn)時(shí)拒絕寫入用短暫不可用換取數(shù)據(jù)不丟失。第四生產(chǎn)環(huán)境不能只靠 Redis 側(cè)配置還要在客戶端、監(jiān)控、故障演練三個(gè)層面做好配套才能真正把腦裂的影響降到可控范圍。如果你想把這塊繼續(xù)深入下面幾個(gè)方向值得花時(shí)間Redis Sentinel 的選主算法和配置細(xì)節(jié)理解 quorum 和 majority 的區(qū)別。Redis Cluster 模式下的網(wǎng)絡(luò)分區(qū)處理機(jī)制它和主從 哨兵模式各有取舍。分布式鎖場(chǎng)景下 RedLock 的原理和爭(zhēng)議理解它為什么能降低腦裂風(fēng)險(xiǎn)。Redis 復(fù)制緩沖區(qū)repl-backlog和全量同步、增量同步的底層機(jī)制。建議先在自己本機(jī)把上面那個(gè)最小實(shí)驗(yàn)跑一遍親手看到 NOREPLICAS 錯(cuò)誤和數(shù)據(jù)分叉是什么感覺再去看源代碼和英文文檔會(huì)順暢很多。分布式系統(tǒng)的很多坑看十遍文檔不如親手踩一次。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
天美传媒精品一区二区| 98一区二区精品| 免费人人搞97| 1区2区3区在线视频| 国产精品动态一区二区三区四四| 亚洲精品国产熟女久久久久久| 自慰白浆在线观看| 久草在| 伊人丁香五月婷婷| 色婷婷aV一区二区三区麻豆综合| 欧美97爱| 综合干干干av久久久综合网 | 求求你操操我| 亚洲国产婷婷在线播放| 色五月AV在线| 爱爱60秒免费视频| 综合伊人激情| 在线情色电影 91大| 最新无码国产| 日韩 女同 综合| 色色五月婷婷| 欧美AAAA黄片| 中文字幕日韩专区精品系列| 亚洲色图久久精品蜜| 亚洲麻豆av一区二区| 一及黄久一点| 国产亚洲国产超碰| 男啪女色黄无遮挡免费观看| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师 | 欧美亚洲一区二区久久久婷精品大包诱| 九月伊人中文字幕| 欧美色图下一页| 欧美在线播放aaaa| 热99re69精品8在线播放| 九九久久国产精品| 99色| 国产在线精品偷| 夜夜中出国产| 日韩在线性爱免费视频| 亚洲欧美黄| 人人操人人射人人干| 人妻碰碰碰碰碰碰| 91碰碰| 中文字幕91页| 亚洲成人性| 蜜臀久久99精品久久久久久-DVD| 天堂v无码免费视频| 天海翼久久| 五月丁香六月婷综合成人综合| 一区二区高清视频| 青草精品视频日本久久久久网站在线| 嗯嗯啊啊的视频| 欧美日韩国产电影| 日日干日日操五月天伦理视频| 超碰碰碰碰| 亚洲欧洲日韩国产自在线| 久久久久亚洲熟妇熟女| 国产原创精品| 精品国产乱码久久久久A| 久久精品性| 午夜寂寞欧美| 国产粉嫩出水在线播放| 蜜乳AV一区| 992这里有精品| 亚洲情欲| 老熟妇一区二区三区啪啪| 激情六月婷婷| 91欧美色| 日韩一性一交一A片俄罗斯| 啊啊啊久久| 双插性欧美一二三区| 国产三级日产三级韩国三级| 久热热| 久久精品国产亚洲粉嫩| 另类欧美色| 欧美综合综合| 综合另类| 999亚洲国产视频| 美女写真| 涩五月婷婷| 日韩青久久| 在线免费试看60秒| 91精品导航| 日本精品一区二区三区四区的功能| 超碰色97| 2018天天干在线视频| 久久性爱大全| 青苹果影院男人的天堂| asc国产精品| 国产精品视频在线观看| 色网在线视频观看免费| 青青草日韩无码| 日日躁狠狠躁天天躁精品| 人人操人人摸人| 免费的很黄很污的全部视频| 日本精品国产视频| 日韩免费在线观看不卡| 有码免费观看| 91视频精品| 91丝袜美腿网站| 少妇久久久久久| 黄色视频特级毛片| 亚洲天堂少妇| a在线视频免费观看| 东北女人操比视频| 精品人妻一区二区免费蜜桃视频| 精品区9| 婷婷九月丁香| 熟妇人妻精品一区二区| www.狠狠操| 国产精品人妻免费精品| 久久这里| 人妻啊啊人妻啊| 久久永久无码人妻视频| 自拍第一页| 91丨九色丨大屁股| 亚洲av无码成电影在线播放| 久久中文字幕女同性恋一区| 91大胆欧美| 日婷婷| 免费啪啪啪网站18岁| 91操熟妇| 天天看高清麻豆| 99热婷婷| 91天天综合| 色天堂在线观看| 久久久久久国产精品免费网站| 五月天加勒比啪| 中文字幕在线免费观看视频| 1769国内精品视频| 久久乐| 不卡中文字幕aⅴ在线| 热久久无毒不卡| 91人妻超碰| 免费A V在线| 九九99久久| 午夜无遮挡男女啪啪视频| 肏逼视频日本| 蜜臀久久99精品久久久久久酒店| 蜜桃视频成a人v在线| 亚洲天堂电影网99999| 亚洲深夜福利| 黄网在线播放| 尤物av网站免费在线播放| 91久久久视| 色色色欧美| 少妇啪啪自拍| 中文字幕日韩精品久久| 人人操超碰在线| 日韩午夜国产| 麻豆AV96熟妇人妻| 偷拍 精品 另类 四区| 国产超碰| 日本 欧美 国产一区| 国产丰满熟夫69mpp| 国产av美女被艹的乱叫| 欧美双插| 欧美综合综合| 青青操日韩| 91精品婷婷国产综合久久| 黄色不卡视频| 国产精品视频| 国产久久日| 99热亚洲天堂| 欧美色图天堂网m| 黑操B| 大伊香蕉在线视频免费| 日本午夜久久电影| 日韩无码成人电影| 五月婷婷综合网| 一起草精品人妻| 骚逼自拍99| 男人干美女| 色呦呦、国产精品| 级品肉射| 91亚洲狠狠色| 夜夜爽夜夜操| www.久久制服糖| 韩日性爱av| 欧美少妇色图| 亚洲精品乱码线路中文字幕| 亚洲精品人妻在线| 国产在线视视频有精品| 亚洲 综合 欧美| 天美AV片| 久久夜夜夜| 加勒比日本在线| 久草久日| 日韩啪啪视频| 国产性久久久| 色五月网址| 午夜人妻精品综合在线| 精久久久91| 大香蕉日韩欧美| 热99re69精品8在线播放| 国产在线综合福利网站| 男女性感激情网站| 1024香蕉视频| 老女人91| 国产强奸AV在线| 国产精品自在线发布| 午夜久久无码1000合集| 蜜臀久久99精品久久综合| 91新在线欧美| 大香蕉在线SuP| 91色亚洲| 欧美日韩亚洲一区二区在线观看| 97在线视频观看| av麻豆啪啪| 97欧美| av在线免费一区二区| 美女黄色一级A视频| 韩国国产欧美情侣视频在线| 九九九九精品| 色呦呦呦在线观看视频| 亚洲色堂免费视频| 97超碰国产亚洲精品| 日夜精品| 久久久精品国产亚洲AV无码| av72网| 免费国产视频| 大奶啊啊好爽| 欧洲一区二区| 3P乱轮视频| 色欲人妻一区二区在线| 天天射夜夜操| 日本三级久| 深夜激情| 久久XX| 啊啊啊啊,啊啊好多水| 高清无码在线播放网站| 草草影院在线视频| 啊啊啊啊啊在线| 五月婷婷六月丁香| 超碰69| 久久夜黄色无码A级大片| 97国伦国色| 麻豆天美传媒毛片| 极品色社| 亚洲人妻久久| 亚洲色堂免费视频| 亚洲国产美女久久久久 | 熟妇操花| 蜜区区视频79 | 99热在线播放| 草草草草视频| 国产又黄又粗的视频| 狠狠躁AV| 欧美高清18A片| 91五月天| 东北女人无套内谢视频| 色噜噜综合在线| 在线一道啪| 亚洲综合113页| 午夜操逼不卡| 91第一页| 牛牛久久国产精品视频一二三| 青青草吊丝| 啪啪AV导航| 人人操 欧美| 欧美天天综合网| 国产一级舔足在线观看| 艹比视频国产精品| 欧洲精品区| 熟女这里只有精品6| 91在线免费观看处女| 欧州激情视频在线一区二区| 亚洲色婷婷综合久久一区二区三区| 男人的天堂 在线一区| 亚洲乱熟女一区二区三区大香蕉| 欧美A√综合网| 青娱乐999| 日本曲间由美性生活片| 亚洲欧美电影| 青青操97| 成年人网站在线免费观看| 欧美制服另类丝袜| 国产又黄又爽又刺激久久久久久| 97超碰久| 五月婷婷啪啪| 97美日韩视频| A V少妇特黄三级| 天躁夜夜躁2021| 久99热| 久久久久久十| AV天堂电影网| 精品人妻av在线播放| 久久久久ab| 欧美人与性动交a美精品| 97在线资源| 91久久久久久| 玖玖爱影院| 一道本东京热加勒比一区二区三区| 天天夜夜rb| 狼人久草| 日本淫乱女一区二区三区视频| 啊啊啊啊啊在线观看网址 | 941超碰| 色播五月丁香| 国产深喉视频一区二区| 欧美色图偷拍另类| 免费毛片在线播放| 大香蕉乱级| 国产AV天美| 另类TS人妖一区二区三区| 人妻五十路在线| 久久久一级| 超碰日韩人妻| 无码视频一区二区| 殴美大黄片| 久草资源在线| 亚州综合图片| 欧美丝袜激情| 丁香九月激情啪| 岛国激情视频在线观看| 男人亚洲天堂| 91美女视频直播| 男人的天堂2010| 另类亚洲一区二区三区| 大香蕉在线SuP| 欧美在线官网| 很很热性爱视频| 思思热国产高清| 黑人精品成人一区二区三区| 天天综合-91入口| 日本高清一本二本免费不卡| 免费黄色片。| 天天日天天操天天射河南省| 亚洲成人贴图| 成人怡红院| 色香欲天天天天综合色| 久久m| 乱色视频中文字幕| 国产1769在线| 国产树林里野战在线看| 操B视频日韩无码| 亚洲欧洲激情| 色天堂综合| 伊人久久大香线蕉亚洲五月天,青草青草欧美日本一区二区,欧美日产欧美日产国产 | 日韩免费a级毛片无码a∨| 青娱乐 青青青操 日逼| 尤物视频网 刘玥| 一区二区三区无卡视频在线观看| 女人妻一区| 日韩AV一起草| 九月丁香婷婷色| 久久五十路熟女人妻| 国产传媒av天美传媒在线| 四虎在线视频| 97国产中文| 国产AV线| 超碰色97| 日韩av在线精品观看| 啊啊啊好想要| 日B操| 蜜臀AV成人精品蜜臀| 玖玖资源中文字幕制服丝袜| 97超碰资源网| 中文字幕AV片| 婷婷九月国产| 久久男人的天堂| 欧美综合国产精品久久丁香| 操逼天美3区| 久久欲| 久久高清欧美国产| 欧插网站| 成人av动漫在线观看| 青草青草久热| 亚洲一区二区三区麻豆传媒| 青青草无码视频| 91 丝袜在线播放| 岛国色情视频在线观看| 第一高清av中文字幕| 久久久久久亚洲精品不卡人乳| 久久久com| 一区二三区四区视频大全套| 尤物视频新赏网鲜网色诱网| 又粗又长又大国产不卡| 思思热久久成人| www…国产操逼| 五月天丁香| 中文字幕女同在线| 夫妻天天操岛国视频| 亚洲av综合色区图片亚洲| 欧美系列在线一区二区| 丁香五月婷婷基地| 操死我了嗯嗯嗯| 国产又黄又爽| 久久婷婷国产一区二区色| 人妻酒店出差被中出免费在线播放| 啊啊啊啊操死我了| 九九九网站| AV一起草在线| 99热官网| 亚洲人精品久久久| 亚洲强奸乱伦影视网| 少妇天堂网络| 久久人人爽av亚洲精品天堂桃色| 免费草草草草草视频| 9美女超碰在线免费观看| 午夜一区二区三区国产| 色综合加勒比四四季| 99只有精品| 久热伊人| 99激情| 伊色久人大在线| ,成人免费啪啪视频| 激情五月综合| 日韩AV噜噜噜一区二区三区四区 | laoshunv91| 26uuu国产亚洲综合| 日本天堂网| 97色碰| 亚洲国男人的天堂| 特污精品女优骚货黄色视频在线免费观看| 一级性爱啪啪视频| 亚洲人妖网| 国产亚洲深夜激情| 人妻天天爽夜夜爽爽| 一二三区操逼国产91| 亚洲瓯美色图| 国产av强奸美女| 91国精产品| 探花在线免费观看视频国产一区| 欧美日韩青操| 户外裸露刺激视频第一区| 日韩欧美亚洲国产日韩| 四虎影视国产精品| 无码黑人精品一区二区三区三| 天天激色| 手机在线观看不卡无码av| 五月婷婷青青草娱乐伊人| 日韩探花精品在线视频| 黄久在线| 丁香五月天堂网| 99精品九九九九九九| 久久草大香蕉| 亚川综合视频| 中文字幕乱妇免费视频| 男人的天堂啪啪| 五月天婷婷在线看| 精久久久91| 亚洲资源站| av天天在线观看| 国产成年女人免费视频播放a| 欧美熟妇亚洲版| 色小视频蜜乳| 久久欲| 国产精品一级二级在线| 日本美女性生活久久久久久久| 亚洲人妻精品一区二区| 超碰夫妻97| 另类小说五月天| 丁香九月婷婷| 久久久青草青青国产亚洲免观精品高清完整版_97久久综合区小说区图片区,国精品 | 国产一二三在线视频五十路| 神马久久网| 99热精品在线播放| 熟女这里只有精品6| 欧美黑人与女人91| 1204av韩国| 亚洲一区二区三区久久 亚洲一区二区| 国产无码精品久久久久久| 激情五月天婷婷| 校园春色亚洲| 国产精选视频| 福利五区| 肉丝无码中文高清| 亚洲男人的天堂一区二区| 久久久精品国产亚洲AV无码| 综合操逼| 亚洲国产一区二区入口| 欧美在线永久天堂| 3P丝袜熟女 色综合| 插入粉嫩少妇视频| 九九九九九九九九九九九九九九九女| 久久精品国产精品亚洲艾通辽熟妇 | 91精品人妻一品二品三品| 欧美综合传媒| 嗯嗯啊好大| 欧美激情超碰777| 992这里有精品| 91超碰人人操| 大香蕉久| 久久麻豆一区二区| 97色插| 99青草| 狠肏骚人妻| 18一区二区三区| 96AV久久久| 久久日韩毛| 久操B网| 囯产精品久久久久久久久久二区三区| 国产suv一区二区三区6| 中文字幕色AV| 天堂男人网| 老熟妇乱轮| 国产最火爆久久国产网站网站| 精品天堂| 午夜超爽| 亚洲成av人片色午夜乱码| 欧美在线91| 久久久女人| 麻豆视频一区二区| 蜜乳成人AV| 激情网色| 五月天婷婷欧美三区| 无码99| ai欧美亚洲小说| 黄页网站成人免费| 色哟哟 日韩精品| 操逼不卡中文字幕| 91社操逼| 翘臀vidoes| 和协影院中文字幕三区| 黄色交缠性感爆操91国产精品免费一区二区三区| 国产熟码AV| 熟女探花啪啪| 秋霞蝌科网日本一区| 婷婷五月天基地| 干B视频伊人网| 91亚洲欧美综合高清在线| 香蕉99秘 一区精品蜜桃臀| 在线A日本| 色优久久| 啊啊啊不要啊啊受不了了视频在线| 色拍偷亚洲| 久操免费观看| 国产亚洲日韩在线三区黑人| 日本丝袜人妻内射| 乱理日韩中文| 国产精品96| 国产成人无码网站在线视频| 精品久久9| 欧美一区二区三区互相| 很很操在线| 国产女性无套 免费观看| 久操九九九九九九九九九九九九九九九九九九九九九九九九九九九九 | 国产精品视频一区二区三区八戒| 日韩乱码av| 伊人亚洲综合| 欧美亚洲| 口爆综合网| 大色网久久| 在线有码中文字幕| 日欧美色| 伊人国产成人av网站| 亚洲激情av| 97久久精品不卡| 日韩探花精品在线视频| a片亚洲一本通视频| 中文字幕日韩人妻视频| 91草草草| 美女尤物人人操| 日本男人插女人的逼黄色| 亚洲欧美黄| 丝袜AV一区二区三区| 婷婷在线视频| 国产农村妇女精品| 香蕉久久精品| 亚洲 一区二区 自拍| 人人妻人人色| 国产精品一区二区三区,亚洲综合| 亚洲限制级| 色欲蜜臀AV| 蜜臀久久99精品久久久久久成人小说| 色婷婷在线视频| 色欧洲| 色婷婷aV一区二区三区麻豆综合 | 久久免费少妇| 久久久久免费少妇| 国产久久久久久| 日韩97超碰中文字幕| 亚洲 中文字幕 精品| 丁香婷婷激情五月天无毒不卡| 国产一级内射无挡观看| 日比av无码| 青娱乐av在线| 日韩激情啪啪啪| 少妇熟女视频一二三区| 天天干2019| 色婷婷九月天天综合| 水滴偷拍| 九九九九精品一区| 91一区二区| 豆花视频操逼网址| 啊嗯嗯啊好大好爽| 91N五十路| 日本国产欧美高清在线| 香蕉精品二区二区 | 在线人人人人人人精品超| 97爱综合| 国产97综合| 9热9热综合网| 亚洲国产日韩欧美熟妇在线| AVE乱伦| 蜜汁欧美| 风月影院男女十八禁| 亚洲另类综合欧美| 色狠狠 - 百度| 五十路熟女人妻一区二区三区四区五| 日日妻色网| 久草新免费| 亚州操操穴网| 91在线色综合| 人人天天欧洲| 天天躁日日躁AAAXX| 国产欧美精选自拍一区| 人人操欧美风骚| 欧美在线啊啊| 97ai亚洲| 后入精品| 久久久久幕乱码| 日少妇亚洲版| 亚洲.欧美.丝袜.中文.综合| 90后性网国产欧美| 国产高清成人传媒影视| 日本 欧美 国产一区| 精品人妻一区二区三区日产乱码| 另类欧美| 四虎影视 亚洲无码| 日日橹狠狠爱欧美超碰| 婷婷久久综合久| 人人射人人操人人摸| 国内亚洲精彩视频在线| TS人妖另类精品视频系列| 丰满人妻一区二区三区| 乱伦一二三| 26uuu偷拍亚洲欧洲综合| 久久受www免费人成| 亚洲精品乱码线路中文字幕| 亚欧免费观看视频| 性爱Av免费| 偷窥自拍A片| 激情看片网站| 天天日天天色| 9久久9综合| 嗯嗯啊好大| 97在线观看视频| 精品十八在线观看| 欧美九九九| 精品无码少妇| 中文字幕精品探花视频| 国产强奸乱伦xd| 久久九九国产精品| 超碰91在线| 国产熟女完整版中字 | 韩国午夜理伦三级好看| 天天操天天插| 天美传媒AV国产在线| 亚洲欧美91√| 国产久久天堂资源| 久久午夜色播影院免费高清| 不卡一区二区日本视频| 精品精品精品| 九一性生活免费视频| 蜜臀久久99精品久久久久久成人小说 | 美女尤物人人操| 色情成人五月天| 另类av天堂| 久久香蕉国产线看观看亚洲女人 | 亚洲中文字幕一区| 欧州91高潮| 亚洲成人性| 志村玲子视频一区二区| 天天日日日射| 国产午夜精品一区二区三区牛牛| 成人一二三区| 青娱乐亚洲自拍| 精品久久久久9999| 91爱剪切久久| 亚洲强奸乱伦影视网| 精品大久久| 天天天堂影视日韩亚洲91| 狠狠久久手机视频精品| 国产这里只有精品| 日本午夜福利视频| 中文久久久| 乱伦AVxx| 长长久久88视频| 欧美啪啪天堂| 自拍偷拍2025在线观看| av黄图片在线观看| 欧美一区二区亚洲天堂| 欧美综合在线91| 日韩大香蕉| 噜噜在线| 久久这里只| 丁香六月婷婷久久综合| 限制级中的三级片中的黑粗大屌屌日人妻熟女 | 国产精品久久久久久久久久梁医生| 六月丁香啪啪啪| 人妻娇喘 激情视频| 国产亚洲色婷婷久久99精品91| 粉嫩AV一区夜夜嗨| 久久久精品电影| 白 大 人妻 区 在线| 性久久久| 久久大精品乱码视频人妻熟女| 久久大黄片| 国产成人久久久精品免费AV| 超碰在线日韩一区| 亚洲色色色| 91性情| 婷婷亚洲中文字幕在线| 女性91网站| 91麻豆天美国产| 黑人狂躁日本妞一区二区三区| 婷婷久草一区二区三区| 五十路三区在线| 97久久久久久久精| 欧美激情性久久久久久| 色网在线视频观看免费| 裸体1区| 国产精品激情久久久久久久| 吊色| 99热亚洲天堂| 欧美偷拍| 一区二区首页| 久久riav中文精品| 九九九九精品在线| 91国产丝袜足交精品视频| 亚洲精品无码久久AV| 国产超碰97| 色综合美国| 国产精品视频自拍在线| 激情婷婷黑人91| 亚洲综合影视| 免费看欧美美女黄色大片| 色综合91好| 麻豆一区在线| 人人摸人人添人人操| 亚洲在线a| 成人一级二级| 久久黄黄黄| 亚洲在高跟鞋自慰久久在色线| 操一区| 99re免费视频精品全部| 人妻熟女一区二区| 91色鬼| 性爱久久| 日韩中文字幕视频在线观看| 欧洲特黄毛片免费看欧洲毛片| 色鬼在线综合| 激情开心五月天| 国产精品成人福利在线| 最新无码国产| 欧美大的香蕉有线电视视频| 这里只有精品视频| 久久亚洲AV成人精品无码| 韩国三级一线观看久| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区 | 厕所偷拍在线| 婷色五月天| 上床不卡网站| 26uuu国产| 日韩黄色av中文字幕| 亚洲天堂男| 日韩电影免费网站麻豆视频| 蜜臀久久精品久久久久视频| 很很很很操| 人人澡综合涩| 熟妇艹鸡八| 美国久久一二三四| 亚热日本熟女| 蜜桃视频一区二区三区| 亚洲男人的天堂V| 精精夜夜| 成人无码专区精品视频| AV高清一区| 久久中出在线| 97看操| 久久久久久久久久精| 久久综合久色欧美综合狠狠| 亚洲限制级| 一区二区三区男女操逼黄色小电影| 超碰超碰欧美| 秋霞午夜视频一区二区| 在线观看A啊啊啊| 中文字幕片| 国产一级137片内射麻豆| 久久东京伊人一本到鬼色| 亚洲一区二区精品福利| 欧美黄页在线| 九月婷婷综合| 久久五月份| 中文字幕视频2区| 操91| 亚洲男人的天堂va亚洲男人社| 清纯唯美亚洲综合| 色黄污美女啪啪啪免费网站| 国产精品探花视频| 99热官网| 97色妞| 蜜臀久久久99久久久久| 啪啪啪综合网| 欧美呦呦性爱| 欧洲一级性爱视频在线观看| 久久综合18p| 超碰到97情色| 亚洲精品久久久久毛片A片拉屎 | 亚洲深夜福利| 一起草三级AV电影在线观看| 日本操逼视频导航| 大香蕉综合在线| 都市激情人妻一区二区青青操视频 | 免费视频在线一区二区不卡| 久久综合亚洲色1080p| 伊人久操| 中文字幕亚洲欧美在线不卡| 日韩青久久| 人人操人人摸人人骑| 黄色免费网| 99无码视频| 爽爽淫人网| 日夜尻逼网| 日本色色视频网站| 麻豆天美国美国产AV| 久久禁| 亚洲最新av无码成人精品区| 91久久久久久久久久久| 亚洲天堂2020| 成人午夜小视频手机在线看| 久久超碰、| 97天堂| 超碰人人妻| 99久久免费看精品国产一区| 久久一区二区高清免费| 亚洲视频中文一区| 97网址www| 搡老女人老91二区| 色一情一乱一乱一区91Av| 97视频在线视频| 五十路六十路七十路熟婆| 国产视频一区二区三区久久亚洲天堂| 999久久久国产精品| 精品亚洲国产成人精品| 99re热| 极品尤物自安慰| 亚洲中文字幕一区| 免费一级毛片在线视频观看| 97bbn| 18禁中文字幕| 啊啊啊啊啊好舒服视频| 欧美黑人精品一区二区| 日韩欧美蜜桃精品久久中文字幕久久 | 久久久久久久久久久久久久久久9| 久久精品人人做人人看| 黄色成品网站| 370p日韩欧美亚洲精品| 中文字幕神马久久| 天天影视网色欲色香| 国产操逼视频在线观看| 亚洲激情 欧美色图| 国产绿奴视频在线观看| 校园春色中文字幕AV| 国产一区二区三区导航| 玖玖综合视频| oumeisetu综合| 亚洲狠狠入| 久操高青| 黄片视频,下载| 午夜电影在线观看无码专区| 亚洲美女 晚间男人天堂 | 天堂成人网| 色眯眯射| 超碰在线人妻| 无码精品久久久久久亚洲| 日本黄色裸日本黄色裸体| 日本一级二级三级网站| 91爱| 国产情色第一第二页在线观看| 丁香六月婷婷| 最新av网站在线观看| 啊啊啊啊嗯嗯在线久久久| 久草新免费| 4399成人黄A片| 最新亚洲人成网站在线影院| 一本色道久久综合精品婷婷| 久久亚洲人妻| 91一起操| 亚洲av影音先锋| 中文操逼字幕| 亚洲精品欧洲色| 美女爽爽爽刺痛洞洞| 台湾大香蕉99热| 欧美99| 狠狠操官网| 亚州欧美色图| 亚州欧美在线| 欧美综合777| 99国产精品免费| 欧美午夜精品久久久久久超碰| 逼逼逼逼操操操操操操操操操午夜剧场| 久久久一区二区三区四区五区| 色成人Www精品永久观看| 在线αⅴ| 在线免费观看高清无码视频| 不卡二三区人妻少妇| 欧美97av| 欧美色图99| 精品免费国产二区三区| 久久人妻四季| 99热99re超碰精品| 婷婷91| 9999免费精彩视频| 丁香六月东京热| 一线黄色免费性爱片| av在线观看不卡网站| 人妻81p| 欧美日韩国产一区二区小黄片大全| 91性网| 天天躁日日躁狠狠狠躁| 爱妻综合网| 天天综合网~91综合网| 久偷拍欧美日韩三区| 亚洲欧美国产中文字幕| 亚洲性少妇| 久久9免费视频| 婷婷深爱五月| 亚洲一卡2卡3卡4卡乱码网站| 婷婷午夜成人色中色| 五月天黄色激情视频| 日本人人操人人操| 麻豆久久久一区二区| 亚洲最大黄网| 麻豆天美制片厂网站视频| 亚洲精品 欧美精品| 超碰欧美97资源| 999久久久久久久精| 狠狠图片青青草| 曰韩少妇无码| 天天狂操夜夜狂日| 欧美 精品国产制服第一页| 亚洲最新中文字幕免费| 欧美视频边做饭边橾| 国产福利精品最新在线 | 酒色综合网| 久操网址| 91亚洲欧洲| 超碰精品日韩欧美国产| 欧美性爱www免费版| 天天综合网站| 亚洲欧洲色情高清| 亚洲色图综合网| 日韩亚洲欧美中文字幕| 久久99午夜精品一区人妻| 五月丁香大香蕉| 九九九影院| 夜夜爽夜夜操| 欧美丰满少妇xx高潮| 91xingse| 中字一区| 日韩性爱免费观看视频| 婷婷97| 亚洲人久久久网| 国产97在线播放| 亚洲一区日韩精品中文字幕 | 三级片大波波| 久久啊啊| 久久久成人国产精品无码| 大香蕉伊人在线成人AV在线观看| 超碰偷拍| 18啪啪手机免费性爱| 97香蕉碰碰人妻国产欧美| 黑丝91视频| 精品国产综合久久福利,热99这里有精品综合久久,99热这里只有免费国产精品,精 | 国产精品播放| 日韩精品中文字幕二区| 十八禁黄色成人网站观看| 精品人妻一二三| renqi久久久久久久久久久久| 天美麻豆黄色录像| 麻豆国产视频精品观看| 久久啊哟| 亚洲国产美女久久久久| 日韩精品一二三四| 久久久久久九九九九九| www99热| 日日AAvv| 欧美黄片欧美黄片xxx| 久久国语| 亚洲色 国产 欧美 日韩| 国产91精品久久久久久久网曝门| 欧美在线播放| 日韩伦理久 久久 清纯| a片久久久久久久久久久久| 欧美综合色站| 一级做a爰片久久毛片图片| 欧美另类自拍 | 色综合一区二区三区| 欧美综合站| 天堂性色| 涩爱AV在线| 人妻 中文 日韩| 精品少妇人妻| 国产91精品福利在线| 亚洲加勒比色图| 丁香激情五月| 97啪啪| 98福利在线视频| 婷婷久久久| 韩日色费| 国产青视频| 国产亚洲精品自在线亚洲情侣| 超碰久久.com| 好淫网一二三视区| 91国产丝袜白虎| 激情图片亚洲色图| 啪啪资源网| 91成人无码| 久久久免费懂色| 国产欧美精品日韩区二区麻豆天美| 久久国产逼| www.久久超碰| 亚洲揄拍网| 丁香六月啪啪| 免费的很黄很污的全部视频| 超碰这里有精品| 亚洲国产剧情少妇激情| 96久久精品一二三区色欲| 色图四区| 亚洲日韩东京热一区| 一二三四日本视频高清| 一区二区三区美女超清| 美女天天干| 中文字幕一区 二区三四五 区日 日骚| 亚洲精美粉嫩嫩泬在线观看 | 国产又色又爽又舒服的三级视频| 妇女性内射冈站HDWWWCOM| 亚洲色天堂九9| 97欧美色资源| 第二页中文字幕| 天天色综合图片| 久久亚洲av成人无码国产| 久久婷婷电影网| 久久岛国| 超碰一区二区| 天天插天天操天天摸天天射天天看| 日韩啪啪啪啪啪| 成片免费观看视频大全| 人妻中文字幕日韩电影| 精品欧美乱码久| 高颜值美女口爆高潮浪叫| 欧美一区二区三区黄色影视| 精品国产污一区二区三区| 成人免费福利在线观看| 国产一区二区精品久久99| 国产高清免费不卡av| 十八岁啪啪视频免费看| 激情五月天插| 国产高清精品一区二区三区毛片 | 亚洲无992tv| 奶水 人妻 哺乳 在线| 风韵犹存大大大大香蕉| 久久久精品九| 亚洲色电影在线| 91综合网站| 超碰97网站| 91东北熟女| 岛国片在线播放| 国产AV激情无码久久无码 | 屁股久久久久久久久| 超碰碰小说97| 97超碰影音| 中文字幕三四五区| 超碰97久久| 成人性爱免费播放| 婷婷久月| 国产成人自拍视频视频| 亚洲av综合伊人久久| 亚洲国产一级黄色视频| 大香蕉强奸乱伦| 美女熟妇色| 国产 亚洲 丝袜 制服| 污污汅18禁网站在线永久免费观看| 国产精品探花在线| 情侣开房子拍 日韩无码 女的很漂亮| 久久人妻97久久久久久久| 第四色色综合91| 97中文字幕色| 9999久久久久| 天天操狠狠日夜夜干超大胆开放com大香蕉视频在线观看 | 色香欲影| www.yeyecao| 国产成人无码久久精品| 天堂国产AV| 麻豆AV短剧| 欧美综合91| 伊人影院综合是一个与深夜成人在线| 亚洲天堂区| 久久久久密臀视频| 综合av影片| 亚洲欧美色图| 99在线精品观看99| 91久久伊人婷婷青青草| 久久久青青草| 亚洲成熟国产精品美女| 国产精品制服丝袜中文字幕日韩一区二区三区 | 欧美亚洲特P| 夜间福利片1000无码| 开心五月婷婷激情| 热久久无毒不卡| 欧美激情性爱视频网站| 九九热免费在线国产视频伊人五月| 国产精品大屁股999| 日本免费专区| 色欲人妻一区二区在线| 精品国产乱码久久| 久久AV无码网址| 麻豆人妻少妇在线免费观看| 久草午夜| 天天干天天插| 天堂av最新电影网| 91操人| 九九九九九九九九九九九蜜桃| 国产精品福利资源在线尤物| 久久99操天天日| 亚洲欧美变态| 久操精品网| 黑人性欧美| 色婷五月天| 一二三卡欧美日韩人妻免费精品| 亚洲成人性爱网站在线播放| 97香蕉人人乳| 久久中文字幕一区不卡| 男插女青青影院| 密乳无码| 蜜臀99久久精品| 亚洲成人网站在线观看| 日本三级精品| 亚洲综合色婷婷| 亚洲色阁| 啊啊啊好湿久久| 日韩人妻有码免费视频| 少妇内射视频| 超碰精品在线| 国产精品久久泡妞网站| 美女露胸露屁股| 北约熟女超碰| 日韩青久久| 婷婷五月天av| 国产精品视屏| 青青草日本中文字幕| hd成人一区二区在线| 偷拍视频青青草在线视频| 一区二区精品更新提醒| 精品少妇人妻av久久免费| 色九色久| 嗯嗯啊啊啊好舒服| 黄片com.| 亚洲a色| 日日夜夜国产综合| 久久久夜夜嗨免费视频| 丝袜足交视频| 亚洲色图美腿丝袜| 小泽玛利亚一二三| 91人妻做a观看视频| 91人人| 二级毛片|