日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

SpringCloud集成RabbitMQ實(shí)戰(zhàn):微服務(wù)異步解耦與消息可靠性保障

SpringCloud集成RabbitMQ實(shí)戰(zhàn):微服務(wù)異步解耦與消息可靠性保障 從實(shí)際項(xiàng)目里摸爬滾打過來的人對(duì)微服務(wù)之間的通信問題應(yīng)該都深有體會(huì)。一個(gè)電商訂單下來要通知庫存服務(wù)扣庫存、通知積分服務(wù)加積分、通知短信服務(wù)發(fā)通知如果全部用 Feign 同步調(diào)用一個(gè)服務(wù)抖動(dòng)整條鏈路就卡死數(shù)據(jù)庫連接池一滿全站跟著雪崩。我在項(xiàng)目里引入 SpringCloud 集成 RabbitMQ 之后這套問題才算真正從根上解決了。這篇就把微服務(wù)場景下使用 RabbitMQ 的完整實(shí)踐過程講清楚從協(xié)議原理、消息可靠性保障、死信隊(duì)列、手動(dòng)確認(rèn)到和 RocketMQ、Kafka 的選型對(duì)比以及我實(shí)際部署和排查問題時(shí)踩過的坑一次性說透。1. 微服務(wù)為什么需要 RabbitMQ核心場景與選型思考1.1 什么場景一定會(huì)用到 RabbitMQ很多新手看完教程會(huì)問我寫個(gè) CRUD 接口直接 HTTP 調(diào)用不就完了為什么非要多加一個(gè)中間件這個(gè)疑問很正常但當(dāng)你面臨下面幾類問題的時(shí)候單純靠同步接口是無解的。第一類是異步解耦。用戶下單后核心鏈路是扣庫存、生成訂單、返回支付鏈接這些必須在幾百毫秒內(nèi)完成。但下單后還要發(fā)短信、發(fā) APP 推送、更新用戶積分、給推薦系統(tǒng)發(fā)行為數(shù)據(jù)這些操作每增加一個(gè)同步調(diào)用接口耗時(shí)就增加幾百毫秒而且積分服務(wù)掛了訂單服務(wù)也得跟著回滾這不合理。把短信推送、積分更新等操作丟進(jìn) MQ訂單接口只需要等隊(duì)列寫入成功耗時(shí)天然降下來下游服務(wù)慢一點(diǎn)甚至臨時(shí)宕機(jī)都不影響主鏈路。第二類是流量削峰。秒殺場景下瞬時(shí) QPS 可能到上萬但數(shù)據(jù)庫只能扛幾百的并發(fā)寫。直接在業(yè)務(wù)代碼里寫數(shù)據(jù)庫瞬間就被打爆。用 MQ 擋在前面請(qǐng)求先全部塞進(jìn)隊(duì)列后端訂單消費(fèi)服務(wù)按自己數(shù)據(jù)庫能承受的速度比如每秒鐘處理 500 條慢慢消費(fèi)削峰填谷的效果立竿見影。這里有一個(gè)關(guān)鍵的定量經(jīng)驗(yàn)我會(huì)先壓測出數(shù)據(jù)庫的寫 TPS 上限再把消費(fèi)者的 prefetch 值設(shè)置成這個(gè) TPS 的一半留一半余量給其他業(yè)務(wù)查詢實(shí)測下來穩(wěn)定得多。第三類是數(shù)據(jù)廣播。微服務(wù)架構(gòu)里一個(gè)用戶下單事件訂單服務(wù)要通知審計(jì)服務(wù)、風(fēng)控服務(wù)、搜索服務(wù)、大數(shù)據(jù)平臺(tái)。如果用 Feign 逐個(gè)調(diào)用每加一個(gè)下游服務(wù)訂單服務(wù)代碼就要改一版。換成 MQ 的 Fanout 交換機(jī)訂單服務(wù)只管往交換機(jī)發(fā)一條消息所有綁定了這個(gè)交換機(jī)的隊(duì)列都能收到自己的副本下游服務(wù)增減完全不影響上游代碼。這種發(fā)布訂閱模型在架構(gòu)演進(jìn)時(shí)價(jià)值極大。一句話講清楚 RabbitMQ 的定位上游只負(fù)責(zé)把消息可靠地發(fā)出去下游按自己的節(jié)奏和需求來消費(fèi)雙方通過隊(duì)列解耦誰出問題都不影響對(duì)方。1.2 選型對(duì)比RabbitMQ 和 RocketMQ、Kafka 怎么選關(guān)于 RabbitMQ、RocketMQ 和 Kafka 的區(qū)別網(wǎng)上說法很多我結(jié)合自己用過的實(shí)際場景給出一個(gè)比較務(wù)實(shí)的看法。首先明確一個(gè)點(diǎn)沒有任何一個(gè) MQ 是絕對(duì)萬能的。先看 RabbitMQ。它是 Erlang 寫的對(duì) AMQP 協(xié)議支持非常完備路由規(guī)則在三種 MQ 里最靈活。社區(qū)認(rèn)知中它的吞吐量上限通常低于 Kafka但單機(jī)幾萬 QPS 對(duì)絕大多數(shù)業(yè)務(wù)系統(tǒng)完全夠用。而且它有一套很成熟的管理控制臺(tái)消息追蹤、隊(duì)列堆積、連接數(shù)監(jiān)控運(yùn)維成本低到驚人中小團(tuán)隊(duì)首選基本不用養(yǎng)專門的 MQ 運(yùn)維。RocketMQ 是阿里開源給 Java 生態(tài)使用的消息隊(duì)列特點(diǎn)是有事務(wù)消息可以保證本地事務(wù)和發(fā)消息的原子性這在支付、轉(zhuǎn)賬場景里很關(guān)鍵。但帶來的問題是部署運(yùn)維重NameServer、Broker、主從同步、Console 一套下來比 RabbitMQ 復(fù)雜不少。Kafka 的定位是日志采集和流處理吞吐量確實(shí)恐怖每秒幾十萬條毫秒級(jí)延遲。但 Kafka 本身不擅長復(fù)雜路由topic 設(shè)計(jì)簡單而且消費(fèi)端要自己維護(hù) offset對(duì)業(yè)務(wù)開發(fā)者來說心智負(fù)擔(dān)明顯更重。數(shù)據(jù)管道、用戶行為日志這種場景用 Kafka 沒問題拿它做訂單業(yè)務(wù)就有點(diǎn)高射炮打蚊子了。在我參與的項(xiàng)目里選型依據(jù)很簡單業(yè)務(wù)消息量日幾百萬級(jí)以下、看重路由靈活性和開發(fā)效率的用 RabbitMQ涉及嚴(yán)格分布式事務(wù)、必須事務(wù)消息兜底的用 RocketMQ海量日志、指標(biāo)數(shù)據(jù)采集秒級(jí)吞吐要求嚇人的用 Kafka。各干各最擅長的別混用。2. 集成前的環(huán)境準(zhǔn)備安裝部署與核心概念2.1 Windows 和 Docker 環(huán)境下的 RabbitMQ 安裝我最早是直接在 Windows 上裝 RabbitMQ 的。這里必須說新手第一次裝十個(gè)有八個(gè)會(huì)卡在 Erlang 版本號(hào)和 RabbitMQ 版本不匹配上。RabbitMQ 對(duì) Erlang 版本有嚴(yán)格對(duì)應(yīng)關(guān)系看一眼官方版本對(duì)照表再下載能避開一大半的坑。裝的時(shí)候先把 Erlang 裝了配好 ERLANG_HOME 環(huán)境變量再裝 RabbitMQ最后裝 rabbitmq_management 插件。命令行窗口用管理員身份運(yùn)行rabbitmq-plugins enable rabbitmq_management裝完訪問http://localhost:15672默認(rèn)賬號(hào) guest / guest 就能進(jìn)管理界面了。但如果你是在云服務(wù)器上部署guest 默認(rèn)只能 localhost 登錄遠(yuǎn)程訪問必須另建賬號(hào)并配置 vhost 權(quán)限。后來圖省事我直接改用 Docker 了是真省心。一條命令依賴全給你裝好docker run -d --name rabbitmq \ -p 5672:5672 -p 15672:15672 \ -e RABBITMQ_DEFAULT_USERadmin \ -e RABBITMQ_DEFAULT_PASSadmin123 \ rabbitmq:3.12-management注意鏡像 tag 一定要帶 management 后綴否則起來的鏡像沒有管理界面插件。我踩過一次坑用的 rabbitmq:3.12 不帶后綴容器起來了 5672 端口通15672 死活不回應(yīng)后來才發(fā)現(xiàn)是鏡像本身沒帶控制臺(tái)插件。2.2 核心概念掃盲交換機(jī)、隊(duì)列、路由鍵的關(guān)系不把 RabbitMQ 的消息模型搞清楚后面寫代碼就是抄模板出了問題不會(huì)排查。這里用生活里的事打比方來理解。想象一個(gè)快遞中轉(zhuǎn)站。生產(chǎn)者就是寄快遞的商家交換機(jī)Exchange就是中轉(zhuǎn)站的調(diào)度臺(tái)隊(duì)列Queue就是快遞員手上的配送單消費(fèi)者就是收快遞的人。商家寄件時(shí)只需要把包裹交給調(diào)度臺(tái)并說清楚目的地調(diào)度臺(tái)根據(jù)他寫的地址把包裹分配到對(duì)應(yīng)的配送單上快遞員按配送單派送收件人接收。這里商家說的目的地在 RabbitMQ 里叫路由鍵Routing Key調(diào)度臺(tái)按什么規(guī)則分配包裹取決于交換機(jī)類型。有三種常用的交換機(jī)Direct 交換機(jī)完全匹配路由鍵精確投遞一對(duì)一的場景最常用Topic 交換機(jī)按通配符模糊匹配比如order.*能匹配order.create和order.cancel適合需要按消息類型分類消費(fèi)的場景Fanout 交換機(jī)不看路由鍵直接廣播給所有綁定的隊(duì)列就像廣播電臺(tái)所有收音機(jī)都能收到。還有一個(gè) Headers 交換機(jī)按消息頭的 key-value 匹配實(shí)際業(yè)務(wù)里用得少我基本不碰。你還要理解Binding這個(gè)概念就是交換機(jī)和隊(duì)列之間建立的那條配送規(guī)則。生產(chǎn)者在綁定交換機(jī)的時(shí)候要同時(shí)指定隊(duì)列名稱和路由鍵。Bean public Binding binding() { return BindingBuilder .bind(orderQueue()) .to(orderExchange()) .with(order.create); }這段話的含義是消息發(fā)到orderExchange這個(gè)交換機(jī)時(shí)如果路由鍵是order.create就進(jìn)入orderQueue這個(gè)隊(duì)列。很多新手把 Queue 上的 name 和 Binding 的 with 混為一談其實(shí)前者是隊(duì)列名后者是路由鍵兩個(gè)概念別搞混了。3. SpringCloud 項(xiàng)目接入從依賴配置到第一個(gè)可靠消息3.1 依賴引入與核心配置項(xiàng)解析在 SpringCloud 項(xiàng)目里集成 RabbitMQ用的是 Spring Boot 的 starter 封裝。基礎(chǔ)依賴就一個(gè)dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-amqp/artifactId /dependency如果項(xiàng)目用的是 SpringCloud 版本管理 BOM不需要額外指定版本號(hào)它會(huì)自動(dòng)匹配兼容版本。這里我說一個(gè)重要經(jīng)驗(yàn)永遠(yuǎn)不要手工指定 spring-boot-starter-amqp 的版本號(hào)讓 SpringCloud BOM 統(tǒng)一管理。我見過一次事故同事手動(dòng)指定版本結(jié)果和當(dāng)前 SpringCloud 版本不兼容消息發(fā)送時(shí) SerializationException 滿天飛查了半天才發(fā)現(xiàn)是版本沖突。application.yml 里核心配置項(xiàng)是這些spring: rabbitmq: host: 127.0.0.1 port: 5672 username: admin password: admin123 virtual-host: / publisher-confirm-type: correlated publisher-returns: true listener: simple: acknowledge-mode: manual prefetch: 50 retry: enabled: true max-attempts: 3 initial-interval: 1000 multiplier: 2 default-requeue-rejected: false逐項(xiàng)講一下這些配置背后的邏輯這是面試官最愛問的點(diǎn)也是實(shí)際線上出問題時(shí)要調(diào)的參數(shù)。publisher-confirm-type: correlated是開啟生產(chǎn)者確認(rèn)發(fā)送端能確知消息是否真正到達(dá)交換機(jī)。消息到達(dá)交換機(jī)后RabbitMQ 會(huì)回調(diào)一個(gè) ConfirmCallback 告訴你發(fā)送成功還是失敗。publisher-returns: true是開啟消息未投遞到隊(duì)列時(shí)的退回機(jī)制也就是消息到了交換機(jī)但沒匹配到任何隊(duì)列RabbitMQ 會(huì)把消息退回給生產(chǎn)者并觸發(fā) ReturnCallback。這兩條加一起才保證從生產(chǎn)者到隊(duì)列這一段不丟消息。acknowledge-mode: manual是手動(dòng) ACK這是線上生產(chǎn)環(huán)境必須的設(shè)置。默認(rèn)的 auto 模式在消費(fèi)者拋出異常時(shí)會(huì)自動(dòng)確認(rèn)消息消息就丟了。手動(dòng)模式把消息確認(rèn)的時(shí)機(jī)交給代碼控制消費(fèi)者處理成功后手動(dòng)調(diào)用 basicAck 告訴 RabbitMQ 可以刪除消息處理失敗時(shí)調(diào)用 basicNack告訴 RabbitMQ 這條消息我沒處理好你看著辦。prefetch是消費(fèi)者每次從隊(duì)列拉取多少條消息到本地緩存。設(shè)太大會(huì)導(dǎo)致消費(fèi)者內(nèi)存被占滿而且某條消息處理時(shí)間過長其他消息一直等在緩存里得不到處理設(shè)太小則吞吐量上不去。我常用的做法是結(jié)合服務(wù)端的線程池大小和業(yè)務(wù)處理耗時(shí)來定處理 50ms 以內(nèi)的消息prefetch 設(shè) 50~100 很合理處理 500ms 以上的消息prefetch 建議壓到 10 以下避免本地積壓太多消息導(dǎo)致內(nèi)存抖動(dòng)。3.2 生產(chǎn)者代碼確認(rèn)回調(diào)與 Return 回退配置只是第一步真正落實(shí)到代碼層面生產(chǎn)者的可靠發(fā)送要這樣寫。我先建一個(gè)配置類注冊(cè)交換機(jī)、隊(duì)列和綁定關(guān)系然后再建發(fā)送消息的 Service。先看交換機(jī)、隊(duì)列與綁定關(guān)系的聲明Configuration public class MqQueueConfig { public static final String ORDER_EXCHANGE order.exchange; public static final String ORDER_QUEUE order.queue; public static final String ORDER_ROUTING_KEY order.create; Bean public DirectExchange orderExchange() { return new DirectExchange(ORDER_EXCHANGE, true, false); } Bean public Queue orderQueue() { return QueueBuilder.durable(ORDER_QUEUE).build(); } Bean public Binding orderBinding() { return BindingBuilder.bind(orderQueue()) .to(orderExchange()) .with(ORDER_ROUTING_KEY); } }這里要留意的細(xì)節(jié)交換機(jī)、隊(duì)列的 durable 參數(shù)都設(shè)為 true代表持久化。這樣 RabbitMQ 重啟后交換機(jī)和隊(duì)列不會(huì)消失。隊(duì)列聲明的時(shí)候我推薦用QueueBuilder.durable().build()這種鏈?zhǔn)綄懛ê罄m(xù)要加 TTL、死信參數(shù)的時(shí)候直接往這個(gè) Builder 上追加即可可讀性比 new Queue(name, true, false, false) 直觀得多。代碼里最好用常量把交換機(jī)名、隊(duì)列名、路由鍵集中管理別在業(yè)務(wù)方法里隨手寫字符串項(xiàng)目大了你根本找不到誰在消費(fèi)誰的消息。然后是發(fā)送消息的核心代碼。我需要讓 RabbitTemplate 在消息確認(rèn)和消息退回時(shí)都留下日志方便排查Service Slf4j public class OrderMessageProducer { private final RabbitTemplate rabbitTemplate; public OrderMessageProducer(RabbitTemplate rabbitTemplate) { this.rabbitTemplate rabbitTemplate; // 消息到達(dá)交換機(jī)的確認(rèn)回調(diào) rabbitTemplate.setConfirmCallback((correlationData, ack, cause) - { if (ack) { log.info(消息發(fā)送成功correlationId {}, correlationData.getId()); } else { log.error(消息發(fā)送失敗correlationId {}, cause {}, correlationData.getId(), cause); } }); // 消息未投遞到隊(duì)列的退回回調(diào) rabbitTemplate.setReturnsCallback(returned - { log.error(消息被退回exchange {}, routingKey {}, body {}, returned.getExchange(), returned.getRoutingKey(), new String(returned.getMessage().getBody())); }); } public void sendOrderMessage(String orderJson) { CorrelationData correlationData new CorrelationData(UUID.randomUUID().toString()); rabbitTemplate.convertAndSend( MqQueueConfig.ORDER_EXCHANGE, MqQueueConfig.ORDER_ROUTING_KEY, orderJson, correlationData ); } }第二個(gè)方法第一步setConfirmCallback通常在構(gòu)造器里執(zhí)行一次就夠了因?yàn)樗侨旨?jí)別的回調(diào)。實(shí)際操作里很多人是在每次 send 方法前回調(diào)設(shè)置一遍也能跑通但沒有必要會(huì)對(duì)后續(xù)排查日志造成一定干擾。注意這里correlationData的 id 我用 UUID 生成目的就是能在回調(diào)日志里精確定位到某一條消息排查線上問題時(shí)特別有用。還有個(gè)細(xì)節(jié)convertAndSend方法發(fā)送字符串的時(shí)候?qū)嶋H走的是 SimpleMessageConverter 默認(rèn)的序列化方式將字符串轉(zhuǎn)成 UTF-8 字節(jié)數(shù)組。如果你直接發(fā)一個(gè) Java 對(duì)象默認(rèn)會(huì)用 JDK 序列化那么消費(fèi)者端也要用 JDK 反序列化類名還要完全一致這對(duì)微服務(wù)之間類共享有很強(qiáng)約束。我自己項(xiàng)目中通常是發(fā)送 JSON 字符串讓每個(gè)微服務(wù)自己反序列化成自己的 DTO避免模塊間強(qiáng)依賴這是微服務(wù)架構(gòu)的基本原則。3.3 消費(fèi)者代碼手動(dòng) ACK 與重試機(jī)制的配合消費(fèi)者這端是坑最多的地方。很多教程里只寫一個(gè)RabbitListener加上RabbitHandler方法執(zhí)行完就算完事了。但真實(shí)生產(chǎn)環(huán)境必須處理消費(fèi)失敗、消息重試、冪等這幾個(gè)問題。先看一個(gè)標(biāo)準(zhǔn)的手動(dòng) ACK 消費(fèi)示例Component Slf4j public class OrderMessageConsumer { RabbitListener(queues MqQueueConfig.ORDER_QUEUE) public void handleOrderCreate(Message message, Channel channel) throws Exception { long deliveryTag message.getMessageProperties().getDeliveryTag(); String body new String(message.getBody(), StandardCharsets.UTF_8); try { log.info(收到訂單消息{}, body); OrderDTO orderDTO JSON.parseObject(body, OrderDTO.class); // 核心業(yè)務(wù)邏輯扣庫存、更新訂單狀態(tài)、記錄日志 orderService.handleOrderCreated(orderDTO); // 業(yè)務(wù)處理成功手動(dòng)確認(rèn) channel.basicAck(deliveryTag, false); } catch (Exception e) { log.error(訂單消息處理失敗deliveryTag {}, deliveryTag, e); // 確認(rèn)是否已處理過 if (isProcessed(orderDTO.getId())) { channel.basicAck(deliveryTag, false); return; } // 處理失敗不重回隊(duì)列轉(zhuǎn)為死信 channel.basicNack(deliveryTag, false, false); } } }手動(dòng) ACK 的三個(gè)方法要搞清楚basicAck(deliveryTag, false)確認(rèn)成功RabbitMQ 刪除這條消息。第二個(gè)參數(shù) false 表示只確認(rèn)當(dāng)前這條消息不批量。basicNack(deliveryTag, false, true)第三個(gè)參數(shù) true 表示重回隊(duì)列注意這非常危險(xiǎn)如果消息本身有問題回到隊(duì)列會(huì)被再消費(fèi)一次然后再次 Nack形成無限循環(huán)消費(fèi)把 CPU 打滿日志刷屏。basicNack(deliveryTag, false, false)不重回隊(duì)列直接丟棄或進(jìn)死信。生產(chǎn)環(huán)境的重試機(jī)制我推薦用 Spring AMQP 自帶的retry配置而不是在消費(fèi)者代碼里自己寫 for 循環(huán)。配置文件里的 retry 參數(shù)組合起來是這樣的邏輯消費(fèi)者處理拋出異常后Spring 會(huì)按initial-interval開始重試每次重試間隔按multiplier倍數(shù)遞增最大嘗試次數(shù)是max-attempts。三次都失敗之后配合default-requeue-rejected: false這條消息才會(huì)被拒絕并投遞到死信交換機(jī)。所以在消費(fèi)者方法內(nèi)部我只需要拋異常就行重試過程交給框架處理代碼更干凈。還有一個(gè)容易忽略的關(guān)鍵點(diǎn)消費(fèi)者方法的冪等性。RabbitMQ 的投遞語義是至少一次也就是說極端情況下消息雖然被消費(fèi)成功了但 ACK 在網(wǎng)絡(luò)傳輸中丟失RabbitMQ 端認(rèn)為消息沒被消費(fèi)會(huì)重投。消費(fèi)者必須保證同一筆訂單消息被消費(fèi)兩次和一次結(jié)果一致。我常用的做法是在訂單表上建一個(gè)order_event_id唯一索引消費(fèi)前先查詢或嘗試插入一條冪等記錄能插入就繼續(xù)業(yè)務(wù)處理插入沖突說明已經(jīng)處理過直接投遞成功 ACK。這也解釋了為什么代碼里要有isProcessed(orderDTO.getId())這個(gè)判斷沒有這一層的系統(tǒng)是不完整的。4. 微服務(wù)實(shí)戰(zhàn)拆解死信隊(duì)列、延遲消息與削峰實(shí)踐4.1 訂單超時(shí)關(guān)閉場景TTL 與死信隊(duì)列組合實(shí)現(xiàn)延遲消息很多人剛接觸 RabbitMQ 時(shí)都聽說過它可以做延遲消息。但 RabbitMQ 本身并沒有直接提供延遲隊(duì)列插件支持實(shí)現(xiàn)延遲消息的經(jīng)典方案是利用死信隊(duì)列 消息 TTL。先解釋什么叫死信。消息在隊(duì)列里處于以下幾種狀態(tài)時(shí)就變成了死信消息被消費(fèi)者拒絕且不重回隊(duì)列消息 TTL 到期未被消費(fèi)隊(duì)列長度達(dá)到上限導(dǎo)致消息被丟棄。死信不會(huì)自己消失如果隊(duì)列配置了死信交換機(jī)RabbitMQ 會(huì)把死信重新投遞到指定的死信交換機(jī)再由死信交換機(jī)路由到對(duì)應(yīng)的死信隊(duì)列。下面的代碼聲明了一個(gè) 30 秒 TTL 的訂單超時(shí)隊(duì)列并綁定了死信交換機(jī)Configuration public class OrderTimeoutMqConfig { public static final String ORDER_DELAY_EXCHANGE order.delay.exchange; public static final String ORDER_DELAY_QUEUE order.delay.queue; public static final String ORDER_DEAD_EXCHANGE order.dead.exchange; public static final String ORDER_DEAD_QUEUE order.dead.queue; // 延遲隊(duì)列消息在這里等 30 秒 Bean public DirectExchange orderDelayExchange() { return new DirectExchange(ORDER_DELAY_EXCHANGE, true, false); } Bean public Queue orderDelayQueue() { return QueueBuilder.durable(ORDER_DELAY_QUEUE) .ttl(30000) .deadLetterExchange(ORDER_DEAD_EXCHANGE) .deadLetterRoutingKey(order.timeout) .build(); } // 死信交換機(jī)與死信隊(duì)列消息過期后到這里 Bean public DirectExchange orderDeadExchange() { return new DirectExchange(ORDER_DEAD_EXCHANGE, true, false); } Bean public Queue orderDeadQueue() { return QueueBuilder.durable(ORDER_DEAD_QUEUE).build(); } Bean public Binding delayBinding() { return BindingBuilder.bind(orderDelayQueue()) .to(orderDelayExchange()) .with(order.delay); } Bean public Binding deadBinding() { return BindingBuilder.bind(orderDeadQueue()) .to(orderDeadExchange()) .with(order.timeout); } }這里有一個(gè)需要特別提醒的隊(duì)列級(jí)別的 TTL 一旦設(shè)置隊(duì)列里的所有消息共享這個(gè)過期時(shí)間。如果你需要在同一個(gè)隊(duì)列中放不同延遲時(shí)間的消息比如訂單超時(shí)關(guān)閉是 30 秒自動(dòng)確認(rèn)收貨是 7 天就不能用隊(duì)列級(jí) TTL需要單獨(dú)建隊(duì)列。隊(duì)列級(jí) TTL 還有個(gè)大坑一條消息只在隊(duì)列頭部被檢查是否過期如果隊(duì)列頭部那條消息的 TTL 很長后面的消息即使 TTL 更短也只能等頭部消息先被消費(fèi)或過期。所以實(shí)際業(yè)務(wù)里不同延遲時(shí)間務(wù)必拆分到不同隊(duì)列。下單時(shí)訂單服務(wù)把訂單號(hào)發(fā)到order.delay.exchange路由鍵order.delay消息進(jìn)入order.delay.queue等待 30 秒。30 秒后消息變?yōu)樗佬磐哆f到order.dead.exchange再路由到order.dead.queue。此時(shí)專門負(fù)責(zé)關(guān)閉超時(shí)訂單的消費(fèi)者從死信隊(duì)列拿到訂單號(hào)查詢訂單狀態(tài)如果還是未支付則改成已超時(shí)關(guān)閉Component Slf4j public class OrderTimeoutConsumer { RabbitListener(queues OrderTimeoutMqConfig.ORDER_DEAD_QUEUE) public void handleTimeout(Message message, Channel channel) throws Exception { long deliveryTag message.getMessageProperties().getDeliveryTag(); String orderId new String(message.getBody(), StandardCharsets.UTF_8); try { log.info(收到訂單超時(shí)消息orderId {}, orderId); orderService.closeTimeoutOrder(orderId); channel.basicAck(deliveryTag, false); } catch (Exception e) { log.error(處理訂單超時(shí)消息失敗orderId {}, orderId, e); channel.basicNack(deliveryTag, false, false); } } }如果你想在消息級(jí)別設(shè)置獨(dú)立的 TTL也可以用MessageProperties的setExpiration方法在發(fā)送時(shí)動(dòng)態(tài)指定。關(guān)于消息級(jí) TTL 有一個(gè)注意點(diǎn)如果同時(shí)設(shè)置了隊(duì)列級(jí) TTL 和消息級(jí) TTL取兩者中較小的值。單條消息過期后并不會(huì)立即變成死信而是要等它排到隊(duì)列頭部時(shí)才會(huì)被判定所以如果你對(duì)延遲精確到秒最好直接建獨(dú)立隊(duì)列不要依賴隊(duì)列里堆多個(gè)不同消息級(jí) TTL 的消息。延遲消息還有更簡單的做法安裝 RabbitMQ 官方延遲消息插件 rabbitmq_delayed_message_exchange但考慮到插件在集群環(huán)境部署的一致性要求團(tuán)隊(duì)需要先聲明是否允許依賴額外插件基于當(dāng)前團(tuán)隊(duì)情況我用 TTL 死信方案零插件、邏輯清晰、可控性強(qiáng)適用于大多數(shù)訂單超時(shí)場景。4.2 秒殺削峰場景限流消費(fèi)與庫存防超賣把 MQ 作為秒殺系統(tǒng)的入口是非常典型的削峰填谷實(shí)踐。用戶點(diǎn)秒殺按鈕后請(qǐng)求直接被網(wǎng)關(guān)丟進(jìn) MQ后端秒殺消費(fèi)者按照自己處理能力慢慢消費(fèi)把瞬時(shí)高并發(fā)轉(zhuǎn)化為均勻的數(shù)據(jù)庫寫入流。這里最核心的一個(gè)坑是庫存防超賣。如果消費(fèi)者每收到一個(gè)秒殺請(qǐng)求就去數(shù)據(jù)庫查一下庫存發(fā)現(xiàn)大于零然后執(zhí)行UPDATE stock SET count count - 1 WHERE goods_id ?。你覺得自己寫對(duì)了但在高并發(fā)下多個(gè)消費(fèi)者線程同時(shí)讀到剩余庫存為 1然后同時(shí)執(zhí)行 UPDATE庫存會(huì)變成負(fù)數(shù)。解決方案是加條件更新讓數(shù)據(jù)庫自己去保證原子性UPDATE stock SET count count - 1 WHERE goods_id #{goodsId} AND count 0;判斷影響行數(shù)如果影響行數(shù)為 1說明扣減成功為 0說明庫存不足或已賣完該請(qǐng)求直接當(dāng)失敗處理。這是最簡單、最不容易出錯(cuò)的高并發(fā)庫存扣減方案比 Java 代碼里加鎖或分布式鎖都可靠得多。Redis 預(yù)扣減當(dāng)然更快但如果第一版還沒引入 Redis用這個(gè) SQL 方案就足夠穩(wěn)妥。MQ 在秒殺場景還有一層重要用途錯(cuò)峰落庫。秒殺請(qǐng)求先寫訂單表創(chuàng)建一條狀態(tài)為待支付的訂單這個(gè)過程是高頻寫支付回調(diào)再更新訂單狀態(tài)為已支付這個(gè)過程是低頻寫。直接把兩層都做成 MQ 異步處理數(shù)據(jù)庫的并發(fā)寫入壓力會(huì)被攤平到整個(gè)秒殺時(shí)段而不是集中在開搶后那幾秒業(yè)務(wù)才能穩(wěn)定運(yùn)行。4.3 消息不丟失從交換機(jī)到隊(duì)列再到消費(fèi)者的三段保障面試?yán)镒畛柕?RabbbitMQ 問題就是怎么保證消息不丟失。這個(gè)問題分三段回答缺一段都不完整。第一段生產(chǎn)者到交換機(jī)。默認(rèn)情況下生產(chǎn)者用convertAndSend發(fā)消息如果發(fā)到了一個(gè)不存在的交換機(jī)消息直接丟失生產(chǎn)者毫無感知。開啟publisher-confirm-type: correlated后RabbitMQ 會(huì)回調(diào)你的 ConfirmCallback告訴你消息有沒有被交換機(jī)接收。需要注意ConfirmCallback 只管到交換機(jī)這一段消息進(jìn)了交換機(jī)但沒找到隊(duì)列它不會(huì)觸發(fā)失敗回調(diào)。第二段交換機(jī)到隊(duì)列。路由器把你的消息匹配到隊(duì)列如果沒匹配上任何隊(duì)列RabbitMQ 默認(rèn)直接丟棄。開啟publisher-returns: true后匹配不到隊(duì)列的消息會(huì)被退回生產(chǎn)者你的 ReturnCallback 會(huì)收到一條 returnedMessage里面能拿到 exchange、routingKey 和消息體適合做告警和重發(fā)。第三段隊(duì)列到消費(fèi)者。隊(duì)列收到消息后如果消費(fèi)者處理完就 ACK 了消息就安全了。但假如消費(fèi)者在 ACK 之前崩潰消息會(huì)重新回到隊(duì)列等待其他消費(fèi)者處理。這種重投的語義就要靠前面說的冪等設(shè)計(jì)來兜底。這三段保障組合起來就是我們常說的消息不丟失的完整鏈路。在實(shí)際工程里我建議消息生產(chǎn)方和消費(fèi)方都以數(shù)據(jù)庫一張消息記錄表作為最終對(duì)賬依據(jù)發(fā)送時(shí)先本地落一條 status PENDING 的記錄收到交換機(jī)確認(rèn)回調(diào)后更新為 SENT然后有個(gè)定時(shí)任務(wù)掃描超過 1 分鐘仍未 SENT 的記錄補(bǔ)發(fā)消費(fèi)方也記錄一條處理狀態(tài)在 T1 或者實(shí)時(shí)對(duì)賬任務(wù)中核對(duì)兩邊的狀態(tài)發(fā)現(xiàn)不一致就走補(bǔ)償處理。這套機(jī)制被稱為對(duì)賬閉環(huán)有了它中間件層面即使出點(diǎn)小問題業(yè)務(wù)數(shù)據(jù)也能最終一致。5. 高頻問題排查實(shí)錄安裝失敗、消費(fèi)阻塞、消息積壓5.1 安裝與啟動(dòng)失敗問題速查我在實(shí)際部署 RabbitMQ 時(shí)遇到的啟動(dòng)失敗問題歸納下來就這么幾類先對(duì)照排查現(xiàn)象常見原因解決辦法Windows 啟動(dòng)服務(wù)后端口 5672 無響應(yīng)Erlang 版本與 RabbitMQ 不兼容對(duì)照官方版本兼容表重新安裝匹配版本Docker 啟動(dòng)后 15672 無法訪問鏡像沒帶 management 插件或端口映射遺漏換用 rabbitmq:3.12-management 鏡像檢查 -p 參數(shù)啟動(dòng)服務(wù)提示 unable to connect to epmdErlang 節(jié)點(diǎn)名或主機(jī)名解析異常檢查 hosts 文件把主機(jī)名映射到 127.0.0.1重新執(zhí)行 rabbitmq-server -detached集群模式下節(jié)點(diǎn)間無法通信cookie 不一致全集群同步 .erlang.cookie 文件并統(tǒng)一權(quán)限Windows 上的坑我最想說的是環(huán)境變量。有一次啟動(dòng)服務(wù)后后臺(tái)日志一直報(bào) VM 啟動(dòng)失敗 的錯(cuò)誤看了半天才發(fā)現(xiàn)是系統(tǒng)環(huán)境變量ERLANG_HOME沒有配置RabbitMQ 服務(wù)管理器拿著空路徑去找 Erlang 運(yùn)行時(shí)自然起不來。另外 Windows 下千萬別裝到帶中文和空格的路徑下也會(huì)遇到莫名的啟動(dòng)問題。5.2 消費(fèi)速度慢與消息積壓排查線上最容易出的一類問題就是管理后臺(tái)看著隊(duì)列瘋狂堆積消息消費(fèi)者服務(wù) CPU 也不高但消息就是消費(fèi)不過來。這塊請(qǐng)求量一大積壓就肉眼可見地增加。先從最常用的手段排查打開 RabbitMQ 管理頁面進(jìn)入 Queue 頁面注意幾個(gè)指標(biāo)Ready是等待消費(fèi)的消息數(shù)量Unacked是已經(jīng)推給消費(fèi)者但還沒確認(rèn)的數(shù)量Consumer count是當(dāng)前消費(fèi)者數(shù)量。如果Unacked很大說明消息已經(jīng)推給消費(fèi)者了但消費(fèi)者程序處理不過來或卡在某個(gè)調(diào)用上如果Unacked很小但Ready很大說明消費(fèi)者拉的速度太慢要考慮 prefetch 和線程數(shù)。程序?qū)用嫦瓤聪M(fèi)者方法有沒有慢調(diào)用。比如扣庫存要調(diào)數(shù)據(jù)庫數(shù)據(jù)庫一條 SQL 慢查詢了 2 秒那么消費(fèi)者線程就被占住 2 秒一分鐘只能處理 30 條隊(duì)列怎么可能不積壓。我一般習(xí)慣先看日志里消費(fèi)者處理單條消息的平均耗時(shí)再查數(shù)據(jù)庫慢 SQL 日志基本能找到問題所在。如果單條消息處理耗時(shí)正常但依然積壓可以調(diào)大concurrency參數(shù)。RabbitListener注解上可以直接指定RabbitListener(queues MqQueueConfig.ORDER_QUEUE, concurrency 10-20)這個(gè)10-20表示初始 10 個(gè)消費(fèi)者線程最大 20 個(gè)根據(jù)隊(duì)列負(fù)載自動(dòng)擴(kuò)容。要注意并發(fā)線程數(shù)不能無限大它受限于數(shù)據(jù)庫連接池大小如果連接池只有 20 個(gè)連接你把消費(fèi)者并發(fā)開到 100數(shù)據(jù)庫連接會(huì)被耗盡連帶其他業(yè)務(wù)接口一起雪崩。我一個(gè)項(xiàng)目里就吃過這個(gè)虧消息積壓太猛我把并發(fā)開到了 50結(jié)果數(shù)據(jù)庫連接池被消費(fèi)者線程全部占滿整個(gè)訂單服務(wù)對(duì)外接口超時(shí)事故級(jí)別從 P2 直接升級(jí)到 P0。后面我定了一條規(guī)矩消費(fèi)者并發(fā)線程數(shù) 數(shù)據(jù)庫連接池最大值的一半留一半給常規(guī) HTTP 業(yè)務(wù)從此再?zèng)]因?yàn)?MQ 消費(fèi)把連接池打爆過。如果消息積壓已經(jīng)非常嚴(yán)重比如積壓了幾百萬條而且這些消息不是最新業(yè)務(wù)產(chǎn)生的我建議用重置隊(duì)列的方式把已有的積壓消息全部清空或者通過死信方式丟棄讓消費(fèi)者只處理新消息避免消費(fèi)者線程長時(shí)間處理舊數(shù)據(jù)而無法及時(shí)響應(yīng)新請(qǐng)求。這在業(yè)務(wù)上要看場景不能一概而論但比死磕把積壓消息全消費(fèi)完往往更符合業(yè)務(wù)連續(xù)性。5.3 手動(dòng)確認(rèn)模式下最容易犯的三個(gè)錯(cuò)誤很多團(tuán)隊(duì)從 auto 模式切到 manual 模式后反而出了更多問題。這里說三個(gè)我見過最多的。第一個(gè)錯(cuò)誤消費(fèi)者方法里鎖沒釋放就拋異常。手動(dòng)確認(rèn)模式下如果你在處理消息時(shí)拿到了分布式鎖然后業(yè)務(wù)邏輯出現(xiàn)異常走了 basicNack但鎖的 finally 釋放代碼沒寫對(duì)鎖就一直被別人持有會(huì)導(dǎo)致后續(xù)所有同類消息都被卡住。處理機(jī)制是始終用 try-finally 包裹鎖釋放邏輯。第二個(gè)錯(cuò)誤對(duì)重試機(jī)制理解不深導(dǎo)致重復(fù)執(zhí)行。配置了 retry 之后Spring 會(huì)在消費(fèi)者方法拋異常時(shí)自動(dòng)重試但同一個(gè)消息的方法會(huì)被執(zhí)行多次。如果你在方法內(nèi)先扣了庫存再拋異常Spring 又會(huì)帶著同一筆訂單重新進(jìn)入方法再扣一次庫存庫存就超賣了。所以只要消費(fèi)者的業(yè)務(wù)操作涉及寫操作就必須先做冪等判斷再執(zhí)行真正的業(yè)務(wù)邏輯。這套先冪等后業(yè)務(wù)的順序是鐵律任何情況下都不能換。第三個(gè)錯(cuò)誤是把 basicNack 的 requeue 參數(shù)一直設(shè)為 true重試兩次后仍失敗繼續(xù)重回隊(duì)列直接死循環(huán)。RabbitMQ 不會(huì)因?yàn)橥粭l消息重投了 N 次就自動(dòng)放棄它如果你在代碼里沒有失敗次數(shù)判斷它會(huì)無限循環(huán)下去。我在消息屬性里加了x-death頭判斷它在消息變成死信時(shí)記錄下被投遞的次數(shù)消費(fèi)的時(shí)候讀取這個(gè)頭一旦大于 3 次直接丟棄不再重投。你可以直接試這個(gè)方案// 在消費(fèi)者中獲取重試次數(shù) Object deathHeader message.getMessageProperties().getHeaders().get(x-death); int retryCount 0; if (deathHeader instanceof List !((List?) deathHeader).isEmpty()) { Map?, ? death (Map?, ?) ((List?) deathHeader).get(0); retryCount ((Number) death.get(count)).intValue(); } if (retryCount 3) { channel.basicAck(deliveryTag, false); log.error(消息重試超過3次丟棄消息{}, body); }5.4 SpringCloud 環(huán)境下的特別注意事項(xiàng)在 SpringCloud 框架下集成 RabbitMQ有一個(gè)配置問題容易被忽略如果項(xiàng)目同時(shí)引入了 SpringCloud Stream那它默認(rèn)會(huì)占用 RabbitMQ 的連接并創(chuàng)建名為binder的交換機(jī)。如果你同時(shí)又用原生RabbitTemplate發(fā)消息會(huì)有兩套連接。配置稍微給錯(cuò)一點(diǎn)就會(huì)出現(xiàn)消息發(fā)到binder交換機(jī)而自己的隊(duì)列收不到的情況。我的經(jīng)驗(yàn)是一個(gè)微服務(wù)內(nèi)要么統(tǒng)一用 SpringCloud Stream 的 StreamListener要么統(tǒng)一用原生 RabbitTemplate RabbitListener不要混用否則排查問題時(shí)要同時(shí)看兩套配置邏輯心智負(fù)擔(dān)翻倍。還有 Nacos 注冊(cè)中心配合使用時(shí)的注意事項(xiàng)。SpringCloud 微服務(wù)通常用 Nacos 做配置中心RabbitMQ 的連接參數(shù)往往也放在 Nacos 配置中動(dòng)態(tài)刷新。如果你把spring.rabbitmq.host、spring.rabbitmq.username等配置寫在 Nacos 里并且開啟了配置動(dòng)態(tài)刷新那么修改密碼后部分情況下需要重建 ConnectionFactory 的實(shí)例否則刷新不生效。我踩過一次配置改了不生效的坑后來排查到是 ConnectionFactory 在應(yīng)用啟動(dòng)時(shí)已經(jīng)緩存了舊連接據(jù)說要顯式調(diào)用 resetConnection于是干脆把 MQ 連接參數(shù)單獨(dú)拆到一個(gè)獨(dú)立的配置文件不經(jīng) Nacos 動(dòng)態(tài)刷新修改時(shí)需要重啟消費(fèi)者服務(wù)這樣反而更可控。最后說一個(gè)比較玄但很實(shí)用的事RabbitMQ 的客戶端連接是有心跳機(jī)制的默認(rèn)心跳時(shí)間是 60 秒。如果你的微服務(wù)部署在不穩(wěn)定的網(wǎng)絡(luò)上經(jīng)常出現(xiàn)消費(fèi)者斷開連接但服務(wù)進(jìn)程也沒有報(bào)錯(cuò)的現(xiàn)象把配置稍微調(diào)一下spring: rabbitmq: requested-heartbeat: 30 connection-timeout: 10000心跳時(shí)間短一點(diǎn)網(wǎng)絡(luò)異常能更快暴露并被客戶端感知到觸發(fā)重連比等到 60 秒超時(shí)再去恢復(fù)業(yè)務(wù)影響要小很多。6. 從入門到落地我的總結(jié)與擴(kuò)展經(jīng)驗(yàn)如果你今天剛接觸 RabbitMQ我的建議是別急著把各種高級(jí)特性堆上去先把一個(gè)最簡單的一對(duì)一隊(duì)列完整跑通生產(chǎn)者發(fā)送一條消息、消費(fèi)者手動(dòng) ACK、關(guān)閉服務(wù)后重啟驗(yàn)證消息還在。然后再一步步加上交換機(jī)路由、確認(rèn)回調(diào)、死信隊(duì)列。這個(gè)遞進(jìn)過程比我見過的任何教程都能幫你建立對(duì) MQ 的整體感知。接下來說幾個(gè)我在真實(shí)項(xiàng)目里積累的細(xì)節(jié)經(jīng)驗(yàn)這些不太容易在官方文檔里看到但很可能會(huì)在關(guān)鍵時(shí)刻幫你少踩一次坑。第一個(gè)經(jīng)驗(yàn)隊(duì)列聲明使用durable但持久化到磁盤的消息存在刷盤延遲。RabbitMQ 默認(rèn)對(duì)持久化消息是異步刷盤極端情況下機(jī)器掉電確實(shí)可能丟極少量數(shù)據(jù)。對(duì)業(yè)務(wù)消息嚴(yán)格丟不起的場景要么對(duì)消息落庫做補(bǔ)償要么用 Lazy Queue。RabbitMQ 3.12 之后新隊(duì)列默認(rèn)就是 Lazy Queue消息直接走磁盤犧牲一點(diǎn)吞吐?lián)Q取接近零丟失的保障對(duì)訂單、支付這類業(yè)務(wù)值得。第二個(gè)經(jīng)驗(yàn)微服務(wù)拆得越細(xì)別讓 MQ 隊(duì)列跟著拆得越碎。我看到有些團(tuán)隊(duì)為了解耦一個(gè)業(yè)務(wù)事件建一個(gè)交換機(jī)、一個(gè)隊(duì)列結(jié)果沒到一個(gè)月控制臺(tái)里幾十個(gè)隊(duì)列沒人說得清誰在用。我的原則是按業(yè)務(wù)域劃分隊(duì)列不按具體方法劃分。訂單域一個(gè)交換機(jī)路由鍵區(qū)分 create、cancel、pay 等動(dòng)作消費(fèi)方各取所需。后續(xù)擴(kuò)展新消費(fèi)者綁定同一個(gè)交換機(jī)即可不用動(dòng)上游代碼。第三個(gè)經(jīng)驗(yàn)死信隊(duì)列不是萬能的垃圾桶。死信隊(duì)列里堆積的消息要設(shè)置監(jiān)控告警。一旦死信隊(duì)列持續(xù)增長說明消費(fèi)者處理業(yè)務(wù)的大量異常未得到解決。我習(xí)慣把死信隊(duì)列的消費(fèi)邏輯做成一個(gè)補(bǔ)償網(wǎng)關(guān)接到消息后先查消息里的業(yè)務(wù)主鍵然后從業(yè)務(wù)庫里查當(dāng)前狀態(tài)能修復(fù)就調(diào)用補(bǔ)償接口確實(shí)無法處理的再落到日志表里人工介入。如果死信隊(duì)列本身沒人管那它最終就變成了一個(gè)消息垃圾桶既占內(nèi)存又掩蓋問題真正的異常被靜靜埋在里面。還有一點(diǎn)是關(guān)于團(tuán)隊(duì)協(xié)作的。MQ 是典型的跨服務(wù)、跨團(tuán)隊(duì)基礎(chǔ)設(shè)施比接口契約更講究規(guī)范。生產(chǎn)者改了路由鍵消費(fèi)者隊(duì)列的綁定不做相應(yīng)修改消息就會(huì)進(jìn)死信。我們項(xiàng)目的做法是在 Git 倉庫里單獨(dú)維護(hù)一份 MQ 消息規(guī)范文檔用表格列出每個(gè)交換機(jī)、每個(gè)路由鍵、每個(gè)隊(duì)列的負(fù)責(zé)人、業(yè)務(wù)含義、消息體格式示例。每次改動(dòng)都需要同步更新這份文檔在代碼評(píng)審上一并檢查。這套流程堅(jiān)持下來之后因?yàn)楦南⒏袷綄?dǎo)致的線上問題驟減。最后想說的是RabbitMQ 雖然上手不難但真正要讓它在微服務(wù)架構(gòu)里穩(wěn)定可靠地跑起來需要把可靠性、冪等性、可觀測性這三件事貫穿始終。消息能發(fā)出去只是工程的下限消息在任何情況下都能不丟不重不積壓才是工程的上限。希望這篇實(shí)踐總結(jié)能幫你在自己的微服務(wù)項(xiàng)目里更穩(wěn)地用好 RabbitMQ。如果后續(xù)有時(shí)間我會(huì)再寫一篇從消費(fèi)端到生產(chǎn)端的鏈路追蹤實(shí)踐講講在消息投遞的全鏈路中如何用 TraceId 串起調(diào)用鏈定位到底是哪一環(huán)拖慢了整個(gè)流程。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
夜夜骑夜夜操| 97免费在线视频在线观看| 丁香六月天| 国产成自自拍在线观看| 97免费视频在线| 日本一级性爱| 小视频玖玖| 亚洲色图大香| 综合欧美色图| 狠狠色丁香| 色诱中文字幕| 日本久久女同性恋视频| 99热| 9久9久| 亚乱色| 亚洲淫色网中文| 美国日韩黄片| 久久国产精品,久久国产| 久草资源在线| 欧亚洲精品有视频| 97干97色| 色天使大香蕉| 国产真乱mangent| 91色综合| 91在线色综合| 黄片免费日韩| 极品粉嫩一区二区| 日本熟女不卡视频| 狠狠图片青青草| 国产在线能看的你懂的| 九九成人精品| 可以免费观看的日韩av毛片| 大屁股熟女一区二区三区| 欧美精品99久久久**| 99国产精品久久久久久久成人热| 大香蕉视频一二三区| 精品福利视频| 午夜乱轮操逼视频免费看| 超碰1024久久| 一区二区三区高清天码| 9久久美女首页| 成人小说视频在线精品欧美| 亚洲性猛交| 日本视频在线观看污污污| 学生妹天天看| 色婷婷狠狠18禁| 东京热免费视频| 久久久久久99999国产精品| 日本五十路熟女一区二区| 91男人天堂网| 男人的天堂在线有码| yw尤物av无码点击进入麻豆| 中文字幕人乱码中文字的预防方法 | 欧洲站一级二级三级h| 亚州操逼图| 亚洲在线A| 污啪啪啪视频| 国产日韩区| 欧美少妇性乱| 婷婷在线精品| 国产传媒1234区| 黄色片,com| 欧美草草| 一区二区三区男女操逼黄色小电影| 国产av激情无码久久天堂| 9长久久精品| 久久免费精彩视频| 艹精品| 亚洲双插| 欧美在线55555| 探花一区在线| 成人免费视瓶| 91精品91久久久久77777| 激情99| 欧美高清18A片| 日日骚精品视频| 日韩啪啪视频| 激情综合网五月婷婷五月天| 成人五级久久| 葡萄牙性视频一二区| 啊啊啊啊啊啊啊好爽不要| 97天天在线| 亚洲中文字幕97久久精品少妇| 国产操逼网站亚洲一级黄色| 人妻丰满熟妇av无码区蜜桃| 色婷婷aV一区二区三区麻豆综合| 97香蕉碰碰人妻国产欧美| 黑人精品XXX一区一二区| 97视频一区| 欧美综合色站| 亚洲熟妇极品| 婷婷伊人网| 亚洲三区视频| 91大神精品长腿在线观看网站| 99re热| 成人网欧美风情| 伊人五月天| 影音先锋日本乱伦| 97精品免费视频网站| 成年人免费观看网站| 校园春色综合色| 黑丝少妇在线观看| 久热婷婷| 色香色欲天天综合网天天来吧 | 国产精品 午夜福利| 九九九九九九免费视频| 九九成人精品| 91熟女综合| 国产天天骚| 大香蕉AV丝袜| 亚洲综合有玛| 色九九九九| 夜夜高潮夜夜爽高清视频一| 久久这里精品国产99丫e6| 婷婷五月天在线观看| 久久久亚洲Av| 天天色,天天干,天天干| 丁香五月天激情综合| 99ri精品| 欧美亚洲日韩人妻在线观看| 999精品乱码| 97色色色综合网站| 久久综合超碰| 蜜臀亚洲综合一二三四区| 操b网站亚洲无码| 人人搡人人肉久久精品| A男人的天堂| 亚洲精品97中文字幕| 国产视频小说| 青青草好吊| 嗯嗯啊啊好疼| 偷拍五区| 男人的天堂VA| 亚洲国产成人精品女人久久久| 深夜视频| 91综合网| 国产精品亚洲一级av第二区| 午夜福利免费福利视频| wwwcaobibi| 久热9| 日韩AV电影网站| 精品蜜乳AV免费观看| 色色毛片| 又大又长又粗又爽又黄| 欧美日韩第一页| 婷婷久久综合| 伊人97色天使| 这里只有97精品| 日本人妻丰满熟妇久久久久久| 日韩在线一区高清在线| 亚欧性爱在线无码| 97精品国产97久久久久久户外免费| 超碰激情808| 91艹逼精品| 亚洲欧美视| 欧美92| 97日韩| 乳欲人妻办公室奶水| 3D污黄视频在线观看| 亚洲欧洲综合视频在线| 秋霞男人网| 国产一级内射无挡观看| 伊人色综合网电影| 国产乱婷婷精品二区三区| 欧美在线啊啊啊| 天天综合网~91| 青娱乐淫乱1314| 国产性爱乱伦AV| 伊人五月天| 国产中文福利| 精品一区二区国产日韩| 日韩操人| av东京热男人的天堂| 中文字幕在线免费观看| 日韩精品一区二区日韩| 综合久久六月久久婷婷| 亚洲射综合网| 99999re| 美女被啪到深处抽搐视频| 性色av蜜臀av色欲aV| 五月天婷婷综合网| 久久成人网站| 成人免费福利网站国产| 欧美性区| 中文字幕 人妻不满 在线视频| 男人网站婷婷| 日韩激情电影中文字幕| www.狠狠干.coom | 日韩一级二级在线| 亚洲色宗合| 亚洲黄网在哪免费看| 亚洲熟妇乱女区二区三区| 亚洲中文字幕一区| 综合久久久久久久综合网| 亚州国产精品乱| 久久久久婷婷精品av电影| 久久亚州精品成人Av无| 97综合国产精品高潮久久| 亚洲天堂资源在线| 久久九九热| 久久性生大片免费观看性| 国产精品免费视频人成| 日韩精品影视| 国产麻豆福利av在线播放| 少妇天堂网络| .精品人妻一区二区三| 五月天婷婷色| 日本不卡一二区| 黄色高清无码无码破解免费暗网| 亚洲电影91| 日本操逼视频不卡直接放| 18一区二区三区| 色五月AV| 国产原创精品| 韩国三级一线观看久| 亚洲色宗合| 婷婷色一区| 日本视频在线中文字幕| 九九热精品免费视频| 青青草公开在线免费不卡视频| 国产无马视频| 玖玖大干人妻| 4399成人黄A片| 亚洲资源网| 亚洲欧美日韩精品久久久一区二区 | 26uuu国产| 韩国毛片一区二区三区| 人人摸人人干人人拍97| 另类欧美| 红杏大香蕉| 外国91| 天天干美少妇一区| 26uuu成人影片| 9999伦理视频| 91动漫操逼视频| 丝袜美腿91| 日本免费二区三区| 欧美真人抽搐一进一出gif| 日本在线激情一区二区三区| 久久亚洲影院一区二区| 国产精品熟女九色九色蜜臀| 操逼操网| 春色91| 欧美亚洲综合色| 亚洲高清视频在线免费观看| 一区二区三区蜜桃成人撸久久东京热| 天天躁日日躁AAAAXXXX国产 | 欧美性夜| 日本三级R| 五十路熟女人妻一区二区在线观看| 蜜桃色色网站视频三区| 九九视频黄色片| 超碰天天操| 另类专区在线观看| 日婷婷| 97精品国产手机| 一块操欧美性爱| 九九九免费视频| 日韩精品三级片长长久久| 亚洲国产激情国产av| 国产精品香蕉| 精久久久| 青青草国产欧美非洲黑人| 婷婷伊人一区| 国产亚洲人妻综合日韩 久久| 亚洲天堂在线怕怕视频| 疯操AV| 91欧美成人色站| 操逼逼福利视频| 97视频免费| 日韩少妇在线视频| 中文字日本乱码| 日韩人妻一区二区精品| 在线人成亚洲视频免费观看| 好涩综合| 人妻少妇久久| 精品久久久久瑟瑟| 日本精品一区二区中文字幕| 免费看黄视频亚洲网站| 日本天堂在线播放| 欧美成人综合| 打av高清| 免费观看欧美日韩操逼视频| 岛国片在线观看视频亚洲| 懂色AV中文| 国产精品一区二区黄片| 伊人网综合在线视频| 亚洲中文字幕在现观看| 超碰色图| 午夜亚洲| 青久久| 久久亚洲不卡| 丁香九月婷婷| 久久婷婷六月综合| 逼操网站| 91亚洲色人| 精品一区二区三区免费古装毛片香港三级日本三级人妇 | 在线观看精品国产免费| 国产传媒av天美传媒在线| 屌妞视频久久久久久久久久久久| 日韩专区数据列表-第3230页-精品国产一区二区三区香蕉 久久99熟女人妻中文字 | 精品传媒在线一区| 欧美色图99| 欧洲站一级二级三级h| 一区二区亚州激情久婷婷欧美| 真实高潮91| 国产av高清版| 少妇蜜汁| 久草综合京东| 日韩在线女优天天干| 超碰免费在线| 夜夜操二区| 久久久久久人| 欧洲精品二区| 亚洲激情视频| 日日不卡av| www.99色| 国产青一二三| 99www.bibizy香蕉资源国产一区二区三区高清| 一牛影视久久久一区二区三区| 国产av尤物| 天无日色综合| 岛国不卡超碰护士AV在线播放| 84YTCOM性无码| 老熟女乱伦片| 先锋色眉乱伦资源| 无码乱人伦中文视频| 在线欧美69V免费观看视频| 欧美十八禁网站| 99自拍视频在线观看| 深夜啪啪啪视频免费| 一区二区精品更新提醒| 欧美性视频二区三区| 色香综合| 精品少妇人妻av久久免费| aⅴ日韩成人电影av在线免费看av大全| 丁香成人五月天| 97在线免费看| 屁股久久久久久久久| 搡老女人老91二区| 国产精品无码av在线| 九九成人| 国产情色第一第二页在线观看| 一卡二卡三卡| 亚洲好看强奸乱伦| 色婷婷丁香五月天| 97超碰免费人人性爱| 哈哈操 大香蕉| 麻豆国产视频精品观看| 色色色热| 好吊爽好吊爽在线视频,中文字幕精品一区二区日本,国产良妇出轨视频在线观看, | www.高清无码诱惑一区.com | 啊灬快c我灬啊灬用力灬啊灬-国产精品性做久久久久久-成人AV | 亚洲熟女乱色一区二区三区| 国产精品熟女乱伦| 性爱AV天堂| 精品78| 日本国产欧美高清在线| 啊好爽受不了无码| 无码粉嫩白虎一线天b区| 国产又猛又粗又爽又黄| 青青草原人妻| 久久久日本电影| 日日操丁香五月天| 丝袜天堂| 天天激清| 性色avv| 97久久久久| 久草免费福利在线播放| 久久超碰、| 亚州性9| 日韩性爱网址| 久久国产999| 国产亚洲欧美每日在线| 青青草日本中文字幕| 干少妇视频| 婷婷五月天色| 亚洲一二三四区| 婷婷伊人网| 一二三卡欧美日韩人妻免费精品| 色呦呦呦在线观看视频| 国产精品密臀网在线观看| 日韩激情电影中文字幕| 欧美男女午夜啪啪| 高清孕妇孕交| 日本天堂网| 久久神马| 少妇毛片久久| 亚洲啪啪视频免费| 75大香蕉| 人人看欧美性爱| 夜夜爽爽夜夜精品视频| 欧美人与性动交a美精品| 国产精品欧美激在线| 久久欲| 北京美女一区二区| 久操网址| 日本精品加勒比海一区| 色婷婷视频| 秘书高跟黑色丝袜国产91在线| 天天色播亚洲综合网站| 男人的天堂久久| 亚洲 日韩 欧美 国产综合体| 色淫网站优优视频| 成人AV素股で擦久久| av网站国产主播在线| 18一区二区三区| 91在线精品一区二区三区| 欧美色图天堂网m| 中国操逼无码| 人妻超碰青青草98| 在线国产探花| 天天综合网91| 亚热日本熟女| 啪啪一区| 乱伦一二三| 天天射夜夜| 狠狠干婷婷| 欧美人妻少妇| 国产青视频| 91强奸乱轮| 亚洲欧美97| 91视频观看网站| 性久久| 精品国产乱码久久久久久久| 少妇免费视频| 日韩在线观看字幕精品| 91这里只有精品| 超碰综合色| 日欧操屄视频| 超碰免费人妻人人| 久久婷婷苹果| 欧美熟女妇同| 99久久9| 中文字幕一二区二三区人妻专区| 午夜亚洲| 国产免费久久精品99re韩国| 99九九精品| 色吧5亚洲| 安微少妇操BBB| 久久久99久9| 爱媛媛久久国产福利| 久久久97| 色悠悠伊人网五月天| 黑人中出21连凳花野真衣| 波多野结衣先锋影音| 熟妇视频一区二区三区在线| 麻豆精品三区视频| 久久亚洲影院一区二区| 51一区二区三区| 亚洲麻豆av一区二区| 黄色成年| 夜夜爽夜夜摸夜夜操免费视频| 在线观看AV不卡| 5月婷婷6月六月丁香| 欧州一区二区三区四区| 婷婷人妻激情| 久欲AV| 无码视频一区二区| 国产视频一区二区在线观看| 操碰91| 亚洲精品日日夜夜52| 无码 黑人一区二区三区| 熟妇人妻精品一区二区| 欧美亚洲韩国视频十五区 | 中文字幕精品区先锋资源| 精品欧美不卡在线播放| 日本不卡二区| 亚洲丝袜少妇在线| 人妻丰满熟妇av无码区蜜桃| 美女爽爽爽刺痛洞洞| 黑人中出21连凳花野真衣| 亚洲成人碰碰| 五月丁香色综合| 精品一区二区成人动漫| 免费在线黄片视频| 青娱乐国产精品| 被男人吃奶很爽的毛片| 91人精品妻入口| 欧美性爽xyxOOOO| 91视频在线观看18| 天天综合网在线观看| 男人天堂2019| 九九九九精| 欧美激情 亚洲色图| 天天综合站| 无卡一区=区| 青青草国产一区二区三区| 91AV天堂| 91熟女视频网| 天天综合网~91| 国产91丝袜 在线播放| 天干天干天干天天做| 97国产中文| 青青草色AV| 日日操夜夜操天天操免费观看麻豆| 97国产|免费| 啊啊啊好大好深| 屁股久久久久久| 中文字幕三四区| 亚洲伊人久久综合97| 国产日韩无码一区二区三区久久区| 成人精品在线免费视频| 婷婷在线视频在线观看| 久久人人舔人人爽舔人人av片| 日韩一级特黄av毛片| 欧美日本国产日韩激情视频| 精品人妻美妇91job| 色色五月婷婷| 天天综合香 ld视频| 国产精品电影推荐| 黑白配性爱AV成| 青青草好吊色| 在线观看免费视频国产| 欧美成va视频网站| 不卡超碰护士AV在线免费播放| 久久精品黄色| 爱妃国产亚洲视频中文字幕| 国产欧美亚洲精品a第2页| 亚州国产精品乱| 精品人妻一区二区三区-国产精品 一个人在线看的黄色电影网站 | 一级免费精品| 亚洲第二页| 免费试看60秒| 密乳AV免费观看| 午夜一区| 欧美视频第二页| 国产精品毛片| 国产精品第一区第一页| 国产日韩欧美三级片| 久久本道| 亚洲色图8| 人妻二区| 99热只有| 久久宗合亚洲| 婷婷伊人五月| 欧美色图天堂在线| 欧洲精品欧洲精品| 欧美成人免费在线观看| 乱伦熟女区| 97色色色综合网站| 男女国产精品| 黄片色区软件| 久久一区,青青青青草视频在线播放| 少妇内射视频| 乱操乱伦AV| 天天做天天爱| 精品二区三四区五电影 | 日韩综合成人免费视频| 男人天堂婷婷五月天校园春色| 国产一级137片内射麻豆| 国产在线精品偷| 日韩不卡码| 97爱爱| 色区久久| 亚洲干B| 欧美日韩性爱无码| 性老妇一区二区三区| 国内伊人久久久久久网站视频| 亚洲制服欧美另类内射| 少妇三P| 极品销魂美女一区二区| 艳美熟妇先锋一二三区| 熟妇人妻精品一区二区| 国产一区二区三区影片| 欧美草草| 色欲日韩欧美在线一区| 色天堂在线观看| 八戒无码国产午夜福利| 久久九七| 91东京热男人的天堂| 久久9 9 9精品| 大奶啊啊好爽 | 色婷婷综合久久久久中文一区二区| 亚洲视频精选| a久久| 欧洲人妻视频| 这里只有精品视频在线| 欧洲综合色| 天天插天天干| 欧美色视| 蜜桃久久久久久| 久久精品国产亚洲5555| 91久久国产综合久久| 夜夜嗨视频| 野狼激情网| 呦呦一区| 青青草大香蕉在线视频| 午夜一级免费毛片| 制服诱惑亚洲一区二区三区在线观看| 人人操肉肉| 男人把坤坤插入女人的下体| 91人妻中文| 超碰9 7女人| 九九综合色| 亚洲精品97| 色诱中文字幕| 精品一区二区综合熟妇| 正宗无毛一线天嫩逼| 亚洲色图欧美色图在线播放| 日韩av在线播放不卡| 色路综合| 自拍盗摄一区| 男人a天堂手机在线版| 舔人妻中文免费视频| 婷婷丁香六月| 久久久久亚洲熟妇熟女| 99re这里| 色色五月天婷婷| 亚洲日韩av专区无码| 日日夜夜噜| 亚洲第一在线视频| 免费a v| 天天内射| julia高潮后不停追击中出| 人人搞人人插人人操| 亚洲精品1区| 丁香婷婷久久| 人人玩人人添人人澡免费| 偷拍亚洲情色| 亚洲熟妇丝袜在线观看| 天天做日日做天天欢。| 欧美在线91| 日韩精品在线观看观看| av2014 日韩在线中文字幕| 日韩亚洲美女一区久久| 午夜影美女日鸡鸡天天视频国产| 国产99999| 天天射夜夜| 精品少妇一区二区三区免费观看| 国产乱色国产精品免费视| 精品无人区麻豆乱码1区2区图片 | www激情| 操操逼视频| 国产精品久久久亚洲第一牛牛_在线观看| 精品久久久久9999| 91色婷婷综合久久中文字幕二区| 日本人妻伦在线中文字幕| 97日韩欧美亚洲| 99精品伊人| 91色碰| 国产精品久久久久无码AV会牛| 操逼操逼操| 强乱老妇中文字幕| 亚洲drav色图| 亚洲自拍另类丝袜综合| 天天天干977| 西西美女视频网| 欧美性猛交美女自慰91| 天天操天天舔| 377p欧洲日本亚洲大胆| 尤物网站91| 天天操天天舔| 96一区二区三区| 加勒比伊人综合| 蜜桃在线观看一区二区三区| 婷婷久草一区二区三区| 亚洲色诱惑| 国产成人免费观看在线视频| 人人妻人人爽 97人人看碰人免费公开视频| 操熟女91| 亚洲综合有码| 日韩无码服务区| 激情小说亚洲视频| 传媒免费一区二区三区| 中文字幕在线观看网页| 久久国产精品一级二级三级| 狠狠色丁香| 强奸xx国产| 中文自拍欧美影视| 午夜欧美女人操逼| 99久久久er直播网址| www.99中文字幕| 日本熟女免费視颖| 国产传媒午夜理伦精品| 日韩熟女操逼| 亚洲无码超碰免费| 四虎国产精品永久入口| 日韩极品无码B| 蜜臀在线免费观看在线免费观看| 综合色图区| 国模限制级电影| 欧美大香蕉卡久久| 91大神电影天堂| 国产青一二三| 爱干爱射网啊啊啊| 国产熟女一区二区丰满| 成人天天看站长推荐| 伊人久久大香线蕉亚洲五月天,青草青草欧美日本一区二区,欧美日产欧美日产国产 | 天天操夜夜嗨| 午夜操逼不卡| 一级黄色性爱A级片| 美女写真| 欧美黄片视频在线观看免费 | 婷婷丁香五月激情啪啪| 色婷婷狠狠18禁| 91人妻爽爽人人做人人澡| 美女超碰978| 亚洲丝袜天堂| 99只有精品| 久久久三区二区一区| 欧美在线电影| 老司机午夜精品视频| 性暴力欧美猛交在线直播| 一区二区三区探花在线观看| 91精品伊人久久久大香线蕉91| 欧美日韩性爱视屏免费看了| 欧美综合自拍成人自拍第二十页| 欧美日韩人人精品| 亚洲凸凹超碰成人| 国内精品久久久久影院亚洲| 婷婷精品视频| 欧美性爱97超碰 | 色色热| 天堂麻豆天美| 久久风骚城市| 日本在线观看网址| 日韩人妻中文视频| 黑丝内射一区二区三区| 2019AV天堂| 熟女高潮精品一区二区| 97爱综合| 人人操人人摸人| 伊人影院在线理论播放 | 日本 成 人 小说 电影 一区二区| 东北老女人的激情视频| 人妻丰满熟妇av无码区蜜桃| 人妻一区二区三区四区视频| 日韩成人性爱AV| 日韩美一区| 91劲爆| av三级电影在线播放| 日本高清_区二区三区| 欧美日不卡| 懂色av中文字幕一区二区三区天美| 九色黄站| 国内自拍 日韩激情 99| 宗合情欲网| 久久精品无码一区二区三区| 97精品熟女少妇一区| 天天流夜夜操| 国产超碰欧美| 久久综合亚洲色1080p| 午夜精品久久久久久久男人的天堂| 97精品综合久久网| 五月天激情小说| 亚洲超碰综合网| 国产无马在线| 男人天堂久久精品| 欧美激情黑人| 久综合国内精品自在自线| 99热这里| 久久成人精品| 欧美日韩日产免费网站看| 日韩免费人妻色情网站| 日韩综合97P| 蜜乳成人AV| 99青草| 可乐操在线| 欧美网站免费| 色阁阁AV综合网| 无码直播久久久| 青青草密桃在线播放| 一区二区播放| 日本欧美亚洲高清在线看| 青青草国产亚洲精品久久| 欧美综合亚洲综合| 久久性爱城| 麻豆a'v电影| 99re公开精品免费视频| 欧美色66| 午夜福利国产欧美日韩夜夜| 婷婷三区| 日韩欧美视频青青| 91欧美少妇| 亚洲黄网在哪免费看| 黄色片G G G| 中文字幕交换人妻| 夜夜爽爽夜夜精品视频| 国产探花日韩援交| 91九九九逼| 精品国产91内射久久| 青青草视频在线观看一区二区| 亚洲中文字幕在现观看| 97久精品| 亚洲精品国语在线播放| 欧美亚综合色图| 日本伦乱九九九综合| 男人的天堂成人的社区| 日日干天天干夜夜爽| 97色色色综合网站| 国产精品蜜臀久久久久无码AV| 亚欧中文字幕在线视频| 草莓精品视频在线免费观看| 日韩欧美偷拍美女视频| 韩国黄片aaaa| 亚洲人妻久久久| AV电影在线播放| 后入式免费视频| 亚洲天堂另类小说男人| 日韩一区二区精彩视频| 动漫av中文| 天美传媒av在线| 牛黄色久午久| 国产熟女无套内射| 北京专精特新企业招聘信息| 欧美一区二区日韩三区| 少妇99| 色综合五月天| 小说区 图片区色 综合区| 日本啊啊啊啊啊视频| 日韩精品在线观看观看| 国产精品对白自产拍| 97天天摸天天碰| 亚洲av综合伊人久久| 青木玲在线不卡| 婷婷综合激情| 伊人网免费视频| AV色五月天| 亚洲精品 大香蕉| 丰满人妻一区二区三区性色| 在线色资源| 97在线国产精品| 黄片色区软件| 久久啊啊| 啊啊啊好大好湿| 色五月av| 一本大道不卡一二三区| 久草看看看| 97日视频| 婷婷亚洲综合| 嗯嗯啊啊好大好爽| www狠狠| 亚洲码在线中文在线观看| 久久精品91| 久久伊人在线五区| 女人被添高潮免费视频| 88xx成人精品视频| 欧美综合色| 啊好爽快点-国产一区二区三区撒尿在线-成人AV| 熟女人妻一区二区三区| 国产兽交视频在线播放| 97伦综合| 亭亭在线资源| 九九热五区| 涩五月婷婷| 亚洲AV操| 国产综合在线视频网站| 777超碰| 色香91| 大香蕉综合久久| 日韩AV电影网站| av婷婷色婷婷色六月| 手机看片日韩人妻| 97在线视频免费| 99草精| 玖玖爱伊人玖玖爱| 欧美日韩婷婷中文| 啊好大好舒服| 中文字幕 人妻不满 在线视频| blacked精品一区国产| CCYY草草影院地址入口| 囯产精品久久久久久久久久二区三区| 色97国产69香蕉| 天堂伊人久久| 日韩精品熟妇| 嗯嗯,啊啊,国产精品| 97色婷婷| 99超级碰免费视频| 日韩AC| 久操视频资源站公开| 97超碰无码网| 天天综合精品| 日本三级韩三级99久久| 综合色色网| 日本日皮视频逼| 91成人久久 | 免费人成?大片在线播放| 日韩精品一区二区日韩| 国产精品露脸在线观看| 亚洲无码国产探花在线观看| 在线视频 亚洲精品| 九九九九精品| 探花精品 一区二区| 在线不欧美| 亚洲丝袜综合| 91老熟女视频| 97九色| 操屄日韩| 国产又色又粗又黄又爽| 国产91av在线播放| 成人无遮挡毛片免费看| 狠狠操官网| 亚洲精品无码成人久久久99| 熟女五十路一区二区三| AV污污污污| 激情久久久| 大香蕉手机视频| 天天插天天插| 九九九九九九亚洲| 中国黑人三级片网站上区| 欧美91在线+|+欧美| 亚洲精品国产av天美传媒| 亚洲资源网| 久久久免费视频18| 深喉吞精| 国语av狠狠色丁香婷婷综合激情| 亚洲色图自拍| 永久电影三级在线观看| 动漫av中文| 欧洲精品久久| 欧美少妇性乱| 久久在线观看免费视频| 日本三级人妻a人妻一在线| 91是天天| 麻豆美女丝袜人妻中文| 欧美极品女人的天堂| 69一区二区| 夜夜操天| 黄色免费一级在线毛片| 免费人人搞97| 一级@啪啪视频| 九九九九九精品十六| 国产精品女久久久久av爽| 热的中文 热的有码 热的国产| 国产精品一区二区三区,亚洲综合 性开放中文AV高清无码免费看 | 夜夜嗨一区二区| 欧美在线电影| 天美传媒国产原创中文字幕亚洲欧美另类| 综合网 欧美| 久久久久久久久久久久久久久乱码| 免费视频在线一区二区不卡| 97视频620| 亚洲美女自拍偷拍视频| 欧美亚洲在线| 91麻豆天美国产欧美| 凹凸视频在线一区二区| 婷婷色网| 国产九九九九九九九九| 日韩99999| 久久这里精品国产99丫e6| 香蕉黄色一级视频| 色情婷婷久久五月天| www.99在线| 东京热男人的天堂| 欧美A√综合网| JIZZJIZZ国产精品喷水| 日韩精品人妻一区二区| 成人日本精品九区| 国产精品无码在线| 999精品女人| 91电影色诱| 欧美成人一区二区三区在线播放| 日本精品一区二区不卡| 精品人妻夜夜草| 伊人影院综合是一个与深夜成人在线| 久草综合网| 97精品一二区| 超碰97导航| 亚洲丝袜色| 成人免费看吃奶视频网站| 女人天堂网| 精品无码久久久| www.91理论| 97久久国产| 亚洲熟久久| 激情文学网伊人| 在线播放一级无码视频| 上床啊啊啊| 中 文字幕一区二区三四 五 区日 日 骚| 美国一区二区免费视频| 99re9| 99爱爱| 欧插网站| 人人摸人人叼| 日本一区二区亚洲综合| 国产精品高朝久久久久久久| 日韩紧密久久| 99ri精品| 隔壁邻居波多野结衣中文字幕| 无套后入双马尾| 麻豆成人av| 午夜天天碰综合视频| 秋霞免费AV| 国产亚洲色停停久久99精品91| 久久精品一区二区三区蜜桃臀| 性色avv| 丁香色五月 97干| 日韩免费看在线黄色片| 国产97免费视频| 国模久久在线| 黄色高清久久无码依人| 九九AV| 欧美系列在线一区二区| 日本熟女不卡视频| 高清视频一区| 大香蕉92| 美腿丝袜高跟网免费视频免费视频| 97五月天| 无码少妇精品一区二区60岁老人| av在线播放国产一区| 国产精品久久久久久久久久久久久久吹| 操淫穴亚洲五月丁香| 自拍盗摄一区| 2020视频1区2区3区| 操逼网站视频漫画国产| 少妇一区二区三区高速| 91色色网站| 9久久精品| 黄站在线免费观看| 久久女同性恋一二区| 久久25| 亚洲欧美一区二区三区在钱蜜桃| 国内自拍 日韩激情 99| 狼狼色丁香久久婷婷综合五月| 极品销魂美女一区二区| 射 色综合| 精品成人av一区二区三区在线| 一线黄色免费性爱片| 白丝被操91| 91久久久亚洲| 干超碰碰熟女| 精品999一区二区| 欧美图片校园春色| 偷拍新久久| 欧美色图在线视频少妇| 黑人精品久久97| 夜夜人妻爽| 日韩啪啪啪视频| 中 文字幕一区二区三四 五 区日 日 骚| 最新一二三区视频| 精品无码久久久| 久久婷婷一区二| 淮穴色AV| 91精品国产综合久久久蜜臀| 欧洲天天在线| 荡小穴在线观看| 国产suv精品一区二区四| 国产精品久久久亚洲一区| 啊啊啊好爽快点啊啊啊嗯嗯| 啊啊啊操一区| 亚码激情| 亚洲精品蜜桃久久久一区二区三区| 久久秀这里有精品| 欧美九九爱| 丝袜狠狠草尤物人妻av91| 这里是精品| 在线综合 亚洲 欧美中文字幕 | 亚洲人精| 青娱乐 成人娱乐在线| 7月婷婷综合| 青青草国产亚洲精品久久| 青青青青草av在线观看| 久久爽爽精品| 91亚洲丝袜| 蜜臀va69| 极品色社| 久艹伊人精品综合在线| 在线观看A啊啊啊| 亚洲综合骚逼| 老鸭窝成人| 97av在线观看| 综合伊人激情| 亚洲第一狼人丝袜美女另类| 亚洲综合精品国产一区| 色综合久久888| 97色冈| 1204av韩国| 国产高清在线自在拍69| 婷婷丁香人妻 | 摸奶性爱视频网站在线免费播放| 国产操伦| 色小视频蜜乳| 日韩三四五区| 91网站18在线| 国产精品69久久久久孕妇欧美| 婷婷国产精品一区二区| 在线免费观看高清无码视频| 一级特黄aaa大片在线观看成人一级片在线观看 | 日韩操p| 欧美日韩性爱无码| 婷婷综合在线| 欧美性后入| 99爱爱| 欧美翘臀视频网站一区二区三区| 亚洲色图欧美一区二区不卡| 99re国产精品视频| 一区二区三区机械有限公司| 天美国产精品| 加勒比伊人综合| 婷婷午夜清品久久久久久久性色视频观| 人人模人人看| 亚洲欧美国产其他二区| 91xingse| 男人天堂 天天射| 天天综合~91| 亚洲精美粉嫩嫩泬在线观看| 九九九午夜| 天操天操夜操夜月操月年年操操| 天天伊人| 欧美性爱中文字幕无线码| 日韩精品99999| 一区二区三区成人| 色与欲影视| 久久亚洲AV无码专区首页| 女优视频第10页| 1.igao73.com 加入收藏 免费专区 国产精品 中文字幕 日韩精品 欧美精品 精彩 | 91爱看| 欧美|91色综合| 久久久久久波多野吉衣高潮| 久久久久久久久久久久色网| 亚川综合视频| 亚州色交| 色五月AV在线| 国产操逼网站亚洲一级黄色| 蜜桃av综合网发布| 大香蕉欧美伊| 美女9118禁| 国语av最新自产拍在线观看| 一道本东京热加勒比一区二区三区| 中文久久96| 国产无码精品久久久久久| 久久久精品成人国产| 神马久久中文字幕| 日躁天天爽爽| 无码视频黄色网战| 亚洲揄拍网| 91亚州| 欧美一级色| 日韩中文9| 国产探花日韩援交| 91丨国产丨白浆| 啊啊啊啊嗯嗯在线久久久| 在线A日本| 色九月综合| 青青草中文字幕| 色人久久| 色哟哟精品1精品2| 成人乱人伦一区二区| 成 人 影视 一区 二区 三区 四区 | 成全在线观看免费观看| 大香蕉宗合网在线| 久久九九久精品国产尤物|国产精品爽黄69天堂A片潘金莲,国产亚洲精品第一综合 | 欧美激情欧美精品| 91综合网站| 亚洲欧洲综合视频在线| 天美传媒av一区二区| 无码精品久久| 福利偷拍视频-中文字幕2019国语完整视频大全-S91AV | 99色婷婷| 超碰97人人乐| 特级毛片特黄久久免费看| 西西美女视频网| PMv在线观看| 亚洲综合春色| 91爱| 2024黄色视频| 青青操青娱乐| 97天天| 男人的天堂2010|