日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

基于Java與Netty構(gòu)建高可靠機(jī)房動(dòng)環(huán)監(jiān)控系統(tǒng):從架構(gòu)設(shè)計(jì)到實(shí)戰(zhàn)避坑

基于Java與Netty構(gòu)建高可靠機(jī)房動(dòng)環(huán)監(jiān)控系統(tǒng):從架構(gòu)設(shè)計(jì)到實(shí)戰(zhàn)避坑 簡(jiǎn)介本資源是一套基于Java開發(fā)的機(jī)房動(dòng)力環(huán)境檢測(cè)系統(tǒng)完整源碼面向高校計(jì)算機(jī)專業(yè)學(xué)生、Java初中級(jí)開發(fā)者及機(jī)房運(yùn)維工程師解決信息化場(chǎng)景下對(duì)供電、溫濕度、空調(diào)、消防、漏水等關(guān)鍵動(dòng)環(huán)參數(shù)實(shí)時(shí)監(jiān)控與異常報(bào)警的實(shí)際需求。壓縮包共66個(gè)文件含56個(gè)Java核心源文件實(shí)現(xiàn)數(shù)據(jù)采集、處理、告警與交互、2個(gè)Kotlin腳本用于輔助功能或輕量任務(wù)、1個(gè)YAML與1個(gè)XML配置文件支撐系統(tǒng)可配置性與擴(kuò)展性、1個(gè)logback.xml日志配置、1個(gè)JAR可執(zhí)行包、1個(gè)Gradle構(gòu)建腳本及Windows批處理部署腳本等整體僅218KB結(jié)構(gòu)緊湊、開箱即用。目前已有527人學(xué)習(xí)下載。讀者可直接導(dǎo)入IDE運(yùn)行掌握典型工業(yè)監(jiān)控類系統(tǒng)的分層架構(gòu)設(shè)計(jì)、多協(xié)議設(shè)備接入模擬、配置驅(qū)動(dòng)開發(fā)模式及Gradle自動(dòng)化構(gòu)建實(shí)踐代碼注釋清晰目錄遵循標(biāo)準(zhǔn)Maven/Gradle布局便于二次開發(fā)與教學(xué)演示。1. 項(xiàng)目緣起從一次深夜告警說起幾年前我還在負(fù)責(zé)一個(gè)中型互聯(lián)網(wǎng)公司的運(yùn)維工作。某個(gè)周五的凌晨?jī)牲c(diǎn)手機(jī)突然被一連串的短信和電話轟炸——核心機(jī)房的溫濕度傳感器集體離線緊接著一臺(tái)核心業(yè)務(wù)服務(wù)器的風(fēng)扇轉(zhuǎn)速告警。團(tuán)隊(duì)在睡夢(mèng)中被驚醒手忙腳亂地遠(yuǎn)程登錄、檢查日志、聯(lián)系IDC值班人員。折騰了近一個(gè)小時(shí)最后發(fā)現(xiàn)只是機(jī)房空調(diào)的某個(gè)區(qū)域控制器因?yàn)楣碳ug假死導(dǎo)致局部溫度升高觸發(fā)了風(fēng)扇告警而傳感器離線則是網(wǎng)絡(luò)交換機(jī)的一個(gè)端口短暫閃斷。雖然是有驚無險(xiǎn)但整個(gè)過程暴露了我們運(yùn)維體系的巨大盲區(qū)對(duì)機(jī)房物理環(huán)境的監(jiān)控嚴(yán)重依賴第三方動(dòng)環(huán)廠商封閉的硬件和笨重的上位機(jī)軟件數(shù)據(jù)不透明、告警不精準(zhǔn)、歷史追溯困難更別提與我們自己的運(yùn)維平臺(tái)如Zabbix、Prometheus進(jìn)行深度集成和自動(dòng)化聯(lián)動(dòng)了。那次事件后我們下定決心要打造一套屬于自己的、輕量、靈活、可深度定制的機(jī)房動(dòng)力環(huán)境監(jiān)控系統(tǒng)。核心要求就幾點(diǎn)第一數(shù)據(jù)采集要準(zhǔn)能兼容市面上常見的智能電表、溫濕度傳感器、漏水感應(yīng)繩等設(shè)備第二告警要快且智能能區(qū)分偶發(fā)抖動(dòng)和真實(shí)故障第三系統(tǒng)要穩(wěn)不能自己成為故障點(diǎn)第四也是最重要的源碼要完全掌握在自己手里能夠根據(jù)業(yè)務(wù)需求隨時(shí)進(jìn)行二次開發(fā)和深度集成。這就是“基于Java語(yǔ)言的機(jī)房動(dòng)環(huán)檢測(cè)系統(tǒng)”這個(gè)項(xiàng)目最原始的驅(qū)動(dòng)力。它不是學(xué)院派的課程設(shè)計(jì)而是從真實(shí)的運(yùn)維痛點(diǎn)里長(zhǎng)出來的實(shí)戰(zhàn)工具。今天我就把這個(gè)項(xiàng)目的設(shè)計(jì)思路、核心源碼實(shí)現(xiàn)以及踩過的那些“坑”毫無保留地分享出來。無論你是一個(gè)想深入了解工業(yè)數(shù)據(jù)采集的Java開發(fā)者還是一個(gè)苦于現(xiàn)有動(dòng)環(huán)系統(tǒng)不夠靈活的運(yùn)維工程師這篇文章都能給你提供一套從零到一的可落地方案。我們會(huì)繞過那些大而全的商業(yè)套件聚焦于如何用最經(jīng)典的Java技術(shù)棧Spring Boot, Netty, MyBatis構(gòu)建一個(gè)高可靠、易擴(kuò)展的動(dòng)環(huán)數(shù)據(jù)中樞。2. 核心架構(gòu)設(shè)計(jì)分層解耦與數(shù)據(jù)流在動(dòng)手寫代碼之前花時(shí)間在架構(gòu)設(shè)計(jì)上是絕對(duì)值得的。一個(gè)糟糕的架構(gòu)會(huì)讓后續(xù)的擴(kuò)展和維護(hù)變成噩夢(mèng)。我們的核心設(shè)計(jì)思想是“采集與處理分離數(shù)據(jù)與告警分流”。2.1 總體技術(shù)棧選型與考量為什么是Java在物聯(lián)網(wǎng)和嵌入式領(lǐng)域Python和Go似乎更受青睞。但考慮到我們團(tuán)隊(duì)的技術(shù)棧以Java為主且系統(tǒng)對(duì)穩(wěn)定性、多線程并發(fā)處理能力以及后期與企業(yè)內(nèi)部其他Java系統(tǒng)如OA、CMDB集成的便利性要求很高Java生態(tài)的成熟度特別是Spring生態(tài)就成了決定性優(yōu)勢(shì)。具體技術(shù)選型如下后端框架Spring Boot 2.7。沒什么好說的快速構(gòu)建Restful API和后臺(tái)任務(wù)的標(biāo)準(zhǔn)選擇其自動(dòng)配置和starter機(jī)制能極大提升開發(fā)效率。數(shù)據(jù)采集層Netty。這是關(guān)鍵動(dòng)環(huán)設(shè)備通信協(xié)議五花八門Modbus RTU/TCP, SNMP, 自定義TCP等且多為長(zhǎng)連接或短連接請(qǐng)求-響應(yīng)模式。Netty作為高性能的NIO框架完美勝任協(xié)議解析、連接管理、斷線重連等臟活累活比直接用Java Socket或HttpClient要穩(wěn)健得多。數(shù)據(jù)持久化MySQL MyBatis-Plus。關(guān)系型數(shù)據(jù)庫(kù)適合存儲(chǔ)設(shè)備元數(shù)據(jù)、配置信息以及最終聚合后的監(jiān)控?cái)?shù)據(jù)如每分鐘的平均溫度。對(duì)于超高頻的原始采樣數(shù)據(jù)如每秒的電量我們后期引入了時(shí)序數(shù)據(jù)庫(kù)InfluxDB但在項(xiàng)目初期MySQL足夠支撐。緩存Redis。兩個(gè)核心用途1) 作為實(shí)時(shí)數(shù)據(jù)看板的緩存避免前端頻繁查詢數(shù)據(jù)庫(kù)2) 存儲(chǔ)設(shè)備最新的狀態(tài)和讀數(shù)用于快速的告警判斷。消息中間件RabbitMQ。用于實(shí)現(xiàn)核心的“數(shù)據(jù)與告警分流”。采集到的原始數(shù)據(jù)經(jīng)過初步清洗后會(huì)同時(shí)發(fā)送到兩個(gè)隊(duì)列一個(gè)用于持久化存儲(chǔ)data.persist一個(gè)用于實(shí)時(shí)告警分析data.alert。這樣即使告警分析模塊暫時(shí)阻塞或升級(jí)也不會(huì)影響數(shù)據(jù)的落盤。前端Vue 2 Element UI??紤]到快速開發(fā)和美觀選擇了成熟的Vue和Element組合用于展示機(jī)房平面圖、設(shè)備實(shí)時(shí)狀態(tài)、歷史曲線和告警列表。這個(gè)技術(shù)??雌饋聿恍鲁钡F在穩(wěn)定、可控、社區(qū)資源豐富每一個(gè)組件都有大量生產(chǎn)環(huán)境驗(yàn)證能有效降低項(xiàng)目風(fēng)險(xiǎn)。2.2 四層架構(gòu)詳解我們將系統(tǒng)清晰地劃分為四個(gè)層次每一層職責(zé)單一通過明確的接口進(jìn)行通信。第一層設(shè)備接入層 (Device Access Layer)這一層由基于Netty實(shí)現(xiàn)的協(xié)議適配器組成。每個(gè)主流的協(xié)議如Modbus TCP, SNMP V2c都會(huì)實(shí)現(xiàn)一個(gè)獨(dú)立的ProtocolAdapter。它的核心職責(zé)是連接管理維護(hù)與物理設(shè)備或網(wǎng)關(guān)的TCP連接實(shí)現(xiàn)心跳?;?、斷線自動(dòng)重連。協(xié)議解析將設(shè)備的二進(jìn)制或特定格式的響應(yīng)報(bào)文解析成結(jié)構(gòu)化的Java對(duì)象如ModbusHoldingRegister。數(shù)據(jù)封裝將解析后的數(shù)據(jù)封裝成統(tǒng)一的內(nèi)部數(shù)據(jù)模型DeviceData包含設(shè)備ID、點(diǎn)位地址、數(shù)據(jù)值、時(shí)間戳、數(shù)據(jù)質(zhì)量正常、超時(shí)、解析錯(cuò)誤等字段。// 簡(jiǎn)化的統(tǒng)一數(shù)據(jù)模型示例 Data public class DeviceData { private String deviceId; // 設(shè)備唯一標(biāo)識(shí)如“A列空調(diào)-1” private String pointAddress; // 點(diǎn)位地址如“40001”Modbus寄存器地址 private DataType dataType; // 數(shù)據(jù)類型ANALOG模擬量如溫度、DIGITAL數(shù)字量如開關(guān)狀態(tài) private Double value; // 數(shù)值對(duì)于狀態(tài)量可能是0/1 private Long timestamp; // 采集時(shí)間戳 private DataQuality quality; // 數(shù)據(jù)質(zhì)量GOOD, TIMEOUT, PARSE_ERROR private MapString, String tags; // 擴(kuò)展標(biāo)簽如機(jī)房、機(jī)柜位置 }第二層數(shù)據(jù)處理層 (Data Processing Layer)這一層接收來自接入層的DeviceData流。它像一個(gè)流水線包含多個(gè)處理器DataProcessor數(shù)據(jù)清洗器過濾掉質(zhì)量標(biāo)識(shí)為TIMEOUT或PARSE_ERROR的無效數(shù)據(jù)對(duì)跳變異常的數(shù)據(jù)進(jìn)行平滑處理例如1秒內(nèi)溫度變化超過10度視為傳感器異常予以丟棄或標(biāo)記。單位轉(zhuǎn)換器將原始值轉(zhuǎn)換為業(yè)務(wù)值。例如Modbus采集的寄存器值可能是0-65535對(duì)應(yīng)溫度-20~80度這里就需要進(jìn)行線性換算業(yè)務(wù)值 (原始值 / 65535) * 100 - 20。數(shù)據(jù)分發(fā)器這是核心。清洗轉(zhuǎn)換后的數(shù)據(jù)會(huì)被復(fù)制兩份分別投遞到RabbitMQ的data.persist和data.alert隊(duì)列。這里使用fanout交換器可以輕松實(shí)現(xiàn)一對(duì)多廣播未來增加新的消費(fèi)者如實(shí)時(shí)大屏模塊也非常方便。第三層數(shù)據(jù)存儲(chǔ)與告警層 (Storage Alert Layer)這一層是異步的由消息隊(duì)列的消費(fèi)者驅(qū)動(dòng)。存儲(chǔ)消費(fèi)者從data.persist隊(duì)列消費(fèi)數(shù)據(jù)進(jìn)行聚合后批量插入MySQL。我們不會(huì)存儲(chǔ)每秒的原始數(shù)據(jù)而是每分鐘計(jì)算一次平均值、最大值、最小值存入metric_history表。原始高頻數(shù)據(jù)如需存儲(chǔ)會(huì)寫入InfluxDB。告警消費(fèi)者從data.alert隊(duì)列消費(fèi)數(shù)據(jù)加載該設(shè)備點(diǎn)位的告警規(guī)則如溫度 28度持續(xù)5分鐘UPS負(fù)載率 85%進(jìn)行實(shí)時(shí)判斷。告警引擎需要支持豐富的規(guī)則條件閾值、持續(xù)時(shí)間、變化率等。觸發(fā)告警后會(huì)生成告警事件存入數(shù)據(jù)庫(kù)并通過配置的渠道釘釘、短信、郵件通知相關(guān)人員。第四層應(yīng)用接口層 (Application Interface Layer)基于Spring Boot提供的RESTful API為前端提供數(shù)據(jù)查詢、設(shè)備管理、告警配置、歷史曲線查詢等服務(wù)。同時(shí)這一層也提供一些管理功能如動(dòng)態(tài)加載新的協(xié)議適配器、手動(dòng)觸發(fā)設(shè)備采集任務(wù)等。通過這樣的分層設(shè)計(jì)系統(tǒng)各模塊之間耦合度極低。例如你想更換數(shù)據(jù)庫(kù)從MySQL到PostgreSQL只需修改存儲(chǔ)消費(fèi)者的實(shí)現(xiàn)想增加一個(gè)MQTT協(xié)議接入只需實(shí)現(xiàn)一個(gè)新的ProtocolAdapter并在配置中啟用即可完全不影響其他模塊。3. 核心源碼實(shí)現(xiàn)Netty協(xié)議適配器與數(shù)據(jù)流轉(zhuǎn)理論講完了我們來看最硬核的部分代碼如何落地。這里重點(diǎn)剖析兩個(gè)最核心的模塊Netty協(xié)議適配器和基于消息隊(duì)列的數(shù)據(jù)流轉(zhuǎn)。3.1 基于Netty的Modbus TCP采集器實(shí)現(xiàn)我們以最常用的Modbus TCP協(xié)議為例。目標(biāo)是實(shí)現(xiàn)一個(gè)穩(wěn)定、支持多設(shè)備并發(fā)采集的客戶端。第一步設(shè)計(jì)連接管理器我們不能為每一個(gè)采集點(diǎn)都創(chuàng)建一個(gè)長(zhǎng)連接那樣資源消耗太大。通常一個(gè)Modbus TCP網(wǎng)關(guān)會(huì)下掛多個(gè)傳感器。因此我們?cè)O(shè)計(jì)一個(gè)ModbusTcpClient類每個(gè)網(wǎng)關(guān)對(duì)應(yīng)一個(gè)客戶端實(shí)例內(nèi)部維護(hù)一個(gè)Netty的Channel。Component Slf4j public class ModbusTcpClient { private EventLoopGroup group; private Bootstrap bootstrap; private Channel channel; private String gatewayIp; private int gatewayPort; private volatile boolean connected false; // 初始化Bootstrap PostConstruct public void init() { group new NioEventLoopGroup(); bootstrap new Bootstrap(); bootstrap.group(group) .channel(NioSocketChannel.class) .option(ChannelOption.TCP_NODELAY, true) .option(ChannelOption.SO_KEEPALIVE, true) .option(ChannelOption.CONNECT_TIMEOUT_MILLIS, 5000) .handler(new ChannelInitializerSocketChannel() { Override protected void initChannel(SocketChannel ch) { ch.pipeline().addLast( new ModbusTcpDecoder(), // 自定義解碼器 new ModbusTcpEncoder(), // 自定義編碼器 new ModbusClientHandler() // 業(yè)務(wù)處理器 ); } }); } // 連接網(wǎng)關(guān) public synchronized void connect(String ip, int port) { if (connected) { return; } this.gatewayIp ip; this.gatewayPort port; try { ChannelFuture future bootstrap.connect(ip, port).sync(); this.channel future.channel(); this.connected true; log.info(ModbusTCP Client connected to {}:{}, ip, port); // 監(jiān)聽連接關(guān)閉觸發(fā)重連 this.channel.closeFuture().addListener(f - { log.warn(Connection to {}:{} lost, attempting to reconnect..., ip, port); connected false; scheduleReconnect(); }); } catch (Exception e) { log.error(Failed to connect to {}:{}, ip, port, e); scheduleReconnect(); } } private void scheduleReconnect() { group.schedule(() - connect(gatewayIp, gatewayPort), 10, TimeUnit.SECONDS); } // 發(fā)送讀取寄存器請(qǐng)求 public CompletableFutureModbusResponse readHoldingRegisters(int slaveId, int startAddr, int quantity) { if (!connected || channel null) { return CompletableFuture.failedFuture(new IllegalStateException(Channel not connected)); } ModbusRequest request new ModbusRequest(slaveId, FunctionCode.READ_HOLDING_REGISTERS, startAddr, quantity); CompletableFutureModbusResponse future new CompletableFuture(); // 將Future暫存在Handler中收到響應(yīng)后完成它 RequestPendingCenter.add(request.getTransactionId(), future); channel.writeAndFlush(request).addListener(f - { if (!f.isSuccess()) { RequestPendingCenter.remove(request.getTransactionId()); future.completeExceptionally(f.cause()); } }); // 設(shè)置超時(shí) group.schedule(() - { if (!future.isDone()) { RequestPendingCenter.remove(request.getTransactionId()); future.completeExceptionally(new TimeoutException(Read holding registers timeout)); } }, 5, TimeUnit.SECONDS); return future; } }關(guān)鍵點(diǎn)1自定義編解碼器Modbus TCP有自己的協(xié)議幀格式MBAP頭PDU。我們需要實(shí)現(xiàn)MessageToMessageDecoder和MessageToMessageEncoder來處理。public class ModbusTcpDecoder extends MessageToMessageDecoderByteBuf { Override protected void decode(ChannelHandlerContext ctx, ByteBuf in, ListObject out) { if (in.readableBytes() 6) { // MBAP頭至少6字節(jié) return; } in.markReaderIndex(); int transactionId in.readUnsignedShort(); int protocolId in.readUnsignedShort(); int length in.readUnsignedShort(); // 后續(xù)字節(jié)長(zhǎng)度 int unitId in.readUnsignedByte(); if (in.readableBytes() length - 1) { // length包含Unit ID in.resetReaderIndex(); return; } // 讀取功能碼和數(shù)據(jù) byte functionCode in.readByte(); byte[] data new byte[length - 2]; // 減去Unit ID和Function Code in.readBytes(data); ModbusResponse response new ModbusResponse(transactionId, unitId, functionCode, data); out.add(response); } }關(guān)鍵點(diǎn)2請(qǐng)求-響應(yīng)的異步匹配Netty是異步的發(fā)送請(qǐng)求和接收響應(yīng)在不同的線程。我們?cè)O(shè)計(jì)了一個(gè)簡(jiǎn)單的RequestPendingCenter用事務(wù)IDtransactionId作為Key將發(fā)送請(qǐng)求時(shí)創(chuàng)建的CompletableFuture暫存起來。當(dāng)解碼器收到響應(yīng)時(shí)根據(jù)響應(yīng)中的事務(wù)ID找到對(duì)應(yīng)的Future并完成它。public class RequestPendingCenter { private static final ConcurrentHashMapInteger, CompletableFutureModbusResponse PENDING_MAP new ConcurrentHashMap(); public static void add(Integer transactionId, CompletableFutureModbusResponse future) { PENDING_MAP.put(transactionId, future); } public static void remove(Integer transactionId) { PENDING_MAP.remove(transactionId); } public static void complete(Integer transactionId, ModbusResponse response) { CompletableFutureModbusResponse future PENDING_MAP.remove(transactionId); if (future ! null) { future.complete(response); } } }關(guān)鍵點(diǎn)3采集任務(wù)調(diào)度有了客戶端我們還需要一個(gè)調(diào)度器來定時(shí)執(zhí)行采集任務(wù)。這里我們使用Spring的Scheduled注解配合一個(gè)線程池避免任務(wù)堆積。Service Slf4j public class DataCollectionScheduler { Autowired private ModbusTcpClient modbusClient; Autowired private DevicePointService pointService; // 獲取需要采集的點(diǎn)位配置 Autowired private DataProcessingPipeline pipeline; // 數(shù)據(jù)處理管道 private final ScheduledExecutorService executor Executors.newScheduledThreadPool(10); Scheduled(fixedDelay 5000) // 每5秒調(diào)度一次實(shí)際采集頻率由任務(wù)自身控制 public void scheduleCollection() { ListDevicePoint points pointService.getActivePoints(); for (DevicePoint point : points) { // 判斷是否到達(dá)該點(diǎn)位的采集周期 if (shouldCollect(point)) { executor.submit(() - collectData(point)); } } } private void collectData(DevicePoint point) { try { CompletableFutureModbusResponse future modbusClient.readHoldingRegisters( point.getSlaveId(), point.getStartAddress(), point.getQuantity() ); future.thenAccept(response - { if (response.isError()) { log.error(Device {} point {} read error: {}, point.getDeviceId(), point.getAddress(), response.getErrorCode()); // 生成一個(gè)質(zhì)量位為ERROR的DeviceData pipeline.process(DeviceData.error(point)); } else { // 解析響應(yīng)數(shù)據(jù)進(jìn)行單位轉(zhuǎn)換等 Double rawValue parseResponse(response, point); Double businessValue convertToBusinessValue(rawValue, point); DeviceData data DeviceData.success(point, businessValue); // 送入處理管道 pipeline.process(data); } }).exceptionally(ex - { log.error(Collection failed for point {}: {}, point.getAddress(), ex.getMessage()); pipeline.process(DeviceData.error(point)); return null; }); } catch (Exception e) { log.error(Submit collection task failed for point {}, point.getAddress(), e); } } }3.2 基于RabbitMQ的數(shù)據(jù)與告警分流數(shù)據(jù)處理管道DataProcessingPipeline的最終步驟是分發(fā)。這是系統(tǒng)高內(nèi)聚低耦合的關(guān)鍵。Component public class DataDispatcher { Autowired private RabbitTemplate rabbitTemplate; public void dispatch(DeviceData data) { // 1. 發(fā)送至持久化隊(duì)列 rabbitTemplate.convertAndSend(amq.fanout, data.persist, data); // 使用fanout交換器路由鍵可忽略 // 2. 發(fā)送至告警分析隊(duì)列 rabbitTemplate.convertAndSend(amq.fanout, data.alert, data); log.debug(Dispatched data for device {}, point {}, data.getDeviceId(), data.getPointAddress()); } }存儲(chǔ)消費(fèi)者示例Component Slf4j public class DataPersistenceConsumer { RabbitListener(queues queue.data.persist) public void handleMessage(DeviceData data) { // 這里可以進(jìn)行分鐘級(jí)聚合 // 假設(shè)我們有一個(gè)聚合緩存器 Aggregator aggregator.add(data); // Aggregator內(nèi)部會(huì)每分鐘將聚合結(jié)果平均值、最大值等批量寫入MySQL } }告警消費(fèi)者示例Component Slf4j public class AlertAnalysisConsumer { Autowired private AlertRuleService ruleService; Autowired private AlertService alertService; RabbitListener(queues queue.data.alert, concurrency 3) // 啟動(dòng)3個(gè)并發(fā)消費(fèi)者 public void handleMessage(DeviceData data) { if (!DataQuality.GOOD.equals(data.getQuality())) { return; // 非正常數(shù)據(jù)不觸發(fā)告警 } ListAlertRule rules ruleService.getRulesByPoint(data.getDeviceId(), data.getPointAddress()); for (AlertRule rule : rules) { if (rule.evaluate(data)) { // 評(píng)估規(guī)則如判斷閾值、持續(xù)時(shí)間 AlertEvent event new AlertEvent(rule, data); alertService.saveAndNotify(event); // 保存告警事件并發(fā)送通知 } } } }這種設(shè)計(jì)的好處是顯而易見的。某天存儲(chǔ)數(shù)據(jù)庫(kù)需要維護(hù)我們可以臨時(shí)關(guān)閉存儲(chǔ)消費(fèi)者告警功能完全不受影響。同樣告警分析邏輯需要重構(gòu)升級(jí)也可以獨(dú)立部署新版本消費(fèi)者與舊版本并行運(yùn)行一段時(shí)間實(shí)現(xiàn)平滑升級(jí)。4. 實(shí)戰(zhàn)避坑指南穩(wěn)定性與性能調(diào)優(yōu)紙上得來終覺淺絕知此事要躬行。這套系統(tǒng)在線上穩(wěn)定運(yùn)行了幾年期間踩過的坑數(shù)不勝數(shù)。我挑幾個(gè)最有代表性的分享給你希望能幫你繞過這些彎路。4.1 網(wǎng)絡(luò)抖動(dòng)與設(shè)備無響應(yīng)處理工業(yè)網(wǎng)絡(luò)環(huán)境遠(yuǎn)比辦公室復(fù)雜。交換機(jī)重啟、電磁干擾、設(shè)備死機(jī)都會(huì)導(dǎo)致采集失敗。粗暴的超時(shí)和重試可能會(huì)讓系統(tǒng)雪崩???同步阻塞導(dǎo)致的線程池耗盡早期我們使用同步的HttpClient調(diào)用設(shè)備API并設(shè)置了一個(gè)全局的固定大小線程池。某個(gè)設(shè)備故障無響應(yīng)會(huì)導(dǎo)致調(diào)用線程被長(zhǎng)時(shí)間阻塞最終線程池耗盡整個(gè)采集服務(wù)癱瘓。解決方案為每個(gè)設(shè)備或設(shè)備組設(shè)置獨(dú)立的連接和超時(shí)。在Netty客戶端中我們通過ChannelOption.CONNECT_TIMEOUT_MILLIS控制連接超時(shí)通過CompletableFuture的scheduled任務(wù)控制請(qǐng)求超時(shí)。采用異步非阻塞模型。正如我們上面用Netty和CompletableFuture實(shí)現(xiàn)的一個(gè)線程可以管理成百上千個(gè)連接的IO操作資源利用率極高。實(shí)現(xiàn)熔斷機(jī)制。為每個(gè)設(shè)備端點(diǎn)引入一個(gè)簡(jiǎn)單的熔斷器如基于失敗率的CircuitBreaker。連續(xù)失敗N次后熔斷器打開短時(shí)間內(nèi)不再嘗試采集該設(shè)備直接返回失敗并標(biāo)記設(shè)備狀態(tài)為“離線”。每隔一段時(shí)間進(jìn)入“半開”狀態(tài)嘗試一次成功則關(guān)閉熔斷器。這能有效防止反復(fù)重試拖垮系統(tǒng)。// 簡(jiǎn)化的熔斷器實(shí)現(xiàn) public class SimpleCircuitBreaker { private final int failureThreshold; private final long resetTimeout; private int failureCount 0; private long lastFailureTime 0; private State state State.CLOSED; enum State { CLOSED, OPEN, HALF_OPEN } public boolean allowRequest() { if (state State.OPEN) { if (System.currentTimeMillis() - lastFailureTime resetTimeout) { state State.HALF_OPEN; // 進(jìn)入半開狀態(tài)嘗試放行一個(gè)請(qǐng)求 return true; } return false; } return true; // CLOSED 或 HALF_OPEN 狀態(tài)允許請(qǐng)求 } public void recordSuccess() { failureCount 0; state State.CLOSED; } public void recordFailure() { failureCount; lastFailureTime System.currentTimeMillis(); if (state State.HALF_OPEN) { state State.OPEN; // 半開狀態(tài)下失敗再次打開 } else if (failureCount failureThreshold) { state State.OPEN; // 失敗次數(shù)達(dá)到閾值打開熔斷 } } }坑2設(shè)備響應(yīng)緩慢導(dǎo)致的隊(duì)列堆積即使采用了異步如果大量設(shè)備響應(yīng)極慢返回的CompletableFuture也會(huì)在內(nèi)存中堆積最終可能導(dǎo)致OOM。解決方案嚴(yán)格控制每個(gè)設(shè)備的采集超時(shí)時(shí)間。根據(jù)設(shè)備類型設(shè)置不同的超時(shí)如UPS可設(shè)3秒精密空調(diào)可設(shè)5秒。限制并發(fā)采集的任務(wù)數(shù)。使用有界隊(duì)列的線程池ThreadPoolExecutor當(dāng)排隊(duì)任務(wù)過多時(shí)采取拒絕策略如丟棄最老的任務(wù)并記錄日志保證系統(tǒng)不會(huì)崩潰。監(jiān)控關(guān)鍵指標(biāo)。監(jiān)控JVM內(nèi)存、線程池活躍線程數(shù)、任務(wù)隊(duì)列大小。一旦發(fā)現(xiàn)隊(duì)列持續(xù)增長(zhǎng)立即告警可能是某個(gè)網(wǎng)段出現(xiàn)網(wǎng)絡(luò)故障或設(shè)備集體異常。4.2 數(shù)據(jù)一致性告警防抖與狀態(tài)恢復(fù)動(dòng)環(huán)告警最怕“狼來了”。傳感器偶爾的誤報(bào)一個(gè)尖峰脈沖如果直接觸發(fā)告警會(huì)把運(yùn)維人員搞得疲憊不堪???瞬時(shí)抖動(dòng)觸發(fā)誤告警溫度傳感器因?yàn)楦蓴_突然上報(bào)一個(gè)35度的值閾值28度下一秒又恢復(fù)正常。如果不處理就會(huì)產(chǎn)生一條短暫的、無效的告警。解決方案持續(xù)時(shí)間判斷。這是告警引擎必須具備的核心功能。我們不在收到單個(gè)超標(biāo)數(shù)據(jù)點(diǎn)時(shí)立即告警而是啟動(dòng)一個(gè)“持續(xù)時(shí)間計(jì)時(shí)器”。只有當(dāng)超標(biāo)狀態(tài)持續(xù)了預(yù)設(shè)的時(shí)間如5分鐘才真正觸發(fā)告警。在實(shí)現(xiàn)上我們?yōu)槊總€(gè)監(jiān)控點(diǎn)位在Redis中維護(hù)一個(gè)狀態(tài)鍵記錄其連續(xù)超標(biāo)次數(shù)或起始時(shí)間。// 在AlertRule.evaluate方法中實(shí)現(xiàn)持續(xù)時(shí)間判斷 public boolean evaluate(DeviceData data) { if (data.getValue() this.threshold) { String key alert:duration: this.ruleId : data.getDeviceId() : data.getPointAddress(); // 獲取或遞增連續(xù)超標(biāo)次數(shù) Long exceedCount redisTemplate.opsForValue().increment(key); redisTemplate.expire(key, Duration.ofMinutes(10)); // 設(shè)置過期時(shí)間防止垃圾數(shù)據(jù)堆積 if (exceedCount ! null exceedCount this.durationThreshold) { // durationThreshold 如 5 (分鐘) // 觸發(fā)告警 return true; } } else { // 數(shù)據(jù)恢復(fù)正常清除連續(xù)計(jì)數(shù) redisTemplate.delete(key); } return false; }坑4告警恢復(fù)通知遺漏告警觸發(fā)了后來設(shè)備恢復(fù)正常了系統(tǒng)卻“忘記”通知了。運(yùn)維人員可能一直以為問題還在。解決方案實(shí)現(xiàn)告警自動(dòng)恢復(fù)機(jī)制。當(dāng)告警觸發(fā)時(shí)除了生成“告警開始”事件還要在后臺(tái)啟動(dòng)一個(gè)監(jiān)控任務(wù)持續(xù)檢查該點(diǎn)位的狀態(tài)。一旦發(fā)現(xiàn)數(shù)據(jù)恢復(fù)到正常范圍并持續(xù)一段時(shí)間例如2分鐘就自動(dòng)生成一條“告警恢復(fù)”事件并發(fā)送恢復(fù)通知。這樣能形成完整的告警閉環(huán)。4.3 性能與擴(kuò)展性數(shù)據(jù)庫(kù)設(shè)計(jì)與查詢優(yōu)化隨著監(jiān)控點(diǎn)位數(shù)量的增加從幾百到上萬數(shù)據(jù)存儲(chǔ)和查詢的壓力會(huì)急劇上升???MySQL單表數(shù)據(jù)量爆炸歷史查詢緩慢每分鐘一條記錄10000個(gè)點(diǎn)位一天就是1440萬條。幾個(gè)月后單表數(shù)據(jù)量巨大按時(shí)間范圍查詢上周的溫度曲線會(huì)非常慢。解決方案分庫(kù)分表/分區(qū)最直接的方法是對(duì)metric_history表按時(shí)間進(jìn)行分區(qū)如按月分區(qū)或者按機(jī)房進(jìn)行分表。這能大幅提升按時(shí)間范圍查詢的效率。引入時(shí)序數(shù)據(jù)庫(kù)對(duì)于需要高頻存儲(chǔ)和復(fù)雜聚合查詢的場(chǎng)景如每秒采集的電流數(shù)據(jù)需要查詢毫秒級(jí)波動(dòng)MySQL力不從心。我們后期引入了InfluxDB。它的數(shù)據(jù)模型Measurement, Tag, Field, Time天生為時(shí)序數(shù)據(jù)設(shè)計(jì)壓縮率高針對(duì)時(shí)間范圍的聚合查詢性能是MySQL的數(shù)十倍。架構(gòu)演變?yōu)樵几哳l數(shù)據(jù) - InfluxDB分鐘級(jí)聚合數(shù)據(jù)、設(shè)備元數(shù)據(jù)、告警事件 - MySQL。前端數(shù)據(jù)采樣在查詢長(zhǎng)時(shí)間段如一年的歷史曲線時(shí)不可能把幾百萬個(gè)點(diǎn)都返回給前端圖表。需要在后端或數(shù)據(jù)庫(kù)層進(jìn)行降采樣Downsampling。例如查詢一年的數(shù)據(jù)可以按小時(shí)或按天返回最大值、最小值、平均值。InfluxDB內(nèi)置了強(qiáng)大的GROUP BY time()語(yǔ)法來實(shí)現(xiàn)這個(gè)功能???實(shí)時(shí)數(shù)據(jù)看板頻繁查詢數(shù)據(jù)庫(kù)前端大屏每5秒刷新一次如果每次都去查數(shù)據(jù)庫(kù)會(huì)給數(shù)據(jù)庫(kù)造成巨大壓力。解決方案利用Redis緩存實(shí)時(shí)數(shù)據(jù)。在數(shù)據(jù)處理層每當(dāng)一個(gè)點(diǎn)位的清洗轉(zhuǎn)換完成除了發(fā)往消息隊(duì)列也同時(shí)更新到Redis的一個(gè)Hash結(jié)構(gòu)中。Key可以是realtime:device:{deviceId}Field是點(diǎn)位地址Value是最新的數(shù)據(jù)值和時(shí)間戳。前端查詢實(shí)時(shí)數(shù)據(jù)接口時(shí)后端直接從Redis讀取性能極高。// 在DataProcessingPipeline中更新Redis緩存 public void process(DeviceData data) { // ... 清洗轉(zhuǎn)換 ... // 分發(fā)到MQ dispatcher.dispatch(data); // 更新Redis緩存 String key realtime:device: data.getDeviceId(); String field data.getPointAddress(); String value data.getValue() , data.getTimestamp(); redisTemplate.opsForHash().put(key, field, value); redisTemplate.expire(key, Duration.ofMinutes(5)); // 設(shè)置過期防止僵尸設(shè)備數(shù)據(jù)永駐 }5. 從設(shè)計(jì)到部署一個(gè)完整的配置示例最后我們來看一個(gè)從設(shè)備配置到前端展示的完整鏈路讓你對(duì)整套系統(tǒng)的運(yùn)作有個(gè)直觀的感受。假設(shè)我們要監(jiān)控“IDC-01”機(jī)房“A列”的“精密空調(diào)-1”的回風(fēng)溫度。第一步在管理后臺(tái)配置設(shè)備與點(diǎn)位創(chuàng)建設(shè)備設(shè)備IDAC-01-01名稱精密空調(diào)-1協(xié)議Modbus TCPIP192.168.1.100端口502。創(chuàng)建監(jiān)控點(diǎn)位點(diǎn)位地址40001對(duì)應(yīng)Modbus寄存器地址名稱回風(fēng)溫度數(shù)據(jù)類型ANALOG從機(jī)ID1。配置數(shù)據(jù)轉(zhuǎn)換原始值范圍0-65535對(duì)應(yīng)工程值范圍-20.0-80.0攝氏度。配置告警規(guī)則規(guī)則名稱AC-01-01溫度過高條件值 26.0持續(xù)時(shí)間300秒5分鐘告警級(jí)別嚴(yán)重通知渠道釘釘運(yùn)維群。第二步系統(tǒng)自動(dòng)采集與處理調(diào)度器觸發(fā)AC-01-01的采集任務(wù)。ModbusTcpClient向192.168.1.100:502發(fā)送請(qǐng)求[事務(wù)ID][協(xié)議ID][長(zhǎng)度][單元ID1][功能碼03][起始地址40000][寄存器數(shù)量1]。設(shè)備返回響應(yīng)[事務(wù)ID][協(xié)議ID][長(zhǎng)度][單元ID1][功能碼03][字節(jié)數(shù)2][數(shù)據(jù) 0x1388]0x1388十進(jìn)制為5000。解碼器解析響應(yīng)RequestPendingCenter完成對(duì)應(yīng)的Future。采集任務(wù)收到值5000根據(jù)轉(zhuǎn)換公式計(jì)算(5000 / 65535) * 100 - 20 ≈ 56.12度顯然不對(duì)這里就體現(xiàn)了數(shù)據(jù)清洗的重要性。我們的清洗器會(huì)判斷這個(gè)值從之前的20多度跳到56度屬于異常跳變將其標(biāo)記為INVALID并丟棄同時(shí)可能觸發(fā)一條“傳感器數(shù)據(jù)異?!钡脑O(shè)備告警而不是溫度告警。假設(shè)下一分鐘采集到值0x0CE43300計(jì)算得30.04度數(shù)據(jù)質(zhì)量GOOD。生成DeviceData對(duì)象。數(shù)據(jù)進(jìn)入處理管道經(jīng)過清洗通過、單位轉(zhuǎn)換30.04被分發(fā)器投遞到RabbitMQ。存儲(chǔ)消費(fèi)者收到數(shù)據(jù)更新聚合器。告警消費(fèi)者收到數(shù)據(jù)檢查規(guī)則發(fā)現(xiàn)30.04 26.0在Redis中為這個(gè)規(guī)則-點(diǎn)位組合的計(jì)數(shù)器1。第三步告警觸發(fā)與展示連續(xù)5分鐘溫度都超過26度Redis中的計(jì)數(shù)器達(dá)到5。告警引擎觸發(fā)創(chuàng)建一條告警事件存入MySQL狀態(tài)為FIRING。AlertService調(diào)用DingTalkNotifier向預(yù)設(shè)的釘釘群發(fā)送消息“【嚴(yán)重告警】機(jī)房IDC-01設(shè)備精密空調(diào)-1回風(fēng)溫度當(dāng)前30.04℃超過閾值26.0℃持續(xù)時(shí)間5分鐘?!鼻岸隧?yè)面通過WebSocket或定時(shí)輪詢API收到新告警通知在告警列表高亮顯示。運(yùn)維人員看到告警前往機(jī)房檢查發(fā)現(xiàn)空調(diào)設(shè)定溫度被人誤調(diào)高。調(diào)整后溫度開始下降。下一分鐘采集值25.5度告警引擎檢查規(guī)則條件不滿足清除Redis中的計(jì)數(shù)器并檢查是否存在對(duì)應(yīng)的FIRING狀態(tài)告警事件。如果存在則將其狀態(tài)更新為RESOLVED并發(fā)送恢復(fù)通知“【告警恢復(fù)】機(jī)房IDC-01設(shè)備精密空調(diào)-1回風(fēng)溫度已恢復(fù)正常25.5℃。”前端告警列表狀態(tài)更新歷史告警頁(yè)面可以查詢到這次完整的告警事件流。整個(gè)流程從數(shù)據(jù)采集、處理、判斷到通知完全自動(dòng)化形成了閉環(huán)。這套系統(tǒng)將運(yùn)維人員從繁瑣的、被動(dòng)的“消防員”角色中解放出來轉(zhuǎn)變?yōu)橹鲃?dòng)的“預(yù)警員”和“分析師”。它不僅僅是一套代碼更是一套提升運(yùn)維體系韌性和效率的方法論。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
美女啊啊啊啊pc| 校园春色五月天| 一本久久精品中文字| 99国内熟女露脸视频| 九色 蝌蚪 熟女自 | 精品一区二区成人| 夜夜爽77777| 色av中文字幕| 少妇色欲综合网2| 国产粉嫩蜜臀av一区二区三区| 另类图片欧美激情综合| 色色色天美视频| 久久人妻丝袜一区二区三| 欧美日不卡| 欧美日韩国产人人| 综合网 欧美| 国产日韩精品人妻久久久久色欲网站| 日夜啪电影| 亚洲美女 晚间男人天堂 | 国产超碰| 操学生天天| 91日韩网站| av爱爱爱| 久久在线观看免费视频| 国产乱码精品一区二区三区四川| 亚洲精品丝袜| 伊人宅男大香蕉| 亚洲无码超碰免费| 激情网五月天| 欧美国产操逼| 伊人操你| 婷婷色一区| 91熟女少妇| 久久精品国产Aⅴ| 精品伊人久久久大香线蕉小说| 日韩中字av一区| 91综合天天看| 国产精品制服丝袜清纯唯美| 日韩丝袜人妻AV| 精品女同一区| 蜜乳Av成人片网站| 亚洲图片欧美91N| 九九人人操| 97超碰免费人人性爱| 亚洲高清自拍| 丁香激情五月| 亚洲精品人体| 亚洲一区日韩| 人人妻天天做天天爽| 国产精品日韩在线一区| 欧洲精品在线播放| 肏逼视频日本| 麻豆区99999| 后入人妻无码| 日韩午夜啪啪视频| 欧美 综合 亚洲| 亚洲无码视频免费在线观看网址!| 丁香五月自拍| 亚洲AV不卡在线观看尤物| 成人毛片免费| 香一区二区三区| 天天综和| 可以免费看黄片的视频| 精品v1区| 日韩在线欧美精品一区二区| 精品国产一区二区三区av在线资源| 性感美女啊啊啊在线| 欧美伊人久久综合网| 嗯啊免费视频| 欧美综合天天| 偷拍超碰| 中文字幕国产| 国桃视频产巨乳精品一区二区在线| 成人无遮挡毛片免费看| 久草视频制服诱惑| 黄色视频60分钟| 天天日天天射天天干| 欧州一区二区三区四区| 天天操女人| 性一级黄色录像片网站导航| 97天天搞在线| 日韩黄色片子| 99re在线精品78| 亚洲一卡2卡3卡4卡乱码网站| 91黑丝美女| 五月天我淫我色av| 97精品国产精品免费观看| 性饥渴少妇av无码毛片| 97丝袜亚洲在线播放| 国产成人天堂| 999岛国大片| 女生久久网| 婷婷15月天青娱乐| 人妻熟女午夜精品在线| 久久久久骚| 中文字幕熟女人妻丝袜| 欧美色图 人妻| 国产人妖的免费的视频| 青青草字幕AV| 99久久久er直播网址| 大但人体久久久久| 人妻久久久久久| 91美女视频在线观看| 午夜精品99久久久久传媒| 日本精品88888888| 91性生活久久久| 亚洲免费日韩在线一区二区| 亞洲久久直播| 干婷婷综合网| 日本午夜精品理论片A级APP发布| 国产精品69人妻无码久久久| 久久久中文版| 91成人18| 人妻22p| 日韩精品午夜操呦呦不卡影院| 自偷自拍的亚洲视频| 91bbbbbb| 在线啊啊啊啊| 久久久久成人亚洲国产| 狠狠爱综合网| 97硬碰| 人人操我人人干| 欧美亚洲激情一二三| 国产成人精品日本亚洲语言| 强被迫伦姧在线观看无码网站| 高清不卡视频| 99精品欧美一区二区三区桃色| 公司1区2区3区精产精| 2010男人的天堂| 国产精品久久妻无码网站| 国产激情久久| 日本中文字幕一区| 操比国产| 日本一区99| 日韩精彩视频| 免费观看国产不卡av| 久久9亚洲| 福利操逼| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师黑人潮喷一 | 亚洲另类天堂| 青草影院内射高潮| 少妇蜜汁| 日韩精品在线观看网站| 久操操AV电影| 老司机香蕉| 色欲人妻一区二区在线| 青青色在线观看| 蜜屁Av| 丁香五月天堂网| 91伊人久| 日本一区不卡| 色香网| 97看操| 久热免费视频| 天天搞在线综合网| 国内毛片欧美香蕉精品| 免费在线视频97| 久久宗合亚洲| 亚洲不卡av在线| www.色综合| 岛国色情视频在线观看| 国产v亚洲v日韩v欧美v片另类| 国产精品白丝| 8x福利精品第一福利视频导航| 欧洲精品二区| 日本三级韩国三级美三级91| 久久av一级av少妇av高潮| 超碰诱惑| 中文字幕午夜精品久久久| 97超碰色屌| www99热| 色噜噜精品一区二区三| 少妇一级无码精品| 射综合网| 南澳成人一级片在线播放| 欧天美中出| 少妇与黑人高潮在线| www.99视频| 国产CHASE男男GAYGA 毛多色婷婷| 欧美高清18A片| 欧美综色欧| 亚洲熟女少妇免费视频| 精国久久一区二区三区98| 97超碰天天爱天天爱| 日韩三级视频一区二区三区| 国产精品青青草| 五月丁香啪| 亚洲综合五月天| 精品高清牛人盗摄一区二区三区中文字幕A片免费在线观看 | 免费av在线播放二区| 97色在线视频| 97爱综合| 女人综合网| 欧美欧美少妇| 神马麻豆福利院| 超碰97人妻自拍| 亚洲区小说| 久久久内射良家| 嗯,啊。舔我逼| 久操 高清| 国产精品久久久蜜臀| 蜜桃传媒一区二区亚洲| 按摩中文字幕| 91挑色欧美| 一区二区 电影 亚洲| 久久国产精品,久久国产| 青青草在线视频人人想人人上| 日本人体九九九九九九| 欧美日韩国产中文超碰| 国产真乱mangent| 免费岛国一级片| 熟妇综合一区二区三区| 日本人妻中文字幕精品| 伊人网免费视频| 伊人天天久久动态图| 乱伦一二三| 国内精品嫩模A∨私拍小视频| 精品人妻视频入口| 人人看欧美性爱| 国产三级日产三级韩国三级| 伊人久久艹| 丁香五月天激情综合| 婷婷五月天激情网| 人妻少妇精品一区二区三区| 高清不卡视频| 青青草白白色| 精品国产乱码久久久久久日本公司| 蜜桃午夜视频一区二区| 我要去看2个日本美女.com曹逼 | 久久久久婷婷| 啊啊啊操一区| 日韩9999| 伊人久久亚洲中文字幕不卡| 后入福利| 亚洲欧美另类图片| 欧美日韩啪啪电影| 久久九九国产精品| 五月激情天| 久久久噜噜噜久久久| 天天看片天天爽| 综合天天网| 97久久视频| 日本一本一区二区三区四区五区欧美日韩中文字幕 | 欧美强奸乱能| 久久五月份| 中文字幕免费观看| 一卡二卡三卡| 亚洲欧洲日本精品中文a∨| 亚欧性爱无码| 亚洲Av无码成人精品国产| 日本三级中国三级99人妇网站| 亚洲人在线| 2019亚洲男人天堂| 国产精品熟女一区二区三区| 91成人久久 | 欧美顶级黄色大片免费| 国产亚洲在线| 亚洲中文电影| 亚洲小说视频| 91午夜无码| 色色婷婷丁香| 色综合久| 国产白嫩精品久久| 99国产女人| 思思视频免费看网站| 人人妻人人狠人人| 免费看污网站| 久久精品国产99久久,亚洲日韩久久日本一区一区三区 | 久久国产视频性吧| 玖玖草久草99蜜月一区二区三区| 91精品人妻一区二区三区蜜桃| 人人贴人人摸| 五月激情在线| 中文欧丝袜诱惑| 中文字幕99999| 国产精品毛片?v一区二区三区| 色婷网| 磁力99AV| 蜜臀久久99精品久久久久| 日韩欧美中文| 伦在线97| 欧美日韩大香蕉| 丁香五月激情综合| 男人的天堂一区三区| 亚洲人精品久久久喷水| 天天操福利视频综合网站| 在线观看无码三级少妇| 久久综合18p| 另类视频在线| 操屄日韩| 亚洲天堂另类美腿| 久久精品区| 久久社区一区二区三区| 蜜臀精品1区2区| 久久这里只精品| 国产精品无码av在线| 九九九久千久久激情蜜桃在线看 | 九九久久一区二区伦理| 红杏大香蕉| 91色堂| 综合av社区| 久超碰在| 人人操人人肉久久精品| 亚洲开心网| 人妻精品一区二区在线| 91丝袜熟女| 国产精品com| 五月激情小说| 视频在线97| 抽插无码高清一区| 亭亭在线资源| 亚洲无码视频免费在线观看网址!| 9999免费精彩视频| 天欧美在线| 中国一级操逼视频| 色九九九综合| 色欲av一区二区三区蜜芽| 91女人的网站| 思思热国产高清| 精品 码产区一区二-1080P高清在线www-B029AV | 日本色色网| 超碰综合97在线| 久草福利在线资源站| 超碰无码五月97| 人人做天天爱| 亚洲免费97免费| 一级片视频啪啪| 国产亚洲精品A在线观看下载| 高清不卡视频| 国产又猛又粗又爽又黄| 欧美白嫩女HD| 久久亚洲AV无码专区国产精品| 欧洲自拍色图gif在线| 岛国黄| 色超碰综合| 艹精品| 日韩精品怡红院| 国产精品久久久久久久黄无码| 亚洲大胆人体av| 国模无码一区二区三区在线| 91中文字幕在线观看| 成人短视频在线观看| 欧美热图99| 欧美男人一区| 大香蕉一级黄色片久久| 欧美熟妇乱码在线一区| 热无码中文亚洲H一道本一区二区| 夜夜狼人妻| 久久精品 六十路 熟女 欧美| 91网18| 99国产在线 精品 视频| 亚洲清纯唯美| 日韩精品一区二区三区色欲 | 亚一综合久久久久久久久久| 香蕉av一区二区三区| 亚洲 欧美 日韩另类 麻豆| 91丨九色丨东北熟女| 丰满人妻一区二区三区免费| 国产精品熟女AV中文字幕在线播放| 四虎国产精品永久在线囯在线 | 97天天操| 亚洲综合影视| 综合久久久久久久久91| 青青伊人久久| 爱我干综合| 亚洲激情视频| 一牛一区二区三区久久| 亚洲欧洲网站免费观看| 日本不卡二区| 久色99999| 久热这里| 以及麻豆国产入口在线观看免费| 免看60秒涩涩视频| 久久色人体| 中日亚韩免费视频| 日夜精品| 亚洲少妇在线影音| 婷婷综合久久| 香蕉人欧美综合| 91超级碰| 91av一区二区在线观看| 殴美色网| 九热大香蕉| 岛国片在线观看视频亚洲| 蜜臀视频网站| 东方亚洲在线操逼天堂| 激情综合97| 91在线视频观看国产| 蜜桃传媒视频第一区入口在线看| 大香蕉伊人在线成人AV在线观看 | 久操免费电影| 精品国产91久久久久久一区黄无| 自慰白浆在线观看| .精品人妻一区二区三| 人妻喷水| 蜜臀久久在线视频| 91五月天| 伊人久久大香大香线蕉中文 | 亚洲av成人精品一区| 国产第11页| 青青草中文-久久青草精品一区二区三| 五码视频在线观看| 18一区二区三区| 欧美性爱1080p| 在线视频97| 亚洲青青草| 国产精品乱人伊人网| 超碰成人公开| 老熟女综合| 日韩丨制服丨中文|在线| 欧美性爱五月天| 免费的很黄很污的全部视频| A片大香蕉在线| 色原狠狠天天天| 97久久免费| 中文字幕日韩国产传媒欧美精品| 岛国成人av在线播放网址| 日韩一区二区精彩视频| 亚洲图片欧美色| 综合网亚洲1| 10000部十八禁看电影| 理论久久婷婷网 8| 亚洲精品成人激情在线| 手机在线播放国产福利| 国产色产精品在线观看| 青青草好吊色| 亚洲天天自拍| 青青草原香蕉日本Ap| 国产一区在线免费播放| 国产一在线观看| 老熟妇乱轮| 91日韩国产欧美亚洲另类精盘州至城都| 97就爱干| 欧美高清在线| 欧洲大香蕉| 超碰98综合网| 久久久久久中文版| 亚洲男人天堂2012| 日本美女性生活久久久久久久| 天天干天天插| 岛国在线一区二区三区| 亚州免费啪啪视频| 超碰成人公开| 国产极品粉嫩馒头一线天av| 蜜乳AV免费观看| 99亚洲国产精品色一区二区三区| 久久婷婷电影网| 久久男人的天堂| 亚州性色| 久久只有精品| 一起草三级AV电影在线观看 | 亚洲蜜桃V妇女| 久久五月天婷婷丁香中文字幕| 亚洲在线网站| 国产午夜在线观看视频| 亚洲色欲天天天堂色欲网女| 国产在线视频二区| 370p日韩欧美亚洲精品| 日本免费中文字幕在线| 欧美性爱1080p| 男人高清无码一区二区| 欧美日韩国产色图在线| 亚洲天堂 视频你懂的| 亚洲一区日韩| 人妻丝袜无 码视频专区| 一区二区激情国产熟女| 亚码激情| 天天做天天爱天天爽AV| 欧美成人综合| 欧洲大香蕉| 精品国产乱码久久久久久久久久毛片| 中文字幕视频二区| 精品一区二区三区免费古装毛片香港三级日本三级人妇 | 天天爱综合网| 蜜臀在线网站| 男人天堂最新手机版在线青青草| 清纯唯美综合| 人人么人人操| 激情欧美日韩女同久久| 91激情网| 日本亚欧爱爱| 欧美天天综合网| 欧美高清无码免费视频高清版| 国产美女裸体秘 永久无遮挡| 色色香蕉| 99热伊人| 操美女人妻| 亚洲日韩少妇一道本视频| 骚妻少妇精品性色无码四色A V| 无人区高清电影免费观看一区二区三 www.qmcai2.com | 翔田千里AⅤHD无码| 日韩欧美成人性爱在线| 免费精品福利在线观看| 婷婷成人久久久精品| 国产极品久久久| 色97国产69香蕉| 亚洲一区二区三区婷婷| 麻豆国产视频精品观看| 操一区| www.一本大99| 伊人午夜福利视频| 亚洲自拍97| 亚洲AV无码翔田千里网站| 五月天精品| 大学生美女口爆| 老外又粗又长一晚做五次| 国产三级中文有码在线视频| 香蕉在线一区二区三区| 伊人伊人LD| 九九热午夜欧亚国产视频| 亚洲日韩精品一区二区| 日韩综合无码色欲vv| 婷婷亚洲综合| 久久偷拍人| 素人伊尹大香蕉免费下载视频| 久久伊人最新网址视频| 粉嫩不卡一区二区性爱| 久久欧美1卡2卡3| 九9热伊人| 亚洲成成熟女人综合一区二区| 韩国手机不卡无码三级视频| 五月丁香啪啪啪| 亚州春色| 农村女一级毛卡片| 亚洲中文一区二区三区视频| 1区2区3区中文字幕日韩| 亚洲丨在线| 操婢日韩| 97香焦色区| 国产精品一二三| 人妻性爱一区二区| 欧美97爱| av无码精品久久久久| 久久久久9久久久久| 夜夜嗨老熟女AV一区二区三区| 夜夜草天天| 看日韩美女二区三区免费操逼视频 | 飘花国产午夜精品不卡| 黑操B| 欧亚韩国999| 亚洲 小说 欧美 激情 另类| 五月天综合| 黄色一区三区| 370p日韩欧美亚洲精品| 久久久999网站| 久久精品导航| 久久香蕉综合一本到3atv| 超碰性爱97| 97在线免费看视频| 亚洲五码一区二区三区| 蜜桃无码AV一区二区| 116美女午夜| 色图四区| 婷婷久月| 久久超碰天天| 狠狠久久手机视频精品| 中文字幕老熟妇黄色视频| 欧美色老汉| 亚洲成a人片在线观看中文!!!| 久草色悠悠在线视频| 久久久久久久精| 国产无马av| 超碰97综合网| 蜜乳AV网址| 留下AⅤ黄色片| 日韩丝袜高跟制服在线观看| 极品欧美一区二区三区| 男人下部插入女人下部| 在线日韩日本亚洲国产| 99青草| 欧美性第1页| 中文久久爆乳| 久久久久婷婷精品av电影| 综合久久久久久久综合网| 亚洲欧洲久久天堂| 伊人久久综合影院| 亚洲欧美一区二区不卡视频播放 | 成 人片 黄色大片| 欧美熟妇操操视频| 五月婷婷丁香六月丁香| 91九九九馒头| 久久精品国产欧美日韩亚洲欧美日韩中文久久国产一区 | 欧美一级黄色18片免费看| 日噜夜夜夜夜夜夜夜夜夜夜爽爽爽爽爽爽爽爽爽爽爽爽 | 天天综合网~91综合网| 国产高清在线观看欧美| 999九九九九国产动| 国产亚洲中文不卡二区| 精品人妻一二三四区视频| 欧美色性爱| 亚洲综合大片| 国产免费久久久久| 亚洲成成熟女人综合一区二区| 婷婷色综合| 九九热九九| 亚洲国产综合久久久性感熟妇| 久久骚少妇| 吖在线不卡一区二区国产剧情| 青青草啪啪网| 艹比视频国产精品| a啊啊啊啊啊啊啊啊一区二区| 亚洲激情久久| 天天干天天舔| 色踪合AV| 99久久九九| 丰满人妻区一区二区三| 欧洲精品一区二区三区| 天天弄天天操| 青青草中出视频| 日韩一级二级| 亚洲天堂五月天国产| 人人爽人人精品乱人伦AV| 国产精品无套内谢| 国产丁香精品露脸视频| 青青草九九九九九| 91超碰在线| 啊啊啊要高潮了| 91日本在线观看| 久久久亚洲熟妇熟女| 曰本91情色| 亚洲日韩精品在线播放| 国产精品人妻无码久久久互動交流| 青青草白白色| 91free福利| 免费精品无码一级毛片牛牛影视 | 亚洲美女色图| 色综合网1| 狼人狠干| 一直超碰| 92福利社视频| 日韩av不卡在线看| 无人区高清电影免费观看一区二区三 www.qmcai2.com | 色婷婷狠狠| 搡老熟女免费视频| 欧美在线|亚洲| 久热69九色熟妇97| 综合久久六月久久婷婷| 96精品久久久久久久久| 任你干在线视频| 伊人亚洲国产一成人久久精品,久久| 成年人网站在线免费观看| 激情文学亚洲| 熟妇熟女一区二三区| 精品伊人久久久大香线蕉小说| 亚洲欧美高清| 日韩欧美蜜桃精品久久中文字幕久久 | 韩日色费| 超碰吊日色| 欧美91在线+|+欧美| 五月婷婷六月色| 国产一区自拍欧美日韩| 99热官网| 99久久婷婷丁香| 91狠狠综| 超碰97久| 天天综合麻豆视频| 蜜臀AV成人精品蜜臀AV久久| 欧美日韩91| 一起草日韩| 日韩肏逼视频| 国产丝袜一区二区三区| 加勒比海成人视频网| 精品久久久久久亚洲| 玖玖玖玖精品国产剧情| 操婢日韩| 久久精品国产亚洲AV先锋| 97国产精选| 精品国产72| 熟女人妻av在线资源,黄色的资源| 蜜乳AV一区二区三区四| 精品欧美老熟女一二区| 日本黄色精品| 色哟哟av网址| 日日噜噜夜夜久久亚洲一区二区| 亚洲城人男人的天堂| 五月天偷拍| 乱色视频中文字幕| 可以在线观看AV的网站| 国产乱色国产精品免费视| 中日韩久久久免费看| 大香蕉宅男伊人| 炮色五月| 色噜噜狠狠色综合日日| 一起草精品人妻| 欧美经典一区二区三区| 欧美性天天影院| 嗯~啊~快点 死我视频| 黑丝少妇在线观看| 99无码精品| AAA久久| 午夜高清成人在线视频| 思思热影视| 操逼国产免费| 国产一级内射无挡观看| 啊啊啊爽爽| 伊人96在线| 青青操在线亚洲视频观看欧美在线| 久久免费中文字幕在线观看| 91久久久久久久| 自拍偷拍2025在线观看| 午夜理论片在线观看免费| 插穴性爱视频在线观看| 亚洲乱伦图片视频| 伊人久久综合影院| 岛国视频一二三区| 日韩人妻有码免费视频| 日本三级A片网站com| 免费黄色片。| 午夜AV人气不卡| 天天色,天天干,天天干| 成人麻豆av电影网站| 日韩偷拍一区二区三区| 级做a爱无码性色永久免费| 黄片免费视频2019| 中文字幕人成乱码熟女香港| 黄色激情电影在线观看| 精品欧美А∨无码黑人大荫蒂| 亚瑟国产精品久久无码| 无码丰满熟妇一区二区浪潮AV| 看大黄色大片原件| 2019天天干天天操| 91精品国产91久久久久久久久久久久| 中出在线视频| 超碰97人妻自拍| 97色综合中文网| 91精片| 精品三级在线专区| 青娱乐欧美激情一区二区| 日韩欧美操逼xxx| 欧美激情另类一区二区| 国产熟女乱论| 久热婷婷| 久热色情精品| 五十路熟女工口 | 精品亚洲国产成人精品| 亚洲AV成人精品网站在AV| 国产精品99精品视频网站| 久操网址| 综合色播| 夜夜爽妓女| 中文字幕乱碼在线| 婷婷九月国产| 极品色综合| 国产精品成人AV片免费看网站| 一线黄色免费性爱片| 俺去俺来也在线www| 99色热| 九九久久国产精品| 久久久久久裸体| 亚洲色图一区二区三区| 天天爽夜夜爽夜夜爽精| 人人干人人操人人..com| 亚洲精品视频二区| 嫩草伊人久久精品| 骚货 中文字幕 av| 宗合情欲网| 97在线资源| 超碰免费人妻在线| 无码最新| 欧美男人一区| 欧美亚州色的图| 久一区久久蜜桃| 韩日性爱av| 无码又爽又硬又激情免费视频| 少妇被玩视频二三区| 日韩丨制服丨中文|在线| 色欧美亚洲| 国产一级不卡在线观看| 精品人妻伦一二三区久久| 日韩中文字幕av在线播放| 欧美日日人人天天| 成人线上超碰| 国产激情av女片自拍| www.97在线| 国产三级中文字幕粉嫩| 欧美性爽xyxOOOO| 久久精品国产72国产精品福利| 91九久| 啊啊啊不要啊啊受不了了视频在线| 蜜乳av一区二区三区四区不卡| 91综合色| 男人的天堂一区三区| 亚洲av热热色| 九久9精品| 国产精品呦一区二区三区| 天天日B狠狠操| 国产熟女一区二区丰满| 伊人久日| αⅴ天堂| 婷婷伊人一区| 欧美亚洲特P| 午夜男人av| 97视频网站在线观看| 日韩成人精品中文字幕| 欧美性爱一区二区三区四区| 久艹日日日| 亚洲最大网站av| 天天操天天射青青草| AV色女综合| 九色在线熟女国产黑人| 5252色欧美在线| 国产97视频| 日日碰狠狠添天天爽超| silk lablo在线观看一区二区| 97国产人人| www色色com| 国产成人精品午夜福利| 91亚洲欧洲| 视频一区二区三区精品| 欧美一级特黄淫片在线观看| 亚洲综合性感在线| 性爱乱伦视频免费| 欧美少妇色图| 级品肉射| 97视频网站在线观看| 久草午夜| 白丝少妇一区二区| 久久久久久久91| 欧美午夜熟妇黑人精品91| 国产第二页| 久久久久久久久九九久孕交| 亚洲情色中文字幕一区| 国产精品亚洲一级av第二区| 成年人黄色视频免费| 日韩射图| 天天综合91在线| 免费网色网站| 成人性爱全视频观看| 91精品少妇搡搡搡| 97在线青| 少妇超碰在线| 伊人一级免费黄片| 欧美激情精品| 农村妇女一级二级三级视频| 国语精品av| 色色色热| 日本污ww视频网站| 后入合集| 99青青草国产视频| 中文字幕乱在线伦视频中文字幕乱码在线| 欧美大色交| 蜜臀一区二区三区亚洲最新章节在线观看 - 高清蜜臀一区二区三区亚洲全集播放 | 五月天婷婷成人网| 极品美女嘿咻| 色婷婷久久| 在线A日本| 特级丰满少妇一级AAAA爱毛片| 91影库| 伊人五月天| 欧美综合色,www| 涩涩五月天| 鸥美极品| caoni国产亚洲av| 久久久成人免费av电影| 亚洲欧美日韩精品久久久一区二区 | 日本东京热加勒比久久| 国产精品国产| 97最新在线播放视频| 日本在线15p| 欧美国产欧美在线观看| 成功精品影院| 欧美色五月| 影音先锋乱伦资源| 乱抡国产91| www.狠狠操| 91爰爱欧美| 亚洲国产美女久久久久| 国产精品成人无码av| 热久久99999| 少妇久久久| 五月天婷婷久久| 久久久性少妇| 啪啪视频亚洲第一| 久久久9品一区二区三区| 日少妇视频| 亚洲一区中文字幕一区| 亚洲欧美91√| 97伊人| 欧美很很操视频| 超碰97 线线 在现| 动漫片子网站3黄| 国产亚洲精品美女久久久久久2021| 久久视频,这里只有精品| av天堂5| 久久男人的天堂| 日韩99神马视频片| 久久久久九九九| 久久久91| 久热久一区二区三区| 欧美色性爱| 精品对白久久不卡| 久久超碰大香蕉| 亚洲经典啪啪| 精品国产Av无码久久久亚洲| 色综合20p| 日韩黄色一区二区三区| 亚洲欧美日韩偷拍色图| 青娱乐手机日韩在线视频| 丁香五月婷婷啪啪| 欧美性爱日韩高清| 亚洲色棕合| 熟妇高潮一区二区免费视频| 曰本人妻人人澡人人夹| 亚洲做性| 校园春色欧美色图| 中文字幕在线日亚洲9| www国产无码| 后入式999| 久久久久国产亚洲一区欧美色图日韩| 国产日韩手机视频在线| 中文字幕1区2区| 精品乱子一区二区三区99| 久久九色| 亚洲国产精品9999在线观看| 啊啊啊啊好爽好舒服一区二区易域| 欧美曰韩国产精品| 五月丁香综合啪啪| 国产精品盗摄 偷窥盗摄| 婷婷五月天综合网| 亚洲日韩精品久久久久一区壹牛 | 亚洲精品 欧美精品| 日本性爱少妇| 亚洲人成网站7777| 91天堂丝袜美腿| 91成人在线| 国产免费一区二区在线A片视频| 黄片qw| 91精品人妻一区二区三区蜜桃| 色娱乐色呦呦夜夜夜夜av| 欧美极度丰满熟妇hd| 国产成人91一区二区三区| 亚春色色| 日本中文字幕一区| 久久9亚洲| 婷婷丁香六月| 夜间福利片1000无码| 一起草三级AV电影在线观看 | 第二页中文字幕| 色九月| 国产精品久久久久久 百度| 成人精品在线免费视频| 亚洲情色 自拍| 亚洲日韩久久精品一区| 99热精品青草在线| 日韩在线视频1234| 五月天久久久| 一区二区三区 日韩欧美| 91东京热男人的天堂| 中文字幕丰满子伦无码专区在线视频最新 | 日韩成人电影AV| 黄色大香焦1级‘′‘| 51久久夜色精品国产麻豆| 日韩精品在线视频,日韩精品……| 亚洲性综合11| 中文字幕伊人| 天堂射| 久久国产99精品72福利 | 美美91成人国产精品欧美精品久久久久久久| 91久久精品蜜臀| 五月综合色| 婷婷中文网| 国产在线视频二区| 青娱乐淫乱1314| 中文字幕乱妇免费视频| 欧美传媒一区| 日本男人插女人的逼黄色| 亚洲精品 超碰| 国产天天骚| 超碰97欧美在线| 人妻丝袜无 码视频专区| 97啪啪| 日韩午夜啪啪视频| 人人干人人搞人人摸| 中日韩久久久| 国产精品自拍xxxx| 欧美色www亚洲国产阿娇要播| 91青青草| 国产v亚洲v日韩v欧美v片另类| 蜜臀久久99精品久久久| 欧美亚洲图片| 操国产高清| 黄色大片视频在线免费看| 97超碰色| 超碰成人人人爽人人爽| 亚洲一区日韩精品中文字幕| 国产精品人妻无码久久久互動交流 | 欧美三四五区| 蜜桃天美传媒AV一区二区三区| 久久同城AV| 久久久成人精品| 看看日B真人视频| 久久久三区二区一区| 麻豆色99999| 亚洲欧美洲综合| 熟妇一区二区| 一区二区三区国产在线播放| 国产精品人妻无码久久久互動交流| 麻豆三极片| 91精品无码久久久久久久| 久久精品国内Av熟女高清| 国产精品成人久久一区二区三区| 日本狂喷奶水在线播放212| 18禁精品网站在线看| 成人一级性爱| 嗯啊抽插大香蕉网页| 嫩草影院性色| 婷婷色影院| 中文字幕第页| 性久久久| 亚洲精品国产专区在线观看| 2019天天干天天操| 国产亚洲女v在线观看| 黑人操一区二区| 日韩欧美国产高清视频| 午夜男女爽爽爽在线视频| 亚洲 日韩 欧美 国产综合体| 亚洲最大91网| 久草资源在线视频官方总站日韩丝袜美腿 | 色综和网| 久久久96精品| 深夜国产福利| 超碰免费人妻人人| xxx0国产在线播放| 国产强奸乱伦xd| av日韩在线观看电影| 一级特级aaaa毛片免费观看| 欧美色五月| 亚洲欧美天堂在线| 中国的操老妇女| 夜夜高潮夜夜爽夜夜爱爱一区| 国产色图乱伦| 日韩中文字幕人妻视频| 99日韩| 夜夜操av亚洲一区二区| 亚洲精品白丝| 国产熟女一区二区| 国产无马在线| 日本一级二级三级网站| 素人播放一区| 青青草成人视频在线观看二区| 日本2020一区二区| 97无码视频在线播放| 亚洲无码久久久久久久| 蜜臀久久99精品久久综合| 欧美熟妇亚洲版| 亚洲欧美综合图片| 国产无码精品高清| 久久9视频| 激情五月天插| 91蜜桃婷婷狠狠久久综合9色| 亚91亚洲网| 97中文综合| 国产高清吃奶免费视频网站| 大地资源在线观看中文第二页| 亚洲国产欧美日韩人妻日中文| 色www精品视频在线观看| 超碰碰97资源站| 国产成人精品必看| 开心五月天激情网| 丰满精品人妻少妇久久字幕| 男人的天堂久久| 中文字幕,人妻,日韩| 婷婷色导航| 日日日骚女人精品| 熟女精品日韩一区二区三区| 亚洲天堂AV在线播放| 日韩精品区二区三区不卡| 涩涩久久精品| 亚洲国产精品成人久久蜜臀| 色乱二区| 蜜伊人色综合97| 91欧美www| 无码人妻精品一区二区三区99不卡 | 丁香五六月啪啪| 凹凸视频特色日本特黄| 欧插网站| 亚洲AV永久无码精品成人调教 | 蜜乳AV一区二区三区四| 操穴国产| 亚洲清纯综合| 久久毛卡| 激情第四色| 亚洲电影91| 一本色道久久天天射天天干| 色蜜AV| 亚洲成人在线乱码色午夜| 人妻81p| 第45页一区二区| 97视频在线播放| 黑人综合网| 操逼无码一区| 麻豆性爱视频在线播放| 国产精品96| 五月激情视频| 欧美激情一| 国产成人一级av88| 人人超碰在线观看黄| 91精片| 婷婷五月天激情小说| 媚薬在线视频麻豆| 男人天堂网址| 偷看洗澡一二三区美女| 美国aaaaa一级黄片| 午夜丁香| 午夜精品人妻二区三区| 色哟哟综合| 久久一区无码| 麻豆天美一区二区| 精品久热| 九九免费影片| 一起草日韩| 91色伦综合| 久久 精品| 国产丝袜视频| 亚洲成人ab| 九九久久99| 精品人妻一区二区三区免费视频| 99久久久无码国产精品性男| 欧美在线综合| 成人亚欧免费视频| 久久亚洲色图中文字幕| 一二三区操逼国产91| 中文字幕视频在线观看一区二区| 一区二区三| 蜜桃色色网站视频三区| 屁股久久久久久久| 91无人区卡一卡二卡三乱码入口最新版:能让用户有更多选择的选择-经典说说-爱 | 日韩一区二区精彩视频| 91大神电影天堂| 在线视频亚洲无码| 中日无幕一二三四区| 精品久久久av| 亚洲伊人成综合成人网| 亚洲成人碰碰| 亚洲图片小说欧洲| 婷婷五月影院| 91天堂| AV天天在线观看| 激情五月天中文字幕色| 操九九九九九九| 欧美精品二区视频在线| 青青草视频久久久久| 天天操人人操狠狠插| 欧亚不卡| 亚洲免费成人在线高清无码视频| 一个人在线看的黄色电影网站| 91P0RNY大屁股人妻| 老熟妇综合| 欧美一区二区三区另类精品| 久久久91福利姬| 人、人、摸,人、人、草| 欧美亚洲特P| 国产青一二三| 秋霞一级鲁丝片A片| 激情四射五月天| 91小视频| 78精品| 狠狠欧美| 乱伦熟妇一区二区| 狠色婷婷久久一区二区三区_|