日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

物聯(lián)網(wǎng)溫濕度異常預(yù)警系統(tǒng)實(shí)戰(zhàn):MQTT+機(jī)器學(xué)習(xí)從0到1

物聯(lián)網(wǎng)溫濕度異常預(yù)警系統(tǒng)實(shí)戰(zhàn):MQTT+機(jī)器學(xué)習(xí)從0到1 1. 為什么我勸你別一上來(lái)就搞AI先想清楚這幾個(gè)真實(shí)場(chǎng)景去年年初有個(gè)做冷庫(kù)冷鏈的朋友找上我說(shuō)他們的倉(cāng)庫(kù)溫濕度記錄還得靠人工拿著溫濕度計(jì)每天巡兩趟數(shù)據(jù)記在紙質(zhì)表格上等發(fā)現(xiàn)異常的時(shí)候一批貨早就廢了。他說(shuō)想上物聯(lián)網(wǎng)還要上AI讓系統(tǒng)自己會(huì)報(bào)警。我問(wèn)他“你是想要一個(gè)能看實(shí)時(shí)數(shù)據(jù)的平臺(tái)還是想要一個(gè)能在出事前提醒你的系統(tǒng)”他愣了半天說(shuō)“這不都一樣嗎”這就是絕大多數(shù)人一上來(lái)就踩的坑。把物聯(lián)網(wǎng)和AI混為一談結(jié)果要么做了一個(gè)只有數(shù)據(jù)展示的“大屏駕駛艙”看著很酷但沒(méi)什么決策價(jià)值要么買(mǎi)了一套所謂AI預(yù)警方案閾值寫(xiě)死在代碼里溫度超過(guò)30度就報(bào)警這跟用Excel做個(gè)條件格式有什么區(qū)別后來(lái)我們花了兩周時(shí)間從0到1搭了一套溫濕度異常智能預(yù)警系統(tǒng)硬件成本不到500塊核心鏈路就三個(gè)環(huán)節(jié)用MQTT把傳感器數(shù)據(jù)搬到服務(wù)器用機(jī)器學(xué)習(xí)模型學(xué)習(xí)正常狀態(tài)的范圍再通過(guò)滑動(dòng)窗口機(jī)制判斷異常并推送告警。這篇文章把我完整的落地過(guò)程、踩過(guò)的坑、代碼和參數(shù)選擇邏輯都寫(xiě)出來(lái)。想上手做物聯(lián)網(wǎng)AI方向的同學(xué)或者已經(jīng)在做監(jiān)控系統(tǒng)但覺(jué)得閾值報(bào)警不夠聰明的朋友這篇文章可以直接拿來(lái)抄作業(yè)。先說(shuō)結(jié)論這套系統(tǒng)的本質(zhì)不是“預(yù)測(cè)未來(lái)”而是“識(shí)別偏離正常模式的狀態(tài)”。這個(gè)定位想清楚了后面所有技術(shù)選型都會(huì)順理成章。2. MQTT選型背后的硬邏輯不是因?yàn)樗鸲且驗(yàn)樗傅米?.1 傳感器數(shù)據(jù)上云先搞清楚幾個(gè)方案的分水嶺做物聯(lián)網(wǎng)的數(shù)據(jù)傳輸繞不開(kāi)幾個(gè)候選方案HTTP輪詢、TCP長(zhǎng)連接、MQTT、CoAP。我用一個(gè)實(shí)際場(chǎng)景來(lái)對(duì)比你就知道為什么最終選MQTT。假設(shè)你的倉(cāng)庫(kù)里有30個(gè)傳感器節(jié)點(diǎn)每10秒上報(bào)一次溫濕度數(shù)據(jù)。用HTTP方案每個(gè)節(jié)點(diǎn)主動(dòng)POST數(shù)據(jù)到服務(wù)器服務(wù)器需要處理30個(gè)并發(fā)連接而且HTTP是短連接每次都要重新握手報(bào)文頭動(dòng)不動(dòng)幾百字節(jié)。更麻煩的是如果服務(wù)器重啟或者網(wǎng)絡(luò)抖動(dòng)客戶端怎么重連、重連之后數(shù)據(jù)怎么補(bǔ)這些都得自己寫(xiě)。MQTT的做法完全不一樣。它基于發(fā)布/訂閱模型傳感器是發(fā)布者服務(wù)器是訂閱者中間通過(guò)Broker中轉(zhuǎn)。傳感器只負(fù)責(zé)把數(shù)據(jù)扔給Broker根本不關(guān)心誰(shuí)在訂閱、訂閱了幾個(gè)服務(wù)器也只負(fù)責(zé)從Broker拉取自己關(guān)心的主題。兩者完全解耦。用一個(gè)生活化的類(lèi)比HTTP上傳數(shù)據(jù)就像你每次都要親自把快遞送到對(duì)方手里還得敲門(mén)簽收MQTT更像是把包裹投進(jìn)快遞柜快遞柜Broker幫你存著收件人什么時(shí)候來(lái)取都行。2.2 MQTT的三個(gè)核心機(jī)制理解之后配置不會(huì)出錯(cuò)先看QoS服務(wù)質(zhì)量這是新手最容易忽略的。MQTT提供了三個(gè)等級(jí)QoS等級(jí)含義適用場(chǎng)景0最多一次發(fā)完即忘高頻普通數(shù)據(jù)、丟了不心疼的環(huán)境采集1至少一次有ACK確認(rèn)可能重復(fù)需要確認(rèn)但能容忍重復(fù)的控制指令2恰好一次四步握手性能開(kāi)銷(xiāo)大計(jì)費(fèi)、訂單等絕對(duì)不允許重復(fù)的消息溫濕度采集我建議用QoS 0就夠了。原因很簡(jiǎn)單傳感器每10秒上報(bào)一次丟一兩條數(shù)據(jù)根本不影響整體判斷而QoS 1和2握手確認(rèn)的額外開(kāi)銷(xiāo)在小設(shè)備上會(huì)明顯增加功耗和延遲。那什么時(shí)候需要QoS 1比如你的系統(tǒng)里有個(gè)閥門(mén)控制指令這種命令必須確保送達(dá)重復(fù)一次問(wèn)題也不大。QoS 2在物聯(lián)網(wǎng)數(shù)據(jù)采集場(chǎng)景里說(shuō)實(shí)話用得很少除非涉及資金交易或者法律證據(jù)。然后是遺囑消息Last Will and Testament。我上線的第一周就遇到過(guò)一個(gè)問(wèn)題某個(gè)傳感器節(jié)點(diǎn)因?yàn)殡娏亢谋M突然離線服務(wù)器端完全不知道還以為這個(gè)區(qū)域的溫濕度一直正常。直到巡檢才發(fā)現(xiàn)那間庫(kù)房已經(jīng)失溫兩個(gè)小時(shí)了。用了遺囑消息之后每個(gè)傳感器上線時(shí)先給Broker報(bào)一個(gè)遺囑“如果發(fā)現(xiàn)我掉線了請(qǐng)往alert/offline這個(gè)主題發(fā)一條消息”。Broker檢測(cè)不到心跳時(shí)就會(huì)代為發(fā)布這條消息服務(wù)器收到之后就知道哪個(gè)節(jié)點(diǎn)掉線了就能觸發(fā)運(yùn)維提醒。這個(gè)機(jī)制在同類(lèi)方案比如裸TCP心跳檢測(cè)里實(shí)現(xiàn)起來(lái)要麻煩得多。最后是保留消息Retained Message。新訂閱者上線時(shí)Broker會(huì)把指定主題的最后一條保留消息推送給它。這個(gè)在系統(tǒng)重啟的場(chǎng)景下特別好用——服務(wù)器重啟后不用等傳感器下一次上報(bào)就能立刻知道每個(gè)節(jié)點(diǎn)的最新?tīng)顟B(tài)。2.3 Broker怎么選Mosquitto、EMQX還是云上托管Broker是MQTT架構(gòu)里的中轉(zhuǎn)站選型直接決定系統(tǒng)的穩(wěn)定性和開(kāi)發(fā)效率。我分別試過(guò)三種方案說(shuō)說(shuō)真實(shí)體驗(yàn)。本地開(kāi)發(fā)調(diào)試用Mosquitto就夠它是Eclipse基金會(huì)開(kāi)源的輕量級(jí)Broker安裝簡(jiǎn)單、配置不多單機(jī)扛幾千個(gè)連接沒(méi)什么問(wèn)題。我的開(kāi)發(fā)環(huán)境就是在Ubuntu上裝了一個(gè)Mosquitto命令就一行sudo apt install mosquitto mosquitto-clients生產(chǎn)環(huán)境想省心、要可視化管理界面推薦EMQX它自帶Dashboard可以直觀看到連接數(shù)、消息吞吐、訂閱關(guān)系還支持集群擴(kuò)展而且有中文文檔。我正式環(huán)境的Broker就是EMQX。如果團(tuán)隊(duì)成員不多、不想自己運(yùn)維服務(wù)器資源直接用云廠商提供的MQTT托管服務(wù)也行不過(guò)要做好成本評(píng)估——設(shè)備量越大按連接數(shù)和消息量計(jì)費(fèi)就越貴。2.4 主題設(shè)計(jì)看似隨意實(shí)際決定后端的解析復(fù)雜度MQTT主題采用層級(jí)結(jié)構(gòu)用斜杠分隔這個(gè)設(shè)計(jì)直接影響后端的解析邏輯。我自己第一版的主題設(shè)計(jì)得很亂各個(gè)節(jié)點(diǎn)上報(bào)的主題各寫(xiě)各的后面解析代碼寫(xiě)成了意大利面。后來(lái)重構(gòu)成了統(tǒng)一格式factory/area01/device001/env/temperature factory/area01/device001/env/humidity這種設(shè)計(jì)的好處是服務(wù)器和客戶端都可以用通配符訂閱。比如我想知道1號(hào)區(qū)域所有設(shè)備的溫度數(shù)據(jù)只需要訂閱factory/area01//env/temperature想知道所有設(shè)備的全部數(shù)據(jù)訂閱factory/#就行。主題層級(jí)的設(shè)計(jì)原則是第一層放租戶或項(xiàng)目第二層放區(qū)域第三層放設(shè)備ID后面放數(shù)據(jù)類(lèi)型。千萬(wàn)別把上報(bào)時(shí)間戳塞進(jìn)主題里那應(yīng)該放到消息體里。3. 數(shù)據(jù)采集鏈路搭建從傳感器到服務(wù)器每一步都有坑3.1 硬件端選型與接線ESP32幾乎是新手最優(yōu)解設(shè)備端我選了ESP32開(kāi)發(fā)板加DHT22溫濕度傳感器。選ESP32的原因很簡(jiǎn)單自帶WiFi模塊不用額外買(mǎi)通信板價(jià)格便宜Arduino生態(tài)成熟寫(xiě)代碼像寫(xiě)Python一樣省心。如果只支持2.4G WiFi的環(huán)境里工作ESP32的穩(wěn)定性足夠滿足這類(lèi)場(chǎng)景。DHT22和DHT11的區(qū)別要說(shuō)明一下DHT11精度只有正負(fù)2度和正負(fù)5%濕度DHT22能做到正負(fù)0.5度和正負(fù)2%濕度價(jià)格也就差幾塊錢(qián)。做異常預(yù)警系統(tǒng)數(shù)據(jù)精度直接影響模型判斷直接上DHT22。接線部分沒(méi)什么好說(shuō)的VCC接3.3VGND接GNDDATA接GPIO4。就三個(gè)引腳照著接就行。3.2 代碼里最容易翻車(chē)的三個(gè)地方第一個(gè)坑是DHT庫(kù)讀數(shù)據(jù)太頻繁會(huì)報(bào)錯(cuò)。DHT22官方手冊(cè)建議采樣間隔至少2秒你如果設(shè)置每500毫秒讀一次大概率拿到NaN。我代碼里設(shè)置了10秒上報(bào)一次每次讀取前判斷一下是否成功失敗就跳過(guò)這一輪等下一輪再試。第二個(gè)坑是WiFi重連邏輯?,F(xiàn)實(shí)環(huán)境里路由器隨時(shí)可能重啟或者信號(hào)抖動(dòng)ESP32的WiFi連接一旦斷了不會(huì)自動(dòng)恢復(fù)。必須在loop循環(huán)里增加檢測(cè)if (WiFi.status() ! WL_CONNECTED) { reconnectWiFi(); }第三個(gè)坑是JSON序列化庫(kù)的選擇。ESP32上JSON庫(kù)我用的是ArduinoJson但要注意它的版本API差別很大v5和v6的用法完全不同網(wǎng)上很多老教程用的是v6照著寫(xiě)可能編譯報(bào)錯(cuò)。統(tǒng)一用v7API更簡(jiǎn)潔。3.3 上報(bào)頻率和休眠策略不能既要數(shù)據(jù)密又要續(xù)航長(zhǎng)傳感器上報(bào)頻率是系統(tǒng)設(shè)計(jì)里一個(gè)繞不開(kāi)的權(quán)衡。上報(bào)越頻繁異常發(fā)現(xiàn)越及時(shí)但代價(jià)是設(shè)備功耗上升、Broker和存儲(chǔ)的壓力增大。我實(shí)測(cè)過(guò)一個(gè)場(chǎng)景一個(gè)ESP32節(jié)點(diǎn)用3.7V鋰電池供電如果每5秒上報(bào)一次電流平均在80mA左右一塊1500mAh的電池?fù)尾贿^(guò)20小時(shí)。改成每30秒上報(bào)一次期間進(jìn)入深睡眠模式平均電流降到30mA以下續(xù)航能到3天左右。對(duì)于需要長(zhǎng)期運(yùn)行的溫濕度監(jiān)控場(chǎng)景我的建議是如果設(shè)備插電運(yùn)行10秒上報(bào)一次如果電池供電上報(bào)間隔至少拉到30秒以上并開(kāi)啟深睡眠。你的系統(tǒng)是做預(yù)警不是做實(shí)時(shí)控制30秒的延遲對(duì)倉(cāng)庫(kù)、機(jī)房、農(nóng)業(yè)大棚這些場(chǎng)景來(lái)說(shuō)完全能接受。3.4 服務(wù)端訂閱與數(shù)據(jù)入庫(kù)別用關(guān)系型數(shù)據(jù)庫(kù)硬抗高頻寫(xiě)入服務(wù)端我用Python寫(xiě)了一個(gè)MQTT訂閱進(jìn)程專(zhuān)門(mén)監(jiān)聽(tīng)Broker上的溫濕度主題。核心邏輯很簡(jiǎn)單用paho-mqtt庫(kù)訂閱主題收到消息之后解析JSON寫(xiě)入數(shù)據(jù)庫(kù)。存儲(chǔ)選型要注意如果每10秒一條數(shù)據(jù)30個(gè)節(jié)點(diǎn)一天產(chǎn)生約26萬(wàn)條記錄計(jì)算方式30節(jié)點(diǎn)6條/分鐘60分鐘*24小時(shí)259200條用MySQL直接硬扛高頻寫(xiě)入也能扛住但后期查詢會(huì)變慢而且存儲(chǔ)成本高。對(duì)這種時(shí)序型數(shù)據(jù)我用的是InfluxDB它對(duì)時(shí)間序列有壓縮和自動(dòng)清理策略存儲(chǔ)效率比MySQL高很多。InfluxDB的基本概念是measurement類(lèi)似關(guān)系庫(kù)的表、tag索引字段、field數(shù)值字段寫(xiě)入數(shù)據(jù)用的是行協(xié)議curl -XPOST http://localhost:8086/write?dbenv_monitor -u user:pass --data-binary env_sensor,sensor_idesp32_001,temperature25.6,humidity63.2如果是代碼里寫(xiě)用influxdb-client-python庫(kù)更規(guī)范。4. 機(jī)器學(xué)習(xí)模型選型為什么我放棄了深度學(xué)習(xí)選了孤立森林4.1 先說(shuō)清楚溫濕度異常檢測(cè)到底是個(gè)什么問(wèn)題很多人一聽(tīng)“機(jī)器學(xué)習(xí)預(yù)警”第一反應(yīng)就是LSTM、時(shí)序預(yù)測(cè)模型。但仔細(xì)想一下業(yè)務(wù)需求我需要模型預(yù)測(cè)未來(lái)半小時(shí)的溫度是多少嗎其實(shí)不需要。我需要的是——當(dāng)前這個(gè)溫濕度組合在正常情況下應(yīng)該出現(xiàn)嗎這就是一個(gè)典型的異常檢測(cè)問(wèn)題而且是無(wú)監(jiān)督的場(chǎng)景。正常情況下溫濕度會(huì)在一個(gè)區(qū)間內(nèi)波動(dòng)但異??赡苁峭话l(fā)的尖刺比如門(mén)沒(méi)關(guān)、空調(diào)壞了也可能是緩慢漂移比如制冷劑泄漏、傳感器老化。深度學(xué)習(xí)時(shí)序模型需要大量標(biāo)注數(shù)據(jù)做訓(xùn)練但異常樣本恰恰是最稀缺的冷庫(kù)可能運(yùn)行半年也不會(huì)出一次故障。用稀疏的異常樣本去訓(xùn)練有監(jiān)督模型效果不可能好。所以我的選型方向確定為無(wú)監(jiān)督或半監(jiān)督異常檢測(cè)算法。4.2 三個(gè)候選算法的對(duì)比只看我實(shí)際跑的結(jié)論第一個(gè)是統(tǒng)計(jì)方法3-Sigma邏輯最簡(jiǎn)單計(jì)算歷史數(shù)據(jù)的均值和標(biāo)準(zhǔn)差超出均值正負(fù)3倍標(biāo)準(zhǔn)差的數(shù)據(jù)點(diǎn)就是異常。這個(gè)方法的優(yōu)點(diǎn)是速度快、可解釋性強(qiáng)但前提是數(shù)據(jù)要符合正態(tài)分布而溫濕度數(shù)據(jù)受晝夜和季節(jié)影響往往有周期性波動(dòng)單靠3-Sigma會(huì)把正常的晝夜溫差誤判成異常。第二個(gè)是隔離森林Isolation Forest核心思路很巧妙它不是描述正常樣本長(zhǎng)什么樣而是直接找那些容易“被孤立”的點(diǎn)。算法隨機(jī)切分樣本空間異常點(diǎn)因?yàn)橹車(chē)芏鹊屯袔椎毒秃蛣e人分開(kāi)正常點(diǎn)則需要很多次切分才能分離。這個(gè)算法對(duì)高維數(shù)據(jù)有效而且不需要假設(shè)數(shù)據(jù)分布形態(tài)實(shí)現(xiàn)也很成熟sklearn里直接能用。第三個(gè)是局部異常因子Local Outlier Factor通過(guò)比較每個(gè)點(diǎn)周?chē)芏群袜従又車(chē)芏鹊牟町悂?lái)判斷異常。它的問(wèn)題是計(jì)算復(fù)雜度偏高對(duì)參數(shù)k鄰居個(gè)數(shù)的選擇很敏感調(diào)參成本高。我最終選了隔離森林原因有三個(gè)對(duì)周期性數(shù)據(jù)的適應(yīng)性強(qiáng)訓(xùn)練不需要大量異常樣本sklearn里可以直接調(diào)用而且實(shí)測(cè)效果和穩(wěn)定性都滿足要求。4.3 特征工程比算法重要十倍一開(kāi)始我直接把溫度數(shù)值丟進(jìn)模型訓(xùn)練效果很差異常檢測(cè)準(zhǔn)確率不到60%。后來(lái)才意識(shí)到單點(diǎn)數(shù)值根本不能反映“異?!钡娜?。溫濕度數(shù)據(jù)是有時(shí)間上下文的同一個(gè)溫度在12點(diǎn)和凌晨2點(diǎn)的含義完全不同。所以我在原始數(shù)值之外增加了幾類(lèi)特征這一步直接決定了模型效果時(shí)間特征小時(shí)編碼成環(huán)形特征、星期幾滑動(dòng)窗口統(tǒng)計(jì)特征過(guò)去10分鐘的平均值、標(biāo)準(zhǔn)差、變化率交互特征溫度與濕度的比值或乘積兩者通常呈負(fù)相關(guān)一旦背離很可能是設(shè)備故障例如同一時(shí)刻溫度很高但濕度很低不像正??照{(diào)房的模式溫度不變但濕度驟升可能是加濕器故障或者水管滲漏。這些交互關(guān)系是單維數(shù)值無(wú)法表達(dá)的?;瑒?dòng)窗口的計(jì)算我推薦用Pandas的rolling函數(shù)import pandas as pd df[temp_avg_10min] df[temperature].rolling(window10, min_periods1).mean() df[temp_std_10min] df[temperature].rolling(window10, min_periods1).std() df[temp_derivative] df[temperature].diff()4.4 模型訓(xùn)練與閾值選擇異常評(píng)分到底怎么用隔離森林的輸出不是簡(jiǎn)單的0/1標(biāo)簽而是一個(gè)異常分?jǐn)?shù)分?jǐn)?shù)越高代表異常的可能性越大。實(shí)際使用時(shí)需要設(shè)定一個(gè)閾值超過(guò)閾值才觸發(fā)告警。閾值怎么定我的做法是拿至少兩周的正常歷史數(shù)據(jù)訓(xùn)練模型然后看所有正常樣本的得分分布把閾值設(shè)定在95分位數(shù)。這樣正常情況下最多只有5%的點(diǎn)會(huì)被誤報(bào)為異常。調(diào)節(jié)這個(gè)分位數(shù)就可以控制系統(tǒng)的敏感度——告警太頻繁就調(diào)高漏報(bào)太多就調(diào)低。訓(xùn)練代碼很簡(jiǎn)潔from sklearn.ensemble import IsolationForest # X_train是經(jīng)過(guò)特征工程后的歷史正常數(shù)據(jù) model IsolationForest( n_estimators200, # 決策樹(shù)數(shù)量 contamination0.05, # 預(yù)期異常比例和閾值分位數(shù)對(duì)應(yīng) max_samplesauto, bootstrapFalse, random_state42 ) model.fit(X_train) # 新數(shù)據(jù)到來(lái)時(shí)predict為-1表示異常1表示正常 pred model.predict(X_new) score model.score_samples(X_new) # 分?jǐn)?shù)越低越異常contamination參數(shù)的直覺(jué)理解模型假設(shè)這堆數(shù)據(jù)里有5%的異常點(diǎn)。如果你知道實(shí)際正常數(shù)據(jù)里可能有1%的偶發(fā)波動(dòng)就設(shè)0.01防止模型把正常的尖峰也當(dāng)成異常學(xué)習(xí)進(jìn)去。4.5 模型更新的避坑經(jīng)驗(yàn)溫濕度有季節(jié)性漂移上線初期用夏季數(shù)據(jù)訓(xùn)練出來(lái)的模型到了秋天明顯誤報(bào)率上升。原因很簡(jiǎn)單溫濕度的正常范圍隨季節(jié)變化而模型只認(rèn)訓(xùn)練時(shí)的分布。解決方案有兩種一種是定時(shí)重訓(xùn)練比如每周日凌晨自動(dòng)用過(guò)去一個(gè)月的數(shù)據(jù)重新訓(xùn)練一次另一種是滑動(dòng)窗口訓(xùn)練每次只取最近N天的數(shù)據(jù)。我用的是定時(shí)重訓(xùn)練同時(shí)保留一份初始數(shù)據(jù)作為基準(zhǔn)防止某一段時(shí)間的數(shù)據(jù)整體漂移導(dǎo)致模型“忘記”正常范圍。補(bǔ)充一個(gè)重要的判斷邏輯模型輸出的是“異常評(píng)分”但最終是否告警需要結(jié)合業(yè)務(wù)規(guī)則做多級(jí)聯(lián)動(dòng)。比如模型評(píng)分連續(xù)3次30秒內(nèi)都超過(guò)閾值才觸發(fā)告警避免單次網(wǎng)絡(luò)抖動(dòng)或傳感器偶發(fā)噪聲導(dǎo)致誤報(bào)。5. 告警聯(lián)動(dòng)與可視化系統(tǒng)能不能用最終看這一層5.1 別讓告警變成“狼來(lái)了”技術(shù)再好如果告警設(shè)計(jì)得不合理運(yùn)維人員遲早會(huì)把它關(guān)掉。我見(jiàn)過(guò)很多系統(tǒng)上線之后告警被晾在一邊的案例原因幾乎都一樣告警太頻繁全是無(wú)效告警。我的告警分級(jí)策略是這樣的等級(jí)觸發(fā)條件通知方式提示級(jí)模型評(píng)分剛超閾值單次出現(xiàn)記錄日志不推送預(yù)警級(jí)連續(xù)3次30秒內(nèi)超過(guò)閾值推送企業(yè)微信/釘釘消息嚴(yán)重級(jí)連續(xù)10次超過(guò)閾值 或 溫濕度超過(guò)設(shè)備允許上限電話語(yǔ)音通知告警消息里必須包含關(guān)鍵上下文信息不能只說(shuō)一句“溫度異?!?。我看到過(guò)的優(yōu)秀告警推送會(huì)帶上設(shè)備ID、當(dāng)前溫度、濕度、該節(jié)點(diǎn)的歷史均值、建議操作。運(yùn)維人員收到消息之后不用再自己去查后臺(tái)處理效率能提高一倍。5.2 告警去重同一個(gè)故障不能轟炸一個(gè)小時(shí)節(jié)點(diǎn)掉線這個(gè)問(wèn)題前面說(shuō)過(guò)如果沒(méi)有去重機(jī)制一個(gè)節(jié)點(diǎn)掉線服務(wù)器收到遺囑消息后如果繼續(xù)以固定頻率推送告警運(yùn)維人員的手機(jī)一個(gè)小時(shí)內(nèi)能收到幾百條消息。我實(shí)現(xiàn)的去重邏輯是“狀態(tài)機(jī)轉(zhuǎn)換”只有當(dāng)節(jié)點(diǎn)狀態(tài)從正常變?yōu)楫惓r(shí)才推送告警后續(xù)如果同一個(gè)異常持續(xù)存在則每30分鐘只有一次匯總提醒帶上“已持續(xù)時(shí)長(zhǎng)”直到節(jié)點(diǎn)狀態(tài)恢復(fù)為正常才推送一條“恢復(fù)通知”。這個(gè)設(shè)計(jì)在實(shí)際運(yùn)維中非常重要。5.3 可視化儀表盤(pán)不要過(guò)度追求“大屏炫酷”告警之外還需要一個(gè)可視化的頁(yè)面讓運(yùn)維人員看到整體狀態(tài)。我用的是Grafana它可以直接對(duì)接InfluxDB配置起來(lái)很快。儀表盤(pán)上我放了三個(gè)核心視圖溫度、濕度的時(shí)間序列折線圖曲線顏色跟隨異常狀態(tài)自動(dòng)變化各區(qū)域節(jié)點(diǎn)的離線狀態(tài)面板離線節(jié)點(diǎn)高亮標(biāo)紅最近24小時(shí)告警事件時(shí)間線Grafana里最有價(jià)值的配置是告警規(guī)則直接在圖表上設(shè)置閾值可以和機(jī)器學(xué)習(xí)模型的判斷互為補(bǔ)充——模型負(fù)責(zé)判斷模式異常固定閾值負(fù)責(zé)兜底比如溫度物理上限是60度超過(guò)這個(gè)值無(wú)論模型怎樣判斷都必須告警。6. 全鏈路聯(lián)調(diào)實(shí)測(cè)一次真實(shí)故障的完整生命周期理論說(shuō)得再多不如看一次完整事件在系統(tǒng)里的流轉(zhuǎn)過(guò)程。我在測(cè)試環(huán)境里模擬了一次“制冷故障導(dǎo)致溫度異常緩慢上升”的事件把全鏈路的環(huán)節(jié)逐一列出來(lái)。14:00:00正常的庫(kù)房溫度在4到6度之間波動(dòng)。異常從14:00開(kāi)始溫度以每5分鐘0.2度的速度緩慢上升。這種變化幅度緩慢固定閾值報(bào)警根本不會(huì)觸發(fā)因?yàn)闇囟热栽凇俺R?guī)范圍”內(nèi)這就是為什么選擇機(jī)器學(xué)習(xí)模型的原因。14:23:00溫度上升到6.8度雖然還在空調(diào)可接受范圍但隔離森林模型的異常評(píng)分已經(jīng)連續(xù)3次超過(guò)閾值觸發(fā)了“預(yù)警級(jí)”告警告警消息推送到了運(yùn)維人員的企業(yè)微信。14:23:10系統(tǒng)在Grafana儀表盤(pán)上標(biāo)紅顯示溫度曲線。14:38:00溫度突破8度同時(shí)濕度出現(xiàn)明顯下降制冷故障往往伴隨除濕失效模型評(píng)分持續(xù)走高觸發(fā)了“嚴(yán)重級(jí)”電話語(yǔ)音告警。14:45:00運(yùn)維人員到達(dá)現(xiàn)場(chǎng)發(fā)現(xiàn)冷凍機(jī)皮帶斷裂壓縮機(jī)未停機(jī)但制冷效率大幅下降。15:10:00更換皮帶后溫度開(kāi)始回落系統(tǒng)溫度恢復(fù)至正常范圍模型評(píng)分低于閾值推送恢復(fù)通知。整個(gè)過(guò)程中固定閾值報(bào)警直到14:50左右才會(huì)觸發(fā)因?yàn)榈侥菚r(shí)溫度才超過(guò)8度的硬邊界比機(jī)器學(xué)習(xí)模型晚了將近27分鐘。冷庫(kù)里這個(gè)時(shí)間差可能挽救一整車(chē)貨物。這個(gè)實(shí)測(cè)驗(yàn)證了一個(gè)關(guān)鍵結(jié)論固定閾值適合兜底機(jī)器學(xué)習(xí)模型擅長(zhǎng)捕捉微小緩慢的變化模式兩者結(jié)合才是完整的預(yù)警系統(tǒng)。7. 部署一周后我注意到的幾個(gè)細(xì)節(jié)和優(yōu)化方向系統(tǒng)穩(wěn)定運(yùn)行一周之后我調(diào)整了幾個(gè)細(xì)節(jié)這里一并寫(xiě)出來(lái)。一個(gè)是傳感器時(shí)間同步問(wèn)題。ESP32自身的時(shí)鐘走時(shí)不準(zhǔn)一周可能偏差一兩個(gè)小時(shí)。時(shí)間不準(zhǔn)會(huì)影響小時(shí)特征進(jìn)而影響模型判斷。解決辦法是通過(guò)NTP對(duì)時(shí)ESP32代碼里加上configTime(8 * 3600, 0, ntp.aliyun.com, pool.ntp.org);還有一個(gè)是Broker的認(rèn)證配置。如果Broker不設(shè)賬號(hào)密碼或者密碼使用明文傳輸生產(chǎn)環(huán)境是裸奔的。Mosquitto配置里開(kāi)啟密碼認(rèn)證allow_anonymous false password_file /etc/mosquitto/passwd同時(shí)建議給每個(gè)設(shè)備分配獨(dú)立的用戶名這樣即使某個(gè)設(shè)備的憑據(jù)泄露只能影響那一個(gè)節(jié)點(diǎn)不至于整個(gè)系統(tǒng)被入侵。再就是數(shù)據(jù)的保留周期。InfluxDB里設(shè)置自動(dòng)清理策略超過(guò)30天的原始數(shù)據(jù)自動(dòng)刪除只保留聚合后的統(tǒng)計(jì)摘要。不然數(shù)據(jù)量增長(zhǎng)起來(lái)查詢性能和存儲(chǔ)成本都會(huì)快速惡化。后續(xù)的優(yōu)化方向一個(gè)是把規(guī)則引擎加入告警判斷比如結(jié)合日歷信息節(jié)假日與非節(jié)假日的溫控策略不同、生產(chǎn)排班信息做聯(lián)動(dòng)另一個(gè)是邊緣推理把訓(xùn)練好的模型用輕量化方式部署到ESP32上在端側(cè)直接判斷異常只有異常發(fā)生時(shí)數(shù)據(jù)才上報(bào)能大幅降低云端壓力和通信成本。但要注意ESP32的算力有限隔離森林這種樹(shù)模型前端部署還有一段路要走現(xiàn)階段如果設(shè)備數(shù)量不多云端推理的延遲完全可接受。從我自己的體會(huì)來(lái)說(shuō)這套系統(tǒng)最有價(jià)值的地方不在于用上了什么高深的算法而在于把“數(shù)據(jù)采集-傳輸-存儲(chǔ)-分析-告警”這個(gè)閉環(huán)真正跑通了并且通過(guò)特征工程讓一個(gè)很常見(jiàn)的無(wú)監(jiān)督算法在溫濕度監(jiān)控這件事上發(fā)揮出了超出預(yù)期的效果。如果你也想在這個(gè)方向上手不用追逐什么熱門(mén)框架就先從一條傳感器數(shù)據(jù)流開(kāi)始跑通MQTT到機(jī)器學(xué)習(xí)再到告警的完整鏈路再慢慢迭代模型和業(yè)務(wù)的耦合這條路走起來(lái)會(huì)非常扎實(shí)。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
色色色色日本| 大茄子熟女AV导航| 久久人| 操久久久久| 亚洲中文字幕在现观看| 国产精品青草综合久久| 97在线资源| 校园春色美腿丝袜 | 丁香久久| 97se综合| 国产高清无码一区三区二区| 欧美九九99久久精品| 日韩干B| 一类无码操逼视频| 久草午夜| 欧亚性爱在线视频| 日本精品一区二区不卡| 东京热综合久久一区二区| 亚春色色| 96AV久久久| 久久精品视-一级做a爰片性色毛片16美国-中国女与老外在线精品 | 自拍偷拍草一草| 色婷婷六月| 亚洲欧美自拍偷拍| 婷婷8月天青娱乐| 久9九综合在线| 少妇天堂网络| 欧美三级不卡| 国产丝袜美女诱惑| 国产精品熟女乱伦| 久久熟女久| 五月婷婷大香蕉| 丝袜足交视频| 欧美综色欧| 日韩另类色图| 色99视频| 亚州操操穴网| 91艹逼精品| 91在线免费观看处女| 天天插天天射| 26uuu国产| 每日更新AV| 91爆操视频| 亚洲午夜福利在线影院| 成人黑料社久久| 五月天伊人| 精品女人999| 色婷婷六月| 欧美亚洲韩国视频十五区| 五月天色图影视| 在线无码操| 99视频内射三四| 很黄很污的免费网站| 国产成人天堂| 啪啪啪亚欧美视频| 亚洲乱码国产乱码精网站| 天天干夜夜一操| 蜜臀国产AV中文字幕| 欧美黄片免费在线观看视频| 美女啊啊啊啊pc| 看黄片视频免费| 久热色情精品| 九九九国产精品| 久 久无码人妻AV| 国产欧美精选激情视频| 日韩性爱视频免费在线 | 日本黄色精品| 91社区拍啪人妻| 无码直播久久久| www.超碰在线| 国产亚洲精品一区二区三区| 人人干人人搞人人摸| 亚洲日本男人天堂网| 久久AV色| 国产精品久久久久久照片| 小少妇| 蜜桃久久久久久久| 久久久久久久久久久久欧美日| 97亚洲综合在线| 五十路三级片| 88xx成人精品视频| 中文字幕二区日韩天堂| 蜜臀99久久国产| 亚洲色啪| 欧洲综合色图| 欧美黑人精品一区二区| 五月天人妻综合| 久久久久亚洲Av无码专区老牛影视| www超碰| 一卡二卡在线播放| 亚洲日本加勒比在线| 国产中午字一暮区| 国产福利第一视频| 婷婷色香伊人| 青青草原综合久久大伊人精品| 欧美亚洲国产日本在线,久久精品国产| 日韩成人私密一级精品av| 欧美综合站| 亚洲精品国语在线播放| 中文字幕久久亚州无码| 超碰综合色| 精品无码人妻一区二区免费蜜桃| 狠狠夜色午夜久久综合在线| 久久69精品久久久久久久| 一区二区三区精品黑丝白丝酒店对鸡| 国产精品久久发布| 牛黄色久午久| 九九九九热| 一本正道久久熟女| 日本性爱网址| 欧洲性爱无码区| 中日无幕一二三四区| 四虎午夜影院| 老熟妇91| ...日韩成人一区二区三区字幕| 亚洲 自拍偷拍 欧美| 黑人精品久久97| 在线看免费无码AV天堂的| 好吊色综合| 青久操| 亚洲第一狼人丝袜美女另类| 啊啊啊啊啊啊好多水| 四虎免费看黄| 97这里都是精品| 国产亚洲综合欧美一区| 亚洲黄色a级片| 69av一区二区三区| 五月天九九日国产精品一区二区三区| 91婷婷| 欧美视频一区二区在线| 十八禁的黄污污免费网站| 色香阁在线| 欧美激情总合网| 99自拍视频在线观看| 色欲日韩欧美在线一区| 国产欧美岛国精品一区| 黄色片A级一区二区三区| 亚洲欧洲激情卡通另类文学四射小说网站 | 天天色天天干天天爱| 国产精品一区二区后入| 久久久九精品| 熟女人妻av在线资源,黄色的资源| 中文字幕中文字幕一区二区| 久久极品一区二区| 伊人久久88国产女| 婷婷久久综合| 国产女主播视频在线观看| 亚洲色图欧美色图日韩色图| 密乳无码| 色色五月天婷婷| 男人的天堂va在线| 熟女少妇视频| 91爱欧美| 精久久久| 亚洲图片偷拍欧美| 亚洲操操操无码| 一级AAA片一区二区三区| 九九成人精品| 人伦四五区| 美女91网| 欧美日韩黄片精品在线| 国模吧 一区二区三区| 亚洲九区| 久久机热| 亚洲最新Av| 亚洲人成网站7777| 99综合| 国产乱弄免费在线视频。| 超碰人人干| 免费操逼视频下载| 中国探花熟女| 中文字幕综合人妻| 91操操操操| 综合久久久久久久久91| A片三级无码| 18精品一区| 久久天天摸| 色五月婷婷在线| 亚洲综合图片在线| 家庭乱伦国产精品| 综合久草| 日韩在线国产字幕| 欧苏综合色综合| 97超碰这里只有精品| 国产在线激情| 国产一区二区三区影片| 亚欧美综合网。| 亚洲国产丝袜熟女av| 91久操| 国厂麻豆77q4| 欧美 精品国产制服第一页| 午夜天堂精品久久久久91| 久久久久久久久久久97| 丁香色狠狠色综合久久小说| 操逼国产免费| 好一吊区二区| 色婷婷五月综合激情中文字幕| 大香蕉手机在线| 一二三区视频在线观看| 任你爽视频| 不卡六六在线91| 日韩激情中文字幕有码| 美骚妇av高清在线| 国产日韩区| 色黄色美女大长腿午夜视频| 色偷偷色偷偷欧美日韩| 亚洲国产精品有声| 丝袜色综合| 国产精品另类| 91精品微拍福利| 欧美色图在线视频少妇| 国产精品视频在线观看| 后入内射蜜桃臀| 亚洲欧美综合区自拍另类| 日本性一区| 亚洲综合网电影91| 超碰成人国产| 麻豆久久久久久久久丝袜| 97在线精品| 午夜精品久久久久久久第一页按摩| 日韩性爱啪啪视频| 日韩97视频!在线| 91欧美情色| 破苞ⅩXXX性无码动漫无码| 午夜呻吟欧美| 污电影在线观看| 蜜臀视频网站| 亚洲制服欧美另类内射| 九九九九九九免费视频| 超碰欧美97资源| av在线观看不卡网站| www.久久久久| 久久草视频污视频| 亚洲成a人在线观看久| 噜噜噜久久亚洲精品色情| 乱性AV| 97超碰亚洲| 国产精品一二三在线看| 综合九九| 国产亚洲国产超碰| 超碰美女97| 色噜噜国产在线| 91欧美情色| 日韩黄色一区二区三区| 天天综合-91入口| 亚洲欧美天| 中文字幕老熟妇黄色视频| 噜噜噜久久亚洲精品色情| 91天堂色男人的天堂| 久操视频在线| 亚洲精品三| 国产一级舔足在线观看| 日逼五月天| 免费观看的黄色的网站| 一区在线精品中文字幕| 99少妇| 日本三级小说中文字幕| 99操| 亚洲性综合9| 亚洲综合另类小说色区亚洲成av人片在www| 男人的天堂激情| 五月天婷婷综合网| 丁香六月综合激情| 狠狠爱综合网| 99久久精品国产高潮| 国产97在线播放| 六九九九| 色色婷婷丁香| 这里只有精品久久| 青草青草久热| 91强热人妻| 26uuu成人影片| 无码国产Av| 在线观看中文字幕| 大香蕉综合网| 亚洲少妇视频| 91免费看一区二区三区| 中国人高清www色视频免费| 熟女熟妇一区二区三区视频| 青青草AV色| 97爱b| 97精品综合久久网| 后入福利| 亚洲情欲| 69少妇一区二区| 久热大香蕉| 国产乱伦性爱AV| 久99久视频| 九久久九精品视频| 夜夜免费视频| 日韩一级二级三级免费看完整版国语版| 超碰在线人妻不卡| 精品人妻无码一区二区三区不卡-精品人妻无码一区二区...|精品少妇一区二区三 | 精品毛片久久久精品毛片| 伊人九九九| 欧美精品亚洲精品日韩传电影| 日日干夜夜操视频h| 天堂精品小草| 黄色香蕉视频网站一区| 操熟女91| 超碰97久久| 黑人精品一区二区在线播放| 国产又粗又长又爽又色| 蜜色网色哟哟| 干B网| 黑人无码一区二区| 九九热免费国产视频婷婷伊人| 日韩人妻大香蕉| 久久东京热成人| 欧美岛国精品在线观看| 国产中文字幕在线点播| 亚洲熟妇自偷自拍另欧美| 蜜桃不卡一区二区| 色网亚洲人| 日韩中文字幕国产| 久久精品人体| 黑人免费福利视频| 国内精品久久国产,www香蕉久久五月丁香,亚洲欧美日韩精品永久在线,日本精品一 | 欧美天堂第二区| 亚洲欧美爆| 婷婷色香伊人| 黄网在线播放| 九九热国产| 国产吞精a级片激情电影| 欧美 传媒 麻豆 日韩 偷拍| 97九色人妻| 美女上床网站| 欧美亚涩| 日韩欧美午夜一区二区| 99热国产| 久久AV无码网址| 麻豆天美AV传媒第一页| 日韩AV无码中文一区二区| 91美女色视频亚洲| 国产成人免费观看在线视频| 日本成人免费一区二区三区| 中文字幕一区二区三区人妻少妇在线| 91网站在线播放| 不卡免费av在线播放| 亚洲高清欧美总合| 日欧毛片久久| 激情五月婷婷综合| 国产成人拍国产亚洲精品| 91精品人妻一区二区-全集完整版免费正片国语-B02AV | 欧美天天在线| 99热精品在线播放| 国产久久天堂资源| 日本三级日本三级99| 5278欧美一区二区三区| 欧美日韩亚洲少妇寂寞影院正在播放 | 麻豆 亚洲 97| 色五月婷婷在线| 亚洲 小说 欧美 激情 另类| 亚洲大色鬼| 综合网色| 999国产精品999| 亚洲一卡二卡在线免费| 久热大香蕉| 久久婷婷色| 欧美色蜜桃97| 国产av高清版| 亚洲色图 欧美热图 清纯唯美 另类自拍 | 黄色AV影视| 囯产操逼片| 黄色乱论网站| 久热影视| 毛片17S| www.yw尤物| 人人妻人人爽 97人人看碰人免费公开视频| 97视频一区| 日韩丝袜人妻AV| 最近2019中文字幕国语免费版| 青草视频在线看看看看看看看看看| 91爱啪| 亚州综合AⅤ| 91青视频| 色一射色一射| 色综合色| 久久九九视频九九视频| 亚洲日韩美国人妻| 屁屁影院一区二区三区国产| 尤物一级在线免费观看| 在线 制服丝袜中出 人妻| 亚洲国产欧美中日韩成人综合视频| 熟女人妇一区二区三区| 国产女主播视频在线观看| 九一国产精品| 97国产色综合| 热热热热日日漂亮永久永久国产日| 丝袜综合| 97在线青| 日本 情色 1区| 国产精品96久久久久久| 欧美呦呦性爱| 九九热精品| 精品一国2| 人妻无码后入| 2019久久久久久久久福利| 操逼操逼逼操操逼91 | 日产狠狠干| 一牛一区二区三区久久| 色香欲综合| 在线中文字幕极品av| 亚洲欧美激情另类色图| 久久久久久久久久久久黄色| 久久日韩肥臀| 熟妇的味道HD中文字幕| 啊…啊…操我用力操我| 国产激情在线| 亚洲无套久久嗯嗯| 1769国内精品视频| 亚州操操穴网| 国产精品久久久久久久久久久久| 五月天激情婷婷| 午夜天堂精品久久| 色欲久久99国产精品久久久久久| 日本人妻伦在线中文字幕| 在线一道啪| 97中文天堂| 禁十八久久| 99re免费| 亚洲男人bt天堂| 人妻久热在线| 大香蕉www.超碰| 啊啊啊啊啊好大好舒服想要| 成人av福利在线观看| 青青五月天| 亚洲另类综合欧美| 日韩中文字幕精品一二三事国产精品| 亚洲 欧美 色图| 男人天堂2019亚洲| 国内偷自视频区视频综合| 日韩AV中文字幕电影| 超碰免费人妻人人| 九九英色视频| 人妻少妇被猛烈进入中| 十八禁av无码免费网站APP| 青青草在线成人视频| 91狠狠综合久久| 婷婷色综合| 人妻精品视频一区二区三区 | 秋霞曰韩R级| 欲色综合| 精彩视频日韩| 乱欲视频| 成人综合视频久久| av在线观看不卡网站| 91美女视频电影| 中文字幕高清20页视频| 无码不卡亚洲成?人片| 久久天天躁日日躁狠狠躁 | 传媒在线观看一区二区三区| 欧美日韩丝袜| 久久天天艹| 亚洲熟女乱综合一区二区在线-...亚洲国产日韩欧美一区二区三区,久久久久久精 | 久久久久幕乱码| 精品久久久av| 另类小说五月天| 成人七区| 亚洲天堂2020| 天天色综合影视网| 91网站在线播放| 啊操爽品善一区二区三区| 国产欧美另类久久久精品课程| 99热精品在线播放| 抽插无码高清一区| 欧美午夜一区二区三区| Sekablack无码一区| 97超碰国产亚洲精品| 黄色十八禁网站| 亚洲色图 欧美热图 清纯唯美 另类自拍 | 超碰精品97| 黄呦呦在线| 成人日韩中文字幕| 爱爱久久| 男人的天堂日本东京热| 综合久欧洲| 色婷婷五月天| www亚洲免费| 国产精品久久久吖| 先锋激情∨在线视频播放| 亚洲欧美人妻| 操逼操逼视频操逼| 天天干天天狼在线视频| 影音先锋国产精品| 国产成人在线观看综合| 女人爽到高潮潮喷18禁网站| 91欧美网| 性爱免费视频成人| 人人干黄色| 九色在线熟女国产黑人| 亚洲日韩精品在线播放| 九月伊人中文字幕| 久久精品国产亚洲AV无码电影| 天天干天天狼在线视频| 99热色精品| 国产超碰人人操| 六月丁香婷| 亚洲偷拍自拍在线视频| 久久人人看| 花野真衣| 亚洲欧美综合图片| www熟女乱伦com| 日本亚洲熟女视频| 精久久久91| 天天欧美97| 美女91AV| 激情小说成人日本无码一| 五月丁香婷婷综合网| 97超碰色屌| 久草加勒比一区在线| 中文字幕人妻资源在线| 人妻天堂综合网| 99蜜月精品久久| 久久久久夜夜夜夜| 嗯啊不要啊在线| 中文字幕诱惑制服人妻丝袜美丝袜美| 亚欧美色图| 免费观看的黄色的网站| 60秒免费视频| 亚洲成人精品在线一区| 伊人综合色网| 国产内射爽爽大片| 99国产精品人妻人伦| 久久久性少妇| 久久精品国产亚洲AV无码电影| · —级AA伦aa坐爱午夜极速ⅴA一区天天噪天天噪天天噪 | 久久久久国产精品久久久| 性色综合网| 少妇无码太爽| 亚洲爽图| 天美传媒Av在线| 1禁看欧美黄片免费看| 九九玖玖精品| 成人aⅴ一区二区三区| 久久精彩视频| 欧美爱三级日韩久久| 双插在线| 激情无码日韩| 国产熟女二区| 亚洲操操操| 国产午夜精品理论片一二三区区| 色色色综合网| 国产伊人精品在线| 欧美日韩色| 激情久久久| 日本一二区不卡| 成熟熟女国产精品一区二区| 俄罗斯及免费在线看| 中国熟女网站| 好看的91视频| 中文字幕一区电影在线观看| 国产午夜精品理论片一二三区区| 亚洲999综合| 乱伦一区二区三区‘| 天天操熟妇| 手机看片1024你懂的国产| 操一操摸一摸| 男啪女色黄无遮挡免费观看| 99热精品在线观看| 日韩欧美麻豆| 超碰 欧美| 日韩综合97P| 青青草精玖玖69精品| 日韩精品国产精品五码一区二区| 性爱精品一区| 97久久视频| 日本性爱少妇| 国产精品久久伊人| 操高情无码| 狠狠中文字幕| 国产精品宅男免费| 亚洲精品一二区| 日本黄色大片一级视频免费麻豆| 在线不欧美| AV天黑人| 91精片| 亚欧无码线免费观看视频| 久久这里只精品免费福利| 亚洲av成人精品一区| 一二三区精品视频| 日韩一卡二卡三卡| 99999re| 啊操爽品善一区二区三区| AV在线资源| 99热精品青草在线 | 国产精品一级特黄aaa大片在线观看 | 国产精品自在自拍视频| 激情黄色片在线观看| 青青草视频久久| 天天欧美欧美亚洲网| 日韩一级欧美一级在线观看| 96AV精品| 伊人午夜福利视频| 精品九九九| 91精品国产日韩欧美综合| 黄片直播三级黄片两女一男| 蜜桃臀 后入 一区 二区 三区 在线| 老女人碰碰在线碰碰视频| 91狠狠综合久久| 国产成人一级av88| 色97| 亚洲风情综合网| 人人操人人93| 啪啪91| 无码欧美有限公司| 97人妻人人躁人人玩人人| 欧美Ⅴ性爱| 亚洲AV成人无码一区二区三区在线观看| 东京热激情视频一二三区| 伦理弟一页| 国产视频人人网| 欧美劲爆视频一区二区| 人妻超碰青青草98| 久久久久久久久久久免费精品| 99∨VTV| 蜜臀va69| 女人爽到高潮潮喷18禁网站| 99蜜桃臀久久久欧美精品网站| 欧美亚洲手机在线| 日本精品一区三区| 玖玖久久久| 亚洲……91| 一区二区三区一亚洲中文字幕、综合区灬 | 骚逼一区二区| 四虎午夜影院| 久久久久久久久久黄色网| 国产女同视频在线播放| 一区在线精品中文字幕| 俺也射| 97久久久久| 18禁在线视频| 啊视频在线| 欧美暴力猛交| 亚洲天天更新| 日本欧美一区二区三区免费| 97人人超| 欧美一级专区免费大片| 凹凸视频在线一区二区| 日本国产成人亚洲精品无码| 久久久久久久78| 免费观看一区| 亚洲成人无码影院| 九九热九九热| 亚洲黄色电影| 色色色色网站| 蜜桃网熟妇| 国岛片视频| 欧美 亚洲 另类 综合| 性猛交| 亚洲九月丁香| 六月天婷婷| 天天综合站| 日产欧美电影一区二区三区| 亚洲欧美国产日本一区二区三区| 第45页一区二区| 97干97色| 日本一区二区成人在线| 蜜桃一区二区三区| 精品v日韩欧美国产| 啊灬啊灬啊灬啊灬高潮奶出了免费视| 一级黄色视频网| 欧美综合亚洲| 五月天丁香网| 国产视频第二页| 艳美熟妇先锋一二三区| 亚洲av国产av综合av卡| 日韩97视频| 久久草在线综合视频| 久久久久久无码人妻中文字幕| 亚洲成人无码影院| 九九九久久久| 黑人与人妻| 欧美亚洲日本激情在线| 九九九九九九九九九九精品视频| 日本熟妇人妻中出视频| 天天综合站| 美国美女AV在线| 少妇干B| 校园春色五月天| 五月天伊人| 欧美日韩丝袜| 少妇xx精品| 国产97色在线 | 亚洲| 操操操操操操| 性爱久久| 岛园激情| 中国一区二区亚洲人妻| 好爽视频在线观看视频| 中文字幕乱偷人妻久久艾草网| 黄页18禁| 亚洲精品视频二区| 欧美三级中文字幕hd| 欧美乱伦专区| 熟女熟妇一区二区三四区| 熟妇一区二区三区| 久久久久久久久久久97| 五月天色综合| 亚洲乱熟女一区二区三区大香蕉| 91午夜无码| 91爱网| 欧美91网| 变态综合色| 亚洲AV色图一区| 久久久久921| 欧美综合在线91| 9久综合网| 99亚洲精品| 91亚·色| 69超碰综合| 亚洲欧美日韩免费电影| 另类亚洲一区二区三区| 91精品国产91综合久久蜜臀| 91激情国产| 久草精品在线| 蜜乳av一区二区三区| 男人天堂久久精品不卡| 北条麻妃性愛视频| 精品国产久久乱码| 蜜臀99久久精品久久久久久| 男人天堂新| 在线观看中文字幕| 91精品久久久久五月天精品| 亚洲天堂五月天国产| 最新av中文字幕高清| 日韩激情啪啪| 五月激情影院| 久久伊人在线五区| 久湿久久 | 九九热AV| 一本一道人妻久久一区二区三区| 综合97亚洲| 偷拍导航视频网站| 伦激情人妻另类人妻| 不卡在线一区,精品一区二区三区中| 超碰人人乐97| 欧美日本天堂| 97操| 精品人妻一区二区蜜桃视频| 97天天| 日韩操逼HD| 青青网三级视频| 久久精品91| 日本中文字幕不卡视频| 欧日a| 麻豆伊人网| 亚洲欧美综合网| 不卡av在线中文字幕| 黄色大片一区二区密桃丝袜| 97天天插| 无码黑人精品一区二区三区三| 色性综合| 午夜传煤十二区精品| 欧美一区二区一级岛国大片| 欧美亚洲日韩人妻在线观看| 人妻 制服 日韩 中文 在线| 午夜国产综合视频在线观看| 五月天婷婷综合网| 安微少妇操BBB| 欧美人与性动交a美精品| 欧美成人色| 黄色成人网久久久久久| 亚洲色图20p| 97色碰| 亚洲天堂人妻一区二区| 日本黄色精品专区网站| 五月丁香综合网| 呻吟 欧美 日本 中出| 性爱乱伦网址| 欧美激情 亚洲色图| www.婷婷六月天| 色97干| 超碰人人乐97| 性饥渴少妇av无码毛片| 国产亚洲精品美女| 精品一区二区成人| 老熟乱一区二区三区四区| 色色色综合网| 色欲Av人妻精品一区二| 少妇精品久久久八区九区| 91人妻做a观看视频| 蜜桃狠狠色伊人亚洲综合 | 亚洲限制级| 国产欧美亚洲精品a第2页| 中文字幕视频二区| 欧美熟爽综合| 人人做人人妻人人夜视频| 乱人乱色一区二区三区免费| 91骚妇| 亚洲成av人片色午夜乱码| 精品视频一二三中文| 二三四区精品| 亚 欧 美 综合| 333kkkk·亚洲com久久| 精品九九九九| 亚洲高清男人天堂| 日本有码影片下载| 六月色色| 欧美日韩国产色图在线| 日韩卡一卡二卡三在线| 午夜传煤十二区精品| 小骚逼被操的爽不爽| 大香蕉中文aV在线| 婷婷五月天补不补| 国产精品久久久久久久久AV大片| 午夜男女爽爽大片免费观看| 欧美亚州综合网图片| 国产吹潮女在线观看| WWW4虎| 久久HD| 99久久久久| 黄片直播三级黄片两女一男| 无码黑人精品一区二区三区三| 少妇精品久久| 黑人性欧美| 男人的天堂99| 自拍六区| 五十路一区无码| 96精品久久| 国产乱码久久久| 天天cao在线| 91综合网| 豆花视频操逼网址| av在线一区二区三区| 亚洲小电影免费涩涩成人在线高清 | 免费αV在线视频| 色欲av一区二区三区蜜芽| 精品美女久久久久| 午夜乱轮操逼视频免费看| 老熟女乱伦片| 日本欧美国内在线| 蜜桃成人1区2区3区| 清纯唯美激情四射| 97色欧州| 97在线观看视频| 一级性爱网| 一级AV性爱| 国产精品一二三免费网站| 有码人妻系列| 日韩/97| 亚洲影视第一页| 狠狠爱大香蕉| 日本韩欧美在线播放a| 人人摸人人干| 人人超碰在线观看黄| 久久久性少妇| 国产一区二区成人av在线播放| 全球成人中文在线| 91精品电影18| 亚洲自拍青操视频| 国产精品午夜AV完会免费 | 老司机深夜18禁污污网站| 国产av美女被艹的乱叫| 色综合98| 国产传媒日韩| 日本免费亚洲欧美| 少妇高潮喷水无套久久久久久| 国色综合天| 国产乱人伦AVA麻豆软件.| 91高跟美女在线播放| 午夜舔阴达高潮视频免费看| 9999免费精彩视频| 内射中国少妇高清视频免费视频| 国产午夜精品在线观看| 小少妇| 9.1小视频| 欧美做爰无码A片视频| 欧美成人国产精品| 3d成人精品一区二区| 久久男人的天堂国产| 神马麻豆福利院| 色色色综合网| 黑白配性爱AV成| 激情五月激情综合网| 78精品在线| 综合五月天| 久久女人| 91婷婷伊人狠人| 超碰在线人妻中文字幕| 75大香蕉| 中日韩欧美精品无码AⅤ一区二区| 天天天乱色综合全| 韩国成人精品久久久免费看| 动漫av中文| 欧美一区二区三区蜜桃| 亚洲天堂一二| 国产欧美第五页| 欧美第一页| 美女97超碰| 操婷婷逼| 另类天堂| 91美女中出| 又粗又长又爽在线观看| 久久熟女嫩草成人片免费| 97国产色综合| 欧美大香蕉同搞| 男女啪啪网站免费视频| 青操影院| 亚洲中文字幕有码视频一区二区三区| 天天激情干| 色99999| 很狠操| 91色噜噜狠狠| 亚州伊人色综台| 福利伊人玖玖国产| 色欲天天综合久久久无码网中文| 亚州欧美综合| 97看操| 国产精品交换一区二区| 亚洲色图欧美视频| 日韩字幕一区| 丁香五月天堂网| 久久三| 人妻 中文 日韩| 麻豆三极片| 丝袜足交视频| 美女丝袜激情小说| 丁香五月激情综合| 99在线精品观看99| 探花一区在线| 成人免费不卡在线视频| 亚洲欧洲自拍图片专区满春格| 丰满人妻一区二区三区四区| 少妇久久久免费| 视频在线观看青青99国产| 欧美精品 - 91爱爱| 深爱激情五月天| 欧美日不卡| 夜夜一区二区| 亚洲。日韩。欧美| 久久久网站| 欧美九九爱| 欧美青青视频| 乱子伦一区二区三区国产精品| 国产成自自拍在线观看| 伊人久久大香蕉线AV五月天| 欧美最婬乱婬爆婬性视频 | 黄aaaaaaaaaaaaaaaaaa色网站 | 3571色综合一区二区二区| 囯产精品一区二区三区线|亚洲人成无码网WWW动漫|国产精品免费一级... | 久久久久久电影| 人妻啪| 国产精品免费视频不卡| 国产免费永久精品无码| www色婷婷| 欧美日韩一干二干| 九九九草| 欧美天天射| 小少妇| 超碰79人人乐| 思思热在线视频免费| 色欲蜜臀AV| 久久,精品一二三| 欧美老妇综合网| 欧美美逼| 日韩黄片视频试看| 五月天精品| 射丝袜大香蕉| 日本不卡五区| 国产精品久久久久久久黄无码 | 久九九九九九九九热| 欧美91精品国产自产| 天天天天天天天天天天干美女| 亚洲色久| 超碰在97| 最新AV在线| 日本123区操B视频| 亚洲国产精品久久久男人的天堂| 欧中美三级一区二区三区| 91久久免费视频互動交流| 国产又粗又又黄又猛| 91欧洲入口| 久久无码成人| 久久久久9999妇女| 秋霞色色影院| 67914亚洲精品| 91N综合网| 太久视频| 午夜天堂精品久久| 国产精品久久| 国产欧美日韩女同性恋ww喷水精品| 狠操91,com| 岛国大片在线观看网站入口| silk lablo在线观看一区二区| 老司机午夜精品视频| 日韩三级久久久| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师黑人潮喷一 | 啊嗯好大视频在线观看| 亚洲av青草久久一区二区| 夜夜肏2021| 97亚洲精品| 欧美爆操91| 国产成人无码a| 视频二区熟女人妻| 看一级黄色视频| 色婷婷国产精品一区在线观看| 婷婷三区| 综合五月婷婷亚洲一区| 天操天操夜操夜月月年年操操| 国产精品久久久鸭无码的功能| 久久久亚洲熟妇资源| 婷婷久热| 久草尤物| 国产自偷| 欧美午夜色妇色鬼| 欧美,日韩综合久久| 亚洲欧洲自拍| 久久99草| 情色AV电影| 女同女同恋久久级三级| 超碰欧美97资源| 欧美九九99久久精品| 国产精品黑人一区二区三区| 夜夜 中文视频rt| 又大又黄国产| 欧美色五月| 国内精品a| 偷拍综合网| 夜夜嗨老熟女AV一区二区三区| 亚洲欧洲偷拍一区| 粉嫩绯色AV一区二区在线| 无码精品久久久久久亚洲| 竹菊一区二区三区AV线| 后入人妻一区| 久久婷婷精品| 国产亲戚伦亲在线| 亚洲āv网址在线观看| 999久久久久久久久| 欧美久久久| 91人妻视频| 国产欧美一区二区| 免费在线观看AV无码网站| 欧美成年人性爱视频免费观看| 上床啊啊啊| 成人区人妻精品一| 无卡一区=区| 青青青国产| 人妻日日夜夜精品 | 丝袜美女诱惑 91 视频| 九九热男人天堂| 97亚洲性爱| 亚洲丝袜B诱惑| 歐美性天天| 日韩综合97P| 综合九九| 97超碰公开| 亚洲97超碰| 粉嫩av在线| 亚洲精品九九九| 精品免费视频国产一区| 少妇内射www在线观看视频| 成人精品视频| 手机av亚洲丝袜美腿日韩第一页二页| 欧美色图 人妻| 欧美超碰人妻97| 婷婷丁香人妻| 91久久| 人人操人人大香蕉| 长长久久免费视频| 激情亚洲天堂| 福利大香蕉| 亚欧色图在线激情| 国产亚洲精品美女久久久m| www久| 97超碰色屌| 九九九九一区| 日韩一区二区精彩视频| 成人丁香五月| 久久大精品乱码视频人妻熟女| 一本大道久| 芊芊操逼视频无码| 69人妻精品一区二区绯色| 中文字幕少妇色| 成人夜夜| 亚洲成人av电影在线| 日本久操视频| 国产成人精品一区| 天天噜| 久久午夜伦| 日日爽熟女| 欧美成人一区二区三区在线播放| 天美av在线观看| 国产熟女无套内射| 国产成人久久久精品免费AV| 中文字幕一区二区三四五区日日骚| 久久区| 天天干一干| 92久久| 日韩人妻资源在线看| 精品人妻视频一区二区在线播放| 久草精品国产99| 午夜福利久久久噜久噜久久综合| 啊啊啊想要| 国产精品交换一区二区| 国产嫩草精品A88AV| 色99色| 午夜亚洲WWW湿好大| 99久久久无码| 亚洲乱色熟女一区| 欧美91久久久久| 蜜桃av综合网发布| 亚洲无码一区成人免费午夜| www.夜夜| 黄色香蕉视频网站一区| 色男人色天堂东京热| 欧美亚洲日本视频久久久| 黄久在线| 亚州精人品大香蕉| 天堂v无码免费视频| 97超碰逼| 91|九色|国产熟女| 欧美精品宗合| 色老牛| 欧美日韩国产在线| 涩涩这里只有精品视频| 亚洲色图欧美| 9久精品视频在线观看| 日韩欧美一级特黄大片| 91美女在线| 超碰欧美在线欧美| 亚洲另类综合欧美| 国产精品自拍xxxx| 人人妻人人玩人人澡人人爽| 中文字幕超碰CAO| 丁香五月天堂| 亚洲,日韩,欧美,成人播放| av2014 日韩在线中文字幕| 国产白嫩精品久久| 99久热| 日韩在线观看字幕精品| .精品人妻一区二区三| 九九热精品| 精品视频久久区| 欧美性生活综合| 干婷婷综合网| 国产精品成人久久一区二区三区 | 五月花婷婷| 国产女人与拘做受视频免费| 精品久久无码午夜福利| 亚州综合色| 久久久精精精| 伊人丝袜美腿高跟在线观看高清| 国产白嫩精品久久| 欧美一级三级| 亚洲色吧网| 禁止观看美女黄| 天天干2区3区| 蜜桃色色网站视频三区| 久久精品亚洲婷婷| 色色色热| 99久久com免费视频′| 91久热这里只有精品| 夜夜夜久久| 日韩精品99999| 婷婷五月天网| 少妇二级| 亚洲情色一区三区| 玖色AV| 国产女人9999| 97在线资源|