日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

Zabbix監(jiān)控Nginx:stub_status+UserParameter配置實戰(zhàn)指南

Zabbix監(jiān)控Nginx:stub_status+UserParameter配置實戰(zhàn)指南 Nginx 監(jiān)控這件事很多人一開始想復雜了。Zabbix 要拿到 Nginx 的運行狀態(tài)并不需要裝額外探針也不一定非要解析訪問日志最穩(wěn)定的入口其實是 Nginx 自帶的 stub_status 狀態(tài)頁。只要把它打開再用 Zabbix Agent 把里面的幾個數(shù)字讀回來就能完成請求量、并發(fā)連接、讀寫狀態(tài)的監(jiān)控再配上觸發(fā)器和圖形連接數(shù)異常、請求速率突變這些情況都能直接看到。這篇內(nèi)容按實際落地順序來拆先講 Nginx 狀態(tài)頁每個字段是什么意思再講怎么讓 Zabbix Agent 把數(shù)據(jù)采回來然后是 Zabbix 前端里的監(jiān)控項、觸發(fā)器和圖形怎么配最后做一輪實測把請求打起來再去看統(tǒng)計結(jié)果怎么解讀。適合剛接觸 Zabbix 監(jiān)控 Nginx 的人也適合已經(jīng)在用 shell 腳本采集、但想轉(zhuǎn)成 Zabbix 規(guī)范化監(jiān)控的人。1. 先搞清楚 nginx 狀態(tài)頁Zabbix 監(jiān)控 Nginx 的數(shù)據(jù)從哪來1.1 stub_status 輸出字段對照Zabbix 監(jiān)控 Nginx底層數(shù)據(jù)源不是日志而是 Nginx 自己維護的計數(shù)器。只要在 Nginx 配置里啟用 stub_status訪問狀態(tài)頁就能看到一小段純文本Active connections: 291 server accepts handled requests 16630948 16630948 31070465 Reading: 6 Writing: 179 Waiting: 106這段文本雖然短但每個字段都有明確含義。字段含義類型Active connections當前活動連接數(shù)瞬時值acceptsNginx 啟動以來累計接受的客戶端連接總數(shù)累計值handled成功處理的連接總數(shù)累計值requests累計處理的客戶端請求總數(shù)累計值Reading正在讀取請求頭的連接數(shù)瞬時值Writing正在讀取請求體、處理請求或?qū)戫憫倪B接數(shù)瞬時值Waiting空閑的 keep-alive 連接數(shù)瞬時值第一行Active connections是當前活動連接數(shù)。注意它包含后面 Reading、Writing、Waiting 三類的總和所以只要 Nginx 活著這個數(shù)值通常不會是 0。第二行是固定表頭server accepts handled requests。第三行的三個數(shù)字分別對應表頭都是只增不減的累計計數(shù)器只有 Nginx 重啟才會歸零。第四行的 Reading、Writing、Waiting 是三個瞬時值。一個請求從進入到結(jié)束通常會依次經(jīng)過 Reading、Writing 兩個階段最后進入 Waiting或者直接關閉連接。這幾個字段之間的換算關系是Active connections Reading Writing Waiting。理解這個關系后面看圖形和觸發(fā)器才不會被數(shù)字騙到。1.2 哪些指標值得接進 Zabbix不是每個字段都必須接進來但下面這幾個我建議至少都要有。請求速率是最核心的指標對應 requests 計數(shù)器看的是單位時間內(nèi)處理了多少請求也就是平時說的 QPS。只看累計值沒有意義必須換算成速率。新建連接速率對應 accepts 計數(shù)器看的是單位時間內(nèi)來了多少新連接。這個值和 QPS 的區(qū)別在于keep-alive 生效的情況下一個連接上可以連續(xù)發(fā)多個請求所以請求速率通常遠大于連接速率。當前并發(fā)連接數(shù)對應 Active connections是最直觀的負載指標。但它不能單獨說明問題必須結(jié)合 Reading、Writing、Waiting 一起看。Reading 如果持續(xù)偏高說明有一些客戶端請求頭發(fā)得很慢或者請求頭一直沒發(fā)完。Writing 持續(xù)偏高說明 Nginx 正在大量往客戶端寫響應這時候要關注帶寬和上游服務能不能跟上。Waiting 高反而是正?,F(xiàn)象說明大量連接是空閑 keep-alive對靜態(tài)資源或高并發(fā) Web 服務很常見。把這些字段全部接進 Zabbix才算真正把 Nginx 的運行狀態(tài)看完整。2. 環(huán)境準備與最小配置讓 Nginx 先吐出狀態(tài)數(shù)據(jù)2.1 確認 Nginx 是否支持 stub_statusstub_status 不是所有 Nginx 都默認包含。編譯 Nginx 時如果沒有加--with-http_stub_status_module這個功能就不存在配置寫了也會報錯。先檢查當前 Nginx 有沒有這個模塊nginx -V 21 | grep -o http_stub_status_module如果輸出里有http_stub_status_module說明支持。如果沒有有兩個方向重新編譯 Nginx 時加上這個模塊或者換成已經(jīng)默認包含該模塊的發(fā)行版軟件包。很多發(fā)行版和官方倉庫自帶的 Nginx 都已經(jīng)開啟了這個模塊但自編譯版本一定要單獨確認。這里提醒一下執(zhí)行nginx -V時編譯參數(shù)是在標準錯誤輸出里所以我加了21把錯誤輸出重定向到同一路。很多人第一次只看第一行 version以為不支持其實是沒看全。2.2 Nginx 狀態(tài)頁配置示例與安全限制確認模塊存在后在 Nginx 的 server 配置里加一個 location。以下是一份最小配置server { listen 80; server_name _; location /nginx_status { stub_status on; access_log off; allow 127.0.0.1; deny all; } }這里最關鍵的是allow和deny。stub_status 本身沒有任何認證機制任何人能訪問就能看到你的連接數(shù)、請求量和連接狀態(tài)。如果把狀態(tài)頁暴露到公網(wǎng)內(nèi)部運行信息等于公開了。所以默認只允許本機訪問是最穩(wěn)妥的做法。如果你的 Zabbix Agent 和 Nginx 不在同一臺機器上不要直接把deny all刪掉應該改成只允許采集機 IP 訪問location /nginx_status { stub_status on; access_log off; allow 192.168.1.100; deny all; }改完配置先檢查再重載nginx -t nginx -s reloadnginx -t這一步不能省。stub_status 的 location 如果配置在錯誤的上下文里或者和已有配置沖突reload 會直接失敗。2.3 用 curl 驗證狀態(tài)頁是否生效配置完成之后先在 Nginx 所在機器上驗證curl -s http://127.0.0.1/nginx_status如果能看到開頭那段文本說明狀態(tài)頁已經(jīng)可以訪問了。如果返回 404說明 location 沒生效或者配置在了錯誤的 server 塊里。如果返回 403大概率是deny all生效了而你的請求來源 IP 不在allow列表里。這里有個容易忽略的點如果你的 Nginx 不是監(jiān)聽 80 端口或者同時有 HTTPSURL 里要帶上實際協(xié)議和端口例如http://127.0.0.1:8080/nginx_status。先花一分鐘把 curl 這步跑通后面會省很多時間。3. Zabbix Agent 接入一條 UserParameter 和一個監(jiān)控項的關系3.1 安裝與基礎配置 Zabbix AgentZabbix Agent 是部署在 Nginx 所在機器上的采集程序。它的作用和 Nginx 狀態(tài)頁互補狀態(tài)頁負責提供數(shù)據(jù)Agent 負責把數(shù)據(jù)讀出來再交給 Zabbix Server。安裝方式要看你的系統(tǒng)和 Zabbix 版本直接使用官方倉庫安裝 zabbix-agent 即可。裝完需要修改配置文件常見要確認三個參數(shù)Server192.168.1.10 ServerActive192.168.1.10 Hostnameweb01Server是允許給這臺 Agent 下發(fā)被動采集請求的 Zabbix Server 地址。ServerActive是主動上報要連接的 Server 地址。Hostname是 Agent 上報時使用的名字在 Zabbix 前端添加主機時要保持一致特別是主動檢查時Hostname 對不上會直接導致數(shù)據(jù)丟失。這里解釋一下被動檢查和主動檢查的區(qū)別。被動檢查是 Zabbix Server 主動連接 Agent 的 10050 端口要數(shù)據(jù)主動檢查是 Agent 主動連接 Server 的 10051 端口上報數(shù)據(jù)。自定義 UserParameter 兩種方式都支持但排查問題時的思路不一樣后面會詳細說。改完配置啟動服務systemctl restart zabbix-agent systemctl status zabbix-agent3.2 通過 UserParameter 把 nginx_status 轉(zhuǎn)成監(jiān)控項Zabbix Agent 默認不認識 nginx 的 key需要通過 UserParameter 來定義。UserParameter 的格式很簡單一個 key一個命令Agent 執(zhí)行命令把標準輸出作為監(jiān)控值返回。在/etc/zabbix/zabbix_agentd.d/目錄下創(chuàng)建一個 nginx.conf寫入以下內(nèi)容UserParameternginx.active,/usr/bin/curl -s --max-time 3 http://127.0.0.1/nginx_status | awk /Active connections/{print $3} UserParameternginx.accepts,/usr/bin/curl -s --max-time 3 http://127.0.0.1/nginx_status | awk NR3{print $1} UserParameternginx.handled,/usr/bin/curl -s --max-time 3 http://127.0.0.1/nginx_status | awk NR3{print $2} UserParameternginx.requests,/usr/bin/curl -s --max-time 3 http://127.0.0.1/nginx_status | awk NR3{print $3} UserParameternginx.reading,/usr/bin/curl -s --max-time 3 http://127.0.0.1/nginx_status | awk /Reading/{print $2} UserParameternginx.writing,/usr/bin/curl -s --max-time 3 http://127.0.0.1/nginx_status | awk /Writing/{print $4} UserParameternginx.waiting,/usr/bin/curl -s --max-time 3 http://127.0.0.1/nginx_status | awk /Waiting/{print $6}逐個拆一下。每行都是一個 key例如nginx.active。后面的命令先用 curl 抓取狀態(tài)頁再用 awk 提取對應字段。awk 的寫法要特別注意。第三行的 accepts、handled、requests 是三個連續(xù)數(shù)字所以分別用NR3定位到第三行再打印第 1、2、3 列。Reading、Writing、Waiting 在同一行里所以要先用正則匹配到這一行再打印對應列。Writing 是第 4 列Waiting 是第 6 列這個順序很多人會弄錯。命令里的--max-time 3不是隨便加的。如果狀態(tài)頁異常導致 curl 一直掛住Agent 執(zhí)行這個 UserParameter 就會卡住嚴重時會占滿 Agent 的檢查線程影響這臺機器上的其他監(jiān)控項。加上超時時間最壞 3 秒也會退出。改完配置后重啟 Agentsystemctl restart zabbix-agent3.3 先用 zabbix_get 還是前端測試功能配置完 UserParameter不要急著去 Zabbix 前端創(chuàng)建主機先在命令行驗證一遍 key 能不能查到值。在有 zabbix-get 工具的機器上執(zhí)行它通常在 Zabbix Server 或 Proxy 上zabbix_get -s 192.168.1.20 -k nginx.requests返回一個數(shù)字說明這條鏈路通了。如果提示 Not supported 或者沒有輸出先不要懷疑 Zabbix 配置回到 Nginx 機器上直接執(zhí)行那條 UserParameter 命令看有沒有結(jié)果。這里有個容易踩的坑你手動執(zhí)行命令時用的是 root 用戶而 Zabbix Agent 運行時的用戶通常是 zabbix兩個用戶的環(huán)境變量、權(quán)限、可執(zhí)行路徑可能都不一樣。比如 zabbix 用戶沒有權(quán)限訪問某個目錄或者 SELinux 攔截了 zabbix 用戶執(zhí)行 curl都會導致手動執(zhí)行正常、Agent 執(zhí)行失敗。新版 Zabbix 前端在監(jiān)控項配置里也有一個 Test 按鈕可以直接測試當前主機上的 key返回結(jié)果和報錯更直觀。實際排查時我一般按三個地方順序看Agent 所在機器手動執(zhí)行命令、zabbix_get 從 Server 端測試、前端 Test 按鈕看報錯。4. 創(chuàng)建主機、監(jiān)控項、觸發(fā)器數(shù)據(jù)到告警的完整鏈路4.1 在 Zabbix 前端添加主機與監(jiān)控項命令行驗證通過后進入 Zabbix Web 界面按照 配置 → 主機 → 創(chuàng)建主機 的路徑添加一臺主機。填寫主機名時要注意Agent 配置文件里的 Hostname 和這里的主機名必須一致否則主動檢查會失敗。接口配置里選擇 Agent填寫 Nginx 所在機器的 IP 和默認端口 10050。添加監(jiān)控項有兩條路線。一條是直接鏈接模板Zabbix 模板庫里有 Nginx by HTTP、Nginx by Zabbix agent 2 這類現(xiàn)成模板不同版本的模板數(shù)量和名稱會有差異底層采集方式也是去讀狀態(tài)頁適合不想自己維護 key 的人。另一條是手動創(chuàng)建監(jiān)控項用剛才定義的 UserParameter 鍵值自由度更高也更容易理解每個數(shù)字怎么來的。如果你是第一次做我更建議先手動創(chuàng)建。原因很簡單自動模板會隱藏很多細節(jié)一旦出了問題你很難判斷是狀態(tài)頁的問題、Agent 的問題還是模板映射的問題。手動創(chuàng)建一遍等于把鏈路里的每個環(huán)節(jié)都摸清楚了。手動創(chuàng)建監(jiān)控項時以nginx.requests為例名稱Nginx Requests類型Zabbix Agent鍵值nginx.requests信息類型數(shù)字無正負更新間隔1m 或 30s 都可以歷史數(shù)據(jù)保留7d趨勢數(shù)據(jù)保留365d其他幾個 key 按同樣方法創(chuàng)建。4.2 請求速率、連接數(shù)怎么存儲和計算單位這里要解決一個關鍵問題accepts、handled、requests 這三個字段是累計值直接存進 Zabbix 只能看到一根一直向上的線很難判斷當前請求量到底是多少。所以必須讓 Zabbix 把累計值換算成速率。在 Zabbix 監(jiān)控項配置里有一個字段叫“存儲值”可以選“原樣存儲”“增量簡單變化”和“增量每秒速率”。存儲方式適用場景示例原樣存儲瞬時值當前是多少就存多少active、reading、writing、waiting增量簡單變化累計值的兩次差值accepts 每次變化量增量每秒速率累計值換算成每秒速率requests、accepts、handled對 requests、accepts、handled 這三個累計計數(shù)器應該選擇“增量每秒速率”單位寫成 req/s 或 conn/s。這樣 Zabbix 會在后臺自動計算兩次采集之間的差值再除以時間間隔得到每秒速率。如果你不想在監(jiān)控項里改存儲方式也可以用預處理步驟里的“每秒更改量”來實現(xiàn)同樣效果。兩者本質(zhì)上是一樣的看你習慣哪種。唯一要注意的是如果 Nginx 在兩次采集之間重啟過計數(shù)器歸零速率可能會出現(xiàn)一次很大的負值或異常值統(tǒng)計圖形上會出現(xiàn)明顯的斷點這是正?,F(xiàn)象不是系統(tǒng)崩潰。active、reading、writing、waiting 這四個瞬時值就保持“原樣存儲”它們的數(shù)值本身就是當前狀態(tài)不需要做速率換算。4.3 觸發(fā)器和告警閾值怎么定監(jiān)控項建好后數(shù)據(jù)會不斷進入 Zabbix但沒人盯著圖形的話異常還是發(fā)現(xiàn)不了。觸發(fā)器的意義就是自動判斷數(shù)值是否超過預期。觸發(fā)器配置路徑是 配置 → 主機 → 觸發(fā)器 → 創(chuàng)建觸發(fā)器。以活躍連接數(shù)為例一個簡單表達式last(/web01/nginx.active)10000含義是當前活躍連接數(shù)大于 10000 時觸發(fā)警告。再比如請求速率min(/web01/nginx.requests,5m)5000含義是最近 5 分鐘請求速率平均值超過 5000 req/s 時觸發(fā)。閾值定多少沒有標準答案取決于你的業(yè)務。我建議先讓 Zabbix 跑兩三天積累一段基線數(shù)據(jù)再根據(jù)圖形里的峰值來定警告和嚴重閾值不要憑感覺拍腦袋。第一次設置可以把閾值放寬一點確認告警鏈路能正常觸發(fā)后再往回收。觸發(fā)器還可以設置恢復表達式也就是數(shù)值降到多少以下時自動恢復為正常。這個最好一起配好否則每次數(shù)值震蕩都會反復觸發(fā)、恢復告警會很吵。要測試告警鏈路的完整效果除了觸發(fā)器還需要配置好動作和通知方式。如果暫時沒配郵件或其他通知也可以先只做觸發(fā)器通過 Zabbix 首頁的告警記錄來確認觸發(fā)是否成功。5. 實測一輪用請求壓一壓再去看統(tǒng)計結(jié)果和圖形5.1 制造流量curl 循環(huán)或 ab 簡單壓測配置完成之后最關鍵的一步就是實測。沒有流量監(jiān)控圖形是一條平線你很難判斷數(shù)據(jù)到底有沒有采集成功。最簡單的測試方法是用 curl 發(fā)一批請求。在 Nginx 機器上執(zhí)行for i in $(seq 1 1000); do curl -s -o /dev/null http://127.0.0.1/; done這個循環(huán)會向本機 Nginx 發(fā)送 1000 次請求每次丟棄響應內(nèi)容。優(yōu)點是環(huán)境干凈不需要額外工具。缺點是速度不夠快產(chǎn)生的請求速率不會特別高。如果你機器上有 ab也就是 ApacheBench可以壓得更明顯一些ab -n 5000 -c 100 -k http://127.0.0.1/這條命令的含義是總共發(fā)送 5000 個請求同時保持 100 個并發(fā)連接-k表示啟用 keep-alive。ab 在測試時會持續(xù)請求能把 Nginx 的請求速率和活躍連接數(shù)明顯拉起來。執(zhí)行的時候建議一次只跑一種跑完等一分鐘讓 Zabbix 完成幾個采集周期再去前端看數(shù)據(jù)。如果立刻去看采集周期還沒到可能什么都看不到。5.2 分析 Latest data 和 Graphs進入 Zabbix 前端的“監(jiān)測 → 最新數(shù)據(jù)”選擇剛才創(chuàng)建的主機就能看到每條監(jiān)控項的當前值。這時候你看到的應該是有具體數(shù)字的綠色狀態(tài)而不是“不支持”或“無數(shù)據(jù)”。以剛才 ab 壓測為例壓測過程中可以看到 requests 數(shù)值沖上去壓測結(jié)束后又會回落。如果配上圖形把請求速率、活躍連接、Reading、Writing、Waiting 放在同一張圖里觀察能很直觀地看到整個請求生命周期的變化。如果你沒有在監(jiān)控項里單獨創(chuàng)建圖形也可以在儀表盤中添加一個圖表組件數(shù)據(jù)源選擇對應主機的監(jiān)控項。Zabbix 的圖表組件支持把多個監(jiān)控項疊加到同一張圖上非常適合對比 Active connections、Reading、Writing、Waiting 這幾個相關指標。5.3 從數(shù)據(jù)反向判斷 Nginx 狀態(tài)是否健康數(shù)據(jù)有了接下來的重點是怎么讀這些數(shù)字。先看 active connections 和 waiting 的關系。如果活躍連接數(shù)很高但 waiting 也很高說明大量連接是空閑 keep-aliveNginx 實際壓力不大只是在維持長連接。如果活躍連接數(shù)高waiting 卻很低說明連接都在真正干活這時候負載才是真的高。再看 accepts 和 handled 的對比。正常情況下這兩個數(shù)值應該非常接近。如果 handled 長期明顯小于 accepts說明有一部分連接沒有被 Nginx 成功處理可能原因是 worker_connections 配置過低連接數(shù)被系統(tǒng)層面拒絕了。通過 Zabbix 監(jiān)控這兩個值的曲線差值能比看錯誤日志更早發(fā)現(xiàn)問題。再看請求速率和連接速率的關系。用 requests 速率除以 accepts 速率可以得到平均每個連接上的請求數(shù)。如果這個值接近 1說明 keep-alive 基本沒起作用客戶端每次請求都新建連接連接效率很低。如果明顯大于 1說明 keep-alive 生效良好一個連接上處理了多個請求。Reading 和 Writing 是更細的觀察點。靜態(tài)資源站點在壓測時Writing 會明顯升高因為 Nginx 正在往客戶端輸出響應。如果 Writing 持續(xù)高位但 requests 并不高可能是網(wǎng)絡帶寬打滿了響應寫不出去。Reading 持續(xù)高位則要小心可能是客戶端請求頭發(fā)送緩慢也可能是存在慢連接這種情況即使活躍連接數(shù)不高worker 也可能被拖住。這些判斷不能只看一兩個采樣點最好結(jié)合 5 分鐘、1 小時的時間窗口來看趨勢。這也是為什么前面建議把趨勢數(shù)據(jù)保留時間設長一些。6. 常見問題排查與生產(chǎn)環(huán)境落地的邊界6.1 Agent 顯示 Not supported 時按什么順序查Zabbix Agent 返回 Not supported 是監(jiān)控 Nginx 時最常遇到的問題。很多人第一反應是去改 Zabbix 配置其實大多數(shù)時候問題出在 Agent 側(cè)。我的排查順序是固定的。第一步直接手動執(zhí)行那條 UserParameter 命令看有沒有輸出。如果命令本身就沒輸出說明狀態(tài)頁、curl、awk 里有一環(huán)斷了。第二步確認執(zhí)行用戶。Zabbix Agent 通常以 zabbix 用戶運行手動用 root 執(zhí)行成功不代表 zabbix 用戶能執(zhí)行。可以用su - zabbix -s /bin/bash -c 命令來模擬 Agent 的執(zhí)行環(huán)境。第三步看 Agent 日志默認在 /var/log/zabbix/zabbix_agentd.log。日志里會記錄 key 對應的錯誤信息比如命令找不到、執(zhí)行超時、權(quán)限不足等。第四步改完 UserParameter 后確認重啟了 Agent。UserParameter 是在 Agent 啟動時讀取的不重啟不會生效。第五步從 Server 端用 zabbix_get 測試連通性。這一步能區(qū)分問題是出在 Agent 執(zhí)行命令還是 Server 與 Agent 之間的網(wǎng)絡、端口、密鑰配置上。還有一個常見問題Linux 有 SELinux 或 AppArmor 環(huán)境時zabbix 用戶執(zhí)行 curl 連接本機端口可能會被攔截。手動執(zhí)行正常Agent 執(zhí)行就是失敗排查到這一步時要看安全審計日志確認是不是被策略攔截了。6.2 狀態(tài)頁不能直接暴露在公網(wǎng)前面配置 Nginx 狀態(tài)頁時寫了 allow 和 deny這個限制在正式環(huán)境同樣重要。stub_status 只有數(shù)據(jù)輸出沒有認證、沒有訪問控制任何人拿到狀態(tài)頁地址就能看到你所有虛擬主機的連接數(shù)、請求量等信息。這些數(shù)據(jù)單獨看不算機密但結(jié)合業(yè)務時序可能暴露促銷活動、低谷期等運營信息。所以生產(chǎn)環(huán)境要遵守幾個原則狀態(tài)頁只監(jiān)聽內(nèi)網(wǎng)地址或只允許內(nèi)網(wǎng)訪問。Zabbix Agent 與 Nginx 部署在一起時直接限制為 127.0.0.1。如果需要遠程采集優(yōu)先讓 Agent 本機讀取不要讓其他機器直接 HTTP 訪問狀態(tài)頁。Nginx 服務本身就開啟了公網(wǎng)監(jiān)聽時更要檢查 allow 列表不要把公網(wǎng)網(wǎng)段放進去。另外狀態(tài)頁建議使用獨立 location不要放在一個會匹配大量路徑的通用規(guī)則里避免被掃描工具順帶發(fā)現(xiàn)。access_log off也要保留否則每個狀態(tài)頁請求都會寫一條訪問日志白白增加磁盤 IO。6.3 多實例和規(guī)范化模板、宏、命名規(guī)則如果只有一臺機器手動創(chuàng)建監(jiān)控項沒什么問題。一旦機器多起來比如七八臺 Nginx 都要監(jiān)控逐臺手動創(chuàng)建就很痛苦而且容易漏配。這時候應該把監(jiān)控項、觸發(fā)器、圖形整理成模板。在模板里創(chuàng)建好 nginx.active、nginx.requests 這些監(jiān)控項和對應的觸發(fā)器再把模板鏈接到主機上所有主機自動繼承配置。后續(xù)要加閾值、加圖形只需要改模板一處所有主機同步生效。模板里的閾值可以做成宏比如{$NGINX_ACTIVE_WARN}、{$NGINX_REQ_HIGH}。這樣在不同業(yè)務機器上可以差異化覆蓋不用復制整個模板。比如 A 機器請求量本來就大警告閾值定 8000B 機器是小業(yè)務閾值定 1000。用宏就能在同一套模板下按主機單獨調(diào)整。key 的命名也要規(guī)范。前面用的 nginx.active、nginx.requests 就是比較清晰的命名方式。如果一臺機器上有多個 Nginx 實例建議在 key 里帶實例編號比如 nginx1.active、nginx2.active避免數(shù)據(jù)串臺。6.4 歷史數(shù)據(jù)保留和監(jiān)控頻率最后聊一下采集頻率和數(shù)據(jù)保留。對 Nginx 監(jiān)控來說30 秒到 1 分鐘的采集間隔已經(jīng)足夠。不要看到別人用 1 秒間隔就覺得越快越好越短的間隔意味著越多的 Agent 執(zhí)行、越多的 Server 輪詢和越大的存儲開銷。尤其是自定義 UserParameter 每次都執(zhí)行 curl 命令如果一臺機器上有 7 個 nginx key每個采集周期就有 7 次 curl。機器數(shù)量一多這個開銷會被明顯放大。如果想降低開銷有兩個方向。一個方向是把采集間隔統(tǒng)一調(diào)大成 1 分鐘。Nginx 的指標本來就是慢變量1 分鐘內(nèi)的尖峰對告警影響不大。另一個方向是寫一個單獨的采集腳本一次抓取狀態(tài)頁把結(jié)果寫到臨時文件再由多個 UserParameter 去讀文件避免每次都重新 curl。后一種方案適合機器多、又不愿意放寬采集間隔的場景但腳本邏輯和錯誤處理要寫得更嚴謹否則一個腳本崩了所有 nginx key 都會失效。歷史數(shù)據(jù)保留方面原始監(jiān)控值保留 7 到 14 天足夠趨勢數(shù)據(jù)保留 365 天用于回顧容量。如果你發(fā)現(xiàn)自己經(jīng)常要回溯更久之前的 Nginx 指標建議單獨導出到外部存儲不要無限拉長 Zabbix 的保留周期否則數(shù)據(jù)庫膨脹之后整個監(jiān)控系統(tǒng)的查詢速度都會受影響。我個人更建議按這個順序落地先把狀態(tài)頁和 curl 驗證跑通再用 zabbix_get 確認 key 有數(shù)據(jù)然后創(chuàng)建主機和監(jiān)控項最后才是觸發(fā)器和圖形??雌饋砹鞒谈L但每一步都有明確的成功標準出了問題也知道在哪一段排查。真正跑過一輪測試之后你會發(fā)現(xiàn) Zabbix 監(jiān)控 Nginx 并不復雜難點反而不是工具而是你愿不愿意把一個累計計數(shù)器、一個狀態(tài)頁字段吃透。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
国产一区二区在线播放量| 中文字幕狠狠玩| 久久久91福利姬| 91老熟妇| 日韩美女久久一区二区三区| 蜜臀一区二区三区在线| 艳美熟妇先锋一二三区| 中文字幕一区二区无码成人| 欧美精品亚洲精品日韩传电影| oumeisetu综合| 欧美啪啪女女| 日韩AV熟女乱伦| 日本理论在线| 日韩成人大片在线观看| 欧亚性爱啪啪| 97任你吞精| 欧美强奸乱能| 久热久| 黄污污污污| 再深点灬舒服灬太大了好硬好爽| 一卡二卡在线播放| 日本色婷婷| 日韩91网| 好看的91视频| 97人人草| 97综合在线| 色翁荡息又大又硬又粗又爽| 欧美一级黄片视频在线| 丝袜熟女一区二区三区| 熟女突然公开看18禁影片| 色婷久久| 亚洲精品蜜桃久久久一区二区三区| 亚洲另类久操网| 啊嗯好大视频在线观看| 午夜福利区| 91欧洲入口| 欧美激情亚洲| 天天日B狠狠操| 无码不卡亚洲成?人片| 青青操在线亚洲视频观看欧美在线 | 亚洲和欧美裸体美女双飞视频| 极品色社| 久久亚洲色图中文字幕| 欧美日韩欧美| 翔田千里无码一区| 五月天成人综合| 九久9热| 加勒比日本在线| 日本中文字幕熟妇| 人人操肉肉| 欧美少妇性爱网站| 人人色97| 国产亚洲日韩欧| 蜜臀亚洲综合一二三四区| 天堂8在线新版官网| 亚洲激情在线| 久久久国产护士丝袜美腿一| 中文字幕丰满子伦无码专区在线视频最新| 亚洲色宗合| 两女互慰AV高潮喷水在线观看| 亚洲熟女av日韩熟女| 亚洲有码 视频一区| 欧美熟妇亚洲版| 91精品操美女| 激情网色| 三上制服丝AV| 九九热精品视频六| 欧美一级久久久久久久大片动画| 最近的最新的中文字幕视频| 国产日韩怡红院| 福利偷拍视频-中文字幕2019国语完整视频大全-S91AV | 精品无码久久久久久久杏吧| 成人一级二级| 性色一线| 天天日天天干天天摸天天操| 九九九九久久久| 欧美国产精品久久九九| 97超碰国产亚洲精品| 91色艳| 色偷偷男人的天堂麻豆| 美女啊啊啊啊啊啊| 超碰天天操你比| 亚洲综合草草| 97视频网站| 亚洲成?V人片在线观看福利| 中文字幕精品专区搜索结果91| 国产400孕妇孕交群| 激情网色| 日韩无码极品| 一本大道久| 骚逼一区二区| 色狠狠综合噜一二三区| 超碰久久中文| 日韩免费福利在线观看| 91精品大奶人妻| 亚洲图片 激情小说| 亚洲成人黄色在线观看| 中文有码第五页| 国产精品人妻免费精品| 国产剧情一区在线观看| 国产激情综合五月久久| 后入式免费视频| 簧片免费看视频| 亚洲AV不卡在线观看尤物| 久久久96| 内射黑人| 欧美天堂超碰97| 中文久久久| 91 刺激在线| 人人操人人插人www| 色鬼在线综合| 日本久久超碰| 一区二区三区网站日日骚| 欧美在线天堂| 欧美另类色| 另类欧美综合| 中日无幕一二三四区| 超碰成人人人爽人人爽| 伦在线97| 99日免费视频中文字幕| 日韩资源网| 啊灬快c我灬啊灬用力灬啊灬-国产精品性做久久久久久-成人AV | 免费家庭乱伦视频| 玖玖人人爱| 91日日夜夜| 全球成人中文在线| 日韩15p| www.四虎在线| 日本免费专区| 热G综合热G中文| 九九黄色视频在线观看| 精品视频一区二区| 97色碰| 久久国内| 美女啊啊啊啊啊| 插欧洲美女欧美精品| 97欧美日韩精品| 口爆综合网| 国产精品久久久久久高清无码免费看| 国产精品在线一区二区| 婷婷五月花| 熟妇乱伦一区二区| 九九九精品一区二区无码| 亚洲第一在线视频| 国产精品高清2021在线| 啊灬啊灬啊灬啊灬高潮奶出了免费视| 91一区二区| 97综合在线| 亚洲色吧网| ji熟女.com| 精品国产综合久久福利,热99这里有精品综合久久,99热这里只有免费国产精品,精 | 99色热国产视频精品| 欧美线天码中字| 老鸭窝亚洲毛片| 国产精品黄色三级av| 超碰 国产熟女精品一区| 9久综合网| 国产黄色 A 片免费看| 综合熟妇一区二区三区| 色 亚洲 91| AAA久久| 伊人热综合| 国产精品3| 亚洲天堂女优在线| 亚洲av强奸乱伦| 草草电影院| 欧美日韩人妻少妇 一区二区三区| 欧美在线干| 人人操人人插 - 百度 - 百度| 欲色啪| 真实高潮91| 97最新在线播放视频| a片久久久久久久久久久久| 99最新日韩偷拍视频| 日韩在线AB| 99日韩| 日韩精品在线观看观看| 亚洲人综合19| 亚洲高清无毛一区二区| 亚洲色啪| 韩日色费| 上特色A在线| 久久久少妇诱惑精品视频| 国产传媒美日韩av| 亚洲中文字幕日产无码久久| www.四虎在线| 蜜桃成人1区2区3区| 亚洲少妇综合在线播放| 久久精品国产亚洲AV无码做| 激情小说图片亚洲首页| 午夜男女爽爽大片免费观看| 97欧美综合| 后入式福利| 超碰夫妻97| 欧美成人亚洲精品| 超碰人妻中文在线| 综合色拍| 大香蕉一人在线| 第二页中文字幕| 亚洲午夜免费狠狠干| 国人欧美精品一区二区| 精品久久久久久中文| 最新av网站在线观看| 国产精品美女视频诱惑| 草草草视频在线免费看| 2020久久免费视频| 色波多| 日韩在线国产字幕| 91搡老女人老妇女老熟女歌词翻译| 欧美综色欧| 青青草国产一区二区三区| 亚洲美女30b| 日日干男人的天堂| 亚洲男人的天堂网| 97久久国产精品| 97视频新免费| 天天在线91| 天天在线91| 亚洲综人| 久久久偷拍| 久草免费在线视频| 日韩综合无码一区久久92| 91情色| 国产午夜精品理论片a大结局| 精品熟女呻吟久久91| 久久久久久精| 丰满人妻无码一区二区三区| 免费啪啪啪网站18岁| 91在线无码精品秘 软件| 欧美劲爆视频一区二区| 99热99在线| 婷婷久久五月| 久久久久性熟视频| 97超碰资源网| 殴美色网| 国内毛片欧美香蕉精品| 精品人妻中文字幕4399| 日本色色色| 精品91摸| 男人天堂久久精品不卡| 蜜臀久久99精品久久久久久-DVD| AⅤ片水多多| 懂色av色欲av蜜臀av| 五月天玖玖资源站| 久久久久久久久久久久久久久性生活视频| 成人热久久精品| 麻豆天美在线喷水AV| 夜夜骑日日| 东京热毛片177b2viP| 人妻精品视频一区二区三区| 人妻 丝袜美腿 中文字幕| 国产美女高潮叫床视频| 91男女啊啊啊| 亚州男人的天堂| 久久有码视频| 人人妻人人爽 97人人看碰人免费公开视频| 亚洲免费成人在线高清无码视频| 五月天开心网| 亚洲国产精品久久久男人的天堂| 九九热只有精品| 免费人成毛片乱码| 国产成人自拍视频在线| 日韩精品人妻中文字幕有码午| 久久久久斤小| 欧美Ⅴ性爱| 精品一区二区成人动漫| 欧美色66| 国产美女高潮| JULIA一区二区三区在线播放| 高清不卡国产| 88在线一区二区三区| 国产乱伦视频污| 嫖老熟女A片一二三区| 日韩偷拍色图| 成人情色综合网| 免费福利视频中文字幕| 麻豆 欧美 日韩| 天天综合,91入口| av网站免费线看| 婷婷色网| 蜜臀99久久精品久久久久久| 亚洲av影院在线观看| 干B视频伊人网| 亚洲熟女诱惑| 国产尹人在线视频免费| 99在线精品观看视频中文| 国产精品爱欲| 国产夫妻一区二区| 精品一级毛片在线观看| 色婷婷99| 国产无码高清操逼视频| 久久久免费高清中文视频| 99青草| 国产精品蜜乳AV| 麻豆精品一区二区三区四区免费观看| 老色鬼成人精品视频下载大在线观看| 嗯啊免费视频| 免费的黄片wwwwww| 熟妇的味道HD中文字幕| 亚洲骚女一区二区三区| 家庭乱伦网站国产| 天天做天天爱夜夜爽毛片试看| 激情久久日韩精品中文字幕麻豆| 亚洲综合影视| 亚洲国产精品久久久久久久久久| 亚洲砖码砖专无区2023| 91精品久久久久五月天精品 | 国产操操日韩三级黄| 啊啊啊爽爽| 人妻熟女一区二区| 人妻丝袜肏逼| 97大色网| 欧美中文字幕男人天堂久久精品| 乱伦熟女区| 大学生口爆吞精| 欧美夜夜| 天天干18禁| 亚洲加勒比色图| 白丝少妇一区二区| 久久久久久性爱片| 六九九九| 精品女人999| 国产高清免费不卡av| 97国产精品国| 人妻中文字幕精品无码| 中文字幕久久亚州无码| 囯产操逼片| 在线电影亚洲色图| 五月丁香婷婷综合| 日韩性爱长视频免费| 久久久久久久久久久97| A片A5445444| 欧美一区二区成人一卡| 色乱二区| 久热伊人| 日本东京热大香蕉a片| 欧美最婬乱婬爆婬性视频| 大香蕉操久久| 女人18精品一区二区三区| 亚洲男人天堂2017| 伦伦成年午夜免费视频| 99色综合| 一级黄碟| PMv在线观看| 激情久久av一区av二区av| 国产视频三区四区| 91视频综合在线| 91老司机在线| 久久精品亚洲成a人天堂| 婷婷色一区| 九九九精品一区二区无码| 校园春色亚洲色图| 亚洲成人一区二区精品| 人人搡人人肉久久精品| 激情图片亚洲色图| 天美传媒在线一区| 精品二区三四区五电影| 992大香蕉| 99热在线播放| 日韩精品色呦呦| 免费的很黄很污的全部视频| 日日碰狠狠添天天爽超| 超碰人人草| 狼天天狼天天大香蕉| 亚洲精品久久久久久久久豆丁网| 亚洲天堂人人妻| 操逼无毒无码免费视频| 人人妻人人爽一区二区三区| 亚洲欧美另类激情小说| 人人操人人摸人人看人人干| 91成人18| 欧美在线视频播放| 青草香蕉网| 国产免费一区二区在线A片视频| 日韩免费中文字幕视频| 国产熟女一区二区| 97超色| 黄片视频观看| 成人一二| 久久久国产精品亚洲精品| 思思热久久成人| av最新免费中文字幕| 91丝袜人妻| 久久精品视频久久久| 强奸乱伦日韩AV| 高清国产无码av| 巨乳特殊服务按摩| 久男人久久| 色偷偷色偷偷欧美日韩| 操九九九九九九| 久久久久久AⅤ无码免费肉站| 亚洲中文字幕在线视频一区二区| 91美| 国产精品禁久久久精品| WWW美腿丝袜香蕉中文| 中文字幕少妇色 | 亚洲自拍偷拍视频在线 | 久久香蕉国产线看观看亚洲女人 | 综合欧美激情网| 牛牛AV人人夜夜澡人人爽| 久久精品国产亚洲粉嫩| 午夜福利一区二区三区四区五区色婷婷| 三级片大波波| 久久大香蕉手机高清视频| 日本韩欧美在线播放a| 日本免费人成视频播放120秒| 亚洲精品久久久久毛片A片拉屎| 日韩精品 欧美激情| 久久亚洲日韩国产欧| 在线黄色污污网站| 老熟妇综合| 91伊人大香蕉| 欧美日动态视频| 久久亚洲熟妇在线视频| 亚洲永久AV无码精品秋霞| 1024亚洲中文字幕久在线看片你懂的| 加勒比在线视频| 成人精品电影| 欧美三级免费伊人| 久久AV无码1区2区3区| 麻豆国产精品午夜视频| 黄aaaaaaaaaaaaaaaaaa色网站| 九九在线精品| 九九成人| 欧美亚洲国产自久久| 不卡码视频| 亚洲天堂自拍| 操少妞在线视频| 97丝袜亚洲在线播放| 男人的天堂日本东京热| 天天影视综合色| 色臀AV| 91亚州| 亚洲国产成人7777| 一区二区三区探花在线观看| 1024人妻熟女一区二区三区| 长长久久88视频| 97青青操视频| 蜜乳av一区二区三区四区不卡| 天天操熟妇| 青青五月天| 精品免费一区| 97在线观看免费视频l| 久久亚码| 78m啪啪啪| 欧美Ⅴ性爱| 久久人人爽爽人人爽人人片αV| 亚洲天堂7777| 久久一二区四| 免看60秒涩涩视频| 少妇高潮九九九九| 亚洲日韩视频二区| 欧美性爱另类综合| 日韩伦理久 久久 清纯| 日韩淫色网| 国内偷自视频区视频综合| 男人的天堂2010| 日韩探花精品在线视频| 日韩福利综合一区| 97国产超碰| 国产精品97超碰| 欧美色日本| 蜜臀久久99精品久久久久久久久| 久久精品色欧美aⅴ一区二区| 午夜福利1区2区3区| 老熟女91视频| 久久日韩肥臀| 丰满欧美放荡少妇在线| 北条麻妃性愛视频| 午夜福利区| 丰满少妇人妻久久久久久| 色优久久| 丁香五月天啪啪| 操逼国产免费| 成人激情无码在线视频| 伊人久久在线视频观看| 亚洲97成人在线观看| 91九色丨风韵犹存| 亚洲小说视频| 91n处女在线观看| 色97国产69香蕉| 亚州Av天美传媒| 国产99999久久精品| 亚热日本熟女| 亚洲日韩乱码中文无码蜜桃臀网站| 久久精品72| 另类亚洲图色| 天天影视射综合网| 久操在97| 中文字幕免费看| 中文字幕欧美日本乱码一线二线| 中文日韩欧美熟| 69丨亚洲丨精品丨入口免费播放| 天天操天天日天天干| 成人在线永久| 台湾佬中文娱乐网久久久久久久久久com | 国产亚洲禁久一区二区| 丰满人妻一区二区三区大胸懂色| 亚洲精品中文字幕一区在线视频 | 亚洲操人| 天天干美少妇一区| 嗯嗯,啊啊,国产精品| 综合国产97| 美女91在线观看| 日韩少妇无吗| 日韩青久久| 色区97| 免费精品无码一级毛片牛牛影视 | 国产成人免费观看在线视频| 丁香六月啪| 久久婷婷一区二| 欧美亚洲国产自久久| 青青草手机在线免费观看| 91综合国产精品| 伦理日韩国产久久| 91爱网| 丰满美女一级毛片在线播放| 日本午夜操逼| 欧美后进式| 久久亚洲天天做| 国产精品久久久久999| 91宗合网| 亚洲小电影免费涩涩成人在线高清 | 成人免费看吃奶视频网站| 99在线精品观看视频中文| 日日操免费视频| 亚洲天堂一区| 国产精品不卡av免费在线观看| 国产又黄又爽又刺激久久久久久| 亚卅熟女乱色| 冬京热男人的天堂| 无卡一区=区| 国产一国产一级毛片古装| 伊人精品久久网站| 超碰人人妻| 91精品国久久久久久无码| 97色操| heyZO天然素人无码AⅤ专区| 久久九色| 亚精品无码毛片一区二区三区| 精品九九九九九九九九九| 另类亚洲一区二区三区| 亚洲综合图色在线| 欧美黄色片AAAAA| 色九久| 夜夜高潮夜夜爽| 久草国产在线视频| 久操国产在线| 狠狠热这里都是精品| 国产一区二区三区久久久精品| 国产午夜视频| 综合五月天| 日韩无码专区| 国产一区二区在线电影| 少妇高潮对白在线观看| 约操熟妇| 日韩欧美中文| 國產尤物AV尤物在線觀看 | 99久久久| 嗯啊不要啊在线 | 97激情97激情| 午夜性生活av免费在线看| 天天干2区3区| hd成人一区二区在线| 葡萄牙性视频一二区| 久久久久久中文版| 久久综合激情| 自拍偷拍草一草| 涩亚洲欧洲| 亚洲国产欧美中日韩成人综合视频| 伦激情人妻另类人妻| 啊啊啊啊啊啊啊国| 欧美大香蕉久| 欧色网址| 精彩久久中文| 久久国产视频专区一二三| 国产女生在线| 一本色道综合久久欧美| 国产嫩草精品A88AV| 国产五码丝袜屁眼| 欧美在线官网| 日韩中文字幕二区| 国产精品一区二区校花| 超碰95| 东京热AV男人的天堂| 97在线欧洲| 久久极品伊人| 亚洲图片偷拍视频区| 天天色黄色影院天天操| 亚洲国产综合视频| 欧美碰碰综合色| 伊人久久亚洲色欲综合网站 | 欧美亚洲清纯| 欧美78| 动漫片子网站3黄| 开心激情站| 色综合尤物| 久草国产在线视频| 国产精品午夜福利亚洲综合网| 91精品丝袜久久久久久| 青青草女人天天干| 中文字幕人乱码中文字的预防方法 | 国产AV线| 欧美性视频二区三区| 国产传媒一区日韩| 亚洲。日韩。欧美| 欧美日韩国产中文超碰| 五月天激情网站| 啪啪一区| 久久草大香蕉| 超碰碰碰碰| 欧美成va视频网站| 久9视频| 操逼逼无码| 乱伦av.com| 色噜噜精品一区二区三| 亚洲最大成人a毛毛片| 成年人三级黄色片视频| 国产最新小视频在线播放下载 | 新版天堂中文资源8在线| 国模艳艳啪啪一区| 亚洲一卡2卡3卡4卡乱码网站| 日韩无码黄色片| 亚洲自拍天堂| 欧美性爱中文字幕无线码| 伊人久久综合影院| 日韩A优精品在线观看| 中文字幕精品一区二区精| 手机在线A片| 韩国午夜理伦三级好看| 黄色高清无码无码破解免费暗网| 亚洲性爱无码乱伦av| 999国产精品999| 色色婷婷丁香| 亚洲 欧美 天天| 蜜臀AV一区二区三区激情综合| 大香蕉天天看妹子| 91nbbbbbb| 狠狠干2020| 欧美97av| 97精品网| 久久性爱精品一区| 国产精品自在线发布| 蜜桃无码AV一区二区| 丁香五月av| 手机不卡视频不卡在线一二三区| 蜜臀99999| 久久久久久裸体| 99久热| 亚洲日韩av一区二区三区百合| 男生女生啊啊啊啊| 日韩八十路老熟女| 亚洲天堂另类| 国产拍偷精品网站| 日韩乱中文| 欧美色五月| 亚洲丝袜B诱惑| 97视频在线视频| 久久久99久9| 日日日日做夜夜夜夜做无码97| 亚洲阿v天堂无码z2018| 久久中文色图| 思思热在线视频在线| 欧插网站| 久久大| 99re在线| 95自拍视频在线观看| 九九色热| 成人热久久精品| 亚州欧美在线| 亚洲一区二区三区不卡国产欧美| 九九操久久国产免费视频| 探花视频免费观看国产专区| 91小视频| 欧美性暴力猛交XXXX| 日韩欧美~中文字| 亚洲日韩av专区无码| 亚洲精品无码少妇久久| 青青草原综合久久大伊人精品| 999熟女精品| 黄片免费日韩| 人妻中文在线| 精品无码久久久久| 欧美黄页| 日韩午夜啪啪视频| 夜夜人妻爽| 91 综合 色| 国产美女口爆吞精视频| 91丝袜激情在线| 欧洲小说色图视频另类| 深夜激情| 老熟女乱子伦中文字幕一区二区 | 日韩在线观看中文字幕视频| 啊啊啊啊操死我了| 伊人网高清| 黄片不用下载在线观看| 蜜臀久久在线视频| 蜜臀久久99精品久久久久久-DVD原版全| 亚乱色| 少妇500双飞99| 欧美精品97| 色999五月色| 99国内熟女露脸视频| av网站免费线看| 久久综合亚洲色1080p| 激情欧美日韩女同久久| 丝袜熟女一区二区三区| 玖玖爱视频网站| 国产精品天美传媒| 懂色av色欲av蜜臀av| 亚洲脚交| 射 色综合| 少妇无码av专区线| 丝袜加勒比| 亚洲一区中文字幕久久,果冻传媒一区二区天美传媒 | 色狠狠 - 百度| 色婷婷五月综合激情中文字幕| 美女91在线观看| 一级久久久久久久久久久| 啊啊啊啊免费视频| 久久仑合| 99久久9| 18禁止看精品中文字幕| 国产风韵犹存熟妇三区| 国产剧情一区在线观看| 强奸乱伦AV网址| 日韩91网| 黄资源| 婷婷六月色| 中文字幕精品一区欧美| 亚欧洲日韩国产精品| 少妇人妻无码| 伊人久久婷婷| 97在线精品观看视频| 午夜欧美精品久久久| 少妇500双飞99| 亚洲97成人在线观看| 免费少妇一区二区| 天天插天天插| 男人精品天堂一区| 九九九久久久| 欧美在线播放aaaa| 亚洲免费97免费| 久久久人妻| 日韩AV一起草| 亚洲吊色| 日韩精品在线视频,日韩精品……| 亚洲第一成人影院色播| 91欧美美女日韩国产婷婷| 香蕉精品二区二区| 亚洲AV性爱电影| 91色五月俺来也| 91亚洲情色| 亚洲国产欧美中文永久| 亚洲限制级| 超碰97久久| 色色色热| 玖玖无码超碰| 亚洲一区二区三区AV无码| 日韩少妇丰满亚洲| 国产精品九九九| 久久婷婷伊人| 日日爽熟女| 日本精品无码三级网站| 岛国人妻少妇av在线观看| 久这精品中文在线观看视频| 国产精品午夜高潮呻吟久久av| 亚洲欧洲无码一区夜| 久久丁香久草综合网| 蜜桃色色网站视频三区| 亚州欧美在线| 国模吧 一区二区三区| 加勒比色综合| av无码精品久久久久| 久久人妇| 亚洲AV无线| 国产偷人妻精品一区二区在线| 欧美性爱18观看| 少妇毛片久久| 操一操摸一摸| 99999无码| 激情婷婷综合久久| 亚洲男人的天堂一区二区| 三久久久四久久久久| 日本有码久久| 色99999| 日本三级小说中文字幕| 偷拍精品一区二区三区| 中文字幕一二三区| 日本性感人妻91| 久久夜色一区二区| 天天色天天干天天爱| 99RE在线视频精品,这里只有精品| 性videos欧美熟妇hdx| 天天夜夜久久| 国产AV久久野战精品| 中国熟女91| 色色色色网站| 国产精品9999| 成人无码专区精品视频| 熟妇xxxxx性春色| 一本久久精品中文字| 欧美日韩性爱无码| 国产在线激情| 青青草密桃在线播放| 欧美欧美啪啪视频| 男人天堂综合| 综合自拍| 五月天亚洲色图| wwe 天天干.com| 午夜偷拍久久熟女| 九九九九热只有精品| 色999人与兽| 国产极品精品美女视频| 97chaopenrihan| 亚洲综合小说另类图欧美视频激情小说色五月天 | 亚洲夜夜欢无码一区二区 | 97超碰超欧美。| 无码国产精品午夜不卡(| 91人人操| 亚州中文字幕超碰97| 国产精品无码AV网站| 久久中出| 欧美高潮| 亚洲天堂性爱| 国产AV激情无码久久无码 | 一起草视频在线| 九九热视频这里只有精品| 97国产高清视频在线观看| 色香av| 欧亚乱色熟一区二区三四区| 成人性爱美曰韩| 伊人久久大香线蕉无码| 久久久久久69国产一区二区| 久久 国产 无码| 100啪啪视频大全| 一区AV| 国产亚洲色停停久久99精品91| 精品午夜福利| 色臀av| 人妻丝袜美腿中文字幕| 91骚熟女| 夜草网站| 久久久久久亚洲Av无码| 在线有码中文字幕| 欧 美 自 拍 偷 拍| 黄色片一区二区三区四区五区| 永久免费av无码网站国产app| 国产无码三级视频在线观看| 日韩无码视频黄色| 91精品亚洲内射孕妇| 精品视频一区二区| 九九热av| 国产h片在线观看视频| 水澄无码AV| 亚洲图片 激情小说| 天天综合色图| 中文久久96| 激情小说亚洲色图| 乱伦av.com| 成人AV素股で擦久久| 1.igao73.com 加入收藏 免费专区 国产精品 中文字幕 日韩精品 欧美精品 精彩 | 996热| 精品一区二区3区| 中文字幕在在线观看网站| 国产一区二区三区不卡手机在线| 绯色AV粉色AV蜜臀AV| 97一本大道亚洲一区| 色69大色97香蕉| 久9精品| 强奸乱伦 亚洲一区| 熟妇的味道HD中文字幕| 无码人妻1727| 高清国产成人无码| 久久久久性熟视频| 精品十八在线观看| 操迟操逼在巾线Fre看| 亚洲色人妻综合| 欧美在线亚洲| 黄色区免费观看中文字幕| 久久久不能久久久久| 丁香婷婷九月| 日日干夜夜欢| 亚洲色系另类精品国产| 综合激情五月丁香| 激情综合av| 性天堂| 免费毛片在线播放| www.99热在线只有精品| 熟女露脸激情自拍视频| 免费毛片在线播放| 强奸熟女一区二区三区| 日韩欧美成人综合在线| 长长久久曰曰夜夜成人网| 欧美日韩人人精品| 欧洲精品网| 1769成人国产精品视频| 亚洲人成网www| 国产性爱在线视频一区二区| 激情欧美日韩女同久久| 欧美日韩啪啪电影| 九九精品美女高溯喷水| 91亚洲在线| 欧美1727免费观看视频| 久99视频| 99热亚洲| 97中文综合| 啪一啪免费视频| 九九九九精品一区| 影音先锋每日最新资源在线观看| 欧美在线官网| 91无遮挡| 精品91摸| 人妻另类 专区 欧美 制服| 怡红院视频在线| 九九九午夜| 久久精品中文| 欧美性爱精品七区| 九九RE视频在线精品| 国产成人久久久精品免费AV| 99热大香蕉伊在线| 男女真人网18| 成人草草视频| 性色高清..……| 白丝少妇一区二区| 99色网| 97人人模人人爽人人| 日本淫穴在线| 思思久热在线精品66| 成人日韩欧美| 夜夜操夜夜高潮夜夜爽国产精品区| 黄色AV免费| 国产亚洲女v在线观看| 日本精品88888888| 日韩99精品视频综合区 | 91超碰人人操| 99热精品在线观看| 天天日天天舔天天喷天天射| 97视频在线看| 亚洲精品欧美专业| 人人操人人操人人操人人操人人操人人人11.CM | 国产精品不卡一区二区三区| 蜜臀Av一区二区三区| 国产精品无码论坛| 亚欧美综合网。| 91午夜无码| 日韩精品操少妇| 91精品婷婷国产综合久久| 欧美熟女操屄| 嗯嗯不要视频| 嗯嗯啊啊用力视频免费| 99re公开精品免费视频| avav青青草久久夜| 91超碰人人| 操日韩第| 天躁夜夜躁2021| 精品国产污一区二区三区| 新91视频.cmp| 久久东京伊人一本到鬼色| 国产五码丝袜屁眼| 亚洲精品一二区| 熟妇的味道HD中文字幕| 老汉网| 久久一区二区高清免费| 97精品久久久久中文字幕| 蜜桃视频成a人v在线| 欧美熟女丝袜| 91精品人妻电影| com 首页 18岁 禁区 女优 免费 精选 同城| 久久精品国产亚洲AV高级北京| 亚洲性感丝袜诱惑在线观看| 亚洲九月丁香| 91N综合网| 天天操狠狠日夜夜干超碰撸com视频在线观看| 男人精品区| 日本免费不卡二区| 久艾草在线精品视频在线观看| 欧美在线55555| 国产色精品午夜大片| 中文字幕欧美精品亚洲日韩蜜臀| 色色激情| 丁香婷婷五月| 久久国产精品熟女人妻| 爱av免费| 亚洲一二三四区| 91av天美性媒精品视频| 一区二区影院| 国产精品久久久亚洲第一牛牛_在线观看 | 日本伦理一区二区| 国产91 丝袜在线播放00-百度| 精品久久久av| 欧美黄色片在线播放| 物业黑人 AV一区| 大香蕉伊人久久| 9色国产精品一区粉嫩| 久草男人天堂| 91粉嫩萝控精品福利网站_精品影音先锋国 | 日韩精品人妻中文字有码在线| wwwcaobibi| 99RE在线视频精品,这里只有精品| 国产67194| 久久美女国产| 日本韩国国产精品一区| 大香蕉淫人| 欧美色道啊| 97欧美色资源| 快点操死我| 男人的天堂在线有码| 欧美日韩性爱视屏免费看了| 乱伦a片视频| 日韩天堂av电影在线观看| 日本久久天堂| 中文字幕成人理论在线| 老熟女搡BBBB搡BBBB视频| 亚洲欧美999| 欧美情色亚洲| 中文字幕第二页| 亚洲AV无码国产精品久久久久 | 人妻天天爽夜夜爽爽| 搡老女人老妇女AAA一VU麻豆| 成人一二三区| 国内97干免费看| 欧美精品四区| 日本性爱网址| 91啦人妻| 久久精品国产亚洲粉嫩| 日韩欧美偷拍美女视频| 97超碰jingpin| 日本一级二级三级网站| 亚洲一区日韩精品中文字幕| 久久精品女同亚洲女同13| 久久久久一本一区二区青青蜜月| 亚洲色欲天天人妻无码系列专区| 最新国内自拍av免费| 99re久久| 丰满熟女人妻一区二区三五十一路| 99热精品青草在线| 五月激情在线| 亚洲色图日韩精品| 九九视频黄色片| 校园春色五月天| 好一吊区二区| 欧美 熟女 日韩| 伊人97色天使| 青青草中文-久久青草精品一区二区三 | TS人妖另类精品视频系列| 九九九不卡| 搡老女人老91妇女熟女| 神马久久中文字幕| 亚洲资源站| 久久精品操| 欧美丝袜美女电影一二三四区| 一区 欧美 日韩 麻豆| 精品少妇后入一区二区三区四区人妻巨乳| 日韩一区二区三区四区五区 | 国模不卡| 午夜乱轮操逼视频免费看| 中文字幕丰满子伦无码专区在线视频最新| 后入式999| 韩国嫰模上门援交视频| 婷婷五月天无码 | 97高清啪啪| 久久久久久中文字幕中文字幕最新| 婷婷在线视频| 一区二区三区欧美激情| 国产剧情AV不卡在线观看| 一区二区三区黄片免费观看| 麻豆国产视频精品观看| a男人的天堂久久一级A毛片| 亚洲春色激情小说| 日本女优在线视频福利| 亚洲精品国语在线播放| 青青草大香蕉视频| 欧美美女后入| 中文字幕88av在线| 嗯啊不要在线| 99热这里只有精品地址| 亚洲国产一区二区日韩专区| 亚洲综合20p| 天天综合91入口| 亚洲熟女乱色一区二区三区久久久| 日韩无码嘿咻黑热久| 色小视频蜜乳| 亚洲图片欧美色图| 高潮毛片无遮挡高清免费| 亚洲中文字幕av | 情色五月天就去干| 亚洲吊色| 亚洲另类色图片| 2010男人的天堂| 亚洲国产日韩欧美熟妇在线| 日本无码1| 国产家庭乱伦性爱视频| 亚洲乱码精品一区二区| www.男人的天堂| 久草看看看| av天堂加勒比| 干妹子| 欧洲精品区| 色哟哟av网址| 欧美 亚洲 另类 综合| 天天弄欧美| 亚洲一二三精品久久网 | 性爱av在线免费观看| 色噜噜精品一区二区三| 亚洲欧洲综合成人av一区| 人人操 欧美| 国产高清成人免费视频| 亚洲日韩精品一区二区| 丰满人妻-区二区三区免费看| 91丝袜人妻| 噜噜噜噜久久久精品免费| 婷婷8月天青娱乐| 在线天堂资源亚洲| 三四中文字幕| 婷婷爽人人婷婷爽视频| 好爽视频在线观看视频| 国产精品乱码久久| 日日摸天天爽夜夜欢| 日韩兔费看黄片| 亚欧无码线免费观看视频| a男人的天堂久久一级A毛片| 久久在线观看免费视频| 免费看黄片现成| 夜夜操青青草| 97欧美性爱| 亚洲欧美日韩综合在线尤物| 99热自拍| 欧美嫩性色| 欧美久久久15P| 国产视频小说| 拍拍拍拍大尺度黄色三级片拍拍拍拍拍照| 久久久精| 久久国产精品m码| 3PAV乱伦视频| 吖在线不卡一区二区国产剧情| 国产成年免费大片黄在线观看| a天堂视频| 九九碰九九爱97| 91在线美女| 韩国女主播青草在线| 日韩中文字幕宗合在线| 国产精品一区二区麻豆| 亚洲欧美黄| 最新日日夜夜天天干干| 欧美黄片欧美黄片xxx| 五月婷婷六月丁香| 亚洲精品一二三四区| 神马久久69| 国产农村妇女毛片精品久久| 91色交| 欧美人与性动交a美精品| 婷婷亚洲综合| 97内射偷拍| 欧美特黄视频网站| 大香蕉欧美| 日韩人妻中文视频| 热久久这里只有精品| 男插女青青影院| 一本大道久|