日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Zabbix監(jiān)控Nginx實(shí)戰(zhàn):Agent端配置與狀態(tài)頁采集全解析

Zabbix監(jiān)控Nginx實(shí)戰(zhàn):Agent端配置與狀態(tài)頁采集全解析 先說結(jié)論Zabbix 監(jiān)控 Nginx最關(guān)鍵的環(huán)節(jié)不在 Server 端怎么寫監(jiān)控項(xiàng)而在 Agent 端怎么把 Nginx 的實(shí)時(shí)狀態(tài)穩(wěn)定采集上來。很多人裝了一堆組件最后發(fā)現(xiàn)數(shù)據(jù)過不來問題大多出在 Nginx 狀態(tài)頁沒開、Agent 配置文件沒改對(duì)、自定義監(jiān)控項(xiàng)寫錯(cuò)這三個(gè)地方。這篇文章適合兩類人。一類是剛開始接觸 Zabbix想用 Agent 方式給 Nginx 加監(jiān)控的新手另一類是已經(jīng)把 Zabbix Server 跑起來但搞不清客戶端、狀態(tài)頁、自定義 key 之間關(guān)系的人??赐曛竽隳馨错樞虼畛鲆粭l完整鏈路Nginx 暴露狀態(tài)頁Agent 執(zhí)行采集命令Zabbix Server 通過 key 拿到數(shù)據(jù)最終在 Web 界面看到指標(biāo)曲線和告警。下面按實(shí)際落地順序拆一遍。1. 先把Zabbix監(jiān)控Nginx的數(shù)據(jù)鏈路拆清楚1.1 Agent在監(jiān)控鏈路里到底干什么Zabbix 監(jiān)控 Nginx 可以有多種方式比如直接用 SNMP、用 Zabbix Agent、或者讓 Zabbix Server 主動(dòng)去請(qǐng)求 HTTP 接口。最常見、也最適合多數(shù)企業(yè)內(nèi)部場(chǎng)景的就是Zabbix Agent方式。Agent 本質(zhì)上是一個(gè)安裝在被監(jiān)控機(jī)器上的小服務(wù)。它負(fù)責(zé)做三件事接收 Zabbix Server 或 Zabbix Proxy 發(fā)來的數(shù)據(jù)請(qǐng)求執(zhí)行本地的采集命令、腳本或從狀態(tài)頁讀取數(shù)據(jù)把結(jié)果返回給 Server 端。所以Agent 不是直接“連”上 Nginx而是起到了一個(gè)翻譯和采集的作用。Nginx 本身不會(huì)主動(dòng)告訴 Zabbix “我的并發(fā)連接是多少”Agent 需要自己去讀 Nginx 暴露出來的狀態(tài)信息然后轉(zhuǎn)換成 Zabbix 能識(shí)別的數(shù)值。理解這條鏈路非常重要。很多人直接照著網(wǎng)上配置往配置文件里寫了幾行UserParameter發(fā)現(xiàn)沒數(shù)據(jù)就以為是 Zabbix 的問題。實(shí)際上往往是 Nginx 狀態(tài)頁本身打不開或者 Agent 所在用戶沒有權(quán)限執(zhí)行 curl又或者 key 名稱寫錯(cuò)了導(dǎo)致 Server 端拿不到結(jié)果。1.2 基礎(chǔ)監(jiān)控項(xiàng)可以直接用高級(jí)指標(biāo)要靠狀態(tài)頁或腳本如果你只是監(jiān)控“進(jìn)程在不在”那 Zabbix 自帶的模板和內(nèi)置 key 就夠了。比如用proc.num[nginx]或proc.num[nginx.exe]判斷 Nginx 進(jìn)程數(shù)量用system.cpu.load看 CPU 負(fù)載用net.if.in、net.if.out看網(wǎng)卡流量。這些不需要改動(dòng) Nginx 配置Agent 裝上之后就能用。但如果你想監(jiān)控 Nginx 的業(yè)務(wù)指標(biāo)比如當(dāng)前活躍連接數(shù)總連接數(shù)總請(qǐng)求數(shù)每秒請(qǐng)求數(shù)Reading、Writing、Waiting 的數(shù)量那一定要開啟 Nginx 的stub_status模塊并配置一個(gè)狀態(tài)頁。然后通過 Agent 的UserParameter去讀取解析。這里有一個(gè)常見誤解以為 Zabbix 官方模板會(huì)自動(dòng)采集這些數(shù)據(jù)。實(shí)際上官方模板里包含這些監(jiān)控項(xiàng)但前提是 Agent 端已經(jīng)裝好了 Nginx 狀態(tài)頁采集腳本或自定義 key。模板只是“裝了 CPU 插座”還得你自己把“電源線”接上。1.3 環(huán)境準(zhǔn)備和判斷標(biāo)準(zhǔn)準(zhǔn)備環(huán)境時(shí)先確認(rèn)以下條件Zabbix Server 已經(jīng)安裝并運(yùn)行Web 界面可以打開被監(jiān)控的 Nginx 服務(wù)器能訪問 Zabbix Server/Serve 端也能訪問 Agent 的監(jiān)聽端口Agent 版本盡量和 Server 主版本接近避免低版本 agent 不支持某些 keyNginx 編譯時(shí)帶上了--with-http_stub_status_module或者本身就是發(fā)行版默認(rèn)編譯好的版本如果是 Docker 部署的 Nginx也要確認(rèn)容器內(nèi)是否有 curl、grep、awk 這些基礎(chǔ)命令后面腳本采集時(shí)會(huì)用到。其中“Agent 版本和 Server 版本盡量一致”這條很多人會(huì)忽略。雖然 Zabbix Agent 大體上向后兼容但高版本 Server 搭配特別老的 Agent可能出現(xiàn)監(jiān)控項(xiàng)顯示“不支持”的情況。建議落地前先統(tǒng)一版本。如果只是學(xué)習(xí)測(cè)試單機(jī)部署一臺(tái) VM 就夠如果要進(jìn)生產(chǎn)建議把 Zabbix Server 和 Agent 分別部署在不同機(jī)器上避免性能干擾。2. Agent端安裝和基礎(chǔ)配置決定后面少踩一半坑2.1 安裝方式選擇Zabbix Agent 的安裝方式取決于操作系統(tǒng)。常見的有使用發(fā)行版官方倉庫或 Zabbix 官方倉庫安裝下載源碼編譯安裝使用 Docker 容器運(yùn)行 agent如果是 Windows Nginx還需要安裝 Windows 版本的 agent。安裝時(shí)最好不要用“從網(wǎng)上隨手找個(gè)包”的方式因?yàn)?Zabbix 官方倉庫會(huì)根據(jù)你使用的系統(tǒng)版本提供對(duì)應(yīng)的 agent 包依賴也能自動(dòng)處理。具體安裝命令這里不給死版本因?yàn)椴煌到y(tǒng)和 Zabbix 版本的倉庫地址差異很大。建議參考官方安裝文檔或者直接看倉庫安裝提示按照“添加官方倉庫 - 刷新包列表 - 安裝 zabbix-agent”的順序走。安裝完成后先不著急改配置確認(rèn) agent 二進(jìn)制文件已經(jīng)存在。which zabbix_agentd或者zabbix_agentd --version如果命令能打印出版本信息說明安裝成功。這一步能提前發(fā)現(xiàn)“安裝到一半缺依賴”“架構(gòu)不對(duì)”等問題。2.2 修改Agent配置文件Agent 的主配置文件一般叫zabbix_agentd.conf在 Linux 上常見路徑有/etc/zabbix/zabbix_agentd.conf、/usr/local/etc/zabbix_agentd.conf。Windows 上通常安裝在 agent 安裝目錄下。需要重點(diǎn)關(guān)注這幾個(gè)參數(shù)參數(shù)作用填寫建議Server允許向本 Agent 請(qǐng)求數(shù)據(jù)的 Zabbix Server 或 Proxy IP寫 Server 的實(shí)際 IP不要寫 0.0.0.0ServerActiveAgent 主動(dòng)連接 Server 的地址用于主動(dòng)模式同樣寫 Server IP 和端口HostnameAgent 在 Server 端注冊(cè)或顯示的主機(jī)名必須和 Web 界面創(chuàng)建的主機(jī)名一致UnsafeUserParameters是否允許自定義 key 包含特殊字符或帶參數(shù)如果自定義命令很簡(jiǎn)單可以設(shè)為 0如果帶參數(shù)、管道最好設(shè)為 1UserParameter自定義監(jiān)控項(xiàng) key 和采集命令可以寫在單獨(dú)文件里引用一個(gè)常見的問題是同時(shí)配置了Server和ServerActive但 Hostname 寫錯(cuò)了。結(jié)果就是 Zabbix Server 能看到主機(jī)但數(shù)據(jù)全斷斷續(xù)續(xù)。原因是被動(dòng)模式下 Server 根據(jù) IP 來找 Agent主動(dòng)模式下 Agent 要上報(bào)自己的 Hostname兩套機(jī)制的校驗(yàn)方式不一樣。我給你一個(gè)比較穩(wěn)妥的配置習(xí)慣先只配置被動(dòng)模式也就是Server和Hostname確認(rèn) zabbix_get 能取到數(shù)據(jù)后再按需開啟主動(dòng)模式不要一上來就同時(shí)開兩個(gè)模式排查起來不方便。2.3 啟動(dòng)與連通性驗(yàn)證配置文件改完后重啟 Agent 服務(wù)。systemctl restart zabbix-agent確認(rèn)進(jìn)程狀態(tài)systemctl status zabbix-agent然后看 Agent 日志確認(rèn)沒有報(bào)錯(cuò)。日志位置通常在/var/log/zabbix/zabbix_agentd.log。如果 Agent 和服務(wù)在同一臺(tái)機(jī)器可以用zabbix_get命令模擬 Server 拉取數(shù)據(jù)。zabbix_get -s 127.0.0.1 -k agent.ping返回1代表 Agent 活著。返回超時(shí)或cannot connect就要檢查端口監(jiān)聽和防火墻。接下來用同樣方式測(cè)試 Nginx 相關(guān)的內(nèi)置 key比如zabbix_get -s 127.0.0.1 -k proc.num[nginx]如果返回?cái)?shù)字說明 Agent 部署正常已經(jīng)能獲取系統(tǒng)數(shù)據(jù)。到這里基礎(chǔ)的 Agent 鏈路算通了。3. Nginx狀態(tài)頁開啟核心指標(biāo)都從這里來3.1 檢查Nginx是否帶stub_status模塊Nginx 的stub_status是官方自帶的一個(gè)模塊但很多源碼編譯的 Nginx 默認(rèn)并沒有把它帶上。所以第一步是先確認(rèn)??匆寻惭b Nginx 是否包含該模塊nginx -V 21 | grep stub_status如果有輸出說明模塊已經(jīng)編譯進(jìn)去了。如果沒有輸出有兩種處理方式重新編譯 Nginx在 configure 參數(shù)中加上--with-http_stub_status_module如果用的是發(fā)行版默認(rèn) Nginx可以檢查是否已經(jīng)默認(rèn)帶了這個(gè)模塊。比如某些 Linux 發(fā)行版的 nginx 包會(huì)默認(rèn)包含。重新編譯相對(duì)麻煩尤其會(huì)影響現(xiàn)有 Nginx 的平滑升級(jí)。建議先在測(cè)試環(huán)境驗(yàn)證不要直接在線上操作。如果線上 Nginx 是別人裝的你也不清楚編譯參數(shù)那就先跑nginx -V看看結(jié)果。3.2 配置location /nginx_status在 Nginx 配置中增加一個(gè)狀態(tài)頁 location。常見做法是新增一個(gè)獨(dú)立配置文件或者在server塊中新增 location。location /nginx_status { stub_status on; access_log off; allow 127.0.0.1; deny all; }這里最重要的不是stub_status on;而是allow和deny的訪問控制。默認(rèn)情況下這個(gè)頁面會(huì)暴露 Nginx 當(dāng)前所有連接和請(qǐng)求狀態(tài)。如果不做限制外網(wǎng)可以隨便訪問等于泄露了服務(wù)運(yùn)行基礎(chǔ)信息。所以一般只允許本機(jī)或內(nèi)網(wǎng)監(jiān)控網(wǎng)段訪問。如果 Agent 和 Nginx 在同一臺(tái)機(jī)器allow 127.0.0.1就夠了。如果 Agent 要從另一臺(tái)機(jī)器抓取就把a(bǔ)llow換成監(jiān)控網(wǎng)段但這樣會(huì)對(duì) Nginx 暴露一個(gè) HTTP 端點(diǎn)必須在防火墻層面做好限制。有些朋友會(huì)問不是 Agent 本機(jī)采集嗎為什么還要允許局域網(wǎng)因?yàn)槿绻愕牟杉_本是跑在 Agent 本機(jī)通過http://127.0.0.1/nginx_status訪問那確實(shí)只需要允許本機(jī)。但如果你嘗試從 Zabbix Server 直接用 HTTP agent 監(jiān)控 Nginx那就必須允許 Server IP。本文統(tǒng)一采用 Agent 本機(jī)采集的方式所以只允許 127.0.0.1 最穩(wěn)。配置完成后重載 Nginx。nginx -t nginx -s reload3.3 本地curl驗(yàn)證輸出格式在 Agent 本機(jī)執(zhí)行curl http://127.0.0.1/nginx_status正常情況下會(huì)看到類似這樣的輸出Active connections: 12 server accepts handled requests 100 100 200 Reading: 0 Writing: 1 Waiting: 11四行數(shù)據(jù)的含義第一行當(dāng)前活躍連接數(shù)第二行三個(gè)計(jì)數(shù)器的標(biāo)題第三行總接受連接數(shù)、總握手連接數(shù)、總請(qǐng)求數(shù)第四行正在讀取請(qǐng)求頭的連接數(shù)、正在寫入響應(yīng)的連接數(shù)、空閑等待請(qǐng)求的連接數(shù)。如果 curl 返回空或者 403、404先查 Nginx 配置是否真正生效再查防火墻。403 通常是 allow/deny 規(guī)則問題404 通常是 location 路徑或配置文件沒加載。4. 自定義監(jiān)控項(xiàng)把status頁轉(zhuǎn)換成Zabbix能識(shí)別的數(shù)據(jù)4.1 用UserParameter定義KeyAgent 拿到 Nginx 狀態(tài)頁內(nèi)容之后還需要把它解析成獨(dú)立指標(biāo)。Zabbix 是通過自定義 key 來實(shí)現(xiàn)的。在/etc/zabbix/zabbix_agentd.d/目錄下新建一個(gè)配置文件比如userparameter_nginx.conf寫入U(xiǎn)serParameternginx.active,curl -s http://127.0.0.1/nginx_status | grep Active | awk {print $NF} UserParameternginx.requests,curl -s http://127.0.0.1/nginx_status | sed -n 3p | awk {print $3} UserParameternginx.reading,curl -s http://127.0.0.1/nginx_status | grep Reading | awk {print $2} UserParameternginx.writing,curl -s http://127.0.0.1/nginx_status | grep Writing | awk {print $4} UserParameternginx.waiting,curl -s http://127.0.0.1/nginx_status | grep Waiting | awk {print $6}注意這里的命令里用到了管道和grep所以UnsafeUserParameters需要設(shè)為1否則 Agent 可能拒絕執(zhí)行這類帶特殊字符的命令。配置完重啟 Agentsystemctl restart zabbix-agent用zabbix_get測(cè)試zabbix_get -s 127.0.0.1 -k nginx.active如果返回?cái)?shù)字說明自定義 key 已經(jīng)生效。4.2 用腳本代替多條命令上面的寫法雖然簡(jiǎn)單但每條 key 都執(zhí)行一次 curl而且解析邏輯各不相同。如果有 5 個(gè)指標(biāo)每次采集都要重復(fù)請(qǐng)求 5 次狀態(tài)頁。雖然對(duì)單機(jī)來說影響不大但會(huì)讓監(jiān)控?cái)?shù)據(jù)點(diǎn)的時(shí)間不完全一致尤其是 active、connections、requests 三個(gè)值是不同時(shí)間快照畫圖時(shí)可能看到輕微波動(dòng)。更好的方式是寫一個(gè)采集腳本一次請(qǐng)求拿到所有值再按需輸出。#!/bin/bash STATUS$(curl -s http://127.0.0.1/nginx_status) case $1 in active) echo $STATUS | grep Active | awk {print $NF} ;; requests) echo $STATUS | sed -n 3p | awk {print $3} ;; reading) echo $STATUS | grep Reading | awk {print $2} ;; writing) echo $STATUS | grep Writing | awk {print $4} ;; waiting) echo $STATUS | grep Waiting | awk {print $6} ;; *) echo UNKNOWN ;; esac把這個(gè)腳本放到/usr/local/bin/nginx_status.sh并加執(zhí)行權(quán)限chmod x /usr/local/bin/nginx_status.sh然后配置 userparameterUserParameternginx.status[*],/usr/local/bin/nginx_status.sh $1這樣在 Zabbix Server 端可以用nginx.status[active]、nginx.status[waiting]讀取不同指標(biāo)每次采集只請(qǐng)求一次 Nginx 狀態(tài)頁。這類腳本方案適合指標(biāo)多、采集頻率高的場(chǎng)景。缺點(diǎn)是腳本出了問題排查難度更大所以腳本里盡量減少對(duì)系統(tǒng)命令路徑的依賴。4.3 主動(dòng)模式和被動(dòng)模式對(duì)自定義key的影響自定義 key 本身不區(qū)分主動(dòng)還是被動(dòng)兩種模式都支持。區(qū)別在于被動(dòng)模式Zabbix Server 發(fā)起 TCP 連接向 Agent 請(qǐng)求 keyAgent 執(zhí)行命令返回結(jié)果。適合監(jiān)控項(xiàng)不多、Server 并發(fā)壓力不大的場(chǎng)景。主動(dòng)模式Agent 每隔一段時(shí)間主動(dòng)去向 Server 獲取監(jiān)控項(xiàng)列表然后執(zhí)行并上報(bào)結(jié)果。適合監(jiān)控項(xiàng)很多、網(wǎng)絡(luò)分區(qū)復(fù)雜的場(chǎng)景。如果你使用主動(dòng)模式ServerActive必須配置正確并且 Agent 能訪問 Server 的 10051 端口。同時(shí) Hostname 必須和 Web 界面創(chuàng)建的主機(jī)名完全一致否則 Agent 上報(bào)的數(shù)據(jù)找不到歸屬主機(jī)。在測(cè)試階段建議先使用被動(dòng)模式因?yàn)閦abbix_get就是模擬被動(dòng)模式的請(qǐng)求排錯(cuò)更直觀。5. Server端把主機(jī)和監(jiān)控項(xiàng)綁定起來5.1 在Web界面添加主機(jī)Zabbix Server 裝好并配置好 Agent 后登錄 Web 界面在“數(shù)據(jù)采集 - 主機(jī)”里創(chuàng)建新主機(jī)。需要填寫的內(nèi)容主機(jī)名稱必須與 Agent 配置里的Hostname一致可見名稱可以自定義顯示在頁面上模板可以先選擇自帶模板測(cè)試連接性群組選一個(gè)已有主機(jī)組或者新建一個(gè) Nginx 組Interface選擇 Agent填寫被監(jiān)控機(jī)器 IP 地址端口默認(rèn) 10050。創(chuàng)建時(shí)如果勾選了“添加后啟用”保存后主機(jī)應(yīng)該會(huì)出現(xiàn)在可用主機(jī)列表里。很多人第一次配置時(shí)會(huì)把“主機(jī)名稱”和“可見名稱”混在一起。實(shí)際上主機(jī)名稱是 Zabbix 內(nèi)部用于匹配 Agent 上報(bào)的標(biāo)識(shí)必須嚴(yán)格對(duì)應(yīng)可見名稱可以隨便寫。如果主機(jī)名稱填錯(cuò)主動(dòng)模式下數(shù)據(jù)絕對(duì)不來被動(dòng)模式下有時(shí)還能通過 IP 匹配所以這個(gè)坑要記住。5.2 關(guān)聯(lián)模板或手動(dòng)添加監(jiān)控項(xiàng)Zabbix 官方提供了 Nginx by Zabbix agent 模板里面已經(jīng)定義好了監(jiān)控項(xiàng)和觸發(fā)器。如果你的 Agent 端已經(jīng)配好了對(duì)應(yīng)的自定義 key直接關(guān)聯(lián)模板就能看到數(shù)據(jù)。關(guān)聯(lián)模板之后建議先看“最新數(shù)據(jù)”。如果監(jiān)控項(xiàng)顯示“不支持”說明模板里引用的 key 在 Agent 端并沒有定義要么是自定義配置文件沒生效要么是 key 名稱不匹配。不使用模板的情況下也可以手動(dòng)創(chuàng)建監(jiān)控項(xiàng)字段示例名稱Nginx 活躍連接數(shù)類型Zabbix agent鍵值nginx.status[active]信息類型數(shù)字無正負(fù)更新時(shí)間30s手動(dòng)創(chuàng)建的好處是靈活壞處是每臺(tái)主機(jī)都要配一遍效率低。建議至少從模板開始再按需修改。5.3 最新數(shù)據(jù)驗(yàn)證添加監(jiān)控項(xiàng)后等一兩個(gè)更新周期再到“監(jiān)測(cè) - 最新數(shù)據(jù)”里查看。判斷標(biāo)準(zhǔn)有數(shù)值且持續(xù)更新鏈路完全通顯示不支持Agent 執(zhí)行命令失敗或 key 名稱不對(duì)顯示“不支持”但 zabbix_get 正常檢查 Server 端 Agent 配置的 IP 和端口有數(shù)據(jù)但一直不變檢查腳本是否用了緩存或者 Nginx 狀態(tài)頁是否更新異常。有時(shí)候 Agent 端剛改了自定義配置需要等 Agent 重啟后才會(huì)重新加載。如果發(fā)現(xiàn)改了配置但沒生效先確認(rèn)是否重啟了 zabbix-agent。我用 zabbix_get 排查時(shí)會(huì)習(xí)慣在前面加一個(gè)timeouttimeout 5 zabbix_get -s 192.168.1.10 -k nginx.status[active]加上 timeout 可以避免命令長(zhǎng)時(shí)間卡住尤其當(dāng)腳本內(nèi)部頻繁請(qǐng)求外部地址時(shí)。生產(chǎn)上不建議讓監(jiān)控采集命令永久阻塞Zabbix Agent 本身有 timeout 限制但腳本內(nèi)部如果卡在某個(gè)命令上也會(huì)拖慢采集。6. 數(shù)據(jù)沒到、不支持、為0時(shí)按這個(gè)順序排查6.1 Agent狀態(tài)不可達(dá)現(xiàn)象Zabbix Server 頁面顯示主機(jī)離線zabbix_get -s 目標(biāo)IP -k agent.ping超時(shí)或 cannot connect。排查順序先確認(rèn)目標(biāo) IP 是否通ping 目標(biāo)IP確認(rèn) Agent 端口監(jiān)聽是否正常ss -lntp | grep 10050確認(rèn)防火墻是否放行端口Linux 檢查firewalld或iptables確認(rèn) Zabbix Server 能否連接到該端口用telnet 目標(biāo)IP 10050或nc -vz 目標(biāo)IP 10050如果前面都正???Agent 日志可能有配置錯(cuò)誤或啟動(dòng)失敗。大多數(shù)“不可達(dá)”不是 Zabbix Server 的問題而是防火墻或者 Agent 沒啟動(dòng)。6.2 監(jiān)控項(xiàng)顯示不支持現(xiàn)象agent.ping正常但 Nginx 相關(guān)監(jiān)控項(xiàng)顯示“不支持”。在 Agent 本機(jī)執(zhí)行zabbix_get -s 127.0.0.1 -k nginx.status[active]如果返回非數(shù)字或報(bào)錯(cuò)繼續(xù)看key 名稱是否和 Server 端完全一致自定義配置文件是否生效腳本是否有執(zhí)行權(quán)限腳本里的 curl 是否能訪問 Nginx 狀態(tài)頁Agent 日志里是否有cannot run command之類的記錄。這一層最常見的問題有兩個(gè)一個(gè)是UnsafeUserParameters0導(dǎo)致帶管道或參數(shù)字符的命令被攔截另一個(gè)是腳本權(quán)限不對(duì)Agent 執(zhí)行腳本時(shí)沒有執(zhí)行權(quán)限返回空值。6.3 數(shù)據(jù)為0或長(zhǎng)時(shí)間不變?nèi)绻?zabbix_get 能返回?cái)?shù)字但 Web 界面數(shù)據(jù)為 0 或不變可能的原因監(jiān)控項(xiàng)類型設(shè)置錯(cuò)誤比如把整數(shù)項(xiàng)配置成字符型更新周期太長(zhǎng)短時(shí)間內(nèi)看不到變化Agent 端腳本使用了緩存文件但緩存文件沒有及時(shí)更新Nginx 狀態(tài)頁的數(shù)值確實(shí)沒變化尤其是 Reading/Writing/Waiting請(qǐng)求量低的時(shí)候波動(dòng)很小。遇到這種問題先把監(jiān)控項(xiàng)改成 10s 更新間隔觀察同時(shí)把采集腳本手動(dòng)執(zhí)行幾次對(duì)比結(jié)果。如果手動(dòng)執(zhí)行有變化而 Zabbix 一直取舊值多半是 Agent 端緩存或 Server 端歷史數(shù)據(jù)存儲(chǔ)延遲。6.4 檢查權(quán)限和SELinux這個(gè)坑在 Linux 生產(chǎn)環(huán)境中非常普遍。如果 Agent 和 Nginx 都在同一臺(tái)機(jī)器Agent 執(zhí)行 curl 訪問http://127.0.0.1/nginx_status一般沒問題。但如果 SELinux 開啟可能會(huì)有連接被拒的情況。排查時(shí)先看/var/log/audit/audit.log有沒有 denied 記錄。有的話可以采用兩種方式放通相關(guān)端口或者把 SELinux 臨時(shí)轉(zhuǎn)為 permissive 測(cè)試。不要一上來就永久關(guān)閉 SELinux先確認(rèn)是不是它的原因。Zabbix Agent 默認(rèn)以zabbix用戶運(yùn)行這個(gè)用戶對(duì) Nginx 狀態(tài)頁的訪問是走 HTTP 協(xié)議的不涉及文件系統(tǒng)權(quán)限但要在操作系統(tǒng)層面允許它建立本地網(wǎng)絡(luò)連接。如果連本機(jī)回環(huán)都被限制curl 會(huì)返回空。7. 從單臺(tái)試跑到批量部署還要補(bǔ)三件事7.1 批量部署Agent單機(jī)跑通后批量監(jiān)控也別急著手工逐臺(tái)配置。建議提前準(zhǔn)備好 Agent 配置文件模板和安裝腳本利用自動(dòng)化運(yùn)維工具分發(fā)安裝。批量部署時(shí)每臺(tái)機(jī)器需要變化的內(nèi)容主要有兩個(gè)Hostname和Server。Server通常都指向同一個(gè) Zabbix ServerHostname則建議用機(jī)器名或業(yè)務(wù)名方便識(shí)別。如果沒有自動(dòng)化工具可以寫一個(gè)簡(jiǎn)單的 Shell 腳本在一批機(jī)器上執(zhí)行安裝、寫入配置、啟動(dòng)服務(wù)。關(guān)鍵點(diǎn)在于腳本要冪等重復(fù)執(zhí)行不會(huì)產(chǎn)生重復(fù)監(jiān)控項(xiàng)或配置沖突。7.2 模板復(fù)用和指標(biāo)命名規(guī)范批量部署前先定義一套統(tǒng)一的監(jiān)控項(xiàng)命名規(guī)范。比如nginx.active nginx.requests nginx.reading nginx.writing nginx.waiting不要每臺(tái)機(jī)器都用不同的 key 名。否則后面加圖形、加聚合、加告警時(shí)工作量會(huì)翻好幾倍。在 Zabbix 里一套完整的 Nginx 監(jiān)控模板應(yīng)該包含監(jiān)控項(xiàng)連接數(shù)、請(qǐng)求數(shù)、Reading、Writing、Waiting觸發(fā)器活躍連接數(shù)過高、請(qǐng)求數(shù)異常下降、Nginx 進(jìn)程數(shù)小于 1圖形連接數(shù)和請(qǐng)求數(shù)趨勢(shì)圖聚合原型如果需要按集群視圖查看可以配置聚合監(jiān)控項(xiàng)。模板設(shè)計(jì)好之后所有新主機(jī)直接關(guān)聯(lián)模板避免人工逐條添加監(jiān)控項(xiàng)。7.3 監(jiān)控頻率與告警閾值的取舍Nginx 的指標(biāo)采集頻率不建議太高。默認(rèn) 30 秒到 1 分鐘已經(jīng)足夠尤其是請(qǐng)求數(shù)、活躍連接數(shù)這類指標(biāo)本身就是瞬時(shí)快照采集頻率高并不能提高準(zhǔn)確性反而會(huì)增加 Agent 和 Server 的負(fù)擔(dān)。告警閾值要根據(jù)實(shí)際業(yè)務(wù)來定。比如活躍連接數(shù)超過某個(gè)值就告警但不同服務(wù)器的性能差異很大最好先采集一周數(shù)據(jù)再看基線請(qǐng)求數(shù)突然掉到接近 0可能是 Nginx 掛了也可能是業(yè)務(wù)本身陷入了低谷Reading、Writing 長(zhǎng)期偏高說明可能有大文件傳輸或慢客戶端不一定是故障。我在實(shí)際項(xiàng)目中用過的最不后悔的一個(gè)習(xí)慣是剛開始只采集不告警。先積累一兩周數(shù)據(jù)再根據(jù)真實(shí)基線設(shè)定閾值否則很容易被誤報(bào)刷屏。7.4 日志和備份最后補(bǔ)一個(gè)容易被忽略的點(diǎn)Agent 端自定義配置和腳本要納入版本管理不能只留在機(jī)器上。否則重裝機(jī)器后監(jiān)控配置就很難原樣恢復(fù)了。Zabbix 本身的模板、主機(jī)、監(jiān)控項(xiàng)配置也要定期導(dǎo)出備份。監(jiān)控系統(tǒng)一旦配置多了重新手搭非常痛苦。備份不只是保護(hù)數(shù)據(jù)也是在保護(hù)自己的運(yùn)維效率。如果只是學(xué)習(xí)按默認(rèn)配置跑通就可以了如果要長(zhǎng)期維護(hù)那就把日志、輸出目錄、模板備份和權(quán)限控制都提前整理好后面真的會(huì)省很多事。踩過幾次之后我發(fā)現(xiàn)Zabbix 監(jiān)控 Nginx 的坑很少在“功能不夠”上多半是前置環(huán)境不一致、狀態(tài)頁訪問受限、自定義 key 書寫習(xí)慣不統(tǒng)一。把這幾條理順整個(gè)監(jiān)控鏈路就穩(wěn)了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
狠狠中文字幕| 亚洲AV在线资源| 精品久久9| 97色97干| 大香蕉碰| 美女骚尻视频| 啊啊啊要高潮了| 另类欧美综合| 色乱二区| 台湾佬中文娱乐网久久久久久久久久com| 97国产精品| 免费看日产一区二区三区| 嗯嗯,好大,好爽,好骚 | 麻豆黄色五月天| 欧美爱国产综合、| 激情专区综合| 我爱操| WWW啪啪的com| 密臀AV在线| 熟妇熟女一区二区三区| 日韩一级二级| 国产精品久久蜜乳av| 久久精品美女一区| 成人在线视频网| 欧美91精彩| 日韩操啪| 欧美制服网站美腿丝袜| 大香蕉78| 一区麻豆 高清中文字幕| 中文字幕乱码在线| 国产久久久9999| 成人性交午夜免费片| 91无人区卡一卡二卡三乱码入口最新版:能让用户有更多选择的选择-经典说说-爱 | 国产午夜在线观看| 久草色悠悠在线视频| 天久久久噜噜噜久久国产精品爽爽 | 9热9热综合网| 中文字幕奈奈美被公侵犯| 妇女视频网站| 色综合av男人天堂| 久久婷婷苹果| 婷婷国产精品九区| 香蕉黄色一级视频| 亚洲在高跟鞋自慰久久在色线| 欧美日韩另类在线| ...日韩成人一区二区三区字幕| 操逼视频色| 欧美色天堂网在线视频| 欧美日韩午夜精品一区二区三区| 好吊色一区| 亚洲伊人久久精品狠狠在线| 欧美视频一| 欧美 青青草| 熟女这里只有精品6| baiduhicn.com。| 日韩免费大片一级播放| 色欧美天天| 成片免费观看视频大全| 亚洲人综合19| 天天弄欧美| 91老司机精品| 久久国产精品熟女人妻| 日韩少妇一区二区三区| 日韩久久超碰色| 天天视频黄| 97网址www| 青娱乐淫乱1314| 欧美美女在线高潮999| 1级午夜影院费免区| 亚洲熟妇白浆无码AV| 99这里有精品| 97资源视频| 久湿久久 | 国产精品嫩草影院午夜两性 | 五十路三区在线| 秋霞午夜视频一区二区| 欧美天堂在线| 男女激情中文字幕| 欧美日不卡| 天天日天天搞天天干| 少妇激情AV| 四虎永久在线精品免费网址 | 99草精| 欧美伦乱爱| 亚洲大色堂| 亚洲四虎熟女精品| 偷拍 亚洲 欧美| 一区二区 日韩 欧美 国产 传媒| 丰满人妻av一区二区三区| 亚洲精品国产精品成人| 加勒比海人人操超碰在线| www.欧精品| av天堂5| 老子午夜伦不卡影院| 日本国产二线女色| 97频视在线| 好吊色在线观看| 亚洲 国产 精品一区| 精品无码秘 人妻一区二区| 中出20p| 国厂麻豆77q4| 久久99操天天日| 日韩中文字幕视频| 婷婷色色五月天福利| 久9爱经典视频| 久久大陆| 日本中文字幕一区| 久草婷婷| 人妻少妇久久久| 国产精品丝袜久久亚洲不卡| 裸体美女久久久| 伊人91| 青青操综合网| 狠狠操,使劲操| 91热| 有码人妻系列| 一级久久性爱视频| 人妻-91porn| 无码丰满熟妇一区二区浪潮AV| 亚洲无 码A片在线观看麻豆| 亚洲同性aV综合| 天天日骚逼熟女| 久久久久久九九九九九九| 亚洲色图欧美色图制服诱惑| 国产精品久久久久久久久久久久久久久久 | 白嫩国模丰满一二三区| 动漫av中文| 天天弄欧美| 九九英色视频| 青青草日本中文字幕| 蜜臀AV成人精品蜜臀AV久久| 91N综合在线| 欧美日韩人妻婷婷一区| 久欲AV| 97国产精选| 在线观看啊啊啊啊啊| 欧美成97爱| 超碰久超碰久| 美女天天干| 男插女青青影院| 亚洲一区中文精品| 亚洲无码免费看| 在线综合色| 强奸a片网| 日韩中文字幕视频在线观看| 色5月婷婷| 日日不卡av| 精品人妻少妇| 国产精品自拍视频| 亚洲欧美日韩二区视频| 美女诱惑爱爱| 亚洲综合伊人| 中国AAAAAA黄色片| 欧美亚洲日本激情在线| 超碰九色| 欧美日韩亚洲天堂网| 941超碰| 亚洲色婷婷综合久久一区二区三区| 熟妇人妻精品一区二区| 国产精品一区av在线| 亚洲黄色网址视频| 人人妻人人操人人乐| 色女99一级片在线观看| 夜夜福利| 性色aV一区二区三区噜噜| 欧美激情一区二区| 国产在线激情视频| 91久久久久久久久18| 337p大胆噜噜噜噜噜91Av| 国产女人高潮视频| A男人的天堂| 日韩内| 黄色香蕉视频网站一区| 人人操AV| 天天综合网~91| 日本熟妇自慰性高潮一区二区三区| 亚洲激情视频| 国产隔壁老王影院在线| 狠狠操天天干| 婷婷五月天色网| 欧美翘臀视频网站一区二区三区 | 99热伊人| 肉丝无码中文高清| ji熟女.com| 五月综合久久| 欧美日韩一干二干| 天天操天天射青青草| 精品九九九九九九九九九| 国产97色在线| 欧美性爱1080p| 加勒比AV网| 在线不欧美| 自拍鲍鱼一区在线高清观看免费| 美日韩一二三区| 玖玖爱在线视频免费观看| 国产亚洲精品自在线亚洲情侣| 日韩噜噜69| 亚洲伊人久久综合97| 静品嫩模一区二区| 强奸熟女一区二区三区 | 都市激情人妻一区二区青青操视频 | 国产亚洲99久久精品熟| 欧美色三级片91| 久夜操| 18禁免费视频| 在线毛片片免费观看| 婷婷伊人网| 啊啊啊啊啊啊啊啊要喷了| www.yeyecao| 91久热这里只有精品| 日本免费二区三区| 亚洲中文字幕精品久久久久久直播| 九九九九一级| 日本三级网页| 羞答答AV中文字| 国语av最新自产拍在线观看| 九九国产热| 亚洲日韩国产精品| 91蜜臀熟女| 亚洲成人ab| 欧美色图天堂在线| 丰满少妇一区二区三区免费看| 欧亚免费视频| 亚洲小说视频| 韩国女主播青草福利视频| 91性情| 深爱五月婷婷| 日本成人A片免费看| 久久国99999| 国产日韩精品人妻久久久久色欲网站| 欧美在线视频播放| 日韩AV无码中文一区二区| 亚州综合色图| 五月天大香蕉| 26uuu久久| 亚洲日韩少妇一道本视频| 精品国产丝袜一区二区三区乱码 | 97香蕉网| 久久久111| 午夜福利免费福利视频| 久夜操| 国产青一二三| 中国探花熟女| 日韩在线观看三级电影| 国产美女自拍视频| 日韩免费人妻色情网站| 国产一国产一级毛片古装| 欧美午夜色妇色鬼| 亚洲精品aa久久伊人| 老司机香蕉| 怡红院怡春院| 日本欧美国内在线| 99久久无码| 亚洲电影91| 日韩99神马视频片| 亚洲古典另类欧美在线| 欧美亚洲20p| 久久产精品一区二区三区电影 | 欧美少妇高潮久久91| 亚洲97P| AV九九| 欧洲色色| 91露脸熟女专区| 超碰一区二区| 国产怡红院| 无码聚合| 日韩在线性爱免费视频| 国产人人干| 五月激情小说| 午夜福利精品| 亚洲图片欧美色图| 久久久久久九九九九九| 91性感网站| 五月丁香激情综合网| 国产精品久久天天干| 色欧美在线| 伊人一区二区三区| 日韩三四五区| 99久久99久久综合| 日本性交操一区二区不卡系列| 97人人中文网| 2011国产精品| 日本三级中国三级99人妇网站| 一个人免费视频观看在线WWW| 国产精品com| 9精品在线| 欧美熟妇视频| 激情深爱五月天| 婷婷丁香五月天亚洲天堂网| 日韩有码 一区二区三区| 大屁股熟女一区二区三区| 午夜久久一区二区无码中出| 色性荡荡荡荡视频| 成人五月香网在线| 五月激情在线| 91久久久久久久| 久久三| 91艹B视频| 国模无码人体一区二区三| 999国产精品999久久久久久| 欧美淫乱视频| 9.1小视频| …中文字幕亚洲乱,97人妻无码费视…| 97看操| 图色综合网| 天美麻花大全视频| 美国三级日本三级久久99| 看黑人AV不卡| 欧色综合| 久久精品欧美一区蜜桃| 97超碰碰碰| 男人的天堂网免费| 夜夜肏2021| 大伊香蕉在线视频免费| 日韩精品一区二区日韩| 国产精品熟女丝袜一区二区| 五月天婷婷久久| 天天日少妇逼AV| 亚洲综合五月天婷婷丁香| 黄色网址在线免费观看| 成人免费视瓶| 亚洲AV噜噜狠狠网址蜜桃动漫| AV女优男人的天堂| 国产精品午夜AV完会免费| 久久婷婷电影网| 伊人影院日本| 新久久AV| 天天插天天操| 成人激情无码在线视频| 久久久久久国产无码精品| 成年女人黄网站| 久久一级无码精品毛片6| 亚洲精品国产熟女| 日本性爰一道本| 国产成人精品日本亚洲语言| 中文字幕黄片在线| 18禁看网站一区| 91大香蕉伊人| 六月婷婷色综合| 欧美色道啊| 日逼国产| 伊人天天久久动态图| 日本大香蕉综合网红本杳社区| 亚州欧美在线| 五十路六十路七十路熟婆| 啪啪啪大香蕉| 欧美啪啪女女| 国产毛片精品一区二区色欲黄A片| 在线观看亚洲专区| 国产原创自拍| 97超碰超欧美。| 精品人妻一区二区免费看| 97干在线| 加勒比久久av| 99re99在线视频| 99人妻| 天天综合97| 亚州操逼图| 日本午夜久久电影| 精产国品一区二三产品| 国产一区二区久久| 久久久久久97| 精品人体无圣光凹凸| 999色欧美中文字幕| 亚洲天堂精品日韩电影| 色乱二区| 中文字幕少妇色| 色拍偷亚洲| 97爱爱| 国产激情在线| 亚洲黄日韩无码专区| 97视频www| 一区二区三区免费视频入口| 1769精品一区二区三区| 亚洲涩涩| 大香蕉乱级| 99久久婷婷国产综合精品草原| 色91综合网| 性色A∨91| 在线色导航| 国产精品久久久亚洲一区| 骚人妻少妇视频| 精品久久无码午夜福利| 北条麻妃99精品青青久久| 亚洲激情欧美色图| 色综合av男人天堂| 久久鲁夜| 亚洲精品尤物yw在线影院| 日韩精品三区四区| 清纯唯美亚洲综合| 成人资源中文字幕在线观看天天| 精品一区二区2| 国产丰满熟夫69mpp| 97亚洲中文| 777超碰| 97色婷婷| 欧美天天综合站| 欧美九九九| 亚洲国产欧美一区二区潘金莲 | 一区二区三区精品久久| 91国产美女丝袜足交精品视频 | 欧美日韩国产精品久久色婷婷| 国产日韩精品无码去免费专区国产| 中文字暮97| 亚洲欧美人妻| 成人女人国产| 中文字幕精品免费一区二区| 夜夜騷av、一區二區| 精品蜜乳AV免费观看| 日韩精品操少妇| 色色色色网站| 亚洲欧美综合| 91天堂| 加勒比伊人影院| 亚洲色欧| 91操熟妇| 天堂伊人久久| 色色色综合| 青青草原伊人网| 天天摸,夜夜摸| 熟妇综合一区二区三区| 欧洲无码一区二区| 日韩精品系列| 国产97免费视频| 国产小u女在线观看| 国产精品97超碰| 蜜乳AV网址| 欧美激色| 欧美日韩*字幕一区| 蜜奶av| 精品少妇人妻av久久免费| 新视频sss国产| av一区二区三区 中文| 97精品一区二区三区免费| 99热免费| 国产女人操逼视频| 亚洲97网站| 国产久久一区二区午夜| 色色97爱| 最新av在线| 人、人、摸,人、人、草| 国产精品一区二区三区免费视频| 国产婷婷一区| 蜜乳av首页| 亚洲阿v天堂在线| 亚洲欧美日产国产91毛片| 俺去俺来也在线www| 九九热三级片| 97天天插| 神马久久久久久久久久久久| 99激情视频| 欧美一级AAAAAAA| 91综合天天看| 加勒比综合九九99视频在线播放| 国产激情片在线观看| 天天看夜夜看日日干| 欧美日韩人妻少妇 一区二区三区| 天天综合色| 国产精品黑人一区二区三区| 久久久久女教师免费一区 | 风韵犹存大大大大香蕉 | 亚洲经典啪啪| 亚洲春色欧美激情自拍| 久久久久久久唑| 欧美亚洲影视| 桃色五月天| 日韩精品在线观看观看| 欧美色宗合| 91天天美女| 色一射色一射| 五月丁香啪| 97精品国产精品免费观看| 天天影视91看看| 天天日天天射天天干| 99性爱视频| 久久亚洲AV无码专区国产精品| 欧美一级A一级a爱片久久| 青青草在线视频美女| 91欧美美女日韩国产婷婷| 国产成人亚洲精品自产在线| 亚欧韩av| 欧美顶级黄片AAAAA在线免费看| 欧美人人曰人人操人人射射 | 国产福利第一视频| αⅴ天堂| 欧美黄色大片在线观看| 超碰精品国产无码| 久久久蜜桃臀无码视频| 欧美综合综合| 欧美日综合| 一二三卡欧美日韩人妻免费精品| 久久久111| 操B久久| 在线人妻熟女一区二区三区四区五区| 啪啪91| 日韩99999色| 国产亚洲综合欧美一区| 91Chinese在线| 国产AAAAAABBBBB| 欧美一级黄色免费专区| 男女日B国产| 亚洲国产成人7777| 亚洲无码国产精品久久| 三级激情网站| 做爱A级亚欧| 中日韩久久久| 亚洲成熟国产精品美女| 中文字幕av亚洲在线| 日韩精品一区的| 毛片电影一区二区三区| 色九区| 色丁香久久| 91狠狠综合久久久久久| 亚洲成人碰碰| 欧美 传媒 麻豆 日韩 偷拍| 亚洲综合图色在线| 死我十八禁| 亚洲图片小说欧洲| 中文字幕、久久精品国产2020、久久综合久久自在自线精品自、亚洲 | 久久99久久99精品免视看婷婷| 日韩999| baisiav| 99操| 97欧美资源| 亚洲色图欧美激情| 国产黄片精品在线| 午夜精品视频777| 91狠婷| 超碰人妻中文在线| 青青草一本道福利视频| 亚洲精品97| 超碰97中文| 操逼免费视频无码国产| 久久成人午夜精品影院| 国产综合操逼高清| 精品一区96| 北条麻妃性愛视频| 国产视频第二页| 岛国A V在线免费看| 欧美午夜视频精品久久| 九九天堂| 精品人妻视频一区二区在线播放 | 国产夫妻一区二区| 98超碰日本| 4虎在线观看| www.91人妻.com| 秋霞视频一区二区| 啊啊啊好舒服好爽啊啊啊视频| 伦理日韩国产久久| 亚洲无992tv| 乱伦日本色图AⅤ| 欧美日韩色图片| 狠狠做深爱婷婷久久二区| 青青草一本道福利视频| 亚洲性爱乱操x| 日韩A优精品在线观看| 97干在线| 变态乱伦伪娘灌肠一区二区| 水野优香在线观看| 精品二999| 久草午夜| 久精品无码av一区二免费国产在线观看| 91 在线亚洲| 学生妹天天看| 伊人丁香五月婷婷| 东京热亚洲一区二区| 桃色人妻在线视频| 日本乱人伦片中文三区| 强奸乱伦大香蕉网| 亚洲色图 欧美热图 清纯唯美 另类自拍 | 春色91| 人妻献身系列第54部| 95人妻爽爽人人做人人澡| 欧美91久久久久| 嫩草美女久久| 欧美一区二区日韩传媒搭讪精品| 日韩一卡二卡三卡| 超碰成人国产| 18禁久极品美女久久哦哟呀!| 中文字幕乱码在线| 婷婷色综合| 欧美色老汉| 伊人黄色视频免费观看| 欧美亚洲se91| 熟女五十路一区二区三| 欧美亚洲性爱一区二区| 亚洲国产成人综合碰碰三级经典| 色情综合网| 91美女视频电影| 欧美熟女操屄| 啊灬啊灬啊灬啊灬高潮奶出了免费视| 亚洲最新中文字幕免费| 97在线观看免费视频l| 久久久精品电影| 亚洲综合影片| 国产黄色影片在线观看| 曰本91情色| 国产精品干干干| 亚av顶级裸体一区二区三区四区五区| 亚洲精品少妇| 四虎 精品 WWW| 亚洲无码国产探花在线观看| 美女淫穴| 国产极品美女高潮无套在线观看| 亚洲 无码 有码 中文字幕| 少妇高潮流水av免费| 国产精品色哟哟| 亚洲精品人妻在线| 国产精品色约约| 国产免费一区在线观看| 精品免费囯产一区二区三区| 中亚精品极乱| 探花精品 一区二区| 在线人妻熟女一区二区三区四区五区| 亚洲乱色熟女一区| 久久机热| 色色国产| 在线中文字幕| 国产亚卅97| 中文字幕aⅴ在线视频| 97天天插| 天天看片天天爽| 亚洲国产成人精品999| 国产a级精品| 亚洲精品影视老司机| 97爱爱官网| 人妻精品综合中文字幕在线 | 亚洲男人天堂AV| 五月丁香婷婷色| 69天堂| 欧美 熟女 日韩| 免费观看啪视频| 韩国免费播放一级毛片| 中国黄色特级精品一区二区三区片| 久久久国产三级黄色片| 91国产操逼视频| 青青草中出视频| 国产精品一区二区黄片| 欧美激情久操网| 国产亚洲精品美女| 亚洲少妇喷视频看| 无码直播久久久| 97操碰| 夜夜中出国产| 日韩中文字幕国产| 超碰久久.com| 亚洲骚女一区二区三区| 天天天天天天天天天天干美女| 熟妇女伦乱视频| h色99999| 青青国产精品在线| 自拍偷拍2025在线观看| 色欲三区| 亚洲毛片基地专区| 啪啪91| 另类专区在线观看| 久99久视频精选| 爱av免费| 国产视频大全| 日本天堂在线播放| 久久久9品一区二区三区| 乱伦日本色图AⅤ| gogogo免费高清看中国国语| 欧美五十路熟| 国产麻豆91欧美一区二区久久婷婷国产精品| 啊啊啊啊在线播放| 欧美,亚洲,日韩,v,天堂,手机在线观看| 国产精品无码久久久久2025| 欧美se亚洲| 国产成人精品无码久久| 久热69九色熟妇97| 99久久久久| 久操网视频| 欧美综合网A| 午夜精品人妻二区三区| 九九九九九九成人| 男人的天堂激情| 99色悠悠| 后X久久| 国产激情av女片自拍| 91这里只有精品| 久久久一二三四区| 91亚洲欧美综合高清在线| 丰满搜索结果 -第18页- 久久高清无码 | 亚洲国产91精品一区二区久久| 成人九九| 国产suv精品一区| 熟女露脸激情自拍视频| 天天操天天日天天干| 91少妇香蕉久久精品| 久久久久久久久久久97| 国产不卡精品91| 97人肏| 无码欧美有限公司| 男人的天堂在线2| 99自拍B亚洲 | 伊人青青一区成人视频在线观看区| 久色网| 很很干很很操| 综合网欧美在线| 久久同城AV| 男人的天堂一区三区| 欧美精品一区二区少妇免费A片| 97超碰碰| 久久久精品电影| 欧美大香蕉久| 国产一在线观看| 色狠狠 - 百度| 日韩欧美大力操| 欧美aaaaaaa| 精品国产乱码久久久久久口爆网站| 亚洲砖码砖专无区2023| 91精品久久综合熟女| 国产av美女被艹的乱叫| 99超级碰免费视频| 丝袜美腿欧美| 色大师网站www永久网站视频| 密臀视频一区二区三区| 97视频新免费| 男人的天堂1024| 亚洲综合电影| 26UUU欧美激情一区二区| 亚洲成a人在线观看久| 亚洲无码 国产无码| 久久国产免费激情视频| 国产精品福利资源在线尤物| 91精品微拍福利| 国产伦乱91| 超碰亚洲97| 国产熟妇一区二区| 亚洲怡春院| 91 丝袜在线播放| 一级@啪啪视频| 99久久久久| 99啪啪视频| 夜夜做夜夜爽精品视频| 91色色网站| 99精品视频在线观看免费| 亚洲色图殴美色图激情乱伦| 大香网伊人久久综合| 精品人妻夜夜草| 午夜九九| 在线播放成人高清免费视频| 久久性爱大全| 天堂国产AV| 密臀AV在线| 成人性交午夜免费片| 日本欧美韩国国产在线| 天天爽天天干| 九九国产| 狠狠婷婷亚洲中文综合久久| 无码 有码 国产18p| 国产原创精品| 欧美成人贴图| 欧美日韩国产另类综合| 五月天综合网| 老熟妇一区二区三区| 亚洲欧美综合| 97人人草| 一区二区播放| 精品国产Av无码久久久伦古装| 亚洲啪啪综合?v一区综合精品区| 老熟妇一区二区三区…| 亚洲一区日韩| 色悠久久久av| 人人妻人人色| 99色色| 天天做天天爱| 加勒比色99999| 亚洲一区操| 97色伦欧美| 风月影院男女十八禁| 久久大香蕉97| 98人妻精品一区二区色欲| 超碰在线看| 五十路人妻在线| 欧美爱爱97| 曰韩操B| 熟妇亚洲一区二区三区| 久久99国产精品| 欧美精品自慰系列寂寞少妇| 久久亚洲不卡一区二区三区| 精品九九| 欧美v日韩欧亚洲电影天堂色诱,国产传媒| 少妇特黄一区二区三区| 日韩亚洲中文有码视频| 97欧美精品综合| 99久久无码| 另类图片五月| 天天干电影| 天天综合色电影| 亚洲国产精品久久久久婷婷老年| 2019久久久久久久久福利| 国产不卡中文字幕免费avi| 97精品一区二区视频| 麻豆亚洲Av成人无码一区精品| 91N综合网| 超碰在线人妻| 成人性交免费视屏| 69精品久久久久中文字幕| 国模91| 人人爱人人操人人性| 日本熟妇精品九九| 看日韩操逼| 尤物视频网 刘玥| 久久人人舔人人爽舔人人av片| 精品中文日韩字幕视频| 午夜操逼不卡| 成人精品欧洲亚洲| 日本在线激情一区二区三区 | 永久免费观看的毛片的网站| 亚洲、日韩、综合、另类| 91狠狠综合久久| 激情丁香五月| 亚洲成人激情小说视频| 偷拍亚洲高清图片| 欧美日产国产在线成人第一区| 欧美人妻色| 国产女人操逼视频| 日韩91网| 亚洲国产欧美日韩人妻日中文| 人人性爱视频免费| 美女AV一区二区| 无码av永久免费专区网站| 午夜欧美神马久久久久| 久久精品国产亚洲AV嘿嘿| 久久亚州大香蕉| 精品人妻伦一二三区久久| 色悠悠伊人网五月天| 九九视品黄色| 欧美 日韩 亚洲 春色| 蜜桃香蕉久草精品在线| 色爽爽文学| 日韩激情毛片一级久久久| WWW美腿丝袜香蕉中文| 七久久久| 国产婷婷综合在线观看| av午夜玫瑰| 免费A V在线| 亚洲男人天堂2017| 欧美极品少妇交| 久久性爱精品一区| 久操免费电影| 日韩精品高清资源在线| 欧美人妻一区二区| 午夜精品99久久久久传媒| 无码天天操| 性色aV一区二区三区噜噜| 久久精品亚洲婷婷| av网页一区二区三区| 综合久久9| 欧美激情亚洲情色| 国产九月婷婷| 国产精品色片一区二区| 男人午夜天堂| 日韩青久久| 熟妇熟女一区二三区| 欧美 亚洲 偷拍自拍| 97免费在线观看| 搡老女人老91妇女熟女| av天堂影视中文在字幕在线中文| 久久透逼视频| 久草新在线| 久草线上视频免费看| 97色五月天完| 国产福利精品最新在线 | 久久国产精品91| 亚洲无码久久久久久久| 亚洲97成人在线观看| 校园春色亚洲色图| oumeisetupian| 人人操AV| 韩国一级婬片A片AAAAA| 人人操 欧美| 国产一区在线播放| 国产suv精品一区二六| 伊人991| 亚洲激情AV| 久久一区二区三区入口| 一本久道在线综合视频| 亚洲AV麻豆Aⅴ无码电影一| 搡老女人老91二区| 伊人性在线视频| 九七人妻在线| 欧美色图亚州激情| 岛园激情| 国产 亚洲 丝袜 制服| 大香蕉www.超碰| 乱伦日本中文自拍| 视频不卡中文字幕| 久艹日日日| 丝袜 中出 制服 人妻 美腿 中文字幕| 欧美日韩婷婷中文| 熟妇熟女一区二三区| 久久久久久大| 蜜桃传媒一区二区亚洲| 91爱综合| 亚洲图片偷拍视频区| 亚洲高清无码AAA久久久精品| 欧美另类精品xxxx| 免费观看国产小粉嫩喷水精品午| 一级岛国大片| 91少妇| 加勒比综合| 日韩久射综合| 欧美综合亚洲综合| 试看60秒 爽| 97欧美| 97超碰大| 92久久| 色婷婷国产精品一区在线观看| 精品久| 国产人妻久久精品一区二区三区| yazhououmeizongya| 加勒比久久av| 亚洲情色 自拍| 91制服丝袜中文字幕| 精品视频久久区| 91视频综合在线| 午夜亚洲| 搡老女人老91二区| 乱伦熟妇一区二区| 久久久久久久伊人精品| 91精品人妻偷情| 午夜男女爽爽爽影院视频| 国产精品一区二区久久精品| 日韩人妻一二三区视频| 人人操人人摸人 | 欧美激情性久久久久久| 中文精品一区二去| 久久久久成人亚洲国产| 国产原创自拍| 亚洲综合小视频小说在线观看| 天天天操天天天爱| 国产精品农村妇女| 熟妇综合一区二区三区| 国产精品久久久久久无码红治院| av一区二区三区 中文| 91久久久久久久久久久| 日韩激情视频| 蜜桃传媒视频第一区入口在线看| 日日摸天天爽夜夜欢| 黄片免费视频2019| 中国探花熟女| 亚洲另类色图片| 嫩草 我啊~嗯~在线| 78m啪啪啪| 日韩福利综合一区| 国产日韩在线播放| 中文无码一二三区| 在线情色电影 91大| 加勒比综合a∨| 国产97在线播放| 香蕉欧美| 艹精品| 久7色| 青青草玖玖爱| 久久久久亚洲Av无码专区老牛影视 | 乱精品一区字幕二区| 国产又大又粗又色生活片亚洲国产精品成人久久久综合免费 | 韩日色费| 九九热精品视频在线观看| 欧美|91色综合| 久久宗合亚洲| 中文操逼字幕| 国产一级不卡在线观看| 碰碰在线视频| 九九亚洲色在线观看| 黄色免费网| 欧美精品99久久久| 麻豆九九九| 亚洲高清91| 欧美人妻精品一区二区| 欧美日本久久精品一区| 欧美日韩另类激情图片| 校园春色AV天堂| 中国AAAAAA黄色片| 92一区二区| 91综合网站| 五月天婷婷在线看| 午夜偷拍久久熟女| 国产激情片在线观看| 操操操日本的逼| 东京热免费视频| 国语人妻精彩刺激| 久久久九九九九| 亚洲天堂少妇| 黑人综合网| 国产精品网址| 强奸乱伦亚洲第一页| 久久久久久精品免费看A级| 性爱视频久久| 天天天天天天天天综合| 欧美日日人人天天| 国产精品一区二区a| 久久精品中文字幕无码l| 99精品免费| 免费啊啊啊| 97日韩超碰超碰中文字幕| 亚洲图片激情综合另类| 伊人久久综合影院| 啪啪啪大香蕉| 中文字幕久久精视频久久大全| 亚洲在线综合| 久久超碰国产一区二区三区| 亚洲成av人片色午夜乱码| 人妻精品一区二区全免费| 欧美日韩中文字幕不卡| 在线观看成人性爱免费小视频| 色综合久| 色哟哟AV| 亚洲密乳AV| av天天在线观看| 日韩欧美天堂| 亚洲小电影免费涩涩成人在线高清 | 翔田千里爆乳巨臀无码| 99热只有这里有精品| 啊好爽受不了无码| 96麻豆精品一区二区三区| 国产一级不卡在线观看| 99热超碰| 亚州综合在线| 女人被男人桶爽视频网站| 美女超碰978| 欧美—性—交—色| 日韩人妻有码免费视频| 草b在线 | 人人做天天爱| 亚洲 91 在线| 男人的天堂免费| 日韩亚洲Av人人夜夜澡人人爽| 97大色网| 99亚洲国产精品色一区二区三区| 嗯嗯啊中文字幕| 国产一区二区精品久久久不卡蜜臀| xxxx网站亚洲精品| 天天射影院| AV有码在线| 欧美综合区| 男人天堂 天天射| 嗯啊视频免费在线观看| 97天天做| 亚洲欧美黄| 久青草影院| 亚洲 欧美 第一页| 日日夜夜精品视频| 亚洲日本男人天堂网| 一级黄色性爱A级片| 男人天堂毛片| 欧美日韩理论一区| 激情接吻视频久久久久久| 上特色A在线| 好看的91视频| 色色操| 亚洲国产一区二区入口| 青青草公开在线免费不卡视频| 欧美激情 日韩精品| 新婚人妻扶着粗大强行坐下| 国产精品久久久久久久久久久久久久吹| 91+欧美| 欧美 亚洲 偷拍自拍| 国产精品福利资源在线尤物| 欧美高潮| 一,爱啪啪,在线免费视频| 亚洲AV乱码专区国产噜噜亚洲| 少妇久久久久久| 91色综合激情| 把腿张开老子CAO烂你| 91久久久久久久| www.色婷婷色综合| 五十路三区在线| 九九久久久久久爱| 日韩成人精品| Aa东京男人的天堂| 粉嫩在线一区二区懂色| 91精品人妻| 熟妇一区二区三区| 少妇一区二区三区高速| 成人天天爽| 素人播放一区| 欧美岛国精品在线观看| 日韩无码AB| 99精品久久| 久久是精品| 天美一二三在线观看Av| 91久久精品国产| 日本色婷婷| 日日做夜狠狠爱欧美黑人| 强免费黄色网址| 久久久新亚洲AV| 精品国产72| 大地资源在线观看中文第二页| 亚洲成人贴图| 日韩 欧美 国产 麻豆| 91丨九色丨熟女高潮| 久久精品国产亚洲AV高清演员表| 国产精品午夜福利视频| 99九九久久| 小说区 图片区色 综合区| 超碰这里有精品| 九九久久综合| 无码高清少妇久久| 蜜臀久久99精品久久久久电影| 亚洲aw毛茸茸在线 | 国产少妇高潮| 97AV爱| 亚洲第2页| 国产精品不卡高清在线观看| 豆1无夜无码| 熟妇人妻一区二区 | 久久久久久久久国产| 一二三四日本视频高清| 免费作爱一级视频| 丁香五六月啪啪| 情色大香蕉| 锕锕好爽 死我在线观看| 亚洲色图20p| 人人乐大香蕉| 日韩一级片在线看| 国产精品黄色三级av| 亚洲欧美另类图片| 精久久久| 亚洲伊人久久精品影院| 五月天综合网| 国模限制级电影| 色官网在线| 91成人在线免费视频| 成人av影院在线观看| 青青草日本中文字幕| 富二代亚洲精品99| 中文啪啪视频| 久久天堂婷婷网| 中文字幕av亚洲在线| 国产Aα| 伦伦成年午夜免费视频| 老外又粗又长一晚做五次| 亚洲男人天堂av| 天天肏夜夜肏| 亚州欧美在线| 99色婷婷| 白丝1区2区3区| 在线观看视频91| 欧美玖玖爱免费玖玖| 黑人粗大V S日韩女优视频| 欧美丝袜美女电影一二三四区| 台湾成人无码AV| 97亚洲欧美| 97久久国产| 欧美色图20p| 色姑娘综合网| 午夜视频久久久| 天天欧美97| 91高清欧美| 亚洲熟女综合一区二区| 亚洲熟妇A V黑人| 超清中文乱码字幕| 测评在线观看AV| 亚洲视频中文一区| 一区AV| 强奸乱伦Av网|