日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

邊緣網(wǎng)關(guān)管理Agent選型與落地:從資源約束到實(shí)戰(zhàn)運(yùn)維

邊緣網(wǎng)關(guān)管理Agent選型與落地:從資源約束到實(shí)戰(zhàn)運(yùn)維 1. 邊緣網(wǎng)關(guān)對管理Agent的三個“硬約束”先講一個我自己的經(jīng)歷。前些年給一家工廠做產(chǎn)線數(shù)據(jù)采集邊緣網(wǎng)關(guān)用的是工控機(jī)改裝的設(shè)備配置不算差4核CPU、8G內(nèi)存、128G固態(tài)。一開始我照搬了機(jī)房服務(wù)器的運(yùn)維思路在上面裝了完整的監(jiān)控Agent全家桶心想這樣中心平臺就能實(shí)時看到每臺網(wǎng)關(guān)的CPU、內(nèi)存、磁盤、進(jìn)程狀態(tài)省心又穩(wěn)妥。結(jié)果設(shè)備才運(yùn)行一個晚上第二天現(xiàn)場就反饋說有幾個網(wǎng)關(guān)假死了。登錄一看光是各類Agent進(jìn)程就占掉了將近2G內(nèi)存再加上采集服務(wù)、緩存隊列、數(shù)據(jù)庫組件內(nèi)存直接頂?shù)?5%以上。更要命的是網(wǎng)關(guān)溫度升高風(fēng)扇狂轉(zhuǎn)磁盤I/O一直很高。那次之后我徹底改了思路邊緣網(wǎng)關(guān)上的管理Agent不是裝得越多越全就越好而是越貼合場景、越知道克制才越靠譜。很多人會把邊緣網(wǎng)關(guān)當(dāng)成一臺“縮小版的服務(wù)器”有什么Agent就裝什么反正不過多占點(diǎn)資源。但在真實(shí)項目里這個想法會害死人。邊緣網(wǎng)關(guān)的管理和機(jī)房服務(wù)器管理本質(zhì)上面臨的約束完全不同我覺得有三個方面必須有清醒認(rèn)知。1.1 資源約束網(wǎng)關(guān)的硬件余量比你想象中少得多邊緣網(wǎng)關(guān)通常不是為“多任務(wù)并發(fā)”設(shè)計的。工業(yè)現(xiàn)場常見的網(wǎng)關(guān)處理器可能是低功耗的x86賽揚(yáng)J4125、N5105甚至ARM架構(gòu)的RK3568、樹莓派CM4這類板子內(nèi)存普遍是2G到8G之間和機(jī)房里動不動64G、128G內(nèi)存的服務(wù)器完全是兩個物種。你在這類設(shè)備上每多跑一個Agent就意味著給核心業(yè)務(wù)比如數(shù)據(jù)采集、協(xié)議解析、邊緣計算少留了一份資源。我個人的經(jīng)驗是管理類Agent的總內(nèi)存占用最好控制在網(wǎng)關(guān)總內(nèi)存的8%到10%以內(nèi)。比如一臺4G內(nèi)存的網(wǎng)關(guān)所有Agent加起來占用最好不要超過400M。那些動輒幾百兆基線的Java系A(chǔ)gent、自帶全套運(yùn)行時的商業(yè)采集器第一個就要排除掉。不要覺得自己用的是8G內(nèi)存就萬事大吉邊緣場景里內(nèi)存余量還要和系統(tǒng)緩存、日志緩沖、采集突發(fā)流量做斗爭留得太死業(yè)務(wù)一波動第一個崩的就是業(yè)務(wù)進(jìn)程。還有磁盤。很多網(wǎng)關(guān)用的是小容量固態(tài)甚至SD卡存儲本來就捉襟見肘。管理Agent如果默認(rèn)開啟Full I/O審計、全量日志搜集、性能剖析這類功能幾天就能把手里的盤寫滿。所以落地時第一件事就是把Agent的采集頻率、日志輪轉(zhuǎn)、保留時長全部重新定義絕不能用默認(rèn)參數(shù)上線。1.2 網(wǎng)絡(luò)約束斷網(wǎng)是常態(tài)不是異常機(jī)房里的服務(wù)器網(wǎng)絡(luò)是99.99%可靠的Agent連不上中心時網(wǎng)絡(luò)管理員會覺得出大事了。但邊緣網(wǎng)關(guān)所在的場景上行鏈路的可靠性和帶寬都非常有限。工廠車間里AP重啟、有線網(wǎng)絡(luò)被施工挖斷、4G/5G信號不穩(wěn)定這些情況在邊緣側(cè)是家常便飯。這意味著你在選型和設(shè)計Agent時必須默認(rèn)一個前提它大部分時間也許是健康的但一定會遇上斷網(wǎng)斷網(wǎng)時它不能變成一臺“廢機(jī)”。很多商業(yè)監(jiān)控Agent的架構(gòu)是“數(shù)據(jù)集中到中心規(guī)則中心下發(fā)告警中心判定”一旦斷網(wǎng)本地就既無法采集、也無法告警。這就是把生命線交給了中間那段不穩(wěn)定的網(wǎng)絡(luò)。你在邊緣網(wǎng)關(guān)上裝Agent第一要務(wù)是保證即便和中心斷開三天本地的數(shù)據(jù)采集、狀態(tài)監(jiān)視、基礎(chǔ)告警、日志輪轉(zhuǎn)依舊正常運(yùn)轉(zhuǎn)等網(wǎng)絡(luò)恢復(fù)了再補(bǔ)傳數(shù)據(jù)。1.3 無人值守出問題不能靠“重啟大法”糊弄機(jī)房服務(wù)器出問題有運(yùn)維人員7x24小時響應(yīng)重啟、回滾、修復(fù)都是分鐘級的事。但邊緣網(wǎng)關(guān)散落在廠區(qū)、園區(qū)、路邊、樓頂很多部署位置連人都很難到達(dá)你去一次現(xiàn)場的出差成本可能抵得上半年運(yùn)維費(fèi)。這就要求Agent自己具備“自愈能力”。我見過太多邊緣網(wǎng)關(guān)上的Agent進(jìn)程主進(jìn)程掛了systemd居然沒有配自動拉起日志文件寫滿了沒有輪轉(zhuǎn)策略直接把磁盤占滿配置改了之后語法錯誤Agent靜默退出沒有任何本地日志。這些問題如果是服務(wù)器幾分鐘就能發(fā)現(xiàn)并處理但到了邊緣場景可能要等業(yè)務(wù)方打電話投訴“數(shù)據(jù)怎么不更新了”你才知道。所以“防呆設(shè)計”不是可選而是必須。每個Agent都要有獨(dú)立守護(hù)、崩潰自動重啟、異常降級、本地留痕這四個基本能力。2. 該裝什么邊緣場景的管理Agent選型清單理清了“邊緣網(wǎng)關(guān)不是什么”之后再來看到底該裝什么。我習(xí)慣把邊緣網(wǎng)關(guān)上的管理Agent分成四類資源指標(biāo)采集類、日志采集類、配置與遠(yuǎn)程操作類、規(guī)則告警本地化類。每一類有不同的選型思路和推薦工具下面一個一個說。2.1 資源指標(biāo)采集類Telegraf和Node Exporter怎么選資源指標(biāo)采集是Agent里最基礎(chǔ)的一塊包括CPU、內(nèi)存、磁盤、網(wǎng)絡(luò)、溫度這些基礎(chǔ)數(shù)據(jù)。這一類我的首選一般是Telegraf或Node Exporter二選一。Node Exporter是Prometheus生態(tài)的標(biāo)配優(yōu)點(diǎn)是很純粹只做指標(biāo)采集導(dǎo)出的活二進(jìn)制文件小啟動占用內(nèi)存很低默認(rèn)大概20M到30M左右。它通過HTTP端口暴露metrics配合Prometheus抓取非常方便。如果你整個監(jiān)控體系已經(jīng)深度綁定了Prometheus生態(tài)選它是最省事的。Telegraf則是采集器里的“瑞士軍刀”不僅支持資源指標(biāo)采集還支持大量的輸入插件比如直接采集Modbus協(xié)議數(shù)據(jù)、SNMP OID、MQTT消息甚至SQL查詢結(jié)果。它的輸出也非常靈活可以輸出到InfluxDB、Prometheus、Kafka、MQTT等多種下游。在邊緣網(wǎng)關(guān)場景里Telegraf還有一個特別有價值的玩法它可以直接作為數(shù)據(jù)匯聚層把網(wǎng)關(guān)采集到的業(yè)務(wù)數(shù)據(jù)和資源指標(biāo)匯總在一起上報省去再部署一條獨(dú)立鏈路。Telegraf本身的內(nèi)存占用稍高但控制在50M以內(nèi)是合理的。實(shí)際項目里我會怎么選如果項目已經(jīng)用Prometheus體系做中心監(jiān)控直接Node Exporter保持生態(tài)統(tǒng)一如果中心監(jiān)控體系尚未定型又希望一個Agent同時兼顧資源和一部分協(xié)議數(shù)據(jù)采集毫不猶豫選Telegraf。還有一個小技巧兩個Agent并非不能共存Telegraf可以通過插件直接拉取Node Exporter暴露的指標(biāo)轉(zhuǎn)存到自己的輸出通道里這樣你可以在網(wǎng)關(guān)內(nèi)部用Telegraf做統(tǒng)一出口同時保留Node Exporter輕量的采集能力靈活度很高。2.2 日志采集類Filebeat是性價比最高的選擇日志采集在邊緣場景里容易被忽視因為網(wǎng)關(guān)產(chǎn)生的日志量沒有服務(wù)器大很多人就覺得不值得專門裝一個Agent。這個想法是錯的。邊緣網(wǎng)關(guān)承載了工業(yè)協(xié)議解析、業(yè)務(wù)數(shù)據(jù)流轉(zhuǎn)等關(guān)鍵任務(wù)一旦出故障日志是唯一能還原現(xiàn)場的證據(jù)。沒有日志你面對的就是一個黑盒。日志采集Agent的主流選擇是Filebeat。它的優(yōu)勢是輕量、穩(wěn)定、默認(rèn)帶背壓控制進(jìn)程占用內(nèi)存大約在30M到50M之間作為Go寫的Agent安裝部署也非常簡單只有一個二進(jìn)制加一個配置文件。Filebeat默認(rèn)的日志讀取策略是“從文件尾部開始讀”配合multiline配置可以正確處理棧日志這類多行業(yè)務(wù)日志的合并問題。輸出去向在邊緣場景常見的是Kafka或者本地的日志存儲也可以直連Elasticsearch但我不建議在網(wǎng)關(guān)本地常駐一個ES節(jié)點(diǎn)對資源消耗太大日志應(yīng)當(dāng)轉(zhuǎn)運(yùn)到中心側(cè)再做全文檢索。在邊緣網(wǎng)關(guān)上配置Filebeat要特別注意兩個點(diǎn)。一是采集路徑別用默認(rèn)的/var/log/*.log這種全局通配盡量精確到業(yè)務(wù)自己的日志目錄避免把系統(tǒng)日志和業(yè)務(wù)日志混在一起。二是必須顯式配置日志輪轉(zhuǎn)策略服務(wù)端的索引生命周期也要和網(wǎng)關(guān)節(jié)點(diǎn)的日志量匹配。我的建議是中心側(cè)日志保留30天網(wǎng)關(guān)本地最多保留7天再久的日志在邊緣小存儲里就是災(zāi)難。2.3 配置與遠(yuǎn)程操作類SSH密鑰是底線批量操作是加分項邊緣網(wǎng)關(guān)數(shù)量少的時候SSH一臺一臺登錄操作沒問題。數(shù)量上了幾十臺甚至上百臺之后沒有批量操作工具就是給自己挖坑。在這個類別里我不是很推薦裝那種“重量級配置管理客戶端”而是建議用更輕的模型分兩層來做。第一層是基礎(chǔ)連接能力。為每臺網(wǎng)關(guān)統(tǒng)一配置SSH密鑰登錄禁用密碼登錄這是底線安全操作。密鑰統(tǒng)一由跳板機(jī)或堡壘機(jī)托管網(wǎng)關(guān)本地不需要額外裝Agent。只啟用密鑰登錄不僅安全性提升也能避免密碼泄露后被人批量掃到弱口令的問題在工業(yè)網(wǎng)絡(luò)里這是最容易被忽視的缺口。第二層是批量操作工具。Ansible很適合邊緣網(wǎng)管這種場景它默認(rèn)是無Agent架構(gòu)通過SSH協(xié)議直接執(zhí)行任務(wù)所以網(wǎng)關(guān)側(cè)無需額外安裝Ansible的Agent端只要保證Python環(huán)境和SSH可用即可。你可以用Ansible批量下發(fā)配置文件、更新采集腳本、執(zhí)行診斷命令、批量重啟服務(wù)。因為無Agent所以不存在Agent版本不統(tǒng)一、升級Agent把網(wǎng)關(guān)搞掛這類連鎖問題。Ansible的playbook還可以用Git管理配合Jenkins或GitLab CI版本可追溯變更可回滾這比手動登錄一臺臺改配置靠譜得多。2.4 有些Agent堅決不要裝重量級商業(yè)探頭、全量監(jiān)控組件說完該裝什么還要專門講講哪些Agent堅決不能上邊緣網(wǎng)關(guān)。第一類是自帶完整運(yùn)行時的大廠商業(yè)監(jiān)控Agent。這類Agent往往為了適配各種大型系統(tǒng)打包大量的JVM或者.NET運(yùn)行時啟動就要500M以上內(nèi)存運(yùn)行時還會默認(rèn)開啟很多遙測上報。在服務(wù)器上也許無感在4G內(nèi)存的邊緣網(wǎng)關(guān)上直接是致命的。第二類是“全家桶式”監(jiān)控組件組合。有些運(yùn)維人員習(xí)慣了機(jī)房里的標(biāo)準(zhǔn)套路Prometheus Grafana Loki Alertmanager 各種Exporter全家桶。這套組合在機(jī)房沒問題但如果完整搬到一臺邊緣網(wǎng)關(guān)上光是常駐進(jìn)程就有十好幾個內(nèi)存奔著2G去了。邊緣網(wǎng)關(guān)不應(yīng)該跑Grafana這種重型可視化組件也不應(yīng)該在本地跑Loki這類日志存儲。它需要的是采集、緩存、轉(zhuǎn)發(fā)、簡單規(guī)則判斷真正的可視化和集中存儲應(yīng)該在中心機(jī)房完成。第三類是默認(rèn)開啟全量數(shù)據(jù)上傳的遙測Agent。很多商業(yè)SDK和監(jiān)控探針為了收集產(chǎn)品運(yùn)行數(shù)據(jù)默認(rèn)會把各種指標(biāo)、調(diào)用鏈、心跳上報到廠商的云平臺這在邊緣工業(yè)場景里既有數(shù)據(jù)合規(guī)風(fēng)險也占用寶貴的上行帶寬。選型時一定要問清楚這個Agent能不能完全關(guān)閉遙測上傳不能的話即使功能再好也要慎重。3. 落地設(shè)計的四個核心決策本地閉環(huán)、守護(hù)、上報與升級選好了裝什么之后落地階段才是真正容易翻車的地方。同樣是裝了Agent有人用下來很穩(wěn)定有人三天兩頭出問題差別幾乎都出在“設(shè)計邏輯”上。我自己做邊緣網(wǎng)關(guān)管理時會圍繞四個核心決策反復(fù)推敲本地閉環(huán)、守護(hù)方式、上報策略、升級回滾機(jī)制。這四個決策定了Agent層面基本就穩(wěn)了。3.1 決策一Agent自身的守護(hù)策略必須獨(dú)立且可自愈每個運(yùn)行在網(wǎng)關(guān)上的Agent都得有自己的守護(hù)機(jī)制不能依賴另一個Agent來守護(hù)它。這是個很反直覺的點(diǎn)因為很多監(jiān)控方案里AgentA掛了也會被AgentB發(fā)現(xiàn)并告警但AgentB掛了誰來守護(hù)你總不能為了守護(hù)Agent再裝一個AgentC吧。實(shí)際上最合適做守護(hù)的是操作系統(tǒng)級的service manager在Linux系統(tǒng)上就是systemd。我給每類Agent都寫一個獨(dú)立的systemd服務(wù)單元配置RestartalwaysRestartSec5WatchdogSec也根據(jù)需要啟用。這樣即便Agent進(jìn)程崩潰5秒后系統(tǒng)自動拉起全程不需要人工介入。還有一個小細(xì)節(jié)要給Agent進(jìn)程設(shè)置合理的內(nèi)存限制和服務(wù)優(yōu)先級。通過systemd的MemoryMax參數(shù)可以給每個Agent設(shè)置內(nèi)存上限防止某個Agent異常增長時拖垮整個網(wǎng)關(guān)。LimitNOFILE這一類文件句柄數(shù)限制也要同步調(diào)大否則長期運(yùn)行后Agent會因句柄耗盡而掛掉。守護(hù)策略建好之后一定做一次“殺進(jìn)程測試”手動kill掉Agent主進(jìn)程看它能不能在5秒內(nèi)自動恢復(fù)。每次升級完Agent后這步都要重新做一遍。你在現(xiàn)場遇到“Agent神秘失蹤業(yè)務(wù)看起來正常但指標(biāo)沒了”這種問題多半就是守護(hù)配置沒配好或者升級后服務(wù)被disable了沒被發(fā)現(xiàn)。3.2 決策二核心告警規(guī)則必須本地化計算邊緣要能獨(dú)立決策這是一個很多人沒有仔細(xì)想過的點(diǎn)。邊緣網(wǎng)關(guān)的管理Agent只負(fù)責(zé)把數(shù)據(jù)傳回中心告警判定完全依賴中心平臺一旦中心平臺或者網(wǎng)絡(luò)出現(xiàn)問題邊緣側(cè)沒有任何局勢感知和應(yīng)對能力現(xiàn)場的隱患就會在沉默中發(fā)酵。我的做法是在網(wǎng)關(guān)本地部署一個輕量的規(guī)則引擎把“關(guān)鍵指標(biāo)越界”“關(guān)鍵進(jìn)程掉線”“磁盤接近打滿”這些最核心的告警規(guī)則寫在本地。斷網(wǎng)時本地規(guī)則照常工作告警先落在本地緩存文件里網(wǎng)絡(luò)恢復(fù)后補(bǔ)傳到中心。這樣做不是要替代中心告警平臺而是要給關(guān)鍵場景兜底確保網(wǎng)絡(luò)抽風(fēng)的時刻異常情況至少不會完全瞞報。本地規(guī)則一定要精簡只能覆蓋最關(guān)鍵、最基礎(chǔ)的場景。如果一個本地告警規(guī)則表有幾十條甚至上百條規(guī)則維護(hù)成本會變得很高反而容易出問題。我的習(xí)慣是本地最多放5到8條基礎(chǔ)告警規(guī)則比如CPU使用率超過95%、內(nèi)存剩余不足10%、磁盤使用率超過85%、核心Agent進(jìn)程掉線這類。再復(fù)雜的業(yè)務(wù)規(guī)則一律放到中心側(cè)做本地只負(fù)責(zé)保命。3.3 決策三數(shù)據(jù)上報必須可控先緩存、壓縮再補(bǔ)傳邊緣網(wǎng)關(guān)的Agent上報數(shù)據(jù)時默認(rèn)的“實(shí)時上傳”模式常會帶來兩個問題上行帶寬被占滿影響業(yè)務(wù)或者斷網(wǎng)重連后大量積壓數(shù)據(jù)一下子全部涌出瞬間又堵死帶寬。所以我習(xí)慣在每類Agent里都加上一層數(shù)據(jù)緩存機(jī)制。采集到的數(shù)據(jù)先落本地緩存再按照設(shè)定的間隔批量上報。上報間隔我一般設(shè)在30秒到60秒具體取決于數(shù)據(jù)的重要程度核心狀態(tài)指標(biāo)30秒日志數(shù)據(jù)60秒。上報時啟用壓縮對于文本日志和JSON指標(biāo)這類可壓縮性很高的數(shù)據(jù)gzip或者zstd壓縮之后體積能縮減70%以上上行帶寬壓力瞬間就小了。斷網(wǎng)期間的數(shù)據(jù)持久化到本地磁盤網(wǎng)絡(luò)恢復(fù)后按既定節(jié)奏補(bǔ)傳不允許一次全量補(bǔ)完。補(bǔ)傳過程也要有帶寬限速比如通過Token bucket限制平均速率防止補(bǔ)傳流量擠占業(yè)務(wù)數(shù)據(jù)的正常傳輸通道。這步配置完成的標(biāo)準(zhǔn)是模擬斷網(wǎng)2小時恢復(fù)后Agent能在5分鐘內(nèi)無人工干預(yù)完成補(bǔ)傳且不產(chǎn)生數(shù)據(jù)丟失不造成帶寬打滿。3.4 決策四Agent升級和回滾必須自動化且可驗證邊緣場景里Agent升級是個高危操作。如果你用“手動SSH登錄然后下載包解壓覆蓋重啟服務(wù)”的流程在幾十臺網(wǎng)關(guān)上做一遍不僅累而且極易出現(xiàn)部分成功、部分失敗的狀態(tài)一旦版本不一致后面的排查會讓你崩潰。我的經(jīng)驗是Agent升級走自動化配置管理通道不用手動登錄。Ansible在這里繼續(xù)發(fā)揮作用定義好目標(biāo)版本號先取一部分網(wǎng)關(guān)做灰度確認(rèn)穩(wěn)定后再推剩余設(shè)備。每次升級前必須備份當(dāng)前Agent的二進(jìn)制、配置文件和目錄結(jié)構(gòu)到指定路徑并留下版本標(biāo)記這樣回滾時直接指定舊版本就可以一鍵恢復(fù)。升級后在每臺網(wǎng)關(guān)上自動執(zhí)行一次健康檢查腳本驗證Agent進(jìn)程是否正常、API是否響應(yīng)、采集數(shù)據(jù)是否在持續(xù)產(chǎn)生、日志有沒有報錯。只有全部通過的設(shè)備才被標(biāo)記為升級成功失敗的自動觸發(fā)回滾流程。這套邏輯第一次搭建要花點(diǎn)時間但后面每次Agent升級都能把人工成本和風(fēng)險降到最低性價比很高。4. 實(shí)際落地的分步操作從分組規(guī)劃到驗證清單前面的章節(jié)講清楚了“該裝什么”和“核心決策怎么做”這一節(jié)我按實(shí)際操練的節(jié)奏把完整落地過程拆成幾個階段每個階段給你可以直接照抄的動作。這里我用Telegraf Filebeat Ansible這個組合作為樣例這也是我在大多數(shù)工業(yè)邊緣項目里的標(biāo)準(zhǔn)選擇。4.1 第1步盤點(diǎn)網(wǎng)關(guān)硬件資源為每臺設(shè)備寫“資源檔案”有不少人落地Agent之前不做資源盤點(diǎn)憑感覺給所有網(wǎng)關(guān)上一套相同的配置這是踩坑的源頭。邊緣網(wǎng)關(guān)品牌雜、型號多同樣叫“邊緣網(wǎng)關(guān)”硬件配置差距可以很大。有的設(shè)備是4G內(nèi)存的低功耗ARM板有的是16G內(nèi)存的x86迷你主機(jī)統(tǒng)一配置必然顧此失彼。我的習(xí)慣是先做資源盤點(diǎn)把每臺網(wǎng)關(guān)的CPU型號、核心數(shù)、內(nèi)存大小、磁盤剩余空間、系統(tǒng)版本、已部署業(yè)務(wù)組件、開放端口全部記錄成一張清單形成“資源檔案”。然后按配置把網(wǎng)關(guān)分成幾個檔次比如低配組CPU小于4核或內(nèi)存小于4G、標(biāo)準(zhǔn)組4核8G、高配組8核以上或16G內(nèi)存。不同檔次分別制定Agent的資源配額和采集頻率低配組采集間隔可以放到60秒日志采集只保留業(yè)務(wù)核心目錄標(biāo)準(zhǔn)組用30秒默認(rèn)值高配組則可以增加一些額外的性能指標(biāo)采集。沒有這份資源檔案做基礎(chǔ)后續(xù)所有的安裝配置都是盲人摸象。尤其是當(dāng)網(wǎng)關(guān)數(shù)量超過50臺時沒有檔案幾乎沒法做批量規(guī)劃。4.2 第2步統(tǒng)一基礎(chǔ)環(huán)境初始化systemd服務(wù)模板在安裝具體Agent之前先把每臺網(wǎng)關(guān)的基礎(chǔ)環(huán)境統(tǒng)一好。這一步省掉后面各種環(huán)境依賴問題會讓你欲哭無淚。主要包含四項統(tǒng)一時區(qū)并配置時間同步邊緣網(wǎng)關(guān)如果不方便訪問外網(wǎng)NTP就自建一個內(nèi)網(wǎng)NTP服務(wù)器避免各設(shè)備時鐘漂移導(dǎo)致日志時間對不上。調(diào)整系統(tǒng)文件句柄限制在/etc/security/limits.conf中為Agent進(jìn)程放開句柄數(shù)否則長時間運(yùn)行可能觸發(fā)“too many open files”。創(chuàng)建獨(dú)立的運(yùn)行用戶比如monitor用戶Agent進(jìn)程統(tǒng)一用這個用戶運(yùn)行避免直接使用root權(quán)限也方便做權(quán)限審計。檢查systemd版本并確認(rèn)服務(wù)模板語法兼容避免在舊系統(tǒng)上用了新版的systemd參數(shù)導(dǎo)致服務(wù)單元加載失敗。這三項都完成后把寫好的systemd服務(wù)模板比如telegraf.service、filebeat.service的單元文件批量下發(fā)到每臺網(wǎng)關(guān)。服務(wù)模板要注意先用systemd-analyze verify驗證語法再啟動服務(wù)。4.3 第3步按“最小夠用”原則安裝Agent安裝Agent本身不復(fù)雜但每臺網(wǎng)關(guān)裝哪些Agent裝的時候用什么參數(shù)需要在第1步資源檔案基礎(chǔ)上做差異化選擇。低配組只裝兩個Agent一個是Telegraf做資源采集和基礎(chǔ)告警一個是Filebeat做業(yè)務(wù)日志采集。這兩個是必須的再多一個都可能擠占業(yè)務(wù)資源。標(biāo)準(zhǔn)組在低配基礎(chǔ)上增加Node Exporter用于向中心Prometheus單獨(dú)暴露更細(xì)粒度的硬件指標(biāo)。高配組可以按需增加一個腳本型探活A(yù)gent比如定期檢查關(guān)鍵TCP端口和業(yè)務(wù)進(jìn)程狀態(tài)和Ansible的local執(zhí)行環(huán)境。裝好之后的通用規(guī)則是Agent安裝包統(tǒng)一放在/opt/monitor/agents/目錄下按Agent名稱分文件夾存放每個目錄下有VERSION文件記錄版本號。這不僅方便管理升級回滾時也一目了然——你永遠(yuǎn)知道每臺網(wǎng)關(guān)當(dāng)前跑的是哪個版本。4.4 第4步配置拆分離散杜絕“一個月前改過什么都查不到”Agent配置管理有一個反直覺的經(jīng)驗不要把全部配置放在一個配置文件里。以Telegraf為例它的配置文件又長又繞輸入、輸出、處理器全部混在一起時改動一個間隔參數(shù)都要小心翼翼生怕影響其他模塊。我習(xí)慣把配置做成層級結(jié)構(gòu)主配置只負(fù)責(zé)全局參數(shù)如主機(jī)名、采集間隔、輸出地址業(yè)務(wù)相關(guān)的輸入和規(guī)則拆到單獨(dú)的配置片段里通過Telegraf的配置文件目錄機(jī)制自動加載。Filebeat同理系統(tǒng)級配置放在主配置文件里業(yè)務(wù)日志采集路徑拆到單獨(dú)的文件中并且明確標(biāo)注每一段配置的業(yè)務(wù)歸屬和責(zé)任人。這樣每次變更都有據(jù)可查回滾時也只需要恢復(fù)對應(yīng)的配置片段不需要整體覆蓋。配置下發(fā)必須走自動化通道禁止在網(wǎng)關(guān)本地直接手改配置文件。改了的后果就是下一輪批量下發(fā)把手動配置覆蓋掉然后你會在凌晨兩點(diǎn)接到“怎么配置又變回去了”的投訴電話。4.5 第5步跑完一份驗證清單再放行Agent裝完不是“服務(wù)狀態(tài)是active”就算結(jié)束我一直用一份驗證清單做雙人復(fù)核。以下幾點(diǎn)是我每一批網(wǎng)關(guān)上線前都必須逐臺確認(rèn)的進(jìn)程狀態(tài)檢查所有Agent進(jìn)程狀態(tài)都是active且systemd重啟策略已生效。內(nèi)存占用檢查全部Agent進(jìn)程總內(nèi)存占用符合該網(wǎng)關(guān)檔位的預(yù)設(shè)配額超出立即排查。數(shù)據(jù)鏈路檢查中心平臺能查到該網(wǎng)關(guān)最近5分鐘內(nèi)的最新指標(biāo)數(shù)據(jù)。日志鏈路檢查日志采集通道中能看到該網(wǎng)關(guān)持續(xù)產(chǎn)生的新日志記錄。斷網(wǎng)模擬檢查斷開上行網(wǎng)絡(luò)30分鐘確認(rèn)Agent不崩潰、本地緩存增長、規(guī)則告警能觸發(fā)、恢復(fù)后能自動補(bǔ)傳。回滾驗證檢查執(zhí)行一次Agent回滾演練確認(rèn)所有動作可自動完成且不影響業(yè)務(wù)數(shù)據(jù)。最后一條特別重要。很多人上線前不做回滾演練真出問題時才發(fā)現(xiàn)回滾腳本里有各種坑?;貪L演練就像消防演習(xí)演習(xí)過一次心里有底沒演習(xí)過就賭運(yùn)氣吧而邊緣場景里賭輸?shù)拇鷥r可能是一臺網(wǎng)關(guān)徹底失聯(lián)。5. 上線后最常見的幾個坑和我的排查思路Agent落地只是開始真正考驗功力的是后續(xù)這幾個月里的“穩(wěn)定運(yùn)行”。我把自己踩過和幫別人排查過的高頻問題集中整理了一下這幾個坑在邊緣場景里出現(xiàn)概率極高提前排查一遍能幫你省掉大量現(xiàn)場出差。5.1 坑一Agent證書靜默過期數(shù)據(jù)通道突然中斷邊緣網(wǎng)關(guān)上很多Agent和中心平臺通信都走TLS加密證書通常設(shè)置一年或更久有效期。問題在于Agent很少會做證書到期檢查到期之后它不會報“證書過期”錯誤而是通過TLS握手失敗默默退出看起來就像Agent進(jìn)程正常但數(shù)據(jù)就是傳不上去。這個問題的排查思路是中心平臺長時間收不到某網(wǎng)關(guān)數(shù)據(jù)時不要只看Agent進(jìn)程狀態(tài)一定要看Agent日志中是否有TLS相關(guān)報錯。預(yù)防方案我強(qiáng)烈建議直接在Ansible里加一個定時任務(wù)每月批量檢查每臺網(wǎng)關(guān)Agent證書的到期時間提前30天自動告警。證書到期前一個月就完成替換基本不會被這個問題肛了措手不及。5.2 坑二網(wǎng)關(guān)時鐘漂移導(dǎo)致日志時間線錯亂邊緣網(wǎng)關(guān)長時間在線但很多沒有接NTP或者NTP源不可達(dá)時鐘漂移會越來越明顯輕則日志時間戳與中心平臺對不上重則導(dǎo)致TLS證書的起始時間校驗失敗Agent直接拒絕連接。這屬于那種“平時感覺不到出了問題半天找不到根源”的隱性問題。排查這類問題的第一步不是懷疑Agent配置而是先看系統(tǒng)時間是否正確。我在每臺網(wǎng)關(guān)上部署了時間同步腳本每5分鐘做一次帶漂移量的時間檢查漂移超過閾值就自動校準(zhǔn)并且把校準(zhǔn)記錄寫入本地日志。All these costs are low但能避免后面很多詭異問題。如果你的網(wǎng)關(guān)數(shù)量比較大又對時間精度有硬性要求建議在本地網(wǎng)段自建一個可靠的NTP時間源同步延遲做到最低。5.3 坑三Agent依賴互相綁架一個升級全盤震蕩邊緣場景最怕的是Agent之間的隱性依賴。比如你的采集Agent依賴某個版本的Python解釋器配置管理工具又依賴另一個版本結(jié)果你用Ansible升級系統(tǒng)包時順手把Python替換了采集Agent直接所有插件全部加載失敗。這種問題往往不是Agent本身的問題而是環(huán)境被動了手腳。我的建議是盡量選用靜態(tài)編譯的Agent二進(jìn)制Go語言寫的Agent天然有優(yōu)勢不依賴系統(tǒng)動態(tài)庫和特定解釋器版本。如果實(shí)在要用Python生態(tài)的Agent務(wù)必為它創(chuàng)建獨(dú)立的虛擬環(huán)境并鎖定依賴版本禁止和系統(tǒng)Python混用。同時Ansible的playbook里所有包升級操作都要用tags精確控制范圍絕不能有一行裸的“upgrade all”這種操作出現(xiàn)。5.4 坑四日志小文件刷爆磁盤Agent變成“幫兇”邊緣網(wǎng)關(guān)上的業(yè)務(wù)系統(tǒng)如果是一個持續(xù)輸出短日志的服務(wù)比如每幾秒寫一條狀態(tài)日志日志文件輪轉(zhuǎn)配置又沒做的話積累幾個月真的能把128G的固態(tài)盤寫滿。而采集Agent本身不會幫你清理日志它只負(fù)責(zé)搬運(yùn)垃圾堆積的速度還被它放大——這種情況下Agent不但沒起到管理作用反而加重了存儲壓力。這個坑的預(yù)防要從兩層入手。第一層是日志產(chǎn)生側(cè)業(yè)務(wù)日志必須配置logrotate按大小和周期雙向輪轉(zhuǎn)保留5個文件以下寫入的日志級別也要合理控制。第二層是Agent采集側(cè)Filebeat配置里要設(shè)置harvester超時和關(guān)閉非活躍文件的句柄。通過ignore_older參數(shù)可以讓Agent不再盯住很久沒更新的舊文件不放釋放句柄資源?,F(xiàn)場排查這類問題最快的路徑是先df -h看哪些分區(qū)滿了再du -sh按目錄排查大文件來源。一旦確認(rèn)是日志文件刷盤先清理存量再補(bǔ)輪轉(zhuǎn)配置同時檢查Agent采集范圍是否把無關(guān)目錄也納入了采集列表。6. 最后一公里上線演進(jìn)中的實(shí)際操作體會落地之后Agent體系的運(yùn)維不是“一成不變”而是會隨著業(yè)務(wù)演進(jìn)不斷調(diào)整。這個過程中有一些很實(shí)操的體會值得分享。第一Agent配置的梳理要納入日常巡檢內(nèi)容。每季度檢查一次Agent清單凡是連續(xù)30天日志無新增、中心無數(shù)據(jù)上報的Agent一律先停用再觀察確認(rèn)業(yè)務(wù)無感知后直接下線。邊緣網(wǎng)關(guān)的資源是珍貴的一個“僵尸Agent”不僅白白消耗資源還會在故障排查時干擾你的判斷你以為它還在工作其實(shí)它早就失聯(lián)。第二新增Agent要走“臨時驗證-灰度放開-正式固化”三步流程。不要一上來就全量部署先在隔離網(wǎng)絡(luò)里跑幾天觀察資源占用和日志情況再選一臺低風(fēng)險網(wǎng)關(guān)作為灰度穩(wěn)定運(yùn)行一兩周后再通過配置管理通道批量推送。邊緣場景的Agent變更最忌諱“一步到位”出了問題連回退機(jī)會都沒有。第三每次Agent變更都要同步更新網(wǎng)關(guān)檔案。我在實(shí)際運(yùn)維中發(fā)現(xiàn)真正導(dǎo)致Agent管理混亂的往往不是技術(shù)問題而是記錄沒跟上。今天手動改了A網(wǎng)關(guān)的端口明天改了B網(wǎng)關(guān)的采集頻率檔案里沒更新一周后排查問題就得靠猜。把“變更必更新檔案”變成鐵律長期來看能省下大量排查成本。第四建一條能直達(dá)每一臺邊緣網(wǎng)關(guān)的安全運(yùn)維通道。我在前面推薦了SSH密鑰加跳板機(jī)的方式實(shí)踐中還要在網(wǎng)關(guān)上再設(shè)置一個systemd防火墻規(guī)則只允許來自運(yùn)維網(wǎng)段的SSH連接其余一律拒絕。這樣就算網(wǎng)關(guān)暴露在較寬的網(wǎng)絡(luò)上也不至于被隨意訪問。邊緣網(wǎng)關(guān)上的管理Agent說到底是一套“克制”的工程。選型要克制不能什么都往里裝設(shè)計要克制不能把中心機(jī)房的復(fù)雜度原樣搬到邊緣運(yùn)維也要克制能用自動化完成的就不要手動碰。按照這套思路落地我已經(jīng)在多個項目里穩(wěn)定運(yùn)行了近兩年再也沒有出現(xiàn)過開頭那種“一晚上內(nèi)存飆到頂”的窘?jīng)r。如果你正在規(guī)劃邊緣網(wǎng)關(guān)的管理方案希望這些經(jīng)驗?zāi)軒湍闵僮邘撞綇澛贰?
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
国产又粗又长的视频| 日韩pv中文| 五月天综合| 国产黄a三级三级三级av在线看| 插入综合网| 任我爽视频在线观看| 日产中文字幕2020| 伊人嫩草| 欧美不卡在线一区二区| 乱伦AVxx| 女优免费一区二区永久| 白丝jkav| 中国韩国明星一极片一区乱码毛片人妻熟女一区二区三区 | 亚洲av性爱电影| www.亚洲成人一区| 久久精品国产精品亚洲艾通辽熟妇 | 免费αⅴ在线观看| 激情看片网站| 亚州日韩97| 熟妇人妻丰满久久久久久久无码| 亚洲欧美色图小说| 天天日天天舔天天喷天天射| 嗯嗯啊好大| 久久精品女同亚洲女同13| 久九九九| 9999免费精彩视频| 日本东京热大香蕉a片| 久9爱精品| heyZO天然素人无码AⅤ专区| 麻豆久久视频在线地址| 国产丝袜高跟美女av免费观看| 国产区在线| 天天干天天舔| 素人播放一区| 亚洲日本大香蕉1| 国产真乱mangent| 久/久精品99看9| 天堂精品小草| 久久性爱视频99| 91狼人| 亚洲吊色| 日本中文熟女视频| 激情网五月天| 欧美同性恋 的搜索结果 - 91n| 久久久性| 调教熟妇 久久久久久| 97频视在线| 国产色图乱伦| 欧州色图区| 精品人妻一区二区三区蜜桃视频| 51一区二区三区| 99在线精品视频| 日本孕妇孕交| 日韩精品黄片免费观看| 骚逼一区二区| 国产三级在线现体验区| 国产亚洲 中文欧美久久| 四虎在线观看网站| 人人做天天爱| 国产又大又粗又长视频在线| 亚洲无码电影久久久| 九九热AV| 欧美天天射| 亚洲中文日韩精品| 97网址97| 日韩人妻中文视频| 91美女視頻| 天天操夜夜操狠很操| 四虎影视在线| 久操免费在线| 久久女人一区二区三区| 女人香蕉久久毛毛片精品| 色乱二区| 美女91在线观看| 日欧毛片久久| 亚洲另类春色| 97人人草| 久久久国产精品亚洲精品| 国产视频一区二区三区在线免费观看 | 漂亮人妻被强中文字幕hd| 中文字幕黄色一起草| 操逼视频亚洲| 日日干夜夜骑| 国产激情在线| 欧美少妇色图| AV一二区| 色在线综合| 中文字幕丝袜人妻| 日本熟女免费視颖| 天天热精品| 久久黄色视频一区二区三区 | 久久超碰av在线| 午夜精品视频777| 久久久久久大| 久久国产AⅤ| 精品人妻二区三区| 精品人妻一区二区三区四区石在线| 大香蕉123| 变态综合色| 99re国产中文字幕| 日本最新免费韩国1区2区视频播放| 日本天天操| 大香蕉综合在线| 天天色天天干天天射| 99啪啪| 国产一区二区三区高清视频| 国产农村妇女精品一| 一个色导综合| x97av| 国产小黄片在线免费观看| 在线小说视频一区| 日本人妻A片成人免费看片| 97网址97| 91人妻爽爽人人做人人澡| 午夜一区| 激情综合网一盗摄| 日韩一级欧美一级在线观看| 精品福利| baiduhicn.com。| 伦伦成年午夜免费视频| 色香综合天天影视综合 | 丁香五月天堂网| 色色九区| 天天享受天天看| 日韩精品人妻一| 亚洲一区二区中文字幕| 久久黄黄| 亚洲色婷婷久久91| 伊人aaa| 精品少妇一区二区三区在线视频| 操东北女人| 天天α片| 9久久精品| 草草电影院| 天天看高清麻豆| 中文字幕精品区先锋资源| 美女啊啊啊啊啊| 不卡人妻少妇精品毛片一区23区视频| 欧美久久伊人| 九九九九九九视频免费| 日本999精品视频| 99热这里只有精品地址| 84YTCOM性无码| 久久久久96| 麻豆天美国美国产| 亚洲一本大道中文字幕无码在线| 黄色大片免费在线| 超碰超碰超碰超碰的大鸡吧操黑丝袜 | 中文字幕丰满人妻日本| 亚洲欧洲激情| 欧美精品91| 欧亚免费视频| 水多多映视AV| 人妻少妇无码| 亚洲、日韩、综合、另类| 亚洲AV噜噜狠狠网址蜜桃动漫| 欧美熟妇色| 岛国小电影| 免费看欧美美女黄色大片| 男女无套 免费网站| 蜜桃臀AV在线| 婷婷15月天青娱乐| 亚洲男人的天堂AV| 日韩精品 资源| 草草影院日本第一页| 久久啊啊| 久9爱精品| 欧美少妇一区二区三区| 97香焦色区| 国产无码一二三区| 国产一区二区在线电影| 性饥渴少妇av无码毛片| 欧美天天弄| 久久精品操| 二三四区精品| 99啪啪| 睡产熟女乱伦| 黄色av网站在线播放| 国产精品久久久久久久久久久久| 欧美精品不卡一二三四在线91| 亚洲91亚洲| 亚洲熟妇自偷自拍另欧美| 国产综合网站在线播放 | 日韩欧美麻豆大片| 狠狠爱综合| 国产精品久久久久久无码红治院| 三级日韩一区二区三区| 色噜噜国产精品视频一区二区| 免费看污网址| 色情五月综合婷婷| 一级特级aaaa毛片免费观看| 国产精品麻豆免费视频| 久久精品国产精品一区| 九九热AV| 91福利网在线观看| 无码精品久久| 亚洲成人福利电影免费| 在线观看亚洲专区| 美女写真| 亚洲蜜乳av| 国产AAAAAABBBBB| 在线播放成人高清免费视频| 东京热一区二区中文字幕| AV天堂因数| 超碰吊日色| 国产精品另类| AV天堂因数| 欧美亚洲中文字幕| 亚洲AV不卡在线观看| 欧美日韩中国x| 色九月综合| 久视频在线观看| 懂色综合久久久| 日韩人妻少妇 一区二区三区| 综合婷婷| 啪啪91| 九久久九精品视频| 美女91在线观看| 成人熟女视频一区二区三区| 免費人妻夜夜爽天天爽爽一区| 熟女丰满人妻一区| 欧美在线伊人色| 大香蕉 222| 国产精品91ai| 亚洲欧美日韩国产丝袜自拍中文| 久久噜噜噜精品国产亚洲综合| 亚洲欧美综合网站| 五十路熟女人妻一区二区在线观看| 91老熟女视频| CCYY草草影院地址入口| 性久久| 一级久久久久久久久久久| 偷窥自拍A片| 俺去俺来也在线www| 日韩乱伦影音先锋| www超碰| 少妇一线天久久久久久| 熟女中出视频| 日韩中文字幕宗合在线| 91性网| 成人精品久久久午夜福利| 一本精品日本在线视频精品| 性做久久久久久久| 中文字幕人妻丝袜| 9999亚洲电影| 97超碰影音| 超碰人妻久久| av强奸乱轮| 欧亚性爱啪啪| 午夜天堂精品久久久久91| 国产四虎在线| 亚洲成人色情五月天丁香花| 亚洲色天堂九9| 超碰97COm中文| 蜜臀AV秘一区翔田千里| 人人操人人狠狠操| 后入内射蜜桃臀| 综合亚洲网| 在线αⅴ| av片在线观看免费播放| 精品99999久久久久久| 中文字幕综合人妻| 国产精品一区二区三| 国产精品日韩在线一区| 日本日逼视频网| 熟女日韩| 色哟哟av| 国产综合在线视频网站| 人人操人人狠狠操| 国产91精品久久久久久久网曝门| 四虎精品一区| 三级日本一区二区三区| 国产 日韩 另类 视频一区爱| 操人妻少妇中文 | 日夜伊人网| 亚洲国产精品9999在线观看| 国产亚洲99久久精品| 毛片17S| 亚洲,欧美,综合网| 色综合天天| 午夜免费视频1000| 日韩精品影视| 三级日韩一区二区三区| 日韩三级一区 | 97超视频在线观看| 欧亚日韩中文在线| 色丁香五月婷婷| 亚洲国成人情色好看电影| 熟妇高潮二区三区| 精品无码不卡视频| 尻女朋友一夜| 伊人超碰97| 日本 色 导航| 女人的久久久| 大香蕉伊然在亚洲91| 久久永久无码人妻视频| 色999亚洲人成色| 啊啊啊啊啊,啊啊啊啊好舒服,操我舒服啊啊啊 | 综合操逼| 成人五月天色网| 亚洲精品97| 国产成人无码久久精品| 亚洲,欧美,综合网| 国产精品视频一区二区三区八戒| 亚洲人在线| 亚洲高清欧美总合| 亚洲天堂,男人| 91精品婷婷国产综合久久| 一级片视频啪啪| 熟妇在线视频一区二区| 天天操福利视频综合网站| 亚洲图片婷婷五月天| 久久久久久久久久久人妻| 欧美精品庄| 干婷婷综合网| 天天天做天天天爱天天天爽| 亚洲九月丁香| 欧美玖玖爱免费玖玖| 性videos欧美熟妇hdx| 日韩偷拍色图| 97香蕉网| 中文字幕91综合| 精品一区二区三区蜜桃| 志村玲子视频一区二区| 人妻熟女一区二区在线视频| 在线国产探花| 快播久久人人aV| 日韩欧美亚洲一区二区三区影院| 99国产精品自在自在| 国产av又色又爽又黄| 亚洲色图国产另类| 变态乱伦伪娘灌肠一区二区| 九九九久久久久| 日本人妻中文字幕精品| 91天美传媒精品| 色婷婷六月丁香七月婷婷| 中日韩久久人妻一区二区| 极品国产内射| 91网18| 草莓精品视频在线免费观看| www. 男人天堂成人在线| 亚洲AV无码AV吞精久久久久| 97精品97久久| 1禁看欧美黄片免费看| 日本性一区| 乱子伦一区二区三区国产精品| 色五月AV| 夜夜高潮夜夜爽| 岛国爱情动作片在国产AV无码专区亚洲AV漫画| 天天看片天天爽| 亚洲中文字幕精品一区| 国产91精品久久久久久久网曝门| 成人精品一区二区91毛片不卡| 国产美女精品| 亚洲欧美在线观看免费| 欧美精品欧美精品系列| 五月婷婷六月激情| 亚洲精品国产精品成人| 超碰中文字幕人妻草一区| 亚欧性爱无码| 揉揉揉夜夜| 亚洲图片欧美日韩| 亚洲在线网站| 久久国99999| 精品国产Av无码久久久亚洲| yy少妇精品久久| 亚欧Av| 国产成人精品网站| 久热久一区二区三区| 国产av激情无码久久天堂| 中出后入| 99精品网| 国产精品麻豆成人av| 97一区二区三区视频| 欧亚在线视频| 国产成人亚洲精品无| 九九九九九九成人| 久久精品国产免费观看99| 亚洲激情综合另类| 伦在线97| 亚洲少妇喷视频看| 免费精品中文字幕| 欧美激情在线观看视频| 久操操| 一区在线观看中文字幕| 久久超碰国产一区二区三区| 好看的久久不射无码影视影院| 澳门特级毛片免费观看| 成人精品无码| 蜜臀在线看片| 伊人成人情色综合| 97在线精品| 91性高朝久久久久久久久| 久久久成人免费av电影| 欧美激情欧美精品| 五月丁香综合| 在线观看AV片| 91福利网在线观看| 亚洲文学偷乱拍啪啪啪啪 | 媚薬在线视频麻豆| 亚洲五月丁香花狠狠干一区二区三区 | 久久久无码av精| 亚洲黑人在线| 超碰在线在公开超碰在线在公开| 欧美在线色图| 激情婷婷五月天| 亚洲一区二区三区不卡国产欧美| 超碰 欧美| 日夜久久久九九九久| 国产精品直播在线观看直播| 日韩在线人妻网站| 五月丁香婷婷啪啪| 日本一本道A级黄色毛片试看60分钟| 亚洲啪啪综合?v一区综合精品区| 青青久久久| 禁十八久久| 人妻熟女字幕一区二区| 全球成人中文在线| 先锋色眉乱伦资源| AV乱伦专区| 色综合天天爱去电影网| 久久久久96| 成人精品一区二区三区| 台湾佬中文娱乐自偷自拍| 91天堂| 欧美色图人妻| 久草婷婷| 色婷婷在线视频精品导航| www色色色com| 大屁股xxxxx| 国产精品嫩草影院免费| 极品欧美一区二区三区| 欧美色网| 久久久久久久97| 99在线精品观看视频中文| 日韩欧美天天爽爽爽天天爽爽| 亚洲色图欧美色图制服丝袜| renqi久久久久久久久久久久| 精品性爱无码在线播放| 一区三区啪啪| 久久6热视频免费观看| 香伊人在线| 神马久久久久久| 淫淫综合网| 暴力av在线| 成人夜夜| 免费99精品国产自在在线| 久久久99999久网站| 午夜啊啊啊| 中美日韩毛片| 第四色色综合91| 伊人大香蕉在线| 国产伊人自拍| 天天综合AV| 超碰超碰欧美| 亚洲人在线| 国产久久一区二区三区野外在线| 欧美日日夜夜| 青久操| 自拍欧美| 9999九九九久久久| 久久精品99| 亚洲在线A| 超碰久久精品| 欧美人妻熟女在线| 国产一线二线三线av| 日韩久射综合| 啊啊啊啊啊啊在线| 中文字幕欧美丝袜07资源| 欧美色图亚洲色| 欧中美三级一区二区三区| 日韩电影中文字幕| 欧美色青| 黄片qw| 国产女人和拘做爰视频 | 欧美精品系列| 天天亚洲| 蜜乳中文字幕a在线| 国产又黄又粗的视频| 国模无码人体一区二区三| 黄色电影在线播放综合网站| 涩涩涩综合| 国产不卡免费在线视频| 99啪啪视频| 密桃99999| 免費人妻夜夜爽天天爽爽一区| 欧美操逼视频二区| 亚州国产成人精品女人久久| 啊啊啊水好多| 国产 日韩,欧美 自拍| 久操操AV电影| 97人人超| 香蕉一区二区三区在线视频| 亚洲素人网| 国际精品久久久| 亚洲国产精品成人久久蜜臀| 免费少妇一区二区| 亚洲综合精品国产一区| 免费观看欧美日韩操逼视频| 日日干夜夜操视频h| 欧美激情欧美精品| 精品国产国产AV| 蜜臀va69| J?P?NESEHD熟女熟妇伦| 日韩精品在线观看网站| 伊人久久婷婷| 大香蕉伊人网WWWn0n| 97超碰免费人人性爱| 亚州国产成人精品女人久久| 97超碰色色| 这里只有精品视频在线观看麻豆| 久久免费精彩视频| 99re只有精品| 老熟女综合网| 日韩综合成人免费视频| 婷婷啪啪| 人妻丝袜肏逼| 超碰97人妻| 天天色综亚洲91污| 成人网欧美风情| 性欧美| 伊人网青青| 日韩人妻无码专区| 久久婷婷色综合一区二区三区| 日韩精品怡红院| 98久久超碰| 操逼逼中文字幕| 国产亚洲禁久一区二区| 天天综和| 狠狠爱夜夜| 懂色中文一区二区三区| 熟女性视频| 欧美色天堂网在线视频| 欧美综合亚洲综合| 亚洲 欧美 手机在线观看| 殴美性色a级欧美| 亚洲综合贴图91| 热热色中文无码| 色噜噜精品一区二区三| 亚洲日韩青青草色月| 日比av无码| 欧亚乱色熟女一区二区| 91殴美大片| 欧美日韩资源| 国产精品久久久久久片| 69视频福利导航| 少妇色欲综合网2| 精品中文字幕一区二区| 正在播放:深夜激情大战,自带黑丝袜全力输出骚穴 | 日B操| 亚州色图第三区| 97国产精品在线观看| 久久无码成人| 青青草精玖玖69精品| 亚洲欧美人妻| 婷婷尹人大香蕉免费| 久久久久久裸体| 少妇无码av专区线| 99re在线观看| 日产欧美电影一区二区三区| 极品五月天噜噜| 欧美操逼录像国产黄色国产| 天天色综亚洲91污| 99日免费视频中文字幕| 欧美性爱91| 青青青青草av在线观看| 中文字幕人妻资源在线| 不卡超碰护士AV在线免费播放| 国产精品9999| 国模一区二区三区| 亚洲天堂久| 亞洲久久直播| 日韩av色图| 草草影院最新网址| 精品然女一区二区| 国产亚洲性生活视频播放| 麻豆国产原创AV色哟哟 | 成人三一级一片aaa| 美女诱惑在线一区| 亚洲国产成人福利在线观看| 神马久久69| 白天啪啪晚上啪啪视频| 五月开心久久AV官网| 一级性爱啪啪视频| 麻豆一区在线| 丝袜剧情| 亚欧操逼片在线观看| 欧美在线观看综合国产| 精品少妇一区二区三区| 丁香婷婷大香蕉| 欧美线天码中字| 探花精品视频| 亚洲情色 欧美| 视频二区美腿丝袜制服人妻欧美| 精品91日日夜夜超清资源| 人妻天天操天天爽视频免费| 久久AV无码AV| 美女91在线观看| 精品国产无码中文| 日韩三级性| 国模精品娜娜一二三区| 91天堂| 天天操天天射青青草| 国产女同在线观看视频| 亚洲精品欧洲精品| 综合免费无码中文| 爱妻综合网| 久综合网| 17c嫩草51久久91嫩草| 超碰天天久久79| 啪啪资源网| 日韩成人小视频| 97色五月天完| 色色网91| 91精品操美女| 国模限制级电影| 大香蕉一区二区在线观看.| 亚欧美综合网。| 丁香五月久久| 欧美日韩在线视频网站| 青青伊人久久| 色婷婷影视| 蜜乳中文字幕a在线| 久久少妇人妻| 99视频只有精品| 97超碰中文在线| 亚洲视频小说| 日韩无码成人电影| 亚洲国产一级黄色视频| 国产吹潮女在线观看| 五月天色图影视| 久久精品国产亚洲AV高清演员表| 亚洲国产精品久久久久婷婷老年| 成人性爱电影网| 亚洲国产精品无码AV久久| 国产视频第2页| 亚洲av无码成人精品国产| 97亚洲中文| 爱欲AV| 国产精品女久久久久av爽| 91亚洲图片| WWW.加勒比人妻一区不卡.com| 精品国产久热在线观看| 操逼无码操逼| 女人香蕉久久毛毛片精品| 亚洲狼狼干综合1| 爱我干综合| 日婷婷| 日本亚洲嫩草影院啪啪| 亚洲 欧美 另类 日韩 人妻一区| 成人看片网站| www.91逼逼.com| 日韩无限资源| 91美女视频电影| 亚洲综合113页| 成人av免费观看| 国产av强奸美女| 亚州男人天堂| 亚洲凸凹超碰成人| 韩国轻伦国内自拍一区| 九九色精品| 亚洲天堂AV在线播放| 日本道不卡| 性欧美第一页| 乱久久久| 97内射偷拍| 天天综合精品| 一个人免费HD91视频| 可以免费看黄片的视频| 五十路一区无码| 无码人妻丰满熟妇区毛片| 色婷婷综合久久中文字幕雪峰| 午夜欧美女人操逼| 亚洲国产91精品一区二区久久| 搡老女人老熟女91老熟女综合网| 99热99re6国产在线播放| 美女淫穴| 欧美不卡在线美女| 久久思思热| 亚洲精品美女久久久久久久久| 天天操天天射天天日| 精品国产av一区二区三区四区入口| 国产又粗又长又大的视频| 青青草无码视频| 欧美熟女妇同| 日韩美女久久一区二区三区| 久久人妻视频网| 熟女视频久久| 看黄片视频免费| 国内偷自视频区视频综合| 天天天肏屄肏屄肏屄欧美欧美| 东方亚洲在线操逼天堂| 啊啊啊啊操死我了| 精品十三区| 超碰激情808| 9/A片 | 国产精品国产自产拍高清AV| 思思热在线| 99综合视频一体| 岛国片在线观看视频亚洲| 欧美日韩 强奸乱伦| 欧美日韩不卡a片| 青草草免费网站av| 欧美一级美片在线观看免费| 国产婷婷综合在线观看| 国产强奸无码乱伦| 久久产精品一区二区三区电影| 性91| 亚洲精品少妇| 午夜爽爽爽| 91亚洲电影| 国产日韩久久| 久久国产成人精品国产成人亚洲| 日本道不卡| 国产品精品自在在线午夜免费| 色欧洲| 亚洲黑人在线| 手机看片91人妻| 欧美片第一页| 人人干黄色| 香蕉大久久久| 中文字幕 国产 精品| av国产无码| 2020国产精品| 99免费在线视频| 精品国产乱码久久久久久久久1| 校园春色之综合网| 78综合网| 日韩成人午夜精品久久高潮| 黄网站黄视频网站进入口| 久久久久久久久久久久黄色 | 嗯嗯,啊啊,国产精品| 大香蕉AV丝袜| 日韩精品人妻系列无码天堂| 日夜干射色啊| 999熟女精品| 18精品一二区| 狠狠超| 欧美日韩婷婷中文| 啊啊啊啊啊在线视频| 欧美日韩亚洲五月天婷婷| 日韩八十路老熟女| 天美传媒麻豆一区二区三区国产精| 国产精品农村妇女精品| 久久久久久性爱免费视频| 亚洲欧美另类图片| 国产拍偷精品网站| 乱伦av麻豆| 日本九九九九| 午夜呻吟欧美| 男人把坤坤插入女人的下体| 9久9久9久9久视频网站| 国产91 丝袜在线播放00-百度| 日韩成人高清一区二区| 亚洲熟女性高潮久久久| 亚州熟女乱伦| 精品一区二区成人| 大香蕉综合网| 久艹伊人精品综合在线| 色综合20p| 青青草原香蕉日本Ap| 亚洲?V高清一区二区三区尤物| 大香蕉一区二区在线观看.| 国产黄色av大片网站| 青青草九九九九九| 欧美页片| 国产白丝网站| 亚洲精品一二牛牛| 曰韩成人免费视频| 99999久久久久9国产精品| 天天看高清麻豆| ...日韩成人一区二区三区字幕| 干B网| 超碰人人操97碰| 丁香五月天激情| 国产精品网站免费| 色与欲影视天天看综合网| 日韩啊V| 国产av又色又爽又黄| 国产精品国产拍高清AV| 国产丝袜美女诱惑| 欧美性Fer办公室秘书| 黑人娇小av在线播放| 国产AV无码AV| 91 丝袜在线| 色婷婷日韩精品一区二区三区| 日韩性爱啪啪视频| av凤凰久久久| 久久国99999| 人妻精品一区二区| 亚洲第2页| 中文字幕天天天天天| 中文字幕第二页| 91精品久久久久五月天精品| 日韩久久三区| 97er欧美性| 七月丁香婷婷| 欧美日韩性爱无码| 夜夜操av亚洲一区二区| 久久久久久九九九九九九| 日本成熟少妇A∨网站| 中文激情网| 色眯眯av| 网友自拍第一页| 无码自拍SM| 好看的久久不射无码影视影院| 欧美天天影院| 日韩精品1区2区中文字幕| 97超碰无码网| 99AV| 国语对白在线播放视频| 日本999精品| 亚洲综合另类| 激情小说五月天| 欧美青青草视频| 51久久夜色精品国产麻豆| 五月天丁香欧洲日韩| 欧美黑人与女人91| 日本性爱不卡视频| 人人爽人人精品乱人伦AV| 日韩啊V| 色综合美国| 综合欧美色图| 无码在线亚洲| 亚洲熟女乱色一区二区三区久久久 | 美女91在线| 日韩成人大片在线观看| 偷拍色图| 久久精品久久九九精品| 久久av色| 久草精品国产99| 大香蕉在线视频15| 在线不欧美| 五月天色五月| 91亚洲网站| 99热99在线| 97网站在线观看| 欧美亚洲日本视频久久久| 国产精品无码AV网站| 天天操美美| 秋霞久久亚洲精品成人| 99国产精品久久久在线播放| 国产操逼视频在线观看| 97精品视频免费| 国产亚洲欧美每日在线| 色综合加勒比四四季| 日本熟妇浓毛hdsex| 国产精品情侣啪啪| 玖玖久久久| 午夜天堂精品久久久久91| 国产一线二线三线av| 中文字幕成人| 九九热精品| 伊人网av| 99色网| 91 刺激在线| 一本大道青青| 大香蕉黄色一区| 日日夜夜骑| 青青草中文-久久青草精品一区二区三 | 一起草欧美| 久久大陆| 亚洲午夜福利在线影院| 999九九九九国产动| 极品色www影院| 精品国产综合久久福利,热99这里有精品综合久久,99热这里只有免费国产精品,精 | 97日韩| 蜜臀AV一区二区三区激情综合| 一道α片欧美| 欧美亚州综合图片| 青草青草久热| 中国韩国明星一极片一区乱码毛片人妻熟女一区二区三区 | 啪啪视频免费在线观看| 亚洲第一页色| 91天天综合日韩欧美| 激情九月婷婷| 九九九九九九视频免费| 99亚洲精品| 精品人妻免费观看| 蜜臀久久99精品久久久久免费观| 久久久久亚洲av综合波多野制衣| 亚洲国产亚洲天堂| 亚洲一卡2卡3卡4卡乱码网站| 久久精品一区一起草| 亚洲第一综合| 亚洲熟伦熟妇AV无码春色| 欧美国产有色电影| 日日操丁香五月天| 欧洲亚洲人妻无码高清久久三区四区| 国产乱码久久| 欧美一区二区三区互相| 97se综合| 婷婷五月天福利| 囯产精品久久久久久久久久梁医生 | 啊啊啊啊好疼| 日本一区二区三区精品| 手机在线A片| 久久久青草青青国产亚洲免观精品高清完整版_97久久综合区小说区图片区,国精品 | 999综合色| 欧美视频在线视频免费va| 一级二级在线观看| 中文字幕一区二区三四五区日日骚| av资源在线观看少妇| 国产精品视频内谢女人| 久草精品一区| 成人资源中文字幕在线观看天天| 综合国产影视三级| 欧美性第1页| 国产老熟女| 美国一区二区免费视频| 国产97在线视频| 精品人妻无码一区二区三区不卡-精品人妻无码一区二区...|精品少妇一区二区三 | 亚洲第一页第二页激情| 亚洲在钱| 日本不卡高清免v欧美日韩在线观看| 狠狠操夜夜| 熟妇熟女一区二区三区| 中文字幕人乱码中文字的预防方法 | 六月丁香啪啪| 国产一级137片内射麻豆| 91国精产品| 亚洲AV无码天美传媒一区| 欧美一级国产一级| 国产精品自拍视频| 任你干在线视频| 欧美九九爱| 91精品女厕偷拍视频| 1024精品在线| 久久爱超碰网| 免费精品福利在线观看| 黄色无码高清黄色无码网站| 囯产精品强| 黄色二级片网站| 你想操日本小逼吗| 成人免费性爱视视| 老鸭窝日丰县女人| 性欧美体内射精| 日本熟妇人妻中出视频| www.亚洲黄色| 亚州高清AV| 中 文字幕一区二区三四 五 区日 日 骚 | 免费视频在线一区二区不卡| 天天热精品| 国产福利夜| 中文字幕在线观看二区三区| 91国产操逼视频| 久久东京热成人| 国产欧美后入| 色爱欲亚洲| 99色视频| wwwcaobibi| 欧美精品三级黄片| 日韩三级av片| 2003天天干夜夜操| oumeizonghese,www| 久久大香蕉手机高清| 99久久久久| 1禁看欧美黄片免费看| 两女互慰AV高潮喷水在线观看| 人妻少妇精品久久久久久久| 丝袜狠狠草尤物人妻av91| 久久肏大逼| 国产操操日韩三级黄| 91伊人久| 18禁看网站一区| …亚洲黄色厕厕女女在线播…| 久草成人影片| 骚人妻少妇视频| 毛片视频白嫩| 欧美毛片在线网| 人人看人人摸人人色| 久久久久久久亚洲Av无码| 超碰无码加勒比| 久久久久久久97| 9997se| 男女性扦B| 欧美aⅴ99久久黑人专区| 裸体女人草逼视频播放一区,二区,三区,四区,五区 | 日韩一级片在线看| 男人高清无码一区二区| 伊人久久综合影院| 国产精品不卡av免费在线观看| 日韩一级二级三级免费看完整版| 999久久久国产精品| 综精品久久久aaaa| 欧美美女自慰一区二区三区| 一二三区在线| 亚洲精品男人的天堂| 欧美精品久久久久久久久88| 夜嗨影院| 欧美精品久久久久久久久88| 免费伦费视频在线观看| 91搞逼视频| 欧美亚洲素人制服精品| 欧美岛国精品在线观看| 极品销魂美女一区二区| 国产狂喷潮在线精品| 韩美日操逼| 亚洲图片色图欧美另类| 丰满人妻一区二区三区| 天天噜| 精品一区二区三区国产| 2025年A片视频精品| 97视频在线| 色欲Av人妻精品一区二| 人人操人人操人人人操| 国产成人 综合亚洲 天堂| 18啪啪手机免费性爱| av在线播放国产一区| 精品一区二区在线针对华人免费观看这里只有精品免费观看 | 91 天天综合| 91国模| 草草电影院| 国产精品一区av在线| 人人操人人uiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiii | 97亚洲色图| 中文字幕熟女人妻丝袜| 狠狠久久手机视频精品| 国产精品亚洲高清在线| 无码在线亚洲| 九九热在线视频| 九九综合久久| 亚洲av无码成人精品国产| 中文字幕在线高清男人的天堂 | 超碰在线第一页| 国产美女91| 97爱综合| 老司机福利青青草| 国产兽交视频在线播放| 黄在线| 亚洲成人免费电影| 天天干一区二区| 久草男人天堂| 96一区二区三区| 精品天堂| 日韩精品一区二区高清| 激情综合网五月婷婷五月天| 在线看免费无码AV天堂的| 亚洲少妇色| 欧亚久久偷拍视频| 十八禁电影伊人网| 日韩精彩视频| 亚洲欧美另类小说| 操逼视频亚洲| 久久黄黄| 97操在线| 蜜臀AV午夜精品久| 亚洲乱伦图片视频| 国产剧情AV不卡在线观看| 国产av尤物| 曰韩少妇无码| 91狠狠综合久久| 日韩性爱免费观看视频| 国产18精品亚洲精品| 人妻天天爽夜夜爽爽| 91热爆在线| 欧美在线伊人色| 九久久精品| 草草草视频在线免费看| 大香蕉免费乱伦视频| 99热色这里只有精品| 久久久久9| 老熟女阿 国产91| 免费av在线播放二区| 99热国产| oumeizonghese,www| 精品1区2区3区| 在线看的av| 蜜臀久久一区二区| 国产乱子伦一区二区三区免看| 欧美人妖内射| 2024年最新色情网站在线观看| 国产精品露脸在线观看| 人妻少妇av在线观看| 美女大乳久久久久久久女人18| 欧日韩一二三f区| 亚洲成人性爱网站在线播放| 涩五月婷婷| 加勒比AV天堂| 视频国产欧美在线播放| 亚洲天堂 视频你懂的| 欧美 传媒 麻豆 日韩 偷拍| 夜夜夜夜爽| 人人操欧美风骚| 色香色欲天天综合网天天来吧| 一区二区三区日韩欧美 | 91亚洲欧洲| 亚洲精品无码少妇久久| 欧美日韩情色一区二区| 99这里只有精品| 操迟操逼在巾线Fre看| 日韩女优在线| 婷婷20月天青娱乐| 强奸国产在线| 超碰97欧美在线| 青青草中出视频 | 欧美久久草熟女| 亚洲综合有码| 中文字幕aⅴ在线视频| 日韩精品熟妇| 精品一区二区三区蜜桃| 玖玖爱免费观看视频| 在线黄色污污网站| 精品欧美乱码久| 欧美系列在线一区二区| 蜜桃成人1区2区3区| 久久黄黄黄| 一区二区三区精品视频| 丝袜美腿射精91| 国产一区二区三区免费视频在性观看| 97人肏| 美女网站91| 九九Av| 久操免费视频| 97中文综合| 在线v中文字幕一区二区三区| 亚洲第91页 | 国产在线激情视频| 色婷婷蜜臀av| 久久春色| 色女女女导航| 91高清欧美| 色99色| 青青草一区二区高清无码视频| 欧美日韩大香蕉| av资源在线观看少妇| 极品一区二区三区免费| 国产网红精品| 新视频sss国产| 国产99精品一区二区三区免费| 蜜屁Av| 成人免费视瓶| 91在线限制级| 国产隔壁老王影院在线| 成人熟女区| 久久黄色视频一区二区三区| 超碰1997| 成人无码在线视频网站| 99只有精品| 精品人妻av在线播放| 亚洲色图伊人网| 国产精品熟女丝袜一区二区| 久久精品国产97欧美精品亚洲| 亚洲福利中文字幕在线| 久热这里只有精品9| 欧美制服网站美腿丝袜| 永久免费观看的毛片的网站| 五月天伊人| 久久综合国产精品国产| 久久草视频污视频| 狠狠色噜噜狠狠狠狠狠色综合久久 | 色欲天天综合久久久无码网中文| 亚洲综合码| 家庭乱伦国产| 中文字幕二区| 日本三级中国三级99人妇网站| 亚洲欧美黄| 九九九九日本| 9美女超碰在线免费观看| 五月天色色色|