日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

微服務(wù)服務(wù)發(fā)現(xiàn)與Consul實(shí)戰(zhàn):注冊(cè)中心原理到Spring Cloud集成

微服務(wù)服務(wù)發(fā)現(xiàn)與Consul實(shí)戰(zhàn):注冊(cè)中心原理到Spring Cloud集成 做微服務(wù)這段時(shí)間被問(wèn)得最多的問(wèn)題之一就是服務(wù)之間到底是怎么找到彼此的IP 寫(xiě)死不就行了嘛短期可以服務(wù)一多、實(shí)例一變、一擴(kuò)縮容馬上就會(huì)亂成一鍋粥。這也是為什么現(xiàn)在只要聊到微服務(wù)架構(gòu)服務(wù)發(fā)現(xiàn)絕對(duì)是繞不開(kāi)的一環(huán)。我這邊用的是 Consul 來(lái)做的服務(wù)注冊(cè)與發(fā)現(xiàn)從集群搭建到 Spring Cloud 集成完整跑了一遍期間踩了不少坑也把原理層面的東西摸了個(gè)七七八八。這篇就把我的實(shí)操過(guò)程和經(jīng)驗(yàn)整理出來(lái)給正準(zhǔn)備做服務(wù)發(fā)現(xiàn)、或者正在 Eureka、Nacos、Consul 之間糾結(jié)的團(tuán)隊(duì)一個(gè)參考。這篇文章會(huì)覆蓋這么幾個(gè)部分為什么需要服務(wù)發(fā)現(xiàn)、Consul 的核心原理與數(shù)據(jù)模型、單機(jī)和集群怎么搭、服務(wù)注冊(cè)和健康檢查怎么做、Spring Cloud 怎么集成最后還有我實(shí)際運(yùn)維中遇到的高頻問(wèn)題和排查思路。無(wú)論你是剛拆微服務(wù)的新手還是已經(jīng)在維護(hù)注冊(cè)中心的開(kāi)發(fā)這篇文章里應(yīng)該都有能直接拿去用的東西。1. 為什么微服務(wù)離不開(kāi)服務(wù)發(fā)現(xiàn)1.1 沒(méi)有注冊(cè)中心時(shí)服務(wù)調(diào)用有多痛苦先回到最原始的場(chǎng)景。假設(shè)你有一個(gè)訂單服務(wù)和一個(gè)用戶服務(wù)訂單服務(wù)要調(diào)用戶服務(wù)的接口。最笨的辦法就是配置里寫(xiě)死用戶服務(wù)的 IP 和端口比如http://192.168.1.10:8080。剛開(kāi)始實(shí)例少確實(shí)夠用。但一旦用戶服務(wù)部署了 3 個(gè)節(jié)點(diǎn)或者某臺(tái)機(jī)器掛了要縮容麻煩就來(lái)了你得手動(dòng)改配置、改 Nginx 上游、重新 reload而且掛掉的那個(gè)節(jié)點(diǎn) Nginx 并不知道照樣往里轉(zhuǎn)發(fā)流量線上就開(kāi)始零星報(bào)錯(cuò)。我見(jiàn)過(guò)不少團(tuán)隊(duì)在這個(gè)階段用 Nginx 做反向代理把服務(wù)地址統(tǒng)一收斂到 Nginx然后業(yè)務(wù)代碼只調(diào) Nginx。這比寫(xiě)死 IP 好一些但本質(zhì)上是把手動(dòng)改配置從業(yè)務(wù)代碼轉(zhuǎn)移到了 Nginx 配置實(shí)例變動(dòng)的通知依然靠人肉。一旦微服務(wù)規(guī)模上了兩位數(shù)每次發(fā)布、擴(kuò)容、故障轉(zhuǎn)移都要改一遍 Nginx運(yùn)維壓力非常大而且極易出錯(cuò)。這不是工具不好用而是思路錯(cuò)了。Nginx 適合做流量入口的負(fù)載均衡不適合做服務(wù)間動(dòng)態(tài)調(diào)用的注冊(cè)表。服務(wù)之間的調(diào)用關(guān)系是動(dòng)態(tài)的實(shí)例隨時(shí)在變必須有一個(gè)組件能實(shí)時(shí)記錄當(dāng)前有哪些服務(wù)、各自在哪個(gè)地址、是否健康并且把這個(gè)信息自動(dòng)同步給所有調(diào)用方。1.2 服務(wù)發(fā)現(xiàn)幫我們解決了哪三件事服務(wù)發(fā)現(xiàn)解決的核心問(wèn)題其實(shí)就三件事。第一件是服務(wù)注冊(cè)。服務(wù)啟動(dòng)時(shí)自動(dòng)把自己的 IP、端口、服務(wù)名、元數(shù)據(jù)信息上報(bào)給注冊(cè)中心。第二件是健康檢查。注冊(cè)中心定期探測(cè)服務(wù)的存活狀態(tài)發(fā)現(xiàn)實(shí)例不健康就自動(dòng)標(biāo)記、摘除不再把流量分給它。第三件是服務(wù)發(fā)現(xiàn)與負(fù)載均衡。調(diào)用方在發(fā)起請(qǐng)求前先向注冊(cè)中心拿一份可用實(shí)例列表然后按照負(fù)載均衡策略挑一個(gè)發(fā)起調(diào)用??梢杂靡粋€(gè)生活化的類比來(lái)理解。你去一家熱門(mén)餐廳吃飯門(mén)口有個(gè)等位取號(hào)系統(tǒng)。你到了之后先取號(hào)這就是注冊(cè)系統(tǒng)會(huì)不斷喊號(hào)沒(méi)人應(yīng)答的就跳過(guò)這就是健康檢查輪到你的號(hào)時(shí)服務(wù)員帶你去空桌這就是發(fā)現(xiàn)與分配。如果沒(méi)有這個(gè)取號(hào)系統(tǒng)你就得挨個(gè)桌子問(wèn)有沒(méi)有空位效率極低而且很多桌子已經(jīng)坐滿了人你卻不知道。現(xiàn)在主流的注冊(cè)中心方案有 Consul、Nacos、Eureka、ZooKeeper 等。Eureka 2.x 已經(jīng)停止維護(hù)ZooKeeper 更偏向分布式協(xié)調(diào)場(chǎng)景。Nacos 在國(guó)內(nèi)用得多功能也很全自帶配置中心和注冊(cè)中心。我選擇 Consul 主要看中它的多數(shù)據(jù)中心支持、一致性協(xié)議更成熟、以及和 Spring Cloud 的集成度很高后面我會(huì)詳細(xì)講。2. Consul 服務(wù)發(fā)現(xiàn)的核心原理2.1 先認(rèn)識(shí) Consul 里的角色與端口Consul 是 HashiCorp 家的產(chǎn)品核心由 Agent 組成。Agent 有兩種運(yùn)行模式Server 模式和 Client 模式。Server 節(jié)點(diǎn)負(fù)責(zé)維護(hù)集群狀態(tài)、處理查詢和寫(xiě)入請(qǐng)求、參與 Raft 一致性協(xié)議選舉是 Consul 集群的大腦。生產(chǎn)環(huán)境一般部署 3 個(gè)或 5 個(gè) Server 節(jié)點(diǎn)必須是奇數(shù)因?yàn)?Raft 協(xié)議要求多數(shù)派才能提交數(shù)據(jù)。Client 模式則是一個(gè)輕量代理部署在每臺(tái)業(yè)務(wù)機(jī)器上負(fù)責(zé)轉(zhuǎn)發(fā)請(qǐng)求給 Server、執(zhí)行健康檢查、維護(hù)本機(jī)的服務(wù)注冊(cè)信息。業(yè)務(wù)進(jìn)程不直接和 Server 集群通信而是先找本機(jī) Client再由 Client 轉(zhuǎn)發(fā)這是一個(gè)很典型的分層設(shè)計(jì)。Consul 用到了幾個(gè)端口我用一張表整理了一下方便排查問(wèn)題的時(shí)候?qū)φ斩丝趨f(xié)議用途8500HTTP提供 REST API 和 Web UI服務(wù)注冊(cè)、查詢都走這里8600TCP/UDPDNS 接口可以通過(guò)域名解析服務(wù)地址8300TCPServer 節(jié)點(diǎn)之間的 RPC 通信8301TCP/UDP同數(shù)據(jù)中心內(nèi) Agent 間 gossip 通信LAN8302TCP/UDP跨數(shù)據(jù)中心 Agent 間 gossip 通信WAN我剛開(kāi)始部署的時(shí)候沒(méi)注意端口問(wèn)題結(jié)果集群起來(lái)之后成員之間一直互相看不到排查了半天才發(fā)現(xiàn)是防火墻把 8301 端口給攔了。如果你也遇到 Agent 日志里反復(fù)出現(xiàn) join 失敗優(yōu)先檢查這幾個(gè)端口是否放通。2.2 服務(wù)注冊(cè)與查詢的數(shù)據(jù)模型Consul 里最核心的數(shù)據(jù)模型是 Service。一個(gè)服務(wù)實(shí)例用下面幾個(gè)關(guān)鍵字段描述ID實(shí)例的唯一標(biāo)識(shí)同一個(gè)服務(wù)下不能重復(fù)Name服務(wù)名邏輯上的服務(wù)名稱Tags標(biāo)簽可以用來(lái)區(qū)分版本、環(huán)境等Address 和 Port實(shí)例的訪問(wèn)地址和端口Check健康檢查配置這里有個(gè)容易混淆的點(diǎn)Consul 的服務(wù)查詢接口有兩套/v1/catalog/service/{name}和/v1/health/service/{name}。前者返回的是注冊(cè)表里的原始數(shù)據(jù)不管實(shí)例是否健康都會(huì)返回后者只返回通過(guò)健康檢查的實(shí)例。實(shí)際調(diào)用的時(shí)候一定要用/v1/health/service/{name}否則你把流量打到一個(gè)已經(jīng)掛掉的實(shí)例上故障排查會(huì)非常痛苦。我自己在項(xiàng)目里就遇到過(guò)這樣的問(wèn)題服務(wù)調(diào)用的下游實(shí)例已經(jīng)宕機(jī)了但調(diào)用方還是能拿到它的地址。查了半天發(fā)現(xiàn)代碼里用的是 catalog 接口改成 health 接口之后掛掉的實(shí)例被自動(dòng)過(guò)濾掉問(wèn)題立刻消失。這個(gè)細(xì)節(jié)在 Consul 官方文檔里寫(xiě)得不算醒目但生產(chǎn)環(huán)境非常重要。2.3 三種健康檢查方式的選擇邏輯Consul 的健康檢查有三種模式適用場(chǎng)景完全不同很多人一開(kāi)始容易搞混。第一種是 HTTP 檢查。Consul 定期請(qǐng)求你指定的 HTTP 接口比如/actuator/health根據(jù)返回的 HTTP 狀態(tài)碼判斷是否健康。只要接口返回 200就認(rèn)為實(shí)例存活。這是我用得最多的一種因?yàn)?Spring Boot 的 Actuator 天然提供了健康檢查端點(diǎn)可以直接對(duì)接。第二種是 TCP 檢查。Consul 定期嘗試和實(shí)例的 IP:Port 建立 TCP 連接連得上就認(rèn)為健康。適合沒(méi)有 HTTP 接口的服務(wù)比如數(shù)據(jù)庫(kù)連接、自定義 RPC 服務(wù)。第三種是 TTL 檢查。服務(wù)實(shí)例自己定期主動(dòng)上報(bào)心跳告訴 Consul 我還活著。如果超過(guò)指定時(shí)間沒(méi)有上報(bào)就判定為不健康。這種模式下 Consul 不會(huì)主動(dòng)探測(cè)適合那些不方便提供 HTTP 端點(diǎn)、或者內(nèi)部有復(fù)雜存活判斷邏輯的服務(wù)。選擇邏輯其實(shí)很簡(jiǎn)單能用 HTTP 檢查就用 HTTP 檢查因?yàn)樗钪苯拥胤从沉朔?wù)的真實(shí)可用狀態(tài)服務(wù)本身沒(méi)有 HTTP 接口就用 TCP需要服務(wù)自己決定是否存活、或者不想讓注冊(cè)中心主動(dòng)探測(cè)的場(chǎng)景選 TTL。但要注意TTL 模式依賴業(yè)務(wù)代碼主動(dòng)上報(bào)心跳一旦業(yè)務(wù)線程卡死心跳可能還在發(fā)實(shí)際服務(wù)已經(jīng)不能處理請(qǐng)求了這會(huì)造成誤判所以能用 HTTP 檢查的地方我一般不會(huì)用 TTL。2.4 Consul 的一致性保證與多數(shù)據(jù)中心Consul 的 Server 節(jié)點(diǎn)采用 Raft 協(xié)議保證數(shù)據(jù)一致性。Raft 是一種分布式一致性算法核心思想是選舉一個(gè) Leader 節(jié)點(diǎn)負(fù)責(zé)處理寫(xiě)入請(qǐng)求其他節(jié)點(diǎn)同步數(shù)據(jù)。寫(xiě)入操作必須得到多數(shù)派節(jié)點(diǎn)確認(rèn)才算成功所以集群里掛掉的節(jié)點(diǎn)不能超過(guò)半數(shù)否則整個(gè)集群會(huì)變成只讀狀態(tài)服務(wù)注冊(cè)和更新都會(huì)失敗。這個(gè)機(jī)制保證了數(shù)據(jù)不會(huì)丟但也帶來(lái)一個(gè)運(yùn)維常識(shí)Consul 集群的 Server 節(jié)點(diǎn)數(shù)最好是 3 或 5不要因?yàn)楣?jié)省成本只部署 2 個(gè)因?yàn)?2 個(gè)節(jié)點(diǎn)掛 1 個(gè)就湊不齊多數(shù)派了連一臺(tái)都不掛反而不如單點(diǎn)穩(wěn)定。我后面會(huì)詳細(xì)演示 3 節(jié)點(diǎn)集群怎么搭。Consul 還支持多數(shù)據(jù)中心每個(gè)數(shù)據(jù)中心有獨(dú)立的 Server 集群數(shù)據(jù)中心之間通過(guò) WAN gossip 協(xié)議交換服務(wù)目錄信息。這一點(diǎn)在做異地多活或跨機(jī)房容災(zāi)時(shí)很有價(jià)值應(yīng)用層不需要感知物理機(jī)房的差異直接通過(guò)服務(wù)名就能拿到對(duì)端機(jī)房的可用實(shí)例。如果你的公司暫時(shí)沒(méi)有多機(jī)房需求這個(gè)功能可以先了解但選型時(shí)多一個(gè)加分項(xiàng)總是好的。3. 從零搭建 Consul 集群并完成服務(wù)注冊(cè)3.1 單機(jī)快速體驗(yàn)開(kāi)發(fā)模式先從最簡(jiǎn)單的單機(jī)模式開(kāi)始跑通了再上集群。Consul 的安裝很簡(jiǎn)單直接從官網(wǎng)下載二進(jìn)制包解壓后把可執(zhí)行文件放到 PATH 里就行。啟動(dòng)開(kāi)發(fā)模式consul agent -dev-dev模式會(huì)啟動(dòng)一個(gè)單節(jié)點(diǎn)的 Consul所有功能默認(rèn)開(kāi)啟非常適合本地調(diào)試。啟動(dòng)成功后打開(kāi)瀏覽器訪問(wèn)http://127.0.0.1:8500就能看到 Consul 的 Web UI。界面上有 Services、Nodes、ACL 等菜單服務(wù)注冊(cè)進(jìn)來(lái)后在 Services 頁(yè)面就能看到實(shí)例列表和健康狀態(tài)。開(kāi)發(fā)模式下如果提示端口被占用可以用-http-port指定其他端口。我做本地實(shí)驗(yàn)時(shí)常用consul agent -dev -http-port18500避開(kāi)可能被占用的 8500 端口。3.2 3 節(jié)點(diǎn)集群搭建實(shí)操生產(chǎn)環(huán)境我不會(huì)用單節(jié)點(diǎn)至少搭 3 個(gè) Server 節(jié)點(diǎn)的集群。這里演示在 3 臺(tái) Linux 服務(wù)器上搭建假設(shè)三臺(tái)機(jī)器的 IP 分別是 10.0.0.11、10.0.0.12、10.0.0.13。每臺(tái)機(jī)器上先準(zhǔn)備一個(gè)配置文件consul.hcl內(nèi)容大致如下data_dir /opt/consul/data log_level INFO server true bootstrap_expect 3 ui true bind_addr 0.0.0.0 client_addr 0.0.0.0 retry_join [10.0.0.11, 10.0.0.12, 10.0.0.13]然后依次在三臺(tái)機(jī)器上執(zhí)行consul agent -config-dir/etc/consul.d第一臺(tái)啟動(dòng)的時(shí)候因?yàn)閎ootstrap_expect 3Consul 會(huì)等待 3 個(gè) Server 節(jié)點(diǎn)都加入后才開(kāi)始選舉 Leader。這個(gè)參數(shù)的意思是期望的 Server 節(jié)點(diǎn)數(shù)用于避免過(guò)早選舉產(chǎn)生腦裂。等三臺(tái)機(jī)器全部啟動(dòng)后在任意一臺(tái)執(zhí)行consul members應(yīng)該能看到三個(gè)節(jié)點(diǎn)都是alive狀態(tài)。再執(zhí)行consul operator raft list-peers可以看到有一個(gè)節(jié)點(diǎn)是 leader其他節(jié)點(diǎn)是 followerRaft 集群正常工作了。這里有個(gè)經(jīng)驗(yàn)生產(chǎn)環(huán)境的 Server 節(jié)點(diǎn)最好是奇數(shù)3 個(gè)或 5 個(gè)。原因在 Raft 協(xié)議里說(shuō)過(guò)了要湊多數(shù)派。另外如果集群規(guī)模很大或者請(qǐng)求量很高還可以給 Server 節(jié)點(diǎn)前加一層負(fù)載均衡但一般的微服務(wù)規(guī)模用不到業(yè)務(wù)請(qǐng)求會(huì)優(yōu)先打到本機(jī)的 Client Agent再轉(zhuǎn)發(fā)給 Server壓力可控。3.3 通過(guò) REST API 注冊(cè)、查詢、注銷(xiāo)服務(wù)Consul 提供了完整的 REST API我先用 curl 演示最基礎(chǔ)的服務(wù)注冊(cè)流程。注冊(cè)一個(gè)名為user-service的服務(wù)實(shí)例到 Consulcurl -X PUT http://127.0.0.1:8500/v1/agent/service/register \ -H Content-Type: application/json \ -d { ID: user-service-1, Name: user-service, Tags: [primary], Address: 192.168.1.100, Port: 8080, Check: { HTTP: http://192.168.1.100:8080/actuator/health, Interval: 10s } }這里注意兩個(gè)細(xì)節(jié)。第一注冊(cè)接口是/v1/agent/service/register走的是本機(jī) Agent。第二Check 里的 HTTP 地址要填業(yè)務(wù)實(shí)例的地址不是 Consul 的地址Consul 會(huì)主動(dòng)去探測(cè)這個(gè)接口。注冊(cè)成功后在瀏覽器 UI 里能看到這個(gè)服務(wù)。查詢可用實(shí)例用 health 接口curl http://127.0.0.1:8500/v1/health/service/user-service返回結(jié)果里每個(gè)實(shí)例會(huì)帶一個(gè)Checks數(shù)組里面Status為passing的才是健康實(shí)例。服務(wù)下線時(shí)要調(diào)用注銷(xiāo)接口curl -X PUT http://127.0.0.1:8500/v1/agent/service/deregister/user-service-1這個(gè)接口是 Agent 級(jí)別的只注銷(xiāo)本機(jī) Agent 上注冊(cè)的這個(gè)實(shí)例。搞清楚 agent 和 catalog 兩套 API 的區(qū)別能避免很多誤操作。4. Spring Cloud 集成 Consul服務(wù)注冊(cè)與調(diào)用4.1 服務(wù)提供者注冊(cè)到 Consul手動(dòng)用 curl 注冊(cè)服務(wù)只是為了理解原理真實(shí)項(xiàng)目里不會(huì)這么干都是讓框架自動(dòng)完成。Spring Cloud 對(duì) Consul 的集成非常成熟我在 Spring Boot 2.x Spring Cloud 2021.0.x 環(huán)境下測(cè)試過(guò)步驟很簡(jiǎn)潔。在服務(wù)提供者項(xiàng)目里引入依賴dependency groupIdorg.springframework.cloud/groupId artifactIdspring-cloud-starter-consul-discovery/artifactId /dependency然后在application.yml里配置 Consul 地址和注冊(cè)信息spring: application: name: user-service cloud: consul: host: 127.0.0.1 port: 8500 discovery: instance-id: ${spring.application.name}-${spring.cloud.client.ip-address}-${server.port} prefer-ip-address: true health-check-path: /actuator/health health-check-interval: 10s主類上加上EnableDiscoveryClient注解SpringBootApplication EnableDiscoveryClient public class UserApplication { public static void main(String[] args) { SpringApplication.run(UserApplication.class, args); } }啟動(dòng)應(yīng)用后服務(wù)會(huì)自動(dòng)注冊(cè)到 Consul。這里instance-id的配置非常關(guān)鍵如果一臺(tái)機(jī)器上同一個(gè)服務(wù)部署了多個(gè)實(shí)例端口不同那么 ID 里帶上 IP 和端口就能保證唯一否則會(huì)出現(xiàn)后面的實(shí)例把前面的實(shí)例覆蓋掉的情況這是我在多實(shí)例部署時(shí)踩過(guò)的坑。prefer-ip-address: true會(huì)讓服務(wù)注冊(cè)時(shí)優(yōu)先使用 IP 而不是主機(jī)名。如果不開(kāi)這個(gè)配置在容器環(huán)境或內(nèi)網(wǎng) DNS 不完善的環(huán)境下注冊(cè)到 Consul 的地址可能是主機(jī)名其他服務(wù)解析不了調(diào)用就會(huì)失敗。4.2 服務(wù)消費(fèi)者通過(guò) Consul 找到并調(diào)用服務(wù)服務(wù)消費(fèi)者的配置和服務(wù)提供者幾乎一樣只是不注冊(cè)自身的情況更多。如果某個(gè)服務(wù)只是調(diào)用別人不需要被別人調(diào)用可以在配置里關(guān)閉注冊(cè)spring: cloud: consul: discovery: register: false調(diào)用方式有兩種主流方案。一種是 RestTemplate 加LoadBalanced注解Configuration public class RestTemplateConfig { Bean LoadBalanced public RestTemplate restTemplate() { return new RestTemplate(); } }然后直接通過(guò)服務(wù)名調(diào)用String result restTemplate.getForObject(http://user-service/api/user/1, String.class);另一種是用 OpenFeign聲明式調(diào)用更符合微服務(wù)的風(fēng)格FeignClient(name user-service) public interface UserClient { GetMapping(/api/user/{id}) String getUser(PathVariable(id) Long id); }這兩套方式底層的原理是一樣的攔截到服務(wù)名后向 Consul 查詢可用實(shí)例列表再用負(fù)載均衡策略選一個(gè)實(shí)例發(fā)起請(qǐng)求。Spring Cloud LoadBalancer 默認(rèn)的負(fù)載均衡策略是輪詢你也可以根據(jù)自己的需求替換成隨機(jī)、最少連接數(shù)等策略。我第一次用 RestTemplate 調(diào)服務(wù)名時(shí)報(bào)了UnknownHostException原因就是忘加LoadBalanced注解。這個(gè)注解的作用是給 RestTemplate 注入一個(gè)攔截器讓它能識(shí)別http://user-service這種服務(wù)名格式并走服務(wù)發(fā)現(xiàn)邏輯。沒(méi)有這個(gè)注解RestTemplate 只會(huì)把它當(dāng)普通域名去 DNS 解析自然就失敗了。4.3 健康檢查、優(yōu)雅下線與自動(dòng)摘除Spring Cloud Consul 默認(rèn)的健康檢查路徑就是/actuator/health但前提是項(xiàng)目里引入了 Spring Boot Actuator。如果沒(méi)引入健康檢查請(qǐng)求會(huì)返回 404Consul 會(huì)把實(shí)例標(biāo)記為不健康。所以一定要在服務(wù)提供者項(xiàng)目里加上dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-actuator/artifactId /dependencyhealth-check-interval: 10s表示每 10 秒檢查一次。這個(gè)值不要設(shè)得太短否則頻率太高會(huì)浪費(fèi)不必要的資源也不要設(shè)得太長(zhǎng)否則實(shí)例掛了之后下游最長(zhǎng)要等一個(gè)周期才能感知到。10 秒是我覺(jué)得比較平衡的配置如果對(duì)時(shí)效性要求高可以壓到 5 秒。還有一個(gè)很實(shí)用的配置是deregister-critical-service-after。當(dāng)健康檢查連續(xù)失敗實(shí)例進(jìn)入 critical 狀態(tài)后如果超過(guò)這個(gè)時(shí)間還沒(méi)有恢復(fù)Consul 會(huì)自動(dòng)把實(shí)例從注冊(cè)表里刪除spring: cloud: consul: discovery: deregister-critical-service-after: 2m這個(gè)配置我強(qiáng)烈建議加上否則一個(gè)實(shí)例掛了之后它的記錄會(huì)一直躺在 Consul 服務(wù)列表里UI 上看著紅叉一片數(shù)據(jù)也不干凈。加了這個(gè)配置后Consul 會(huì)在 2 分鐘后自動(dòng)清理。優(yōu)雅下線方面Spring Cloud 在應(yīng)用關(guān)閉時(shí)會(huì)自動(dòng)從 Consul 注銷(xiāo)服務(wù)實(shí)例不需要額外寫(xiě)代碼。但如果你用的是容器編排系統(tǒng)比如 Kubernetes 或 Docker Compose要注意關(guān)閉順序。先讓 Consul 把實(shí)例標(biāo)記為不健康并停止接收新流量再真正銷(xiāo)毀容器這樣才能做到滾動(dòng)發(fā)布無(wú)感知。單純依賴進(jìn)程退出時(shí)的注銷(xiāo)邏輯在容器被強(qiáng)殺時(shí)往往來(lái)不及執(zhí)行。5. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄5.1 服務(wù)列表里看不到服務(wù)這個(gè)是最常見(jiàn)的問(wèn)題排查思路從簡(jiǎn)單到復(fù)雜排開(kāi)先看 Consul UI 的 Services 頁(yè)面確認(rèn)服務(wù)有沒(méi)有注冊(cè)成功再看服務(wù)提供者的啟動(dòng)日志有沒(méi)有報(bào)錯(cuò)然后用curl http://127.0.0.1:8500/v1/agent/services查看本機(jī) Agent 上注冊(cè)的服務(wù)列表。一個(gè)容易被忽略的原因是配置的spring.cloud.consul.host指向了錯(cuò)誤的機(jī)器或者端口不是 8500。另外檢查服務(wù)提供者和 Consul 之間的網(wǎng)絡(luò)連通性在服務(wù)提供者所在機(jī)器上直接執(zhí)行telnet {consul_host} 8500如果端口不通說(shuō)明網(wǎng)絡(luò)層面有問(wèn)題。踩過(guò)的一個(gè)隱蔽坑是服務(wù)注冊(cè)請(qǐng)求確實(shí)發(fā)出去了但注冊(cè)到 Consul 的地址是內(nèi)網(wǎng) Docker 網(wǎng)段的 IP比如172.17.0.2其他機(jī)器訪問(wèn)不了。這就是沒(méi)有配prefer-ip-address: true或者容器網(wǎng)絡(luò)配置不當(dāng)造成的。解決方法是配置spring: cloud: consul: discovery: prefer-ip-address: true ip-address: 宿主機(jī)對(duì)外IP # 可選手動(dòng)指定注冊(cè)IP5.2 控制臺(tái)健康狀態(tài)紅叉但服務(wù)本身正常服務(wù)進(jìn)程明明還在跑接口也能通但 Consul UI 里顯示健康檢查失敗。這時(shí)候先看 Consul 配置的健康檢查路徑是什么再手動(dòng)在 Consul 所在機(jī)器上 curl 一下這個(gè)地址。如果是/actuator/health返回 404說(shuō)明服務(wù)提供者沒(méi)引入 Actuator或者 context-path 配置導(dǎo)致路徑不對(duì)。Spring Boot 如果設(shè)置了server.servlet.context-path/api那么健康檢查端點(diǎn)也會(huì)跟著變化Consul 配置里的health-check-path也要改成/api/actuator/health。還有一種情況是健康檢查返回了 200但檢查頻率太高把服務(wù)打掛了表現(xiàn)就是服務(wù)偶爾可用偶爾不可用。我有一次把 interval 配成了 1 秒結(jié)果 Consul 集群對(duì)每個(gè)實(shí)例每秒發(fā)一個(gè)請(qǐng)求業(yè)務(wù)高峰期把服務(wù)拖得很慢。后來(lái)調(diào)整為 10 秒一切正常。健康檢查的頻率不是越高越好還是一個(gè)平衡問(wèn)題。5.3 服務(wù)實(shí)例被自動(dòng)摘除后反復(fù)重連如果實(shí)例處于不太健康的狀態(tài)Consul 會(huì)標(biāo)記為 critical然后deregister-critical-service-after時(shí)間一到就刪除注冊(cè)信息。但服務(wù)端的 Spring Cloud Consul 組件有自動(dòng)重連機(jī)制會(huì)嘗試重新注冊(cè)于是在 UI 上看到的現(xiàn)象就是服務(wù)一直在注冊(cè)、刪除、注冊(cè)、刪除之間反復(fù)橫跳。這種情況下核心問(wèn)題是實(shí)例本身不穩(wěn)定可能是內(nèi)存溢出、數(shù)據(jù)庫(kù)連接池耗盡、或者磁盤(pán)滿了。先去查服務(wù)日志和健康檢查端點(diǎn)的返回內(nèi)容Actuator 的/actuator/health返回體里會(huì)帶上各組件的健康狀態(tài)比如 MySQL 連接、Redis、磁盤(pán)空間等能直接指出是哪一個(gè)組件出了問(wèn)題。5.4 集群出現(xiàn)腦裂或不可寫(xiě)Consul 集群的 Server 節(jié)點(diǎn)網(wǎng)絡(luò)發(fā)生分區(qū)時(shí)Raft 協(xié)議會(huì)觸發(fā)重新選舉。如果某個(gè)分區(qū)的節(jié)點(diǎn)數(shù)湊不齊多數(shù)派這個(gè)分區(qū)就不可寫(xiě)服務(wù)注冊(cè)和更新都會(huì)失敗。這不是 Consul 的 bug而是 Raft 為防止腦裂寫(xiě)的固有機(jī)制。排查方法是登錄 Server 節(jié)點(diǎn)執(zhí)行consul operator raft list-peers查看 Raft 狀態(tài)。如果 leader 一直在切換或者沒(méi)有 leader說(shuō)明節(jié)點(diǎn)間網(wǎng)絡(luò)不穩(wěn)定檢查 8300 端口連通性和機(jī)房之間的專線質(zhì)量。另一個(gè)常見(jiàn)原因是服務(wù)器時(shí)鐘偏差太大Raft 對(duì)時(shí)鐘一致性有要求生產(chǎn)環(huán)境務(wù)必配置好 NTP 時(shí)間同步。5.5 服務(wù)下線時(shí)沒(méi)有及時(shí)清空進(jìn)程被 kill 之后服務(wù)實(shí)例在 Consul 里還會(huì)存在一段時(shí)間直到健康檢查連續(xù)失敗后才被標(biāo)記為 critical再等到deregister-critical-service-after觸發(fā)才被清理。這是正?,F(xiàn)象但如果是主動(dòng)發(fā)布最好在發(fā)布腳本里先調(diào)用注銷(xiāo)接口把實(shí)例從 Consul 里摘掉再停進(jìn)程。寫(xiě)一個(gè)簡(jiǎn)單的下線腳本#!/bin/bash SERVICE_IDuser-service-192.168.1.100-8080 curl -X PUT http://127.0.0.1:8500/v1/agent/service/deregister/${SERVICE_ID} kill -TERM $(pgrep -f user-service)這里調(diào)的還是本機(jī) Agent 的接口所以腳本在服務(wù)提供者機(jī)器上執(zhí)行即可。結(jié)合 CI/CD 流水線在停止容器前先執(zhí)行這個(gè)下線步驟可以讓發(fā)布期間下游調(diào)用方始終只訪問(wèn)存活實(shí)例真正實(shí)現(xiàn)無(wú)感發(fā)布。6. 一點(diǎn)擴(kuò)展ACL 安全與配置中心玩法6.1 別忽略 ACL 安全Consul 老版本曝出過(guò)一些安全漏洞大多和 ACL 權(quán)限校驗(yàn)繞過(guò)有關(guān)。如果只是在內(nèi)網(wǎng)跑很多人會(huì)忽略安全配置但微服務(wù)架構(gòu)里注冊(cè)中心掌握著所有服務(wù)的地址一旦被入侵整個(gè)系統(tǒng)的調(diào)用拓?fù)渚捅┞读孙L(fēng)險(xiǎn)非常高。Consul 支持完整的 ACL 系統(tǒng)可以為不同的服務(wù)、Key 配置細(xì)粒度的讀寫(xiě)權(quán)限。簡(jiǎn)單做法是啟用 ACLacl { enabled true default_policy deny tokens { master your-bootstrap-token } }開(kāi)啟后所有 API 請(qǐng)求都需要帶 Token 頭。Spring Cloud 的 Consul 集成也支持配置 Tokenspring: cloud: consul: config: acl-token: your-token discovery: acl-token: your-token我的建議是即使內(nèi)網(wǎng)環(huán)境也把 ACL 開(kāi)啟至少做個(gè)基礎(chǔ)防護(hù)。同時(shí)盡量使用較新版本的 Consul官方修復(fù)安全漏洞后在 release note 里都有記錄及時(shí)升級(jí)比什么防護(hù)都管用。6.2 Consul 還能當(dāng)輕量配置中心用Consul 的內(nèi)置 KV 存儲(chǔ)除了支撐服務(wù)發(fā)現(xiàn)也可以直接用做配置中心。雖然沒(méi)有 Nacos 的命名空間、分組、灰度這些豐富功能但對(duì)中小團(tuán)隊(duì)來(lái)說(shuō)夠用。Spring Cloud Consul Config 的接入方式和 Nacos 類似。引入依賴dependency groupIdorg.springframework.cloud/groupId artifactIdspring-cloud-starter-consul-config/artifactId /dependency配置里指定 KV 路徑spring: cloud: consul: config: enabled: true prefixes: config default-context: application然后在 Consul 的 KV 里創(chuàng)建config/user-service/data這樣的路徑存放配置文件內(nèi)容。配合spring-cloud-starter-bus可以實(shí)現(xiàn)配置變更后的自動(dòng)刷新。不過(guò)要提醒一句Consul 的 KV 功能適合存一些簡(jiǎn)單的、變更頻率不高的配置。如果配置項(xiàng)特別多、需要分環(huán)境分團(tuán)隊(duì)管理、需要灰度發(fā)布還是用 Nacos 或者 Apollo 這類專業(yè)配置中心更合適。選型要看團(tuán)隊(duì)體量沒(méi)有銀彈。我在實(shí)際使用中最深的一個(gè)體會(huì)是服務(wù)發(fā)現(xiàn)這塊選哪個(gè)注冊(cè)中心不是最難的難的是把健康檢查、優(yōu)雅上下線、負(fù)載均衡這些細(xì)節(jié)真正落實(shí)到生產(chǎn)環(huán)境里。很多人項(xiàng)目跑起來(lái)看著一切正常等到發(fā)布日才發(fā)現(xiàn)流量打到了正在關(guān)停的實(shí)例上或者服務(wù)擴(kuò)容后新實(shí)例遲遲沒(méi)有被下游感知到。這些坑大多不是注冊(cè)中心本身的問(wèn)題而是配置和使用姿勢(shì)的問(wèn)題。希望這篇文章能讓你在搭服務(wù)發(fā)現(xiàn)的時(shí)候少走些彎路。最后再分享一個(gè)小習(xí)慣無(wú)論用 Consul 還是其他注冊(cè)中心上線前一定要把“實(shí)例下線 - 健康檢查失敗 - 自動(dòng)摘除”這條鏈路完整演練一遍確認(rèn)每個(gè)環(huán)節(jié)的時(shí)間都符合預(yù)期。這個(gè)流程順暢了線上發(fā)布和故障處理會(huì)省去很多麻煩。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
色婷婷日韩精品一区二区三区| 性爱乱伦视频免费| 日韩精品1区2区中文字幕| 99热免费| yazhououmeizongya| 影音先锋视频在线| 青青草久久一区网| 9九九国产| 日韩国产欧美伦理在线| 欧美天天综合站| 日本爽爽爽爽爽爽免费视频| 天天欧美欧美亚洲网| 国产精品久久久久久久久久久久久久久久| 91丨九色丨国产丨人妻在线| 爱射综合| 亚洲综合色网| 色噜噜人妻av中文字幕| 中文字幕成人理论在线| 亚州色国| 日本午夜久久电影| 日日日日做夜夜夜夜做无码97| 人妻天天爽天天爽三区| 67194无码不卡| 妇女一区二区三区| 717影院理论午夜伦八戒| 少妇熟女视频一二三区| 色官网色综合| 综合欧美日韩在线| 日日狠狠久久偷偷色综合免费| 在线观看啊啊啊啊啊| 偷窥自拍A片| 果冻传媒A片一二三区| 超碰精品| 韩三级a视频在线观看| 婷婷激情五月综合| 蜜臀久久99精品久久久久久婷婷 | 欧美一区二区一级岛国大片| 黄色高清久久无码依人| 国产av强奸美女| 色综和网| 亚洲AV秘 精品久久老牛影视| 啊啊啊啊操死我了| 国产日韩在线播放| 亚洲a色| 防屏蔽在线视频| 啊啊啊啊啊好多水| 欧美性爱五月天| 天天综合站| 久久精品91| 99久久综合网| 免费视频一二三区| 激情文学欧美| 吖在线不卡一区二区国产剧情| 老鸭窝黄色视频网站| 久久精品国产亚洲AV嘿嘿| 粉嫩久久久极品| 91chinese在线| 天天欧美| 精品九九淫乱男| 天堂а√在线最新版在线| 亚洲天堂日本| 日韩99999色| 久久亚洲欧美中文字幕国语| 少妇天堂| 国产大陆天天艹| 欧美激情亚洲情色| 亚洲欧洲成人在线电影| 爽爽歪在线视频| 久久久久九九九| 91精品成人| aaaa黄片| 午夜小电影在线插入淫高潮| 久久久久久十| 色偷偷色偷偷欧美日韩| 亚洲一欧洲中文字幕在线| AV久日| 亚州精人品大香蕉| 96久久精品一二三区色欲| 日本三级精品| www. 男人天堂成人在线| 99碰碰| 欧美性特| 婷婷五月天激情网| 黑人免费福利视频| 97中文综合| 一本道综合色图| 五月天我淫我色av| 日天天九九天堂666| 五月综合久久| 性色av大全| 久热99999| 久久色激情一区二区三区| 亚洲精品性爱片| 好爽要喷了| 亚洲欧美爆| 五月丁香综合啪啪| 无码国产Av| 欧美极品少妇| 中文字幕乱在线伦视频中文字幕乱码在线| 五十路熟女在线不卡观看一区二区| 开心五月天激情网| 日韩激情无码影院| 啊啊啊免费| 熟妇高潮精品一区二区三区下载| 欧美中文字幕男人天堂久久精品 | 欧美,日韩综合久久| 蜜臀AV一区二区三区| 午夜欧美J进J出白浆流出久久久| 人妻天堂综合网| 亚欧高清在线| 久久久久亚洲?V片无码V| 97超碰久久| 久啪视频| 欧美美女视频| 一卡二卡在线播放| 久久AV无码网址| 亚洲日韩视频二区| 内射老妇BBWX0C0CK| 国产欧美日产一区二区三区 - 国产欧美日| 久久9精品视频| 91操人视频| 特级毛片特黄久久免费看| 国产精品人妻免费精品| 精品国产乱码久久| 97超碰中文在线| 2019男人的天堂| 日韩 欧美 国产 麻豆| 黑人中出21连凳花野真衣| 六月丁丁香| 九九无码视频| 亚洲 欧美都市激情| 日本色婷婷| 亚洲高清无码免费观看视频| 欧亚 另类 久| 日韩精品三级| 精品美女少妇一区二区| 久久久久深夜无码| 美女爽到高潮91| 亚洲图片偷拍欧美| 极品人妻少妇综合| 一区二区视频在看| 成人97人人超碰人人| 97欧美视频| 凹凸视频在线一区二区| 亚洲,日韩,欧美,成人播放 | 亚洲国产尤物yw在线观看| 呦呦影院| 日本精品无码三级网站| 多乙久久久久久| 中国一区二区亚洲人妻| 色欲天香天天综合网-成年人三级片网站-欧美乱妇狂野-日韩国产专区-久久久久久 | 在线播放欧洲免费av| 国产丁香精品露脸视频 | 亚洲第一视频 欧美风情 日韩| 亚洲偷拍欧美激情| 色99久草| 亚州综合在线| 91P0RNY大屁股人妻| 91香蕉视频在线观看免费| 金莲网址| 狠狠狠狠狠| 成人五月香网在线| 九九英色视频| 97视频新免费| 91丝袜| 78久久久| 国产精品电| 青青青青青手机视频| 色欧美综合| 丰满美女一级毛片在线播放| 操逼网站视频漫画国产| 99精品在线播放| 超碰超碰95| 欧美激情片一区二区| 啊啊啊啊啊啊啊啊要喷了| 国内外毛片在线观看| 97伊人| 国产精品懂色tv影视免费观看| 日韩免费在线视频观看| 免费观看的av| 午夜福利在线合集| 黄骗免费网站| 国产乱码精品一区二区三区四川| 日日狠狠久久偷偷色综合免费| 亚洲影视综合网| 成人五月天色网| 久久精品国产亚洲av水密被窝| 国产欧美伊人| 老司机免费视频在线91| 日日夜夜骑| 久久午夜鲁丝片| 欧美一区二区亚洲天堂| 白丝被操91| 久草免费在线一区二区| 99热这里只有精| 人妻精品一区二区全免费| 女上位精品在线| 国产美女口爆吞精视频| 亚洲日韩美女中文字幕乱| 91麻豆天美国产欧美| 久久綜合很很很| 熟女露脸激情自拍视频| 国产成人五月天丁香花| 欧美一级国产一级| 亚洲高潮少妇| 超碰在97| 欧美日韩啪啪电影| 亚洲天堂人妻一区二区| 久久久啊啊啊| 日韩性爱网址| 日本精品久久久久久久| 亚洲密乳AV| 搡老熟女国产1000部| 五月天亚洲色图| 黄片无码在线制服| 啊啊啊快操我视频| 97色碰| 婷婷五月天激情网| 日韩欧亚中文在线| 麻豆国产97在线| 啪啪啪大香蕉| 久久久久久久久久久久久女过产乱-少妇高潮一区二区三区喷水-成人AV | 九月激情婷婷| 熟女一区二区| 久久加勒比| 久久久成人国产精品无码| 久久久久ab| 亚洲熟妇乱女区二区三区| 亚洲中文字幕久久无码精品| 亚欧Av| 精品一国2| 91激情| 狠狠干综合| 久久久久久久久9| 免费作爱一级视频| 精品无码人妻一区二区免费蜜桃| 亚洲熟伦熟妇AV无码春色| 久久极品一区二区| 呦呦一区| 亚洲九九夜夜| 日本不卡在线二区三区| 国产女人高潮视频| 亚洲欧美首页| 人妻密肉在线观看| 亚洲欧美国产va在线播放频| 日本免费不卡二区| 欧成人精品H无码| www.久久| 亚州91| 97亚洲性爱| 国产精品香蕉| 亚洲综合网图| 亚洲无码 国产无码| 婷婷四五区| av网站免费看| 欧美精品久久| 亚洲无线码一区国产欧美国| 97人人夜| 国产人妻精品久久久一区二区三区 | 国产又粗又长的视频| 粉嫩不卡一区二区性爱| 欧美精品欧美精品系列| 柠檬AV导航| 欧美日韩97| 热久久精品| 乱伦熟妇一区二区| 91欧美性| JULIA一区二区三区在线播放| 性色av一区二区| 亚洲天堂AV在线播放| 久久同城AV| 中字乱伦AV| 九九av| 激情综合网五月婷婷| 99re久久| 男生女生啊啊啊啊| 日韩成人电影AV| 天天干18禁| 色女网日韩| 欧亚性爱在线视频| 天天搞欧美| 亚洲高潮少妇| 国产强奸乱伦xd| 亚洲男人天堂2016| 免费一级视频特黄色大片| 97免费视频在线| 国产久久一区二区三区野外在线| 91 亚洲 欧美 日韩 国产 综合| 亚洲综合伊人| 天天躁日日躁AAAXX| 日本成人在线不卡一区二区三区| 综合91网| 熟妇最新先锋一二三区| 中文字幕精品一区欧美| 亚州五月| 国产美脚女优尤物在线观看| 免费一级视频特黄色大片| 欧美色图欧美| 亚欧美色图| 蜜乳av首页| 亚洲色宗合| 亚洲熟女一区| www.操| 日韩精品永久在线观看| 亚洲人综合19| 夜色97| 精品人妻伦一二三区久久| 色哟哟 日韩精品| 人妻无码一区二区三区久久99| 囯产操逼片| 三级日本一区二区三区| 97亚洲在线| 蜜臀一二三| 99999无码| 操逼视频亚洲| 国产精品无码成人精品| 久操免费观看| 大白逼三四级| 天天综合网~91综合网| 91美腿丝袜在线观看| 欧亚性爱视频免费看| 四虎国产精品永久在线囯在线 | 岛国毛片手机在线观看| 国产久久久久久| 久久久精| 夜夜操夜夜高潮夜夜爽国产精品区| 免费一级毛片在线视频观看| 日韩卡一卡二卡三在线| 日韩欧美成人午夜福利| 久久久人妻| 内射卯月麻衣| 97超视频在线观看| 怡红院怡春院| 农村妇女一级二级三级视频| 尤物一级在线免费观看| 国产网红精品| 屁股久久久久久| 欧美性色欧美| 91综合天天| www.人人摸在线视频| 鸥美极品| 久久久久久久9最新免费视频观看| 97视频网站在线观看| 九九热超碰| 国产视频一区二区免费| 亚欧高清在线| 岛国成人av在线播放网址| 欧美性爱中文字幕无线码| 精品蜜乳AV免费观看| 亚洲天堂精品日韩电影| 国内一级精品| 男人天堂新| 久久久亚洲精品中文字幕人妻| 新精精品久久精品| 60秒免费视频| 人妻内射一区二区在线视频| 青青伊人加勒比海| 日韩亚洲97| WWW美腿丝袜香蕉中文| 欧美亚洲宗合色性图| 天天日天天操VV| 亚洲男人天堂2013| 日本免费一区二区不卡| 91欧美性| 九九九精品一区二区无码| 秋霞福利网| 少妇激情AV| 偷窥自拍亚洲| 亚洲啪啪综合?v一区综合精品区| 不卡中文字幕aⅴ在线| 老外又粗又长一晚做五次| 日韩综合成人免费视频| 国语对白露脸XXXXXX | 亚洲婷婷丁香在线| 少妇一级无码精品| 家庭乱伦性爱av| 一级啊性爱在线视频| 国产激情在线| 人人天天欧洲| 久久精品老司| 久草电影网| 国产精品乱码久久| 国产亚洲精品A在线观看下载| 大二网站亚洲| 欧美黑人精品一区二区| 天天弄天天操| 欧美18禁91| 久久精品中文| 自拍六区| 97超碰站| 成人性爱美曰韩| 婷婷色导航| 东京太热久久久| 亚洲青色欧美| 丰满人妻-区二区三区免费看| 国产精品高潮久久久无码| 中国一级特黄大片护士| 狠狠操狠狠爱| 暖暖精品二区三区观看| 狠狠图片青青草| 大屁股熟女一区二区三区| 日本精品一区二区不卡| 内射小黄片| 91久久99久久91熟女精品| 4141514逼喷水三级片| 黄久在线| 翔田千里A片一区二区| 欧美极度丰满熟妇hd| 偷拍欧美综合| 亚洲熟妇综合久久久久久| dy888午夜老子影视达达兔| 天天操天天干一区二区 | 激情视屏国产乱伦强奸| 日本大片日本一区二区免费高清| 久久久久久波多野吉衣高潮| 精品久久97| 免费αⅴ在线观看| 夜夜爽妓女| 亚州高清AV| 国产又黄又粗又猛大片| 久久久国产成人一区二区三区在线| 四虎影库国产精品免费| 亚洲春色欧美| 亚洲精品第一| 亚洲AV高潮| 91 偷| 成年人黄色小视频网站| 免费看美国人人爽,人人操| 少妇熟女视频一区二区三区| 综合av社区| 少妇超碰在线| 国产在线观看一区二区三区| 人伦四五区| 久久噜噜噜精品国产亚洲综合| 久久专区| 天天爱天天操| 99热在线只有精品| 中文字幕丝袜国产第一页不卡| 麻豆视频test| 久久在肏| 五月大香蕉| 欧美91久久久久| 亚洲熟伦熟妇AV无码春色| 天天爽天天操| 蜜臀99久| 婷婷九月色| 熟妇高潮二区三区| 福利操逼| 不卡码视频| 起碰97| 亚洲人妻av| 九九久精品| 欧美日韩性爱操大逼| 久久久久久中文版| 日韩强奸av| 人妻日日夜夜精品| 国产1024在线播放| 五月天伊人| 美女诱惑久久| 国产精品天美传媒| 日本淫乱女一区二区三区视频| 99热超碰在线| 好爽视频在线观看| 日本三级久| 天天射日日干| 久久97| 欧美激情高清性猛交| 97在线/亚洲| 欧美日韩国内不卡| 99超碰网| 日本三级网页| 999国产精品999久久久久久| 一区二区娱乐网站| 精品人妻15区| 99成人| 久久这里只有精品9| 中文字幕黑人大片| 中文字幕蜜乳av| 日韩无码嘿咻黑热久| 久久久久久久久久9| 精品视频久久久久九九九九9999| av三级电影在线播放| 亚洲中文字幕乱码无码一区二区| 日本精品网站在线中文| 嗯嗯啊好大| 日韩精品 视频一区二区| 呻吟 欧美 日本 中出| 插欧洲美女欧美精品| 91国产丝袜白虎| 久久久一区二区三区四曲免费听| 粉嫩av平台| 国产精品一区二区后入| 中字乱伦AV| 综合久久97| 大香蕉在线免| 日日摸夜夜夜夜爽| 久久99国产精品| 亚洲伊人久久精品狠狠在线| 少妇久久久| 精品乱码久久久久| 久久高清欧美国产| 无码78| 极品内射| 婷婷丁香成人| av网站国产主播在线| 97干综合网| 韩日精品四区| 亚洲熟女性高潮久久久| 欧美姓爱综合网| 亚洲三级网址久久最新| 一区二区三区黄色片a| 免费男人的天堂| 欧美专区第一页| 无码精品一区二区三区潘金莲| 久久男人| 亚洲天堂情色| 色色99| 超碰国产精品久| 96超碰网| 亚洲色图 图片| 色墦五月丁香| 亚洲无码国产探花在线观看| 熟女熟妇伦久久影院毛片一区二区| 日韩精品一二三四| 太久视频| 四虎国产精品永久在线囯在线| 久久精品电影| 国产嫩草精品A88AV在线| 成人福利视频网| 亚洲精品国语在线播放| 欧美淫乱视频| 99.色网| 国产三级中文有码在线视频| 97综合网| 国产一区在线看| 97超碰欧美手机在线| 伊人色综合超碰| 色五月激情网| 免费A V在线播放| 日韩有码 一区二区三区| 中文字幕一区二区三区四五区| 二级久久网| 亚洲成人av色网| 国产树林里野战在线看| 国产一进一出视频网站| 很很操在线| 97天天日| 男人天堂东京热| 91久久国产综合精品| 大香蕉在线视频15| 成人在线日韩| 日本污ww视频网站| 夜嗨影院| 手机在线中文字幕国产| 欧美日韩插逼视频| 国产美女高潮| 亚洲国产精品无石码久久| 亚欧美色图| 伊人久久大香蕉线AV五月天| 亚洲欧洲小说图片视频| 99热精品在线在线| 色情综合| 凸凹视频在线观看| 一块操欧美性爱| 国产 亚洲 丝袜 制服| 亚洲伊人a线观看视频| 国产一区二区三区高清视频| 欧美日韩1234| 欧美亚洲中文| 国产丁香精品露脸视频| 操逼999| 亚洲限制级| 国产精品高潮久久AV| 97久久久精品| 美女毛片999| 欧美伦乱爱| 国产久久一区二区| 久久少妇视频| av一区二区三区四区五区久草臀| 美性中文综合网| 天天综合影院91| 成人天天看站长推荐| 午夜啊啊啊| 一区二区不卡| 久久妇| 少妇精品久久久八区九区| 美女丝袜激情小说| 后入综合久久| 97在线观| 狠狠操,使劲操| se吧提供国产乱老熟视频胖女人| 免费岛国一级片| 无码精品久久| 国产精品自在线发布| 亚洲第一成人影院色播| 婷婷亚洲五月***久久| 国产一区自拍欧美日韩| 日日操丁香五月天| 日本午夜久久电影| 久久黄色网址| 夜精品久无码| 午夜福利区| 加勒比久久av| 超碰九7| 国产精品4p在线观看| 超碰在线观看av不卡| A片 AV一级在线播放观看免费| 色五月综合| 91爱综合| 色 亚洲 91| 亚洲熟女乱综合一区二区在线-...亚洲国产日韩欧美一区二区三区,久久久久久精 | 久久久久久久久久久久久女过产乱-少妇高潮一区二区三区喷水-成人AV | 美女9118禁| 人妻精品免费一二三区| 亚欧日韩成人| 99热在线播放| 日韩在线97| 91精品国| 四虎精品永久在线播放| 精品人妻一区| 午夜婷婷| 中文字幕精品乱码| 蜜臀久久久99久久久久| 亚洲精品国产日韩无码AV永久免| 久久亚洲精品成人av| 欧美人妻二区三区| 国产丝袜高跟美女av免费观看| 欧美激情精品| 亚洲欧美日韩二区视频| 东京热免费视频| 97自拍一区| 亚洲日韩资源| 18禁看网站一区| 天天色综合天天操| 国产一区麻豆免费观看| 天天躁夜夜躁狠狠躁AV| 色图综合| av一区二区三区四区| 日韩黄色一区二区三区| 午夜福利久久久噜久噜久久综合| 欧美色图小说综合| 亚欧毛片基地国产毛片基地| 综合色99| 黑人天8A∨高清网站| 中出91视频| 搡老熟女免费视频| 日韩去日本高清在| 欧美日韩婷婷中文| 91亚洲欧洲| 日韩欧美经典在线观看| 香蕉久久精品| 国产乱子伦一区二区三区在线观看| 国产欧美日韩一区二区三区| 欧美第一页性| 999色欧美中文字幕| 久久精品国产AV一区二区三区| 国产成人网| 欧美激情黑人| 国产专区第一页| n1038 一二三区| 怡春院久久| av一区二区三区 中文| 麻豆国产成人精品| 综合网天天| 久久XX| 久久久三区二区一区| 乱伦一区二区三区‘| 婷婷五月天补不补| 亚洲色综网| 特级特黄一级毛片免费| 熟女自慰久久久| 免费试看60秒| 97久久精品亚洲| 久久久久白虎| 欧亚在线视频| 欧洲自拍色图gif在线| 日本黄色精品专区网站| 日韩中文字幕熟妇人妻| 青青草国产欧美非洲黑人| 爱射综合| 久久精品区| 五月丁香六月激情综合| 中韩中文字幕在线观看| 午夜色婷婷| 久久线上视频免费看| 色婷亚洲五月在线观看| 欧美综合亚洲| 女人高潮大叫一级毛片| 日韩精品一区,二区 九九...老司机| se01国产在线视频| 99精品伊人| jk白丝没脱就开始啪啪| 久久久久久久久久久久欧美日| 超碰人妻天天干| 国产熟女高潮一区二区三区| 国产情侣自拍在线播放| 国语精品av| julia高潮后不停追击中出| 亚洲高清色综合| 伊人久久88国产女| 天天综合网91| 亚洲少妇诱惑| a一区二区三区乱码在线| 亚洲 欧美 小说| 亚洲 自拍偷拍 欧美| 色综合超碰超| av一区二区三区 中文| 欧美人妻熟女在线| 亚洲色五月| 偷拍综合网| 精久久久91| 日韩免费高清大片在线| 日本不卡一区二区三区| 少妇滛荡视频| 69精品| 人妻精品一区二区全免费| 国产精品成人久久一区二区三区| 欧美 日韩 另类 亚洲| 欧美成人A√在线一区二区| 欧美亚洲宗合色性图| 日韩一级免费性爱| 99re99| 精品一久久久| 国产伦乱91| 欧美AB在线| 美女AV一区二区| 性爱av在线免费观看| 人妻少妇精品视频一区二区三区| 三级片大波波| 26UUU欧美激情一区二区| 2020中文字幕在线| 色综合色综合网| 国产白丝精品在线观看| 96久久久精品| 啊啊啊操一区| 色欲Av人妻精品一区二| 亚洲在线观看| 熟妇熟女一区二三区| 久久毛卡| 2017亚洲天堂| 男人的天堂久久狠| 人妻激情偷乱视频一区二区三区 | 超碰超碰超碰超碰的大鸡吧操黑丝袜 | 日天天九九天堂666| 手机不卡视频不卡在线一二三区 | 蜜桃成人1区2区3区| 国产精品久久久久无码A√| 青草伊人网| 久久精品一区| 欧美在线干| 国产操逼视频在线观看| 中国熟妇| 精品中文日韩字幕视频| 欧亚综合一卡二卡中文字幕| 国产欧美日韩一区二区三区| 亚洲自拍97| 加勒比综合九九99视频在线播放| av在线资源| 操逼大黄片| 97色在线视频| 欧美,亚洲,日韩,v,天堂,手机在线观看| 久久久久骚| 手机在线中文字幕国产| av影片在线观看不卡| 久久久三区二区一区| 1区2区3区中文字幕日韩| 五月婷婷啪啪| 中文字幕精品日韩中文字幕| 一区二区视频在看| 91亚洲狠狠色| 日韩精品99久久久久久中文字幕| 啊…啊…操我用力操我| 91呆哥人妻| 思思热在线cao| 欧美日韩插逼视频| 久操97| 99精品九九九九九九| 91精品又粗又猛又爽| 91夜色chaopeng| 亚洲五月婷婷| 在线视频日韩欧美国产| 亚州一区二区成人片免费| 色吧 综合| 东京热双插| 欧美在线亚洲| 蜜臀一二三区| 欧美久久人妻少妇一区二区| 96精品在线| 中文字幕精品资源在线| 日韩国产欧美伦理在线| 亚州综合网| 91老妇女| 一二三四区操操Av| 丁香7月婷婷| 久久久精品久久| 欧美色色人| 97日视频| 日日骚 av| 久久亚洲不卡一区二区三区| 国产suv精品一区二区四| 久久久98网站免费视频| 成人av免费观看| 色小视频蜜乳| 国产激情综合| 婷婷精品视频| 国产精品电影| 综合五月天| 国产精品交换一区二区| 亚洲无套久久嗯嗯| 麻豆精品久久久久久久| 一区二区偷拍拍视频| 超碰97精品在线| 1024亚洲中文字幕久在线看片你懂的| 久久久999日本大片| 欧美78p| 婷婷综合在线观看| 嫩草 人人网精品| 亚洲五区熟女| 久久中文字幕一区不卡| 欧美一二三级精品在线| 手机在线中文字幕国产| 在线啊v一区| 丁香色婷婷| 精品大久久| 麻豆人妻少妇在线免费观看| 日日夜夜草草草| 国产视频第2页| 欧美人妻一区二区| 人人澡人人干| 久久成年片色大黄全免费网站| 69XX一中文字幕人妻91| 人人玩人人添人人澡免费| 亚洲性爱乱操x| 亚洲成人福利电影免费| 亚卅熟女乱色| 天天爽天天爽| 歐美一級亂黃99在綫精品| 入口操逼网站| 色婷婷成人| 九九玖玖精品| 9长久久精品| 久久亚洲日韩熟女精品| 久久狠狠色噜噜狠狠狠狠97| 青娱乐欧美激情一区二区| A片 AV一级在线播放观看免费| www久久99| 99国内精品| 91AV天堂| 久久超碰97| 国产成年女人免费视频播放a| 国产色精品午夜大片| 色久综合| 嗯阿好爽好紧| 国产精品午夜精品| 翔田千里AV无码秘 三区| 在线a v| 91美女丝袜诱惑视频| 久草婷婷| 1024精品在线| 黄色激情电影在线观看| www.zbzhongsen.com| 夜夜夜夜夜夜夜夜夜狠狠狠狠狠狠狠| 国产人妻精品一区二区三区秋霞 | 日韩少妇在线视频| 欧美激情高清性猛交| 日韩中文字幕精品一区在线| 免费操逼视频下载| 992这里有精品| 欧美日韩亚洲高清不卡一区二区三区| 久欲AV| 国产二区三区免费视频| 欧美性爱1080p| 久草久热| 亚州五月| 欧美一区二区福利在线| 97天堂| 中文子幕一二三| 欧美一级黄色免费专区| 丁香九月激情啪| 日韩精品第3页| 一级二级在线观看| 国产亚洲精品第一最新| 亚洲一二三精品久久网| 91天美免费| 操逼啊啊啊91| 日日天天久久啊啊aaa| 亚洲狠狠入| 香蕉热人人精品| 久久婷婷伊人| 97精品在线| 久草精品国产99| 人人色97| 成年在线视频日本亚洲在线视频区精品江靖宇公司| 久久无码一区二区二三区性色| 欧美精品第3页| 久久中久文96| 人妻少妇被猛烈进入中| 美腿色图| 四虎精品一区二区| 亚洲偷拍自拍在线视频| 加勒比五月天| 26uuu国产亚洲综合| 澳门成人网站久国产日韩| 亚洲资源一区| 久9热| 大香蕉中文网| 欧美黄片视频在线观看免费 | 国产欧美日产一区二区三区 - 国产欧美日 | 日韩女优中文字幕| 巨乳特殊服务按摩| 精品国产久热在线观看| 亚洲无限观看| 午夜亚洲国产理论秋霞| 97玖玖人妻| 精品福利| 欧美天天拍| 天美传媒AV在线| 激情五月天网| 夫妻日逼| 中出91| 最新AV在线| 99热综合| 人人妻人人澡人人爽人人精品浪潮| 牛黄色久午久| 日韩综合97P| 国产无马视频| 综合性视频99| 囯产乱伦一区二区三女 | 欧美草草高清日韩视频| 4399成人黄A片| 淫纸中9区| 99热最新网址| 大香蕉在线SuP| 欧美黄片视频在线观看免费| 天天天做天天天爱天天天爽| 91小视频| 五十路熟女在线不卡观看一区二区| 福利视频一区二区微拍| 中日无幕一二三四区| 免费在线看黄片av| 国产传媒美日韩av| 樱花蜜乳av| 超碰久久网| www.色婷婷色综合| 中出欧美| 激情文学 国产一二三aV| 免费αV在线视频| 黑丝91视频| A 在线网址| 操老熟女AV| 国产超碰| 日韩亚洲欧美中文字幕| 色女综合| 淫荡熟女乱伦网| 人妻天天爽夜夜爽2| 九九99久久| 亚洲欧美综合| 黄日韩| 国产无码高清操逼视频| 午夜福利在线合集| 中文字幕在线高清男人的天堂| 大鸡巴久久| 99热日| 狠狠操狠狠爱| 亚洲āv网址在线观看| 免费人人搞97| 日韩AV一起草| 亲子敌伦对白在线播放| 欧美亚洲美少妇一区二区| 免费看日产一区二区三区| 日日摸天天爽夜夜欢| 久久深夜无码| 久久riav中文精品| 亚洲风情在线观看| 久久天天躁日日躁狠狠躁| 国产操偷| 在线不欧美| 国产成人主播| 福利在线黄片| 久久久久九九九九| 欧美体内射精| 欧美超碰9798| 插穴性爱视频在线观看| 五月情色天| 91欧美丨精品丨入口| 超碰狠狠操| 日韩黄色片子| 午夜福利一区二区三区四区五区色婷婷| 亚州国产精品乱| 影音先锋视频在线| 久操97| 蜜臀在线看片| 欧美熟妇乱码在线一区| 人人考人人摸人人干| 国产三级片在线观看| 九九九九免费高| 黄色av一区二区在线| 91视频伊人| 九七超碰人人乐| 日韩精品怡红院| 色狠狠综合噜一二三区| 亚洲国产日韩欧美熟妇在线| 在线观看不卡一区二区三区| 狠狠爱夜夜| 风月影院男女十八禁| 伊人青青一区成人视频在线观看区| 免费av在线播放二区| 国模91| 绯色AV粉色AV蜜臀AV| 天天干美少妇一区| 精品性爱一区二区| 成人无遮挡毛片免费看| 91网站18禁| 拍拍拍拍大尺度黄色三级片拍拍拍拍拍照| 97久久精品国产| 青青草视频久久| 99亚洲天堂| 午夜男女爽爽爽在线视频| 樱花蜜乳av| 无遮挡又黄又刺激的视频| 国产午夜精品一区二区三区牛牛| 是还免费视频1727我| 欧美18禁91| 伊人97超碰| 色婷婷网| A级毛片在线看免费| 青草成人免费视频一com| 久久久无码精品人妻二区 | 伊人久久亚洲色欲综合网站 | 性色高清在线| 久久久人体| www.婷婷六月天| 翔田千里无码一区| 久久久久9999| 欧美黑人熟妇精品91| 亚洲图片 欧美电影| 91男人综合| 很狠操| 日本精品九九九| 激情文学欧美| 裸体女人草逼视频播放一区,二区,三区,四区,五区 | 日本精品中文字幕视频| 天天澡天天狠天天天做| 美女啊啊啊啊啊| 好属操| 超碰91在线| 一区二区高清视频| 男人的天堂 在线一区| 欧美性暴力| 中文字幕乱亚洲美女精品一区| 麻豆黄站| 亚洲清纯唯美| 婷婷另类小说| 亚洲熟女国产综合另类| 精品熟女一区=区三区| 亚 欧 美 综合| 宅男午夜在线视频| 亚洲一区中文字幕久久,果冻传媒一区二区天美传媒 | 午夜福利1区2区3区| 无码动漫av中文字幕| 91P0RNY大屁股人妻| a一区二区三区乱码在线| 日韩欧美大力操| 成年人三级黄色片视频| 日韩色欲久久一二三四区| 脫衣舞一区二区三区| 伊人网综合在线视频| 国产日韩欧美三级片| 九九久久99| 碰碰在线视频| 91在线视频免费中出| 久久综合女优| 久草精品视频| 天天在线91| 视频二区美腿制服人妻欧美| 夜夜春夜夜操| 99热这里只有精品18| 91综合色噜噜| 国产一区免费午夜视频| 波多野42部无码喷潮在线观看| 久久久久免费看少妇A片特黄| 欧美不卡二区| 日本三级韩三级99久久| 精品成人av一区二区三区在线| 涩五月婷婷| 欧美日韩人人精品| 欧美后入视频| 天天日美女的B| 亚洲九九视频| 啊啊啊在线观看| 欧亚性爱在线视频| 亚洲免费人妻在| 欧美特大黄一级片片免费| 天天干天天干天天| 大香蕉十区| 亚洲aw毛茸茸在线| 97国产精品久久久久| 欧美日韩久久精品爱爱| 国产91 丝袜在线播放00-百度| 亚洲熟伦熟妇AV无码春色| 精品中文字幕第一页| 日韩亚洲中文字幕在线| 人妻中文在线| 天天香香欲综合| 日韩中文9| 亚洲精品九九九| 人人干人人操人人爱| 强奸乱伦资源| 91色艳| 中文有码第五页| 国产怡红院在线| 人妻精品免费一二三区| 欧美一区二区观看在线| 综合色图区| 日韩一级二级三级免费看完整版国语版| 超碰97COm中文| 午夜亚洲国产理论秋霞| 国产情侣自拍在线播放| 午夜成人福利影视| 九九九只有精品| 日本加勒比无码专区| 琪琪精品免费一区二区三区| 午夜亚洲WWW湿好大| 亚洲日本韩国在线| 亚洲大色堂| 美女性91| 日韩不卡a级视频专区| 欧美老熟另类| 国产高清不卡视频| 精品美女少妇一区二区| 国产亚洲精品精AV.| 丁香五月激情综合| 无码人妻精品一区二区三区九九| 久久有码视频| 亚洲免费成人在线高清无码视频| 五月激情天| 久久精品人妻一区二区三区| 97超碰磁| ?亚洲伊人伊成久久人综合网| 激情自拍 校园春色| 丝袜狠狠草尤物 91| 免费国产电影一区二区| 欧洲色| 久草成人影片| 中文字幕日韩人妻视频一区二区三区| 国产精品久久9| 亚洲久久久| 国产精品亚洲一区二区三区四区| 诱惑人妻欧美一区在线播放| 久久狠狠色噜噜狠狠狠狠97| 日韩无码成人电影| 啊啊啊啊啊好舒服视频| 国产精品一级毛片不卡视| 日韩精品1区2区中文字幕| 色婷婷五月综合激情中文字幕| 人人插人人搞人人操| 亚洲综合性网址| 日本αv| 96AV精品| 亚洲Av诱惑|