日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

微服務(wù)數(shù)據(jù)依賴癥:拆服務(wù)易,拆數(shù)據(jù)難

微服務(wù)數(shù)據(jù)依賴癥:拆服務(wù)易,拆數(shù)據(jù)難 微服務(wù)進(jìn)階這件事很多人會把它理解成“把應(yīng)用拆開、注冊到注冊中心、走一遍OpenFeign調(diào)用”就算完事了。但真正在線上待過幾年你就會發(fā)現(xiàn)拆服務(wù)從來不是最難的最難的是拆完之后數(shù)據(jù)該怎么辦。服務(wù)之間的數(shù)據(jù)依賴像蜘蛛網(wǎng)一樣纏在一起A服務(wù)查B服務(wù)的庫B服務(wù)等C服務(wù)的數(shù)據(jù)C服務(wù)又回頭依賴A服務(wù)最后誰都不敢動表結(jié)構(gòu)誰改字段誰挨罵。我給這種狀態(tài)起了個(gè)名字叫“微服務(wù)數(shù)據(jù)依賴癥”。這篇文章不聊理論就結(jié)合我自己在一個(gè)訂單域項(xiàng)目里真實(shí)踩過的一次大坑從發(fā)病機(jī)制、排查鏈路到根治方案完整過一遍。如果你所在團(tuán)隊(duì)也經(jīng)常因?yàn)椤安閯e人數(shù)據(jù)”吵架這篇文章值得你花十分鐘看完。1. 一句話診斷什么是“微服務(wù)數(shù)據(jù)依賴癥”1.1 自測清單你的服務(wù)“病”到第幾期了所謂“數(shù)據(jù)依賴癥”本質(zhì)上指的是微服務(wù)拆分之后服務(wù)之間的數(shù)據(jù)訪問關(guān)系沒有跟著服務(wù)邊界一起被切開還在用單體時(shí)代那種“誰能拿到數(shù)據(jù)誰就查”的思路來完成業(yè)務(wù)協(xié)作。接口是分開了數(shù)據(jù)庫卻藕斷絲連服務(wù)是自治了數(shù)據(jù)卻還是大家共享的公共食堂。你可以對照下面這幾個(gè)癥狀給自己團(tuán)隊(duì)打個(gè)分超過兩條基本可以確診階段典型癥狀后果一期輕度某個(gè)服務(wù)偶爾直連另一個(gè)服務(wù)的庫查一張明細(xì)表偶發(fā)耦合還沒形成事故但已經(jīng)在埋雷二期中度一個(gè)詳情查詢接口要串行或并行調(diào)用3個(gè)以上服務(wù)接口P99明顯上升下游一抖動自己先超時(shí)三期重度核心表被多個(gè)服務(wù)同時(shí)讀寫沒有明確的Owner改任何字段都要全組待命線上故障變成每周固定節(jié)目我見過最夸張的一個(gè)場景是訂單服務(wù)接口層面它已經(jīng)是一個(gè)獨(dú)立部署的微服務(wù)了但數(shù)據(jù)層面幾乎退化成了全公司的公共數(shù)據(jù)庫用戶服務(wù)來查訂單量支付服務(wù)來核對金額物流服務(wù)來取收貨地址營銷服務(wù)來判斷是否首單全都直接從訂單庫拉數(shù)。一個(gè)訂單表的讀QPS能到寫QPS的12倍其中將近一半是別的服務(wù)“借數(shù)”借走的。這種狀態(tài)說白了就是用微服務(wù)的殼跑著單體的數(shù)據(jù)邏輯。1.2 反面案例訂單服務(wù)被七個(gè)兄弟服務(wù)輪番“借數(shù)”說一個(gè)我印象特別深的例子。當(dāng)時(shí)我們訂單服務(wù)的核心庫里有訂單主表和訂單明細(xì)表本來只應(yīng)該由訂單服務(wù)自己讀寫。但因?yàn)楦鳂I(yè)務(wù)方都覺得“訂單數(shù)據(jù)是公共資產(chǎn)”于是紛紛找我們要數(shù)據(jù)庫只讀賬號或者要求我們提供查詢接口。到后來訂單服務(wù)一個(gè)月內(nèi)給其他服務(wù)開了七個(gè)調(diào)用入口用戶服務(wù)要統(tǒng)計(jì)用戶累計(jì)訂單數(shù)支付服務(wù)要對賬訂單金額物流服務(wù)要拉取收貨人地址營銷服務(wù)要判斷用戶是否首單用戶數(shù)據(jù)分析平臺要抽訂單明細(xì)做報(bào)表售后要查原始訂單快照連積分服務(wù)都要按訂單金額給用戶發(fā)積分。每個(gè)調(diào)用方來的時(shí)候都是同一套說辭“我們就查一次量不大幫幫忙?!钡懿蛔∑邨l鏈路疊加在一起訂單服務(wù)每天光處理這些“別人的查詢”就要消耗掉一大半的數(shù)據(jù)庫連接池資源。更致命的是訂單服務(wù)自己的核心鏈路過一段時(shí)間就會因?yàn)橄掠畏?wù)頻繁變更接口而跟著發(fā)版本質(zhì)上已經(jīng)被這些數(shù)據(jù)依賴綁架了。這個(gè)案例里最諷刺的地方在于業(yè)務(wù)架構(gòu)圖上每個(gè)服務(wù)都是獨(dú)立的框但真實(shí)的數(shù)據(jù)流一畫出來完全是一張密密麻麻的蛛網(wǎng)。我當(dāng)時(shí)就跟團(tuán)隊(duì)說這不是微服務(wù)這是“人人為我而我沒人可求”的共享數(shù)據(jù)庫服務(wù)化。要想治這個(gè)病得先搞清楚它的根在哪。2. 病灶根源為什么微服務(wù)拆著拆著就成了數(shù)據(jù)麻花2.1 只拆應(yīng)用、不拆數(shù)據(jù)庫的“偽微服務(wù)”數(shù)據(jù)依賴癥最直接的病根就是數(shù)據(jù)庫沒有跟著服務(wù)一起拆。很多團(tuán)隊(duì)為了控制風(fēng)險(xiǎn)第一步只把Spring Boot應(yīng)用拆成多個(gè)服務(wù)數(shù)據(jù)庫仍然共用一個(gè)MySQL大庫。所有服務(wù)連的是同一個(gè)實(shí)例只是通過不同的schema或不同的表名來區(qū)分歸屬。這個(gè)模式運(yùn)行起來特別順暢服務(wù)A可以直接SQL join服務(wù)B的表服務(wù)B想要服務(wù)A的數(shù)據(jù)也不用調(diào)接口直接查就行。表面上每個(gè)服務(wù)都是獨(dú)立部署的代碼倉庫也分開了但數(shù)據(jù)邊界形同虛設(shè)。一旦幾十個(gè)服務(wù)共享上百張表加一列索引都可能引發(fā)跨服務(wù)的鎖等待改一個(gè)字段的類型就可能讓不知道哪個(gè)角落里寫SQL的服務(wù)直接報(bào)錯(cuò)。所以我的第一個(gè)判斷是要治病第一步永遠(yuǎn)是“數(shù)據(jù)跟著服務(wù)走”。每個(gè)服務(wù)必須擁有自己獨(dú)立的庫至少是獨(dú)立的schema其他服務(wù)想拿數(shù)據(jù)物理上就沒有直連通道。這個(gè)前提不落地后面所有治理動作都是空中樓閣。2.2 領(lǐng)域邊界模糊以為拆了服務(wù)其實(shí)沒拆業(yè)務(wù)第二個(gè)病根是領(lǐng)域邊界模糊。拆服務(wù)這件事正確的姿勢是按業(yè)務(wù)能力拆而不是按技術(shù)功能拆。但很多團(tuán)隊(duì)在劃分服務(wù)時(shí)習(xí)慣性地把“用戶”“訂單”“商品”這些詞直接搬過來用卻沒有仔細(xì)想清楚用戶信息到底歸用戶服務(wù)管還是訂單服務(wù)也需要一份真正屬于自己的用戶數(shù)據(jù)這里最大的坑是“同名實(shí)異”。用戶服務(wù)里的“用戶”是一個(gè)包含賬號、等級、手機(jī)號的完整實(shí)體訂單服務(wù)里的“用戶”其實(shí)只需要ID、昵稱、收貨地址這幾個(gè)快照字段營銷服務(wù)眼里的“用戶”又是另一套畫像數(shù)據(jù)。三者都叫user各自持久化但語義完全不同。問題就出在當(dāng)一個(gè)服務(wù)發(fā)現(xiàn)自己手里的“用戶數(shù)據(jù)”不夠用時(shí)它不是去訂閱事件、同步副本而是直接RPC到用戶服務(wù)實(shí)時(shí)查。一次兩次還能接受時(shí)間一長所有服務(wù)都把用戶服務(wù)當(dāng)成“公共用戶中心”數(shù)據(jù)依賴癥就從偶發(fā)變成了日常。所以要破解這個(gè)病灶必須確立“單一事實(shí)源”原則每一份數(shù)據(jù)只能有一個(gè)Owner服務(wù)其他服務(wù)需要時(shí)要么調(diào)Owner的API要么通過事件拿到副本但永遠(yuǎn)不能讓兩個(gè)服務(wù)同時(shí)擁有同一個(gè)數(shù)據(jù)的寫入權(quán)。否則數(shù)據(jù)不一致了連該怪誰都說不清楚。2.3 康威定律在助攻協(xié)作機(jī)制也在推著系統(tǒng)走向耦合第三個(gè)病根很多人沒意識到是組織協(xié)作機(jī)制在反向推著系統(tǒng)走向數(shù)據(jù)耦合??低烧f系統(tǒng)架構(gòu)最終會趨同于組織的溝通結(jié)構(gòu)。現(xiàn)實(shí)中我見過這樣的場景業(yè)務(wù)方半個(gè)月內(nèi)要上線一個(gè)活動等不到訂單服務(wù)的排期于是提了一個(gè)“臨時(shí)需求”——直接給數(shù)據(jù)庫開一個(gè)只讀賬號?!熬瓦@一個(gè)活動兩個(gè)星期就下線?!苯Y(jié)果這個(gè)“臨時(shí)賬號”在訂單庫里活了兩年期間被七個(gè)小組用過。還有一種是接口版本失控。訂單服務(wù)對外提供的查詢接口經(jīng)常因?yàn)閮?nèi)部優(yōu)化調(diào)整字段調(diào)用方跟不上節(jié)奏就容易“另辟蹊徑”——繞過接口直接連庫拉數(shù)。這看起來是技術(shù)問題本質(zhì)上契約管理缺位數(shù)據(jù)提供方?jīng)]有穩(wěn)定承諾數(shù)據(jù)消費(fèi)方?jīng)]有約束機(jī)制。這一點(diǎn)我會在第五章專門展開。這里先記住一個(gè)結(jié)論數(shù)據(jù)依賴癥不單是技術(shù)問題它一定夾雜著團(tuán)隊(duì)協(xié)作、契約管理和架構(gòu)紀(jì)律的問題。只靠修代碼是修不干凈的。3. 從P99飆升到超時(shí)雪崩一次跨服務(wù)數(shù)據(jù)依賴事故的完整排查鏈路3.1 現(xiàn)象詳情接口P99從80ms飆到3s錯(cuò)誤率跟著起飛理論說再多不如一個(gè)真實(shí)事故有說服力。那次事故發(fā)生在周二晚高峰訂單詳情接口的P99從平時(shí)的80ms左右飆到3s以上接口錯(cuò)誤率從0.1%漲到8%。訂單詳情是App首頁的必經(jīng)接口用戶點(diǎn)開任何一單都要經(jīng)過它所以很快引起了客服側(cè)反饋。我們的第一反應(yīng)是看資源監(jiān)控訂單服務(wù)的CPU、內(nèi)存、磁盤IO、網(wǎng)絡(luò)全部正常沒有任何資源瓶頸。當(dāng)時(shí)值班同事還懷疑是中間件抖動先把訂單服務(wù)節(jié)點(diǎn)快速重啟了一輪。重啟之后確實(shí)緩了十來分鐘但很快P99又一次拉滿而且報(bào)警群里開始刷OpenFeign調(diào)用用戶服務(wù)和商品服務(wù)的超時(shí)異常。這里有個(gè)經(jīng)驗(yàn)可以分享遇到接口變慢先不要急著重啟節(jié)點(diǎn)。重啟只能清掉“已堆積的線程”但只要你代碼里的依賴關(guān)系還是錯(cuò)的請求一進(jìn)來線程池照樣會再次被打滿。那次重啟沒有解決任何實(shí)際問題只是幫我們把“這是個(gè)代碼問題”這個(gè)事實(shí)確認(rèn)得更清楚了。3.2 排查第一輪資源全沒事問題指向線程池重啟無效之后我們開始翻線程池。一查Tomcat線程池發(fā)現(xiàn)線程數(shù)已經(jīng)頂?shù)?00的上限大量新請求在隊(duì)列里排隊(duì)。這不是流量浪涌而是線程被某個(gè)遠(yuǎn)程調(diào)用“粘住”了。我們馬上抓了一個(gè)線程dump看到線程棧幾乎都停在同一個(gè)地方UserServiceClient.getUserById()。而且更讓人頭大的是這個(gè)方法是在一個(gè)for循環(huán)里被調(diào)用的。什么意思呢一個(gè)訂單帶10個(gè)商品SKU代碼就會循環(huán)調(diào)用10次商品服務(wù)RPC再去用戶服務(wù)拉一次頭像昵稱單是詳情頁一次請求就產(chǎn)生了11次同步RPC調(diào)用。正常來說Tomcat有200個(gè)線程每個(gè)請求就算慢一點(diǎn)200個(gè)并發(fā)也夠扛。但問題是每個(gè)請求都要同步等這11次RPC而下游用戶服務(wù)當(dāng)時(shí)剛好在做滾動發(fā)布大約5%的請求會變慢到兩三秒。這5%的慢請求經(jīng)過線程池排隊(duì)機(jī)制一放大直接把可用線程全部占滿最終表現(xiàn)就是誰來了都超時(shí)整個(gè)訂單詳情接口雪崩。那次排查給我的感覺是雪崩發(fā)生時(shí)上游不一定是掛了它就是慢了那么一點(diǎn)點(diǎn)但只要你把那么多同步依賴串在自己的核心路徑上慢請求就一定會被放大成系統(tǒng)級故障。3.3 鏈路追蹤找到藏了半年的“幽靈回源”確認(rèn)線程池被打滿之后我們立刻開了全鏈路追蹤當(dāng)時(shí)用的是SkyWalking把訂單詳情接口的完整調(diào)用鏈拉出來看。不看不知道一看嚇一跳。一個(gè)訂單詳情trace里包含了訂單服務(wù) - 用戶服務(wù) getUserById平均耗時(shí)120ms最慢達(dá)到2.8s訂單服務(wù) - 商品服務(wù) getProductById循環(huán)調(diào)用10次累計(jì)耗時(shí)超過500ms訂單服務(wù) - 物流服務(wù) getLogisticsByOrderId平均耗時(shí)80ms也就是說所謂“訂單詳情查詢”訂單服務(wù)自己只執(zhí)行了一次本地訂單表查詢其余時(shí)間全部在等下游的13次RPC。這種依賴關(guān)系平時(shí)是隱形的因?yàn)橄掠味己芊€(wěn)定QPS也不高大家根本感知不到。可一旦下游哪個(gè)服務(wù)抖一下這個(gè)隱藏的同步依賴就會變成事故放大器。我們內(nèi)部把這種“表面上是查詳情、實(shí)際上背了一身遠(yuǎn)程調(diào)用”的代碼稱為“幽靈回源”。它不在架構(gòu)圖里不在設(shè)計(jì)文檔里可能就是一個(gè)半年前“為了補(bǔ)個(gè)昵稱字段”留下來的邏輯但它在生產(chǎn)環(huán)境里就是一顆定時(shí)炸彈。3.4 止血與根解先恢復(fù)再給數(shù)據(jù)依賴叫停事故的臨時(shí)止血動作相對簡單我們分了三步走第一步給所有遠(yuǎn)程調(diào)用加超時(shí)。連接超時(shí)200ms讀取超時(shí)500ms絕不允許一個(gè)下游請求無限期掛住上游線程。第二步用Sentinel對用戶服務(wù)、商品服務(wù)的調(diào)用做熔斷降級。我們當(dāng)時(shí)給OpenFeign接口包了一層SentinelResource配置了異常比例熔斷規(guī)則一旦失敗比例超過閾值就快速失敗直接返回兜底值用戶昵稱顯示“用戶已注銷”商品圖片顯示占位圖。第三步訂單詳情接口改為優(yōu)先讀本地緩存即使緩存沒有命中也不允許在核心鏈路上做同步RPC補(bǔ)全。這三步做完P(guān)99立刻降回120ms以內(nèi)錯(cuò)誤率歸零。但所有人都清楚這只是止血不是治病。緩存兜底只是讓故障不再快速傳播而“詳情頁為什么要去用戶服務(wù)拉昵稱、去商品服務(wù)拉圖片”這個(gè)問題才是真正要解決的數(shù)據(jù)依賴癥。從我的經(jīng)驗(yàn)來說止血和根治必須分開對待。線上事故面前先恢復(fù)業(yè)務(wù)永遠(yuǎn)是對的但恢復(fù)之后如果不把依賴關(guān)系切斷同樣的事故一定會改頭換面再來一次。4. 切斷依賴鏈的四種實(shí)戰(zhàn)解藥4.1 數(shù)據(jù)冗余加異步同步用空間換解耦事故之后我們做的第一件事就是給訂單詳情頁建了一張“訂單展示寬表”。核心思路很簡單把需要跨服務(wù)實(shí)時(shí)查詢的數(shù)據(jù)變成訂單服務(wù)自己擁有的副本。用戶昵稱、頭像、商品名稱、商品圖片、物流狀態(tài)全都冗余到寬表里。具體流程是這樣設(shè)計(jì)的訂單服務(wù)在自己的事務(wù)內(nèi)寫入訂單主表和明細(xì)表同時(shí)發(fā)送“訂單創(chuàng)建”領(lǐng)域事件監(jiān)聽用戶信息變更事件的消費(fèi)者異步更新寬表里的昵稱、頭像字段監(jiān)聽商品信息變更事件的消費(fèi)者異步更新寬表里的商品名、圖片字段物流狀態(tài)由物流服務(wù)在狀態(tài)變更時(shí)推送消息訂單服務(wù)消費(fèi)后更新這套方案落地后訂單詳情頁的查詢就變成了純本地查詢不再有任何RPC。空間換解耦代價(jià)是寬表字段變多、同步鏈路變長但換來的是核心鏈路徹底穩(wěn)定。這里有三個(gè)坑必須提醒一是冗余字段必須明確“只讀”寫操作永遠(yuǎn)走事實(shí)源服務(wù)二是消息消費(fèi)要做冪等重復(fù)投遞不能造成數(shù)據(jù)錯(cuò)亂三是必須配定時(shí)對賬任務(wù)防止消息丟失導(dǎo)致寬表數(shù)據(jù)陳舊。沒有對賬機(jī)制的異步同步本質(zhì)上是在用另一個(gè)隱患換當(dāng)前的隱患。4.2 事件驅(qū)動把“我查你”變成“你推給我”如果你的場景冗余不太夠另一個(gè)解法是事件驅(qū)動。思路是一個(gè)服務(wù)不應(yīng)該頻繁去查詢別的服務(wù)的數(shù)據(jù)事實(shí)源服務(wù)應(yīng)該在數(shù)據(jù)變化時(shí)主動發(fā)布領(lǐng)域事件其他服務(wù)按需訂閱各自更新自己的副本。比如訂單創(chuàng)建完成后訂單服務(wù)向MQ發(fā)送一個(gè)事件事件體大概是這樣的{ eventId: 0b7f3e6a-8d4f-4e1a-9c6d-2e8f1a4b5c6d, eventType: ORDER_CREATED, timestamp: 1700000000000, payload: { orderId: 10001, userId: 8888, totalAmount: 199.00, items: [ {productId: P001, skuId: SKU001, quantity: 2, price: 99.50} ] } }消費(fèi)方收到ORDER_CREATED事件后把訂單ID、金額、商品快照寫入自己的讀模型或緩存。這樣原來下單后“你去訂單服務(wù)查一下”的邏輯變成了“訂單服務(wù)主動告訴你”。調(diào)用鏈從同步變異步任何一個(gè)服務(wù)抖動都不會拖垮另一個(gè)服務(wù)。代價(jià)也很明顯系統(tǒng)變成最終一致。某個(gè)瞬間營銷服務(wù)看到的訂單數(shù)據(jù)可能不是最新的。但大多數(shù)業(yè)務(wù)場景比如展示、統(tǒng)計(jì)、風(fēng)控特征提取天然是接受最終一致的。設(shè)計(jì)的時(shí)候要特別注意消費(fèi)冪等和亂序處理尤其要區(qū)分“消息ID冪等”和“業(yè)務(wù)冪等”比如下單事件冪等鍵應(yīng)該用業(yè)務(wù)訂單號而不是消息ID否則重復(fù)投遞會造出兩份重復(fù)的統(tǒng)計(jì)記錄。4.3 CQRS與查詢側(cè)獨(dú)立讓讀模型不再綁架業(yè)務(wù)服務(wù)第三種解法針對的是那種“查詢場景特別復(fù)雜、導(dǎo)致服務(wù)被迫暴露大量接口”的情況。很多數(shù)據(jù)依賴其實(shí)不是直接連庫而是業(yè)務(wù)方要求提供五花八門的查詢接口訂單服務(wù)為了應(yīng)付這些查詢把自己整成了一個(gè)“報(bào)表中心”。對于這種讀多寫少、查詢維度復(fù)雜的場景我會用CQRS的思路讓查詢側(cè)獨(dú)立出來。做法是業(yè)務(wù)服務(wù)正常寫自己的庫通過CDC組件Canal訂閱MySQL binlog或者Debezium訂閱PostgreSQL的WAL把數(shù)據(jù)變更同步到一個(gè)獨(dú)立的查詢庫或者Elasticsearch。所有復(fù)雜查詢、組合篩選都打到這里業(yè)務(wù)服務(wù)數(shù)據(jù)庫只承擔(dān)核心增刪改。這么做有兩個(gè)實(shí)實(shí)在在的好處。第一業(yè)務(wù)服務(wù)的數(shù)據(jù)邊界終于可以收緊別人再也不會因?yàn)椤拔乙瓷唐肪S度查訂單”來打擾核心鏈路。第二查詢側(cè)的索引結(jié)構(gòu)可以完全獨(dú)立設(shè)計(jì)不用遷就業(yè)務(wù)表之前讓人頭疼的復(fù)雜慢查詢也順勢解決了。需要提醒的是CQRS的復(fù)雜度明顯高于普通分層還要專門維護(hù)CDC的穩(wěn)定性它不是銀彈。但如果你的服務(wù)已經(jīng)出現(xiàn)了“為了一個(gè)報(bào)表功能被迫加一堆接口”的癥狀它是一個(gè)非常值得考慮的根治方向。4.4 分布式事務(wù)的選擇別一上來就上Seata講到跨服務(wù)寫數(shù)據(jù)很多人的第一反應(yīng)是上Seata。在這里我要潑一盆冷水大部分跨服務(wù)寫數(shù)據(jù)需要解決的問題根本用不上分布式事務(wù)。比如“下單同時(shí)扣庫存”很多人覺得這是強(qiáng)一致需求必須Seata。但實(shí)際上用“本地消息表異步消息”就能實(shí)現(xiàn)可靠的最終一致訂單服務(wù)在本地事務(wù)里寫訂單同時(shí)往本地消息表插一條待發(fā)送消息后臺任務(wù)掃描消息表把消息可靠投遞到MQ庫存服務(wù)消費(fèi)消息執(zhí)行扣減。因?yàn)橛唵螖?shù)據(jù)和待發(fā)消息在同一個(gè)本地事務(wù)里要么一起提交、要么一起回滾根本不存在“訂單提交了消息沒發(fā)出”的中間狀態(tài)所以數(shù)據(jù)最終一定是一致的。我整理了一張跨服務(wù)寫數(shù)據(jù)的方案對比表方便你選型方案一致性復(fù)雜度適用場景本地消息表 MQ最終一致中大多數(shù)跨服務(wù)寫推薦首選Seata AT模式強(qiáng)一致高短事務(wù)、低并發(fā)、跨庫寫必須強(qiáng)一致TCC強(qiáng)一致很高需要業(yè)務(wù)層顯示補(bǔ)償?shù)膹?fù)雜場景Outbox模式最終一致中高需要可靠事件流的核心業(yè)務(wù)域我見過太多團(tuán)隊(duì)一上來就給每個(gè)跨服務(wù)寫操作配Seata結(jié)果一個(gè)月之后因?yàn)槿宙i沖突頻繁整個(gè)下單成功率下降又灰頭土臉地把Seata摘掉。正確順序永遠(yuǎn)是先用最終一致真的不滿足業(yè)務(wù)約束再由架構(gòu)組評審是否需要強(qiáng)一致。直接用Seata解決一切問題跟用一把牛刀切所有菜一樣看著專業(yè)實(shí)際上處處別扭。5. 防止復(fù)發(fā)用“數(shù)據(jù)所有權(quán)評審”把依賴關(guān)進(jìn)籠子5.1 畫一張服務(wù)-數(shù)據(jù)歸屬矩陣解藥再多如果不建立長效機(jī)制數(shù)據(jù)依賴癥遲早復(fù)發(fā)。我們團(tuán)隊(duì)在根治階段做的最重要的一件事就是畫了一張“服務(wù)-數(shù)據(jù)歸屬矩陣”。矩陣的行是服務(wù)列是數(shù)據(jù)域單元格里填三種關(guān)系之一Owner表示該服務(wù)是這份數(shù)據(jù)唯一的事實(shí)源Reader表示該服務(wù)只允許持有只讀副本Denied表示禁止直接訪問。一個(gè)簡化的例子數(shù)據(jù)域 / 服務(wù)訂單服務(wù)用戶服務(wù)物流服務(wù)訂單數(shù)據(jù)OwnerDeniedReader副本用戶基礎(chǔ)信息Reader副本OwnerDenied物流單數(shù)據(jù)DeniedDeniedOwner每個(gè)新表、每次新的跨服務(wù)數(shù)據(jù)訪問都要拿這張矩陣來過評審。沒有Owner的僵尸表要清理。矩陣?yán)锩髅鳂?biāo)著Denied卻有人在代碼里偷偷訪問的要拉閘整改。數(shù)據(jù)邊界一旦變成白紙黑字的架構(gòu)資產(chǎn)就不再依賴某幾個(gè)人記住了。這個(gè)矩陣不需要做成很復(fù)雜的系統(tǒng)開始用Excel或者Wiki表格都行但一定要強(qiáng)制所有服務(wù)負(fù)責(zé)人更新。半年之后你會發(fā)現(xiàn)它能幫你在一分鐘里回答一個(gè)此前需要開會才能確認(rèn)的問題“到底哪些服務(wù)在讀寫我的庫”5.2 用ArchUnit把“禁止跨服務(wù)查庫”變成CI紅線矩陣是管理制度但光靠制度管不住代碼。我們當(dāng)時(shí)的下一步是把這個(gè)約束固化到自動化檢查里。既然最核心的紅線是“禁止跨服務(wù)訪問Mapper/Repository”那就直接用ArchUnit在測試階段把鏈路斷掉。簡單示例AnalyzeClasses(packages com.example.order) public class DataOwnershipTest { Test void 禁止訂單服務(wù)使用用戶服務(wù)的Mapper() { JavaClasses classes new ClassFileImporter().importPackages(com.example.order.api); ArchRule rule noClasses() .should().dependOnClassesThat().resideInAPackage(com.example.user.mapper..) .because(用戶服務(wù)的數(shù)據(jù)只能通過用戶服務(wù)API訪問禁止跨服務(wù)直連數(shù)據(jù)庫); rule.check(classes); } }這段代碼的作用是在CI階段掃描訂單服務(wù)模塊一旦發(fā)現(xiàn)代碼里引用了用戶服務(wù)Mapper包下的類構(gòu)建直接失敗根本走不到代碼評審環(huán)節(jié)。ArchRule還可以配合配置中心掃描“連接串是否指向了別人的數(shù)據(jù)源”這種更隱蔽的違規(guī)。我個(gè)人的體驗(yàn)是這類自動化守護(hù)規(guī)則的價(jià)值在于“消滅例外”。代碼評審本質(zhì)上靠人盯人總有漏網(wǎng)之魚但CI紅線不存在疲勞問題每一次提交它都會嚴(yán)格審查數(shù)據(jù)訪問邊界。新的團(tuán)隊(duì)成員進(jìn)來也會被這條紅線直接教育到位。5.3 數(shù)據(jù)消費(fèi)者契約讓依賴從潛規(guī)則變成明規(guī)則最后一項(xiàng)治理措施是數(shù)據(jù)消費(fèi)者契約。所有跨服務(wù)的數(shù)據(jù)訪問都必須走提供方正式發(fā)布的契約而不是“找DBA開個(gè)賬號就能查”。契約分兩類。一類是查詢API契約用OpenAPI定義接口、參數(shù)、限流閾值和調(diào)用協(xié)議另一類是事件契約比如RocketMQ的Topic規(guī)范、事件payload的版本號、上線通知機(jī)制。消費(fèi)者只依賴契約不依賴提供方內(nèi)部實(shí)現(xiàn)。提供方做契約變更要遵守兼容性原則字段只增不改不刪先灰度后全量如果確實(shí)要做破壞性變更至少提前兩個(gè)版本周期通知所有訂閱方。這一條乍看是流程制度但恰恰是治本的。數(shù)據(jù)依賴癥的病根一半在技術(shù)、一半在管理把數(shù)據(jù)訪問納入了契約管理就等于在“臨時(shí)想查就查”的沖動前面攔了一道硬性閘門。我們當(dāng)時(shí)把這條規(guī)則更新到研發(fā)規(guī)范里之后跨服務(wù)直連數(shù)據(jù)庫的新增案例基本清零。最后說點(diǎn)個(gè)人體會。把這個(gè)病徹底治過來我們前后花了一個(gè)多季度代碼改動量說實(shí)話并不大最費(fèi)勁的是讓整個(gè)團(tuán)隊(duì)接受“數(shù)據(jù)是有邊界的”這個(gè)觀念?,F(xiàn)在每次新服務(wù)上線或者老服務(wù)重構(gòu)我都會先問三個(gè)問題這個(gè)服務(wù)的數(shù)據(jù)庫有幾個(gè)其他服務(wù)在連它一條核心鏈路上要RPC查幾個(gè)服務(wù)的數(shù)據(jù)這些數(shù)據(jù)依賴有沒有契約、有沒有兜底如果你發(fā)現(xiàn)答案全是“數(shù)不清、沒想過、不知道”那基本可以確診了。數(shù)據(jù)依賴癥這東西越拖越貴越早治越輕松。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
熟妇最新先锋一二三区| 精品少妇一区二区三区免费观看| 免费亚洲国产精品久久一区| 九九热精品视频在线观看| 永久免费观看的毛片的网站| 色天堂综合| 日本在线播放不卡一区| 可免费观看的av毛片中日美韩| 大香蕉国产中文自拍| 蜜桃av综合网发布| 可以在线观看的黄色网址| 美女骚尻视频| 肉丝无码中文高清| 久久影视二区三区行押| 日韩免费高清大片在线| 丝袜性亚洲| 黄色大香焦1级‘′‘| www欧美91| 久久做97| 91原创在线观看| 嫩草一区二区在线观看| 国产毛片片精品天天看视频| 一级性爱视频免费观看| 三级日本一区二区三区| 亚洲综合 欧美| 欧州色图区| 亚洲精品天堂久久A∨51成人漫| 无码天堂| 亚洲激情视频| 欧美 日韩第一性色| 99青青草国产视频| 宗合情欲网| 综合色色网| 色色福利| 欧美日韩性爱精品| 韩国一级婬片A片AAAAA| 人妻久热在线| 欧美色997| 天天亚洲综合| 丝袜美女诱惑 91 视频| 久久久久网站-538在线视频-欧美永久乱码 | 亚洲色婷婷久久91| 另类图片五月| 免费观看性欧美一级| 日韩av女优在线免费一区| 欧姜老司机| 丁香五月天婷婷姐| 欧美 亚洲 综合 制服 另类| 欧美日本一区二区a人| 中国的操老妇女| 夜夜草网站| 78精品| 99久久com免费视频′| 射久久| 另类亚洲图色| 91n处女在线观看| 小骚逼被操的爽不爽| 亚洲美女 晚间男人天堂| 久久做97| 老熟女综合网| 亚洲人妻五月丁香婷婷| 久久久久久久亚洲Av无码| 五月丁香六月综合缴清无码| 国产精品 久久久精品一牛| 日韩pv中文| 免费观看国产不卡av| 久久精品国产97欧美精品亚洲 | 国产黄色视频久久| 九九精品99| 国产中文日韩欧美一区二区三区人妻丝袜美腿| 久久ww| 中国AAAAAA黄色片| 国语精品av| 久草视频制服诱惑| 国产亚洲一黄| 影音先锋乱| 日本成熟少妇A∨网站| 亚洲欧美碰碰| 干B| 三级网色| 久久午夜鲁丝片| 中文字幕欧美日本乱码一线二线 | 日韩天天综合| 97精品97| 欧美精品成人亚洲| 九九aV| 囯产精品久久久久久久久久梁医生 | 婷婷激情五月天小说网| 久久永久无码人妻视频| 久久九九久精品国产尤物|国产精品爽黄69天堂A片潘金莲,国产亚洲精品第一综合 | 99久久久无码精品国产人| 97精品一区| xxx亚洲午夜天堂| 亚洲偷拍自拍在线视频| 人人摸人人摸人人干| 国内偷拍精品一区二区| 日本欧美不卡| 嗯~啊~轻一点 视频| 999熟女精品| 蜜桃传媒一区二区亚洲| 九九人人操| 亚洲成人久久一区二区| 熟妇的味道HD中文字幕| 五月天久久综合网| 久久人妻四季| 天天做天天爱| 五月婷婷六月激情| 日本三级韩国三级99| 久精品无码av一区二免费国产在线观看| 2021国产成人精品久久| 另类亚洲一区二区三区| 老司机深夜18禁污污网站| 97视频播放| 综合亚洲欧美| 免费视频一二三区| 久久激情婷婷| 亚洲图片另类| 国产高清MV操逼视频| 欧美天堂日韩三级国产传媒| 亚洲精品男人的天堂| 亚洲精品成人激情在线| 亚洲人妻中文高清| 人人透人人操| 天美国产精品| 中文久久96| 四虎免费视频| 女人香蕉久久毛毛片精品| 撸无码不卡免费视频| 自拍第一页| 成人欧美日超碰| 日日噜噜夜夜久久亚洲一区二区 | 天综合网欧美| 天天草AV| 在线五区| 91天堂网| 国产精品网址| 99久久99九九99九九九| 婷婷综合久久| 免费农村成人少妇人妻Aa一区二区视频| 天天拍夜夜| 日韩欧美麻豆 | 九九亚洲| 熟女乱伦A| 一区二区三区 日韩欧美| 国产亚洲精品激情| 91超碰人人操| 欧美性色综合网| 91AV天堂| 色97干| 91美女在线观看| 国产丝袜欧美在线视频| 91人妻中文| 91麻豆va国产精品| 亚洲精品一二区| 影音先锋乱| 国产 丝袜 欧美中文 另类| 99日韩| 国产精品久久久久久夜夜夜| www.av不卡中文字幕| 深爱伊人影院| 亚洲 欧美 偷拍 唯美| 亞洲久久直播| 日本999精品| 天天做日日做| 99热精品在线观看| 日韩av不卡在线观看| 久操网视频| 亚洲天堂无码| 中文字幕制服欧美久久一区| 久久精品成人| 丰满少妇乱子伦精品无| 国产精品午夜福利亚洲综合网| 日本在线观看网址| 五月天激情小说| 久久国99999| 鸥美中出| 成人性爱电影网| 操b网站亚洲无码| 天天干夜夜肏| 日日噜噜夜夜狠狠视频无| 99日韩| 精品二区三四区五电影 | 综合熟妇一区二区三区| 少妇与黑人高潮在线| 黄色av片三级三级三级免费看| 色偷偷综合91久久噜噜| 宅男91视频在线播放| 国产偷拍自拍在线视频| 一类av片在线看| 国产精品99久久久www| 国产视频一区二区三区久久亚洲天堂| 变态综合色| 强奸乱伦av电影| 亚洲色资源| 日产国产精品中文久久婷婷| 屁股久久久久久久久久| 99热在线播放| 日韩一级欧美一级国产一级台湾| 尹人大香蕉视频在线| 欧美国产操逼| 丰满高潮18xxxx| 四虎视频在线观看| 国产精品ⅴ无码大片在线看.| 91 天天综合| 亚洲丝袜色图| 天堂亚洲精品久久老牛| 免费成人在线熟妇网| 天天碰操中国年青熟妇| 91 国产丝袜在线放观看 | 夜夜夜夜久久久久| 日韩欧美女求操每天更新| 色噜噜狠狠色综无码久久合欧美| 色色香蕉| 啊啊啊好舒服视频在线观看| 家庭乱伦性爱av| 欧美韩国你懂得在线 | 国产精品老熟女一区二区| 久久成人午夜狠狠| 日韩成人性爱AV| 国产视频大全| 黑人无码一区二区| 久久激情四射婷婷丁香五月天| 欧美强奸乱能| 青青青草原| 99精品成人免费看| 草草电影院| 大鸡巴久久| 亚洲欧美91√| 大香交| 曰本道人妻久久久在线不卡色视频| 激情亚洲天堂| 使劲用力艹少妇视频一区二区| 久久久婷| 自拍丝袜美腿人妻| 尹人免费观看视频在线| 国产一区二区三区久久精品太古里| 天天躁日日躁xxxxx| www. 男人天堂成人在线| 亚州AV无码国产精品| 中国黄色特级精品一区二区三区片| 美女诱惑爱爱| 青青青国产手线观看视频2| 超碰综合色| 亚洲强奸乱伦影视网| 噜噜噜亚洲精| 最新AVzaixian| 加勒比综合| 日日黄色三级网站| 久久九九网| 中文一区二区三区影院| 鸥美极品| 九九九九九九综合| 日韩高潮一区| 激情综合网五月婷婷五月天| 日韩99999| 男人的天堂成人的社区| 粉嫩绯色AV一区二区在线| 97国产精品久久久久| 九九亚洲| 国产精品免费日韩| 少妇一区二区三区| 老熟妇一区二区三区| 中文字幕亚洲永久精品| 欧洲自拍第一页| 色性综合| 夜夜 中文视频rt| 五月丁香社区婷婷日韩欧美精品影院 | 九九九一二三| 日本熟妇精品九九| 久久久久久久九九九九九九| 青青操狠狠撩| 性爱乱伦视频免费| 少妇久久久久久久久| 96久久久精品| 9精品在线| 97超碰色五月| 丁香六月婷婷久久综合| 日韩免费看黄片| 人人模人人看| 日夜伊人网| com 首页 18岁 禁区 女优 免费 精选 同城 | 91精品久久久久久77777| 猛猛干| 青青草原av| 欧美性爱一区二区三区四区| 夜夜夜久久| 五月香婷婷| 国产无马视频| 国产精品宅男免费| 国产a片操逼| 大香蕉狠狠爱| 麻豆尤物视频网| 视频在线97| 久久综合av| 人妻插插人妻人| 人人喜人人妻| 婷婷国产精品九区| 少妇无码999| 99精品久久久久久| 好吊爽好吊爽在线视频,中文字幕精品一区二区日本,国产良妇出轨视频在线观看, | 777AV电影| 欧美成人免费在线观看| 97超碰日韩| 九九九九九九综合| 天堂亚洲精品| 91美女在线观看| 97爱亚洲| 欧姜老司机| 九九九九精品在线| 国产大学生高潮在线播放| 色哟哟511老熟女| 久久riav中文精品| 亚一综合久久久久久久久久| 国产综合网站在线播放 | 国产吹潮女在线观看| 亚洲色图欧美色图制服诱惑| 四虎AV影视国产精品亚洲精品| 第45页一区二区| 国产美女91视频| 啊操爽品善一区二区三区| 狠综合网| 97超碰伊人| 伊香蕉综合久久久久久久噜噜噜| 加勒比中文av| 91精品国产综合久久久蜜臀| 日本午夜福利视频| 天天舔天天日天天射| 日韩精品电影| 国产尤物在线三区| 日本大香蕉综合网红本杳社区| 在线看污网站| 亚洲日韩视频二区| 日人妻视频91| 亚洲精品视频二区| 亚91亚洲网| 九九九九免费视频| 久久一区二区蜜桃| 午夜男女爽爽爽影院视频| 偷拍三区| 亚洲图片偷拍视频区| 九九九九九九九精品视频| 亚洲国产97| 又大又大又大又粗爽高潮观看 | 色噜噜狠狠色综无码久久合欧美| 屁股久久久久久| AV一区观看| 凹凸视频在线观看伊人| 婷婷久久综合| 伊人亚洲综合| 97超碰色| 91精品久久久久久久久久| 操逼片国产| 亚洲久久久| 综合欧美日韩在线| 在线看片国产精品每日更新| 黄色欧美性爱视频| 97色色视频| 久久久网一区| 综合色好色| 中文字幕日韩人妻视频一区二区三区| www.夜夜| 欧美在线综合| 情趣丝袜无码操逼视频| 色97欧美| 性在久久久久久| 97免费在线视频在线观看| 黄色一区三区| 国产无码精品成人| 中文字幕 码 自拍 视频 区| 快播久久人人aV| 国产一级内射无挡观看| 国产欧美伊人| 久久日韩肥臀| 天天色天天干天天射| 日韩无码嘿咻黑热久| 操操操操网黑人| 69少妇一区二区| 久久久天美| 五月婷婷影院| 欧日韩不卡视.频| 亞洲久久直播| 强奸乱伦AV网站| 99热婷婷| AA特级绝黄| 八戒午夜福利理论片| 操人妻视频| 熟女天天干| 91xingse| 求求你操操我| 色噜噜人妻丝袜AV资源| 免费农村成人少妇人妻Aa一区二区视频| 99re视频在线观看这里只有精品| 一区三区啪啪| 久久人妻精品| 婷婷尹人大香蕉免费| 亚洲夜夜欢无码一区二区| 少妇高潮对白在线观看| 乳欲人妻办公室奶水| 无码高清操逼网址| 亚洲日本激情| 亚洲囯产精品女人久久久| 美女天天干| 欧美18 在线观看| 天天干干天天干干| 美女操逼福利视频| 欧美日韩性爱视屏免费看了| 爆操无码| 亚洲 日韩 欧美 国产综合体| 无码日韩人妻av一| 草草影院日本第一页| 日本狂喷奶水在线播放212| 国产又黄又爽又刺激久久久久久| 国产精品女生av| 波多野42部无码喷潮在线观看 | 啊啊啊用力在线观看| 黄色网址久久精品欧美喷水| 欧美亚男人的天堂| 欧美影音在线| 蜜汁欧美| 国产女同在线观看视频| 黄色一区二区秘书性感| 天天拍天天操| 麻豆精品A片免费观看| 天天天天天超碰| 欧美日韩精品久久久久东北老熟妇| 妇女乱色二区| 久久精品国产欧美日韩亚洲欧美日韩中文久久国产一区 | 亚洲国产尤物yw在线观看| 老熟女搡BBBB搡BBBB视频| 日韩三级在线观看网站| 福利伊人玖玖国产| 亚洲男人天堂Av| 久久神马影院| 人妻熟女一区二区三区视频| 人人摸.人人色| 国产精品一区二区三区,亚洲综合| 日本操逼视频导航| 99国内精品| 老女人老91妇女老热女| 蜜臀久久久99久久久久| 国产91精品福利在线| 色婷婷电影网| 东北女人操比视频| 日本一区二区中文字幕久久| 囯产操逼片| 亚洲男人的天堂一区二区| 福利天堂| 91欧洲国产成人久久精品网站| 欧美黑人精品在线播放| 91neishe| 久久精品超碰| 日韩性爱播放| 九九九九免费视频| 欧美Aⅴ| 日本丝袜人妻内射| 区一在线观看| 大香蕉综合网| 日韩欧美aⅴ综合网站发布| 啊…啊…操我用力操我| 天天躁夜夜躁狠狠躁AV| 天天射天天| 欧美熟女少妇| 一本久道久久综合狠狠爱一密臀精 | 中国操逼无码| 欧美日不卡| 五十路熟女,国产欧美精品区一区二区三区| 欧美一级黄色免费专区| 91婷婷伊人狠人| 国产中文字幕在线观看| 一级性爱啪啪视频| 青青草精玖玖69精品| 超碰2017| 男人的天堂不卡一区二区| 大香蕉日韩欧美| 久久一区二区高清免费| 大香蕉综合在线| 亚洲在线a| 日本在线一二 | 日本精品一区二区三| 亚洲熟女乱色一区二区三区| 超碰97最新人妻| 欧美性生活男人的天堂| 厕所偷拍在线| 强奸抽插av| 最新一二三区视频| 澳门黄片一香蕉视频| 天天肏美女| 亚洲色欧美| 免费看毛片操穴| 亚洲资源一区| 蜜桃成人1区2区3区| 夫妻天天操岛国视频| 成人资源中文字幕在线观看天天| 麻豆91熟妇人妻中文字幕茄子| 午夜福利av电影在线| 天综合网欧美| 在线观看日韩av不卡| 精品丰满熟妇人妻一区| 亚洲激情AV| 人妻久久一区二区三区 | 久久精精区一区二区一蜜桃一区二区| 亚洲图片另类| ss久久| 370p日韩欧美亚洲精品| 91熟女少妇| 久久98| 久久超碰网| 亚洲熟女综合| 成人免费看吃奶视频网站| 天堂射| 爽 好舒服 无码刺激久久| 色综九九九一区| 黑丝少妇| 国产乱伦亚洲| 91操熟妇| 有码色中文字幕在线观看| 欧美大香蕉专区网| 久久二| 熟妇高潮一区二区免费视频| 国产 日韩 欧美高清| 2020天天色综合| 亚洲老熟妇xxx| 最新日日夜夜天天干干| 黑人性暴力毛片| 97色冈| 久久性爱大全| 3PAV乱伦视频| 五月天亚洲网| 欧美香蕉视xxx| 熟女被操视频网址| 超碰国产精品无码| 欧美色图电影| 日韩熟女视频二区| 最新亚洲风情电影| 大香蕉操久久| 亚洲国产激情国产av| 超碰免费人妻人人| 美女十八禁| silk lablo在线观看一区二区| 五月天激情小说| av在线不卡一区二区三区| 九九草| 欧美激情一| 无码视频一区二区| 东北黄色电影| 丁香五月AV| 国产精品成人无码av无码免费| 日韩啊V| 四虎在线视频| 极品出轨视频网站| 午夜AV污污污| 亚洲老司机123专区| 欧美日韩国产中文精品字幕自在自线, | 99热18| 郑州宾馆老熟女露脸啪啪| 一级性爱视频免费观看 | 91视频伊人| 欧美色视| JuliaAnnXXX888| 日韩三级性| 色诱中文字幕| www.色五月| 久久九九视频九九视频| 欧美综合网在线| 啊啊啊啊无码| 男人的天堂久久| 天天综合,91入口| 一区二区视频你懂的| AV天堂男人的天堂| 91色五月俺来也| 极品粉嫩一区二区| 麻豆天美制片厂网站视频| 俺去久久| 第二页中文字幕| 亭亭丁香激情| 91熟女综合| 一区二区视频你懂的| 中文字幕片| 熟女自慰久久久| 99抽插| 色拍偷亚洲| 91久久堂| 国产五码丝袜屁眼| 囯产精品强| 在线播放中文字幕| 欧美激情内射| 午夜精品久久久| 亚洲欧洲av影音| 激情 欧美 亚洲 小说| 中文字幕高清精品一区| 日韩 欧美 另类 人妻| 国产丝袜欧美在线视频| 久久社区一区二区三区| 亚洲欧美精品福利在线| 亚洲夜色在线| 久久鲁夜| 天天久久久久久| 99热这里只有精品18| 日本αv| 岛国在线一区二区三区| 久综合网| 日本丝袜美腿人妻九九| 国产吹潮女在线观看| 亚洲图片欧美偷拍| 大香焦A片| 防屏蔽在线视频| AV99热18这里只有精品| 夫妻天天操岛国视频| 国产精品亚洲一级av第二区| 天天插天天插| 美女啊啊啊啊啊啊啊| 日韩一999精品| 久九9精品| 国产99999| 欧美一级久久久久久久大片动画| 啪啪啪精品视频| 欧美天天拍| 欧美熟女丝袜| 精品无码一区二区三区色欲| 久久久久成人亚洲国产| 国产日韩精品一区二区三区| 成人资源中文字幕在线观看| 69天堂| 日本熟妇人妻中出视频| 二区熟妇韩日| 97资源站久久| 国产又色又粗又黄又爽| 一二三区在线| 久久9精品网站| www.亚洲黄色| 97精品国产97久久久久久| 国产一区二区在线播放,久久亚洲精品中文字幕第一区,亚洲精品在线中文字幕视频 | 国产久久天堂资源| 啪啪免费| 后入式在线免费观看60秒| 东北女人操逼| 青青操青娱乐| 600国产精品视频| 久热大香蕉| 亚洲中亚日激情视频| 免费观看国产不卡av| 色诱avtt| 牛牛操视频逼| 91天堂视频| 国产亚洲福利第一页丝袜| 夜夜夜久久| 欧美影院一区二区三区| 国产精品一区二区在钱播放| 超碰免费人妻在线| 国产伦精品免编号公布| 起碰97| 日本熟妇熟色97一本在线观看| 婷婷午夜清品久久久久久久性色视频观| 97碰在线视频| 天天影视亚洲| 亚洲aw毛茸茸在线| 天堂69亚洲精品中文字| 免费久久9999| 美国aaaaa一级黄片| 亚洲诱惑天堂 | 激情久久日韩精品中文字幕麻豆| 精品久久久久av影院| 一区二区三区色综合| 久久精品亚洲成a人天堂| 一本色道久久综合狠狠操| 色婷婷久久| 91综合在线| 中文字幕人妻色偷偷久久皮 | 成人AV素股で擦久久| 日语五十路和六十路亚洲国产精品| 116美女午夜| 亚川综合视频| 久久久久久中文| 中文字幕五区| 国产9 9在线 | 亚洲| 98福利在线视频| 五月丁香激情综合网| 中文字幕三四区| 超碰在线97国产| 色情综合| 亚洲黄色视频在线观看视频| 国产人人干| 亚洲,欧美,春色,另类| 日韩av电影成人在线| 欧美性视频二区三区| 天天射影院| 国产亚洲精品久久久久小| 欧美日韩97在线| 亚洲色堂免费视频| 一区二区三区免费岛国片| 97天天| 欧美视频激情久久久久久| 超碰人人草| 无码外流操逼视频| 大茄子熟女AV导航| 国产传媒1234区| 丁香九月激情| 中文字幕国产| 色欧洲| 亚洲91综合| 亚洲色图20p| 丁香五月电影| 国产成人一级av88| 极品色| 欧美图片校园春色| 午夜福利区| 情侣开房子拍 日韩无码 女的很漂亮| 99久久婷婷丁香| 97亚洲精品| 午夜福利 成人 91| 情色五月天网| 国产精品肉丝自拍| 日韩啪啪网| 91快色色色色色| 无码操逼视频一下| 超碰97久久| 亚洲欧洲日韩中文字幕一区| 亚洲综合一| 欧美亚洲一区二区久久久婷精品大包诱| 色色综合网站| 成人日本精品九区| 97在线视频观看| 欧美熟女操屄| 青娱乐亚洲自拍| 亚洲精品一区二区精华| 亚洲色宗合| 97久操| 久久久一二三四区| 好爽免费视频,| 伊人精品视频| 无码人妻丰满熟妇奶水区毛片| 日韩精品99999| 人人爱操| 99久久久99久久91熟女| 国产亚洲综合欧美一区| 国产三级电影免费观看| 日美免费黄片| 狠狠色噜噜狠狠狠狠狠色综合久久 | 色色色色综合网| 久久高清欧美国产| 国产精品久久久久久久黄无码| 操逼天美3区| 蜜乳中文字幕a在线| 国产 日韩,欧美 自拍| 秋霞午夜成人福利片片| 免费人成毛片乱码| 日韩精品字幕| 成人无码在线超碰网| 黑人美精品 A片| 中文字幕乱在线伦视频中文字幕乱码在线| 五码视频在线观看| 欧美色视频在线| 国产精品久久久久中文字幕| 国产福利小视频高清在线观看| 永久免费发布性爱网| 最新日韩黄片| 99热这里| 99re8超碰| 男人把坤坤插入女人的下体 | 日韩中文字幕二区| 久久免费精彩视频| 蜜臀久久99精品久久综合| 97操97色| 日韩丝袜高跟制服在线观看| 中文字幕午夜精品久久久| 欧美成人精品欧美一级乱黄一区二…| 国产久久久| 高清在线不卡一区二区 视频| 日韩操逼HD| 91在线无码精品秘 软件| 99精品久久| 5252色欧美在线| 日日干夜夜欢| 亚洲天堂男人天堂网| 激情五月综合开心五月| 久久精品亚洲成a人天堂| 亚洲激情久久| 精品国产一区二区三区久久久蜜臀| 中文字幕AV片| 久操频道免费在线呗看| 国产精品第一区第一页| 强奸乱伦av电影| 97超碰国产精品| 歐美性天天| 男人的天堂一区| 丰满人妻一区二区三区四区| 91久久婷婷| 人人超碰在线观看黄| 亚洲午夜精品久久久中文影院| 日产操逼| 国产无马av| 极品粉嫩少妇视频| 天天影视亚洲| 亚洲成人性爱在线观看| 日韩伦理视频| 久久这里只精品| 人妻一区二区三区视频 | 久操视频在线| 伊人专区一区二区三区| 色婷婷电影网| 亚洲日韩东京热一区| 97视频在线免费观看| 影音先锋乱| 欧美另类自拍 | 国产女人高潮视频| 大屁股熟女一区二区三区| 五月亭亭六月丁香| 91五月天| 超碰97资源网亚洲| 在线A日本| 亚洲日韩青青草色月| 91精品91久久久中77777| 国产尤物AV尤物在线观看不卡| 9超碰免费| 校园春色综合网| 婷婷五月色| 熟女高潮精品一区二区| 亚洲成人av电影在线| 国产嫩草精品A88AV在线| 91少妇人妻| 婷婷精品视频| 色综九九九一区| AA特级绝黄| 欧美成人综合| 日韩中文字幕国产| 免费人人搞97| 伊人操你| 熟女色图在线| 玖玖爱在线视频免费观看| 欧美天天插| 欧美色乱| 成人综合色网| 夜色综合| 91精品电影18| 国产美女高潮| 动漫片子网站3黄| 欧美片第一页| 久草资源在线视频官方总站日韩丝袜美腿 | 嗯嗯不要视频| 激情综合五月婷婷| 天天干18禁| 亚州情色j区| 97在线视频免费观看| 久久免费老司机精品| 91天天看| 神马久久久久久久久久| 日本 色 导航| 欧美日韩人妻少妇 一区二区三区| 约操熟妇| 国产乱码久久久| 992这里有精品| 中文操逼字幕| 麻豆一区在线| 国产尤物AV尤物在线观看不卡| 日韩丨制服丨中文|在线| 在线观看黄色电话| 欧美午夜熟妇黑人精品91| 91狠狠色丁香婷婷综合久久精品| 亚洲精品欧洲色| 啊啊啊啊啊啊啊国| 一区不卡在线观看av| 加勒比综合a∨| 九九碰九九爱97超碰| 麻豆美女丝袜人妻中文| 夜夜操天天肏| 乱伦AVxx| 蜜臀99久久精品久久久懂爱| 欧洲亚洲人妻无码中字久久三区四区| 国内毛片婷婷六月色| 国产一区二区在线看| 精品夜夜澡人妻无码| 91丨九色丨国产丨人妻在线| 我想要啊 啊 啊| 人妻少妇色综合| 99视频这有这里有精品| 超碰欧美97资源| 96AV精品| 家庭乱伦性爱av| 久久啊啊啊| 美女干逼2| 日韩三级一区| 日本十八禁免费看污网站| 欧美日韩国产精品久久色婷婷| 天天爽爽爽爽| 欧美日韩国产中文精品字幕自在自线| 亚洲图片小说欧洲| 老师充足的奶水小说| www.色操逼| 日韩精品一区二区高清| 人人操超碰在线| 综合日韩激情另类图片| 成年女人18级毛片毛片免费观看| 亚洲精品99999| 四虎在线免费视频| 亚洲美女精品| 日本高清一区二区在线| 亚洲麻豆av一区二区| 久久精品一区二区三区蜜桃臀| 天天操天天射青青草| 国产精品成人蜜臀AV在线| 偷拍精品一区二区三区| 欧美在线第五页| 大香蕉欧美日韩| 校园春色制服丝袜中文字亚洲| a v网站在线播放| 美女裸体无遮挡永久免费观看网站| 熟女熟妇一区二区三区视频| 亚洲情色在线| 有码免费观看| 日本99热| 日韩av在线播放不卡| 人人玩人人添人人澡免费| 亚洲天堂男人网| 99热精品在线观看| 91网站18+| 和协影院中文字幕三区| 久久超碰亚洲人| 国内91熟女人妻丝袜天天精品视频在线 | 精品久久无码午夜福利| 蜜臀视频网站| 97 色综合| 青青青在线高清视频在线一二三四区 | 国产路线专区| 乱人乱色一区二区三区免费| 91美女高潮| 免费亚洲国产精品久久一区| 九九亚洲精品| 亚洲涩图欧美| 亚洲开心网| 久草视频制服诱惑| 人妻天天操天天爽视频免费| 好吊妞转入那个网| 99热精品在线| 五月激情天| 这里有精品| 五月激情天| 熟妇在线视频一区二区| 亚洲欧美精品一区天堂久久| 亚洲色五月| 五月丁香成人网| 激情综合五月| 亚洲丝袜色| 看看小穴| 久艹伊人精品综合在线| 久久夜嗨| 国产第二页| 伦理日韩国产久久| 熟女露脸激情自拍视频| 久久风骚城市人| 欧美成人精品一区| 亚洲色91| 色欲久久久久综合网| 97香焦色区| 天美国产精品| 日本 免费 一区二区三区 久久香蕉 | 综合 青草 伊久久 影院 综合| 欧美一区二区三区大综合| 欧美性暴力猛交XXXX| 国产又大又粗又色生活片亚洲国产精品成人久久久综合免费 | 日韩欧美福利视频看看| 天天色天天干天天爱| 先锋色眉乱伦资源| 日本在线激情一区二区三区| 黑丝少妇在线观看| 97人亚洲综合字幕| 白丝在线一区| 亚洲资源一区| 青青操网| 国产亚州高清国产拍精| 激情久久久| 色诱中文字幕| 2003天天干夜夜操| 搡老女人老91二区| 日韩熟女乱伦中出| 丁香五月性| 天美一二三在线观看Av| 九一国产精品| 91内射| 久久精品国产亚洲AV高级北京| 超碰久热| 国产精品熟女九九九| 97色操| 成人av在线播放| 激情五月天丁香社区| 91在线限制级| 中文字幕av一区二区三区人妻少妇| 亚洲色图欧美激情| 国产一区二区精品久久99| 色噜噜狠狠色综合日日| 午夜精品久久久久| 欧洲精品二区| 91社操逼| 久久久久久久九九九九九九| 一区超碰一区| 亚洲成人精品在线一区| 色综合久| 另类图片亚洲加勒比另类图片亚洲加勒比另类图片亚洲加勒比 | 国产99999| 无码高清专| 免费农村成人少妇人妻Aa一区二区视频| 后入福利视频| 日韩精品一区二区高清| 狠狠狠狠狠狠| 影音资源男人日韩| 欧美爱三级日韩久久| 婷婷五月色| 99久在线精品99re8| 色在线综合| 亚码激情| 青青草综合在线| 91成人久久| 久久亚州高清| 91亚洲电影| www.91久久| 人妻超碰青青草98| 中国AV美女| 亚洲免费精品一区| 色97干| 久99视频| 国产中文字幕在线观看| 思思热在线cao| 日韩钢筋无码高清啾啾啾| 天天插网| 97WW精品| 激情一区二区| 国产 码在线成人网站| 欧美高清在线| 色乱二区| 激情四射婷婷六月天| 亚洲乱伦图片视频| 国产成人主播| 素人一区二区三区日韩| 香港成人一级视频在线青青草| 国产三级片在线观看| 好吊妞转入那个网| 97chaopengongkai| 五月天婷婷小说| 人妻精品一区二区三区| 狠狠色丁香| 精品国产乱子伦一区二区三区,精品一 | 青青草原综合久久大伊人精品| 久久精品一区二区三区四区五区| julia高潮后不停追击中出| 九九九成人| 91五月天| 亚洲天天更新| 97天天爽| 日韩免费中文字幕视频| 情色五月天久久久| 日韩中文字幕精品一区在线| 麻豆国产第一| 少妇高潮对白在线观看| 公司1区2区3区精产精| 国产九九九九九九九九| 超碰在线日韩一区| 五月丁香啪啪| 亚洲色图亚洲| 国产农村妇女精品1区二区| a一区二区三区乱码在线| 亚洲天天影视色综合| 留下AⅤ黄色片| 91白虎| 69人妻人人揉人人躁人人精品| 亚州熟女乱伦| 国产精品久久久久久久免牛肉蒲团| 久久精品店| 亚洲欧美97√| 熟妇人妻一区二区| 中文字幕一区电影在线观看| 久久精品国产97欧美精品亚洲 | www超碰| 久久久久久久强迫| 狠狠2050在线观看| 亚洲欧美中文日韩视频中国语| 中文久久久| 欧美国产成人在线| 色综合久久888| 狠狠婷婷亚洲中文综合久久| 操亚州| 麻豆久久久一区二区| 黄片免费视频2019| 成人资源中文字幕在线观看| 91人妻人人妻| 久久精品高清AV| 中文字幕乱亚洲美女精品一区| 日日A∨| 亚洲激情综合| 天天干干天天干干| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区 | 亚洲天天天| 热久久九九热| 五月天婷婷色色| 啪啪视频亚洲第一| 欧美日韩亚洲天堂| 国产欧美后入| 高清不卡国产| 凹凸视频特色日本特黄| 国产AAAAAABBBBB| 久久久精精精| 欧美大色交| 日韩 人妻 精品| 亚洲五月婷婷| 日本无码1| 2020久久免费视频| 久热精品在线| 国产一区二区三区久久精品太古里| 五月婷婷激情| 亚洲欧美国产成人综合不卡| 亚洲国产成人精品久久久国产成人一区二区| 五月天欧美色图| 无码视频一区二区| 亚洲中文制服诱惑| 国产久久久久久久久一区二区| 亚洲色系另类精品国产| 91人妻少妇| 日韩91网| 久久久国产护士丝袜美腿一| 久操操| 肥臀熟女福利视频一区二区| 综合婷婷| 国产麻豆一级精品视频| av最新免费中文字幕| 另类图片欧美激情综合| 好爽视频在线观看视频 | 人妻啊啊人妻啊| 岛国精品视频在线观看| 国产精品欧美日韩久久| 翔田千里一区二区三区奶水| 乱伦一二三| 性夜影院爽黄A爽免费动漫| 老妇女91| 97免费在线观看视频| 97亚洲色图| 精品人妻15区| 农村少妇久久久久久久| 日韩综合第八区国产精品| 美国三级日本三级久久99| 久久久禁| 99热日| 色香91| chaopen97久久| 久操视频在线| 夜夜春夜夜操| 国产麻豆91欧美一区二区久久婷婷国产精品 | 久久精品 六十路 熟女 欧美| 日韩啪啪啪视频| 综合一区中亚洲国产成人综合精品| 日本视频一区二区三区| 日韩A优精品在线观看| 亚洲第一狼人丝袜美女另类| 国产精品熟女九色九色蜜臀| 免费一级黄色录像影片| 亚一综合久久久久久久久久| 性在久久久久久| 久久久无码av精| 日本国产成人亚洲精品无码| 大香蕉人妻| 校园春色 男人天堂 | JuliaAnn丝袜熟女系列| 亚洲丝袜综合|