日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Java微服務(wù)架構(gòu)在跨境電商平臺(tái)中的設(shè)計(jì)與實(shí)踐

Java微服務(wù)架構(gòu)在跨境電商平臺(tái)中的設(shè)計(jì)與實(shí)踐 簡(jiǎn)介本資源是一套基于Java技術(shù)棧開(kāi)發(fā)的跨境電商平臺(tái)ECO完整源碼面向Java后端開(kāi)發(fā)者、電商平臺(tái)學(xué)習(xí)者及微服務(wù)架構(gòu)實(shí)踐者旨在提供可運(yùn)行、可擴(kuò)展的企業(yè)級(jí)電商系統(tǒng)參考實(shí)現(xiàn)。壓縮包共444個(gè)文件總大小1.84MB涵蓋346個(gè)Java業(yè)務(wù)邏輯與控制器類(lèi)、57個(gè)XML配置與Mapper映射文件、14個(gè)YML環(huán)境配置、7個(gè)Dockerfile支持多環(huán)境容器化部署、以及SQL建表腳本、Maven構(gòu)建腳本和基礎(chǔ)前端靜態(tài)資源等體現(xiàn)典型Spring Boot MyBatis Docker的現(xiàn)代電商技術(shù)組合。已有208人學(xué)習(xí)下載讀者可直接導(dǎo)入IDE運(yùn)行調(diào)試深入理解用戶(hù)中心、商品管理、訂單流程、國(guó)際支付對(duì)接、多語(yǔ)言適配等核心模塊的設(shè)計(jì)與集成方式并借鑒其分層架構(gòu)、RESTful接口規(guī)范及CI/CD初步實(shí)踐。1. 項(xiàng)目緣起為什么選擇Java重寫(xiě)一個(gè)跨境電商平臺(tái)幾年前我接手了一個(gè)用PHP和Node.js混合技術(shù)棧搭建的跨境電商項(xiàng)目。項(xiàng)目初期為了快速上線技術(shù)選型比較隨意隨著業(yè)務(wù)量從日均幾百單增長(zhǎng)到幾萬(wàn)單各種問(wèn)題開(kāi)始集中爆發(fā)訂單處理延遲、庫(kù)存同步錯(cuò)亂、支付回調(diào)丟失、系統(tǒng)在高并發(fā)下頻繁宕機(jī)。更頭疼的是由于早期架構(gòu)設(shè)計(jì)缺乏規(guī)劃代碼耦合嚴(yán)重加一個(gè)促銷(xiāo)活動(dòng)功能可能得改五六個(gè)服務(wù)牽一發(fā)而動(dòng)全身。那段時(shí)間團(tuán)隊(duì)大部分精力都耗在了“救火”和“打補(bǔ)丁”上新業(yè)務(wù)需求根本排不上期。痛定思痛我們決定推倒重來(lái)啟動(dòng)一個(gè)代號(hào)為“ECO”的新平臺(tái)項(xiàng)目。這次我們選擇了Java作為核心開(kāi)發(fā)語(yǔ)言。很多人可能會(huì)問(wèn)現(xiàn)在Go、Python、Node.js不都很火嗎為什么還要用“老牌”的Java這背后是我們基于業(yè)務(wù)特性做的深度權(quán)衡。首先跨境電商的核心是“交易”而交易系統(tǒng)對(duì)一致性、穩(wěn)定性和事務(wù)處理能力的要求是極高的。Java生態(tài)中成熟的ORM框架如MyBatis、JPA和聲明式事務(wù)管理Spring的Transactional能讓我們以相對(duì)低的認(rèn)知成本構(gòu)建出強(qiáng)一致性的業(yè)務(wù)邏輯。其次跨境電商涉及復(fù)雜的供應(yīng)鏈、清關(guān)、多幣種支付、多語(yǔ)言客服等模塊系統(tǒng)本身就是由數(shù)十個(gè)微服務(wù)構(gòu)成的龐大體系。Spring Cloud Alibaba這一套成熟的微服務(wù)全家桶在服務(wù)治理、配置管理、流量控制等方面提供了開(kāi)箱即用的解決方案能極大降低分布式系統(tǒng)的復(fù)雜度。最后團(tuán)隊(duì)成員的技能棧也是重要考量我們有一批經(jīng)驗(yàn)豐富的Java工程師選擇Java能最大化利用現(xiàn)有的人力資源快速推進(jìn)項(xiàng)目。所以ECO項(xiàng)目不是一個(gè)簡(jiǎn)單的Demo它是一個(gè)基于真實(shí)業(yè)務(wù)痛點(diǎn)用Java技術(shù)棧重構(gòu)的、面向高并發(fā)與復(fù)雜業(yè)務(wù)的跨境電商平臺(tái)解決方案。今天我就把這個(gè)項(xiàng)目的核心架構(gòu)設(shè)計(jì)、關(guān)鍵技術(shù)選型以及我們踩過(guò)的那些“坑”分享出來(lái)希望能給正在規(guī)劃或重構(gòu)類(lèi)似系統(tǒng)的朋友一些參考。2. 核心架構(gòu)設(shè)計(jì)如何用微服務(wù)支撐全球電商業(yè)務(wù)一個(gè)健康的電商平臺(tái)架構(gòu)就像人的骨骼系統(tǒng)它決定了平臺(tái)的承載力、靈活性和未來(lái)的成長(zhǎng)空間。ECO平臺(tái)采用了經(jīng)典的前后端分離與微服務(wù)架構(gòu)整體上可以劃分為五層接入層、網(wǎng)關(guān)層、業(yè)務(wù)服務(wù)層、數(shù)據(jù)層和基礎(chǔ)設(shè)施層。2.1 微服務(wù)拆分與領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)DDD微服務(wù)不是拆得越細(xì)越好胡亂拆分只會(huì)帶來(lái)災(zāi)難性的分布式事務(wù)和運(yùn)維復(fù)雜度。我們借鑒了領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)DDD的思想來(lái)指導(dǎo)服務(wù)邊界劃分。DDD的核心是圍繞業(yè)務(wù)領(lǐng)域而非技術(shù)層面進(jìn)行建模。我們組織了多次“事件風(fēng)暴”工作坊邀請(qǐng)產(chǎn)品、運(yùn)營(yíng)、業(yè)務(wù)專(zhuān)家和開(kāi)發(fā)一起通過(guò)梳理“用戶(hù)下單”這個(gè)核心業(yè)務(wù)流程識(shí)別出了多個(gè)限界上下文。例如“訂單”是一個(gè)核心領(lǐng)域。用戶(hù)創(chuàng)建訂單時(shí)需要檢查庫(kù)存庫(kù)存上下文、計(jì)算優(yōu)惠促銷(xiāo)上下文、生成支付單支付上下文。如果把這些邏輯都塞進(jìn)一個(gè)“訂單服務(wù)”它很快就會(huì)變得臃腫不堪。因此我們拆分了用戶(hù)中心服務(wù)負(fù)責(zé)會(huì)員、收貨地址、安全認(rèn)證。商品服務(wù)負(fù)責(zé)商品、類(lèi)目、品牌、庫(kù)存的管理。這里特別注意庫(kù)存管理本身又分為可售庫(kù)存、實(shí)際庫(kù)存、在途庫(kù)存等是一個(gè)復(fù)雜的子域。訂單服務(wù)負(fù)責(zé)訂單生命周期的核心流轉(zhuǎn)如創(chuàng)建、狀態(tài)變更、履約。它不直接操作庫(kù)存而是通過(guò)發(fā)布“訂單已創(chuàng)建”領(lǐng)域事件由庫(kù)存服務(wù)來(lái)異步扣減。購(gòu)物車(chē)服務(wù)一個(gè)輕量的、有時(shí)效性的服務(wù)與訂單服務(wù)解耦。促銷(xiāo)服務(wù)管理優(yōu)惠券、滿(mǎn)減、折扣等活動(dòng)提供統(tǒng)一的優(yōu)惠計(jì)算引擎。支付服務(wù)對(duì)接多個(gè)第三方支付網(wǎng)關(guān)支付寶、微信、PayPal、Stripe處理支付、退款、對(duì)賬。清關(guān)服務(wù)這是跨境電商特有的負(fù)責(zé)組裝報(bào)關(guān)單、與海關(guān)系統(tǒng)對(duì)接。物流服務(wù)對(duì)接多家物流商API實(shí)現(xiàn)運(yùn)單追蹤。每個(gè)服務(wù)對(duì)應(yīng)一個(gè)獨(dú)立的Git倉(cāng)庫(kù)有自己獨(dú)立的數(shù)據(jù)庫(kù)遵循數(shù)據(jù)庫(kù)私有原則通過(guò)API或領(lǐng)域事件進(jìn)行通信。這樣當(dāng)促銷(xiāo)規(guī)則需要頻繁變動(dòng)時(shí)我們只需要修改和部署促銷(xiāo)服務(wù)不會(huì)影響到穩(wěn)定的訂單服務(wù)。2.2 技術(shù)棧選型與Spring Cloud生態(tài)確定了服務(wù)邊界接下來(lái)就是技術(shù)選型。我們以Spring Boot作為每個(gè)微服務(wù)的開(kāi)發(fā)框架它約定大于配置的理念能讓我們快速搭建一個(gè)可獨(dú)立運(yùn)行的服務(wù)。微服務(wù)治理方面我們選擇了Spring Cloud Alibaba原因在于它功能齊全、中文文檔豐富并且在國(guó)內(nèi)經(jīng)過(guò)大量實(shí)踐驗(yàn)證。服務(wù)注冊(cè)與發(fā)現(xiàn)Nacos。對(duì)比Eureka和ConsulNacos不僅提供了服務(wù)注冊(cè)發(fā)現(xiàn)還集成了配置中心功能一舉兩得。它的控制臺(tái)UI友好服務(wù)健康狀態(tài)一目了然。配置中心Nacos Config。將所有服務(wù)的配置數(shù)據(jù)庫(kù)連接、Redis地址、開(kāi)關(guān)配置等集中管理。在Nacos控制臺(tái)修改一個(gè)配置項(xiàng)相關(guān)服務(wù)能近乎實(shí)時(shí)地感知并刷新無(wú)需重啟。這對(duì)線上問(wèn)題排查和功能灰度發(fā)布至關(guān)重要。網(wǎng)關(guān)Spring Cloud Gateway。作為所有流量入口它負(fù)責(zé)路由轉(zhuǎn)發(fā)、權(quán)限校驗(yàn)、限流熔斷、日志記錄。我們編寫(xiě)了全局過(guò)濾器用來(lái)驗(yàn)證JWT令牌、將用戶(hù)信息放入請(qǐng)求頭傳遞給下游服務(wù)。熔斷與降級(jí)Sentinel。在“雙十一”大促期間如果支付服務(wù)響應(yīng)緩慢大量訂單請(qǐng)求堆積會(huì)拖垮整個(gè)系統(tǒng)。Sentinel可以實(shí)時(shí)監(jiān)控服務(wù)間的調(diào)用當(dāng)失敗率達(dá)到閾值或響應(yīng)時(shí)間過(guò)長(zhǎng)時(shí)自動(dòng)進(jìn)行熔斷快速失敗并返回一個(gè)友好的降級(jí)結(jié)果如“系統(tǒng)繁忙請(qǐng)稍后再試”保護(hù)系統(tǒng)不被雪崩。分布式事務(wù)Seata。這是微服務(wù)架構(gòu)下最棘手的問(wèn)題之一。比如“下單扣庫(kù)存”這個(gè)操作就涉及訂單服務(wù)和庫(kù)存服務(wù)。我們采用了Seata的AT模式。它的原理是攔截業(yè)務(wù)SQL生成前后鏡像保存到undo_log表中。在全局事務(wù)提交時(shí)各個(gè)分支事務(wù)正常提交如果需要回滾Seata會(huì)根據(jù)undo_log中的前后鏡像數(shù)據(jù)生成反向SQL進(jìn)行補(bǔ)償。對(duì)于大部分業(yè)務(wù)場(chǎng)景這已經(jīng)足夠。但對(duì)于極致性能要求的場(chǎng)景我們也會(huì)結(jié)合使用本地消息表、最終一致性方案。注意Seata的AT模式對(duì)數(shù)據(jù)庫(kù)支持有要求并且會(huì)帶來(lái)一定的性能損耗。在選型時(shí)一定要根據(jù)業(yè)務(wù)對(duì)一致性的要求級(jí)別強(qiáng)一致、最終一致來(lái)權(quán)衡。我們內(nèi)部有一條原則能用異步和最終一致性解決的就不用分布式事務(wù)。2.3 數(shù)據(jù)一致性設(shè)計(jì)從CAP理論到實(shí)踐在分布式系統(tǒng)中數(shù)據(jù)一致性是靈魂。我們根據(jù)業(yè)務(wù)場(chǎng)景采用了混合策略強(qiáng)一致性場(chǎng)景核心交易鏈路如創(chuàng)建訂單時(shí)扣減庫(kù)存。我們使用Seata的AT模式來(lái)保證。雖然性能有損耗但保證了資金的絕對(duì)正確這個(gè)代價(jià)是值得的。最終一致性場(chǎng)景大部分場(chǎng)景如訂單支付成功后發(fā)送短信通知、更新用戶(hù)積分、同步數(shù)據(jù)到數(shù)據(jù)分析平臺(tái)。我們使用RocketMQ作為消息中間件。訂單服務(wù)在本地事務(wù)提交后發(fā)送一條“訂單已支付”消息到RocketMQ。積分服務(wù)、短信服務(wù)作為消費(fèi)者訂閱該消息各自處理。即使某個(gè)消費(fèi)者暫時(shí)失敗消息也會(huì)在Broker中重試直到成功從而保證數(shù)據(jù)最終一致。讀寫(xiě)分離與數(shù)據(jù)同步對(duì)于商品詳情、用戶(hù)查詢(xún)這類(lèi)讀多寫(xiě)少的場(chǎng)景我們使用主從數(shù)據(jù)庫(kù)寫(xiě)操作走主庫(kù)讀操作走從庫(kù)用Canal監(jiān)聽(tīng)主庫(kù)的binlog近乎實(shí)時(shí)地同步數(shù)據(jù)到Elasticsearch提供復(fù)雜的商品搜索和篩選功能。這套混合架構(gòu)讓我們?cè)诒WC核心交易穩(wěn)定的前提下兼顧了系統(tǒng)的吞吐量和擴(kuò)展性。3. 核心業(yè)務(wù)模塊實(shí)現(xiàn)深度解析有了穩(wěn)固的架構(gòu)我們來(lái)深入幾個(gè)最具挑戰(zhàn)的業(yè)務(wù)模塊看看代碼是如何落地的。3.1 商品與庫(kù)存服務(wù)如何應(yīng)對(duì)高并發(fā)秒殺商品服務(wù)看似簡(jiǎn)單但庫(kù)存管理是電商的“命門(mén)”。我們?cè)O(shè)計(jì)了多層庫(kù)存模型可售庫(kù)存前臺(tái)用戶(hù)可見(jiàn)、可購(gòu)買(mǎi)的數(shù)量。鎖定庫(kù)存用戶(hù)下單后從可售庫(kù)存中扣除放入鎖定庫(kù)存防止超賣(mài)。實(shí)際庫(kù)存?zhèn)}庫(kù)中的物理庫(kù)存。當(dāng)用戶(hù)下單時(shí)扣減庫(kù)存的偽代碼邏輯如下Service public class InventoryServiceImpl implements InventoryService { Autowired private RedisTemplateString, String redisTemplate; Autowired private InventoryMapper inventoryMapper; Transactional(rollbackFor Exception.class) Override public boolean reduceStock(Long skuId, Integer quantity) { // 1. 校驗(yàn)參數(shù) if (skuId null || quantity 0) { throw new BizException(參數(shù)錯(cuò)誤); } // 2. Redis預(yù)減庫(kù)存應(yīng)對(duì)超高并發(fā) String key stock:cache: skuId; Long result redisTemplate.opsForValue().decrement(key, quantity); if (result ! null result 0) { // 庫(kù)存不足回滾Redis redisTemplate.opsForValue().increment(key, quantity); throw new BizException(庫(kù)存不足); } // 3. 數(shù)據(jù)庫(kù)扣減保證最終正確性 int updatedRows inventoryMapper.reduceActualStock(skuId, quantity); if (updatedRows 0) { // 數(shù)據(jù)庫(kù)扣減失敗回滾Redis redisTemplate.opsForValue().increment(key, quantity); throw new BizException(庫(kù)存扣減失敗請(qǐng)重試); } // 4. 異步更新其他庫(kù)存數(shù)據(jù)如鎖定庫(kù)存 // 發(fā)送MQ消息... return true; } }關(guān)鍵點(diǎn)解析Redis預(yù)減這是應(yīng)對(duì)秒殺的核心。所有請(qǐng)求先走Redis利用其單線程和內(nèi)存操作的特性快速判斷庫(kù)存是否充足將絕大部分無(wú)效請(qǐng)求攔截在數(shù)據(jù)庫(kù)之外。Redis中的庫(kù)存數(shù)可以略少于實(shí)際庫(kù)存作為緩沖。數(shù)據(jù)庫(kù)兜底R(shí)edis可能會(huì)因?yàn)榫W(wǎng)絡(luò)分區(qū)、重啟等原因丟失數(shù)據(jù)因此數(shù)據(jù)庫(kù)是庫(kù)存數(shù)據(jù)的最終權(quán)威存儲(chǔ)。任何Redis操作都要有對(duì)應(yīng)的數(shù)據(jù)庫(kù)操作和補(bǔ)償機(jī)制。異步化扣減實(shí)際庫(kù)存后更新鎖定庫(kù)存等操作可以通過(guò)消息隊(duì)列異步進(jìn)行避免長(zhǎng)事務(wù)提升響應(yīng)速度。我們?cè)谶@個(gè)環(huán)節(jié)踩過(guò)一個(gè)大坑早期我們只用了Redis做庫(kù)存扣減在一次Redis集群主從切換導(dǎo)致數(shù)據(jù)短暫不一致時(shí)發(fā)生了少量超賣(mài)。教訓(xùn)就是緩存只能用于加速和緩沖不能作為唯一可信數(shù)據(jù)源。3.2 訂單服務(wù)狀態(tài)機(jī)與分布式ID生成訂單的狀態(tài)流轉(zhuǎn)非常復(fù)雜從“待付款”、“已付款”、“待發(fā)貨”、“已發(fā)貨”到“已完成”或“已取消”中間還可能穿插“退款中”等狀態(tài)。如果用簡(jiǎn)單的if-else來(lái)控制狀態(tài)變更代碼會(huì)很快變成一團(tuán)亂麻。我們引入了狀態(tài)模式并配合使用Spring StateMachine框架。我們將訂單狀態(tài)和可能觸發(fā)狀態(tài)變更的事件如“用戶(hù)支付”、“商家發(fā)貨”定義出來(lái)在配置文件中清晰地描述狀態(tài)轉(zhuǎn)換規(guī)則Configuration EnableStateMachine(name orderStateMachine) public class OrderStateMachineConfig extends EnumStateMachineConfigurerAdapterOrderStatus, OrderEvent { Override public void configure(StateMachineStateConfigurerOrderStatus, OrderEvent states) throws Exception { states .withStates() .initial(OrderStatus.PENDING_PAYMENT) .states(EnumSet.allOf(OrderStatus.class)); } Override public void configure(StateMachineTransitionConfigurerOrderStatus, OrderEvent transitions) throws Exception { transitions .withExternal() .source(OrderStatus.PENDING_PAYMENT).target(OrderStatus.PAID) .event(OrderEvent.PAY_SUCCESS) .and() .withExternal() .source(OrderStatus.PAID).target(OrderStatus.TO_BE_SHIPPED) .event(OrderEvent.MERCHANT_CONFIRM) .and() // ... 更多轉(zhuǎn)換規(guī)則 } }這樣業(yè)務(wù)代碼里只需要stateMachine.sendEvent(OrderEvent.PAY_SUCCESS)狀態(tài)機(jī)就會(huì)自動(dòng)根據(jù)當(dāng)前狀態(tài)和事件判斷能否轉(zhuǎn)換并執(zhí)行相應(yīng)的動(dòng)作如支付成功后觸發(fā)發(fā)送短信的動(dòng)作監(jiān)聽(tīng)器。代碼清晰且不易出現(xiàn)非法狀態(tài)流轉(zhuǎn)。另一個(gè)關(guān)鍵點(diǎn)是訂單號(hào)生成。單調(diào)遞增的數(shù)據(jù)庫(kù)自增ID會(huì)暴露業(yè)務(wù)量也不適合分庫(kù)分表。我們采用了Snowflake雪花算法的變體來(lái)生成全局唯一的訂單號(hào)。算法生成的ID是64位的Long型數(shù)字包含時(shí)間戳、工作機(jī)器ID、序列號(hào)等信息趨勢(shì)遞增、高性能、無(wú)需中心化協(xié)調(diào)。我們對(duì)其做了小幅改造將一部分位用于表示業(yè)務(wù)類(lèi)型如普通訂單、秒殺訂單方便日后根據(jù)訂單號(hào)快速路由。3.3 支付與清關(guān)處理跨境業(yè)務(wù)復(fù)雜性支付是資金入口必須穩(wěn)如磐石。我們抽象了一個(gè)統(tǒng)一的支付網(wǎng)關(guān)服務(wù)內(nèi)部定義了PaymentStrategy策略接口針對(duì)支付寶、微信、PayPal等不同支付渠道實(shí)現(xiàn)不同的策略類(lèi)。這樣當(dāng)需要接入一個(gè)新的支付方式時(shí)只需要新增一個(gè)策略實(shí)現(xiàn)即可對(duì)主流程代碼無(wú)侵入。支付回調(diào)處理是重中之重必須做到冪等。第三方支付平臺(tái)可能會(huì)因?yàn)榫W(wǎng)絡(luò)問(wèn)題多次發(fā)送相同的回調(diào)通知。我們的處理邏輯是回調(diào)接口首先根據(jù)第三方支付單號(hào)查詢(xún)本地是否已處理過(guò)該筆回調(diào)。如果已處理并成功直接返回“success”。如果未處理則在一個(gè)分布式鎖的保護(hù)下進(jìn)行訂單狀態(tài)更新、記賬等操作。處理完成后將第三方支付單號(hào)和處理結(jié)果記錄到“支付回調(diào)日志表”。無(wú)論成功失敗都記錄日志并做好監(jiān)控告警。對(duì)于跨境電商清關(guān)是另一個(gè)復(fù)雜環(huán)節(jié)。不同國(guó)家、不同品類(lèi)的商品申報(bào)要求、稅率都不同。我們?cè)O(shè)計(jì)了一個(gè)可配置的“清關(guān)模板”系統(tǒng)。商品上架時(shí)運(yùn)營(yíng)人員需要填寫(xiě)HS編碼、原產(chǎn)地、申報(bào)要素等。當(dāng)訂單生成后清關(guān)服務(wù)會(huì)根據(jù)收貨地址國(guó)家、商品信息自動(dòng)匹配模板組裝成符合海關(guān)要求的報(bào)文格式通過(guò)第三方清關(guān)代理系統(tǒng)進(jìn)行申報(bào)。這個(gè)過(guò)程也是異步的通過(guò)消息隊(duì)列驅(qū)動(dòng)避免阻塞主訂單流程。4. 性能優(yōu)化與穩(wěn)定性保障實(shí)戰(zhàn)系統(tǒng)能跑起來(lái)只是第一步能在大流量下穩(wěn)定運(yùn)行才是真本事。我們?cè)谶@方面投入了巨大的精力。4.1 緩存策略與數(shù)據(jù)庫(kù)優(yōu)化緩存是提升性能的銀彈但用不好就是炸彈。我們制定了多級(jí)緩存策略一級(jí)緩存本地緩存使用Caffeine或Guava Cache緩存一些極少變更的數(shù)據(jù)如國(guó)家地區(qū)編碼、貨幣匯率短期。設(shè)置合理的過(guò)期時(shí)間如5分鐘和最大容量防止內(nèi)存溢出。二級(jí)緩存分布式緩存使用Redis集群緩存熱點(diǎn)數(shù)據(jù)如商品詳情頁(yè)信息、用戶(hù)會(huì)話、購(gòu)物車(chē)數(shù)據(jù)。這里的關(guān)鍵是緩存鍵的設(shè)計(jì)和過(guò)期策略。例如商品詳情緩存的Key可以設(shè)計(jì)為product:detail:{skuId}:{lang}包含語(yǔ)言維度。我們大量使用Hash結(jié)構(gòu)來(lái)存儲(chǔ)對(duì)象減少網(wǎng)絡(luò)傳輸?shù)男ey數(shù)量。緩存穿透、擊穿、雪崩應(yīng)對(duì)穿透對(duì)于不存在的商品ID查詢(xún)將空值null也緩存一小段時(shí)間如30秒避免惡意請(qǐng)求直接打到數(shù)據(jù)庫(kù)。擊穿對(duì)于熱點(diǎn)Key如爆款商品使用Redis的setnx命令實(shí)現(xiàn)分布式互斥鎖。當(dāng)緩存失效時(shí)只有一個(gè)線程能去數(shù)據(jù)庫(kù)加載數(shù)據(jù)其他線程等待或返回舊數(shù)據(jù)。雪崩給緩存Key設(shè)置隨機(jī)的過(guò)期時(shí)間避免大量Key在同一時(shí)刻失效。數(shù)據(jù)庫(kù)層面除了主從讀寫(xiě)分離我們對(duì)單表數(shù)據(jù)量過(guò)大的表如訂單表進(jìn)行了分庫(kù)分表。使用ShardingSphere-JDBC作為中間件按照用戶(hù)ID的哈希值進(jìn)行分片。這里要特別注意涉及分片鍵的查詢(xún)效率很高但非分片鍵的查詢(xún)?nèi)绨从唵螘r(shí)間范圍查詢(xún)就會(huì)很麻煩。我們的做法是建立訂單創(chuàng)建時(shí)間的月度歸檔表或者將這類(lèi)查詢(xún)導(dǎo)向Elasticsearch。4.2 全鏈路監(jiān)控與告警系統(tǒng)復(fù)雜了出問(wèn)題是難免的關(guān)鍵是要能快速發(fā)現(xiàn)、定位、解決。我們搭建了基于Prometheus Grafana Alertmanager的監(jiān)控告警體系。應(yīng)用指標(biāo)每個(gè)Spring Boot服務(wù)都通過(guò)micrometer暴露JVM內(nèi)存、GC、線程池、HTTP請(qǐng)求量、耗時(shí)、錯(cuò)誤率等指標(biāo)給Prometheus。業(yè)務(wù)指標(biāo)我們自定義了業(yè)務(wù)埋點(diǎn)如下單量、支付成功率、庫(kù)存扣減失敗次數(shù)等同樣上報(bào)到Prometheus。鏈路追蹤集成SkyWalking每個(gè)外部請(qǐng)求都會(huì)生成一個(gè)唯一的traceId貫穿經(jīng)過(guò)的所有微服務(wù)。在Grafana上可以清晰地看到一個(gè)請(qǐng)求的完整調(diào)用鏈每個(gè)環(huán)節(jié)的耗時(shí)一目了然。當(dāng)接口變慢時(shí)我們能迅速定位是哪個(gè)服務(wù)、甚至是哪個(gè)數(shù)據(jù)庫(kù)查詢(xún)拖了后腿。日志收集所有服務(wù)的日志統(tǒng)一輸出為JSON格式通過(guò)Filebeat收集發(fā)送到Elasticsearch用Kibana進(jìn)行查看和搜索。通過(guò)traceId可以把一次請(qǐng)求的所有相關(guān)日志串聯(lián)起來(lái)排查問(wèn)題效率倍增。告警規(guī)則我們?cè)O(shè)置得很細(xì)致比如某個(gè)服務(wù)的錯(cuò)誤率在5分鐘內(nèi)持續(xù)高于1%某個(gè)接口的P99響應(yīng)時(shí)間超過(guò)1秒數(shù)據(jù)庫(kù)連接池使用率超過(guò)80%等。告警會(huì)通過(guò)釘釘、短信第一時(shí)間通知到值班人員。4.3 容器化部署與CI/CD為了提升部署效率和資源利用率我們將所有服務(wù)都進(jìn)行了Docker容器化。每個(gè)服務(wù)對(duì)應(yīng)一個(gè)Dockerfile里面定義了運(yùn)行所需的基礎(chǔ)鏡像、JVM參數(shù)、時(shí)區(qū)等。我們利用Jenkins搭建了完整的CI/CD流水線。開(kāi)發(fā)人員提交代碼到Git分支后Jenkins自動(dòng)觸發(fā)代碼質(zhì)量檢查運(yùn)行SonarQube掃描檢查代碼規(guī)范、漏洞和壞味道。單元測(cè)試運(yùn)行項(xiàng)目的單元測(cè)試確保覆蓋率。構(gòu)建鏡像通過(guò)Maven打包然后執(zhí)行docker build生成鏡像并推送到私有的Harbor鏡像倉(cāng)庫(kù)。部署到測(cè)試環(huán)境通過(guò)調(diào)用Kubernetes的API更新測(cè)試環(huán)境的Deployment滾動(dòng)更新服務(wù)。集成測(cè)試自動(dòng)運(yùn)行一組接口測(cè)試用例。人工確認(rèn)后一鍵部署生產(chǎn)。生產(chǎn)環(huán)境我們使用Kubernetes進(jìn)行編排管理。Kubernetes的Deployment保證了服務(wù)的高可用多副本Service提供了內(nèi)部服務(wù)發(fā)現(xiàn)Ingress作為外部流量入口。配合HPA水平Pod自動(dòng)擴(kuò)縮容我們?cè)O(shè)置了基于CPU利用率的自動(dòng)伸縮規(guī)則在大流量來(lái)臨前系統(tǒng)就能自動(dòng)擴(kuò)容實(shí)例流量低谷時(shí)自動(dòng)縮容極大地節(jié)省了服務(wù)器成本。5. 開(kāi)發(fā)與運(yùn)維中的“血淚”經(jīng)驗(yàn)談最后這部分分享一些在ECO項(xiàng)目開(kāi)發(fā)和運(yùn)維過(guò)程中用“學(xué)費(fèi)”換來(lái)的經(jīng)驗(yàn)這些在官方文檔里通常找不到。經(jīng)驗(yàn)一接口設(shè)計(jì)要“笨”一點(diǎn)兼容性要強(qiáng)一點(diǎn)。早期我們?cè)O(shè)計(jì)接口時(shí)追求“優(yōu)雅”經(jīng)常使用枚舉類(lèi)型作為參數(shù)或返回值。后來(lái)發(fā)現(xiàn)當(dāng)需要新增一個(gè)枚舉值時(shí)所有調(diào)用方包括前端、其他服務(wù)都必須同步升級(jí)否則就會(huì)反序列化失敗。后來(lái)我們定下規(guī)矩核心對(duì)外的API盡量使用字符串或整型常量并在文檔中明確其含義。這樣服務(wù)端可以向后兼容地添加新?tīng)顟B(tài)舊的調(diào)用方雖然不認(rèn)識(shí)新值但不會(huì)崩潰。內(nèi)部服務(wù)間通信可以使用Protobuf等強(qiáng)類(lèi)型協(xié)議但也要有版本管理意識(shí)。經(jīng)驗(yàn)二數(shù)據(jù)庫(kù)字段寧寬勿緊。在設(shè)計(jì)商品表時(shí)有個(gè)字段是“商品特性標(biāo)簽”產(chǎn)品經(jīng)理說(shuō)最多就三五個(gè)標(biāo)簽。我們圖省事就定義了一個(gè)varchar(50)。結(jié)果業(yè)務(wù)發(fā)展起來(lái)運(yùn)營(yíng)希望給商品打上幾十個(gè)標(biāo)簽還要支持搜索。改字段類(lèi)型是痛苦的涉及數(shù)據(jù)遷移和停服?,F(xiàn)在的做法是對(duì)于可能擴(kuò)展的、非核心的文本字段直接使用varchar(255)甚至text類(lèi)型。存儲(chǔ)成本在今天已經(jīng)很低但線上修改數(shù)據(jù)結(jié)構(gòu)的風(fēng)險(xiǎn)極高。經(jīng)驗(yàn)三異步消息一定要有補(bǔ)償和監(jiān)控。我們?cè)驗(yàn)橐粋€(gè)促銷(xiāo)活動(dòng)向消息隊(duì)列里狂發(fā)消息導(dǎo)致消費(fèi)者處理不過(guò)來(lái)消息大量堆積。更糟的是有些消息格式錯(cuò)誤消費(fèi)者一直報(bào)錯(cuò)、重試形成死循環(huán)拖垮了整個(gè)隊(duì)列。教訓(xùn)是生產(chǎn)端必須做流量控制不能無(wú)節(jié)制地發(fā)。消費(fèi)端一定要做好冪等和異常處理對(duì)于格式錯(cuò)誤、處理失敗的消息不能無(wú)限重試應(yīng)該轉(zhuǎn)移到死信隊(duì)列并發(fā)出告警讓人工介入處理。必須監(jiān)控消息隊(duì)列的堆積情況設(shè)置堆積告警閾值。經(jīng)驗(yàn)四不要過(guò)度設(shè)計(jì)但要為擴(kuò)展留好“錨點(diǎn)”。微服務(wù)不是萬(wàn)能解藥。在項(xiàng)目初期如果業(yè)務(wù)邊界還不清晰盲目拆分微服務(wù)只會(huì)增加運(yùn)維和聯(lián)調(diào)成本。我們的策略是初期可以做成一個(gè)“單體”但要在代碼層面做好模塊化隔離比如清晰的包結(jié)構(gòu)領(lǐng)域?qū)?、?yīng)用層分離。同時(shí)在可能未來(lái)需要拆分的模塊之間優(yōu)先通過(guò)領(lǐng)域事件或API進(jìn)行通信而不是直接調(diào)用內(nèi)部方法。這樣當(dāng)這個(gè)模塊真的需要獨(dú)立成服務(wù)時(shí)遷移成本會(huì)低很多。這個(gè)通信接口就是預(yù)留的“錨點(diǎn)”。ECO項(xiàng)目從零到一再到穩(wěn)定支撐百萬(wàn)級(jí)用戶(hù)整個(gè)過(guò)程充滿(mǎn)了挑戰(zhàn)。技術(shù)選型沒(méi)有銀彈架構(gòu)設(shè)計(jì)也總是在做權(quán)衡。最重要的是團(tuán)隊(duì)要形成一套適合自己業(yè)務(wù)節(jié)奏和人員能力的方法論在追求技術(shù)先進(jìn)性的同時(shí)更要保證系統(tǒng)的穩(wěn)定和可維護(hù)性。這套源碼和其中蘊(yùn)含的設(shè)計(jì)思想是我們團(tuán)隊(duì)過(guò)去幾年經(jīng)驗(yàn)的結(jié)晶希望能為你帶來(lái)啟發(fā)。如果你在搭建類(lèi)似系統(tǒng)時(shí)遇到具體問(wèn)題歡迎交流探討。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
丁香婷婷九月| 中国大陆国产高清AⅤ毛片| 粉嫩av在线| 超碰97 线线 在现| 国产亚洲美日韩Aⅴ中文字幕无码成人| 国产大学生高潮在线播放| 女人爽到高潮久久久| 久久超碰免费的| 性欧美| 午夜亚洲国产理论秋霞| 久久人妻丝袜一区二区三| 青春草莓视频在线观看网址| 亚洲暴力强奸AV| 国产乱伦一二三区| 熟女高潮合集-永久久久-成人AV| 久久五月天婷婷丁香中文字幕| 日本三级久| 蜜桃网熟妇| 秋霞无码av鲁丝片一区| 东京热91| 99九九精品| 色香91| 久久久久久国产成人| 精久久久| 久久线上视频免费看| 日本黄色大片一级视频免费麻豆| 国产又猛又粗又爽又黄| 女优视频第10页| 快播久久人人aV| 欧美少妇性爱网站| 秋霞鲁丝午夜无码一区二区三| 狠狠91| 99热综合| 欧美日韩色综合网| 色小视频蜜乳| 国产激情在线| 超碰在线人妻不卡| 啪啪视频亚洲第一| 91无码人妻| 思思热国产在线视频| 日韩欧美女优电影| 成人午夜高潮av猛片| 资源在线观一 二| 天天干天天爽| 久久亚洲AV无码白度| 夜夜騷av、一區二區| 91丨九色丨国产丨人妻在线| 天天色怡春院| 色色丁香| 亚洲一区日韩精品中文字幕 | 亚洲吊色| 久久久久9| 麻豆天美AV传媒第一页| 国产精品一二三在线看| SUV一区二区在线看| 亚洲1区2区三区高清中文字幕| 久久久久人| 伊人久久大香大香线蕉中文| 国产精品一区二区密臀| 色女综合| 亚洲AV成人无码一区二区三区在线观看| 亚洲乱熟女一区二区| 五月婷婷爱六月丁香色| 欧美色www亚洲国产阿娇要播| 黄色小说亚洲| 欧美亚洲另类在线蜜桃| 91情色在线| 精品久久在线区一区| 豆花视频操逼网址| 久久久久女教师免费一区| 男人的天堂.com| 人妻 中文 日韩| 天美传媒麻豆一区二区三区国产精| 色婷婷丁香五月| 日韩 国产 欧美自拍| 学生妹天天看| 蜜桃精品一区二区三区ww| 欧美日韩国产色图在线| 亚洲中文字幕在线视频一区二区| 久久线上视频免费看| 一二三四免费视频| 国模少妇一区二区三区| 精品一区二区成人| 日韩av在线精品观看| 久操视频免费观看| 美女露胸露屁股| 强奸乱伦大香蕉| 欧美性高潮| 激情露脸爱| 懂色AV蜜臀无码精品APP| 亚洲一区二区三区在线激情| 亚洲一区二区av| 日本在线一二| 91jk色拍| 日韩精品99999| 亚洲天堂五月天国产| 日本ZZ高免费A级视频| 激情文学欧美| 黄色免费网| 日逼五月天| 一本一道波多野毛片中文在线| 亚洲,日韩,欧美,成人播放| 狠狠操官网| 国产精品岛国片在线观看| 香蕉av一区二区三区| 亚洲 综合 第一页| 欧美日韩婷婷中文| 用力操死我| 夜夜中出国产| 丁香激情五月天| 综合操逼| 久久久久久久国产视频| 天天谢天天干| av网站免费线看| 97欧美超碰| 97国产伦理| www.超碰| 91人妻视频在线| 牛黄色久午久| 国产精品三级视频网站| 三级片网站在线播放| 快灬快灬 一下爽蜜桃在线观看| 精国久久一区二区三区98| 加勒比在线视频| 五月丁香啪啪啪| 艹比视频国产精品| 天天看天天在线精品| 立川理惠被中出无码| 青青草在线视频播放器| 伊人影院日本| 国产自制av蜜乳| 91一区二匹| 久久久久亚洲| 欧美探花网| 中日韩久久久| 国产精品色色| 国产精品suv一区| AV天堂电影网| 亚洲色悠悠久久88| 人妻激情视频| 啊啊啊爽爽| 日本αv| 国产亚洲福利第一页丝袜| 天天干人人看综合| ..日韩av毛片精品久久久| 日韩欧美tv一区二区在线观看| 久草国产在线视频| 五月丁香综合啪啪| 青娱乐手机日韩在线视频| 91N综合网在线| 亚洲丨在线| a啊啊啊啊啊啊啊啊一区二区| 日日躁夜夜躁狠狠躁超爽| 成人怡红院| 午夜视频黄| 午夜爽爽爽在线观看永久入口姬片| 久久婷婷综合国际产色怕| 黄色AAAAAAAAAAA大片| 亚洲伊人a线观看视频| 无码久久亚洲高清,| 秋霞一级鲁丝片A片| 91影库| AAAAAAAAA黄片| 操逼网站视频漫画国产| 国产精品久久久亚洲一区| 无码人妻丰满熟妇奶水区毛片| 九九热在线精品视频| 97欧美色| 精品高清一区二区三区三州| 91国产精品熟女| 老熟妇一区二区三区啪啪| 97视频在线观看免费高清| 91AV入口| 啊啊啊啊视频免费| 国产蜜臀在线| 99色热国产视频精品| 日本精品成人无码| 中出后入| 人人人摸人人| 亚洲国产剧情少妇激情| 男人天堂毛片| 一线黄色免费性爱片| 久久综合五月天| 日韩一级二级三级免费看完整版国语版 | 啪啪啪男女亚洲中文字幕99| 极品综合| 欧美色图亚洲色图成人在在线| 久久视频,这里只有精品| 欧美激情综合网| 精品超碰国产| 97操综合| 日韩性爱免费视频在线网站| 97色色国产视频| 91性感在线| 激情专区综合| 免费超碰97久久| 2017av无码免费无线播| 久久久九九九九| 78操B| 看一级特黄a大一片| 久久免费看高潮毛片韩国| 久久久青草青青国产亚洲免观精品高清完整版_97久久综合区小说区图片区,国精品 | 久久国产精品m码| 国产亚洲美日韩Aⅴ中文字幕无码成人| 婷婷五月天_亚洲小说欧美激情另类_精品久久国产字幕 | 久久久久久久97| 丁香五月婷婷色| 一区二区三区成人高清视频| 综合久久99| 99久久精品国产系列| 欧美成人黄网色网站| 岛国人妻少妇av在线观看| 变态综合色| 国产传媒操逼视频| 殴洲老熟女| 久久精品国产精品一区 | 97人人夜| 日本高清久久| 蜜伊人色综合97| 欧美激情黑人| www.丁香五月| 78m成人视线| 国产精品亚洲美女久久久久| 日本ZZ高免费A级视频| 国产日韩欧美亚洲精品95 | 亚洲超碰AV| 97精品国产精品免费观看| 国产精品网址| 久久精品高清无码一区| www久久99| 欧美性夜| 看黑丝美女操逼青青网站| 亚洲成人精品在线一区| 99久在线精品99re8a| 亚洲第一狼人丝袜美女另类| 99热这里只有精品1| 五月婷婷AV| 97欧美精品| 久久超碰亚洲人| 最新无码国产| 亚州色图片在线色| 99热综合| 爱爱动态60秒| surenchaopeng| 国模精品娜娜一二三区| 97在线播放| 天天影视色香色欲| 色五月亚洲| 午夜视频好爽啊| 美国一区二区三区视频| 久久98| 国产精品久久久无码aV去| 日韩在线电影| 欧美熟妇视频| 免费观看的av| 国产乱伦一二三区| 九月丁香婷婷色| 亚洲诱惑| www.91理论| 4tube欧美女厕所| 亚洲 欧美 手机在线观看| 极品少妇久久久久| 久草线上视频免费看| 国产无码精品久久久久久| 98精品国产乱码久久久久久| 好淫网一二三视区| 2025年A片视频精品| 91老司机精品| 清纯唯美亚洲| 国产自产自拍| 亚洲天堂人妻熟妇视频| 亚洲无码免费看| 久久久免费的精品| 日韩精品 资源| 国产极品999| 亚洲AV不卡在线观看尤物| 欧美72网页| 国产九九九九九九| 9丨久久九九九| 啊啊啊好舒服视频| 久久久亚洲Av| 成人色女网| 中国乱伦一区二区| 凹凸视频特色日本特黄| 2001天天操| 熟女精品日韩一区二区三区| 中文字幕精品亚洲熟女| 免费国产视频| 国产欧美一级在线观看| 四虎 精品 WWW| 欧亚久久偷拍视频| 综合97| 人人看人人摸人人色| 国产av白丝| 少妇人妻在线| 日韩国产成人自拍视频| 丝袜狠狠草尤物人妻av91| 丝袜加勒比| 黄色在线网站| yiren97| 亚洲另类春色| AV一起草在线| 中文字幕丝袜美腿| 欧美色www亚洲国产阿娇要播| 欧美一级黄片视频在线| 麻豆性爱视频在线播放 | 日韩电影天堂视频一区二区| 无码精品啪啪啪一区二区三区三州| 色亚洲欧美| 91丝袜在线观看| 920日本午夜免费| 欧美图片色五月天| 成人5码视频| 欧美性Fer办公室秘书| 超碰在线99| 久久九七| 最新中文字幕av| 欧美色图私拍91| 蜜臀AV一区二区三区| 成人乱码一区二区三少妇| 97干色天堂| 中文熟女五十乱码在线| 国产又色又粗又黄又爽| 在线黄色污污网站| 欧美顶级黄色大片免费| 啊啊啊水好多| 欧美黄色图片| 三级AV入口| 男人天堂无码| 国产suv精品一区二区四区999 | 亚洲人妻在线一区| 涩涩这里只有精品视频| 激情看片网站| 视频分类 国内精品| 性色av网站| 91看黄片| 性无码专区2020| 九九九色| 芊芊操逼视频无码| 少妇干B| 人人操人人狠狠操| 丁香六月婷婷久久综合| 欧美三级一级| 国产一区二区三区久久精品太古里| 求求你操操我| julia ann久久| 啊啊啊爽爽| 69麻豆天美| 中文字幕99999| 国内精品久久人妻性色av| 久久欧洲| 成年女人18级毛片毛片免费观看| 国产精品人妻熟女aⅴ| 日韩精品.久久精品.AV女优.天美传媒| 国产97亚洲| 亚洲欧美校园| 操逼大黄片| 亚洲欧美在线综合| 91久热| 亚洲国产美女久久久久| 东北丰满熟女国产一区| 旡码电影特区| 中国熟女91| 3PAV乱伦视频| 丁香五月久久| 香蕉大久久久| 大香蕉中文在线| 玖玖资源综合在线视频| 被体育老师抱着c到高潮| 欧洲Au麻豆| 97超级久久| 国产一区二区在线播放量| 一级久久性爱视频| 成人色女网| 人人操人人色网| 久久五月综合| 国产熟女一区二区| 激情专区综合| 97中文综合| 国产精品自在线发布| 欧美香蕉视xxx| 天天综合色图| 91五月天| 91久精品| 国产亚州高清国产拍精| 南澳成人一级片在线播放| 天天艹天天日| 春色综合免费| 十八禁视频一区二区| 精品国产污一区二区三区| 91 欧美| 亚洲aw毛茸茸在线| 一级人妻性爱视频| 啊啊啊啊啊啊啊啊啊啊在线观看| 亚洲码在线中文在线观看| 日韩AV色图| 国产精品高清2021在线| 一区二区三区成人| 久久XX| 国产精品久久久久久久久久久久| 久久熟女人| 这里只有精品视频在线观看麻豆 | 大香蕉国产中文自拍| 亚洲色图尤物视频| 校园春色 亚洲| 久久久免费懂色| 艳美熟妇先锋一二三区| 国产熟女一区二区丰满| 激情综合网五月婷婷| 亚洲美女黄色| 人妻熟女一区在| 99国产在线绯色一区| 嗯嗯啊啊好爽| 射丝袜大香蕉| 欧美夜夜狠| 国产亚洲福利第一页丝袜| 99蜜桃臀久久久欧美精品网站| 亚洲强奸乱伦影视网| 97超碰护士| 亚洲性感丝袜诱惑在线观看| 国产区91柔拿会所技师| 国产真实子伦对白| 少妇熟女视频一二三区| 99.色网| 国产呦精品一区二区三区下载| 伊人操| 97超碰免费人人性爱| www.狠狠| 国产高清在线观看欧美| 亚洲āv网址在线观看| 精品国产a∨一区天美传媒| 男人的天堂激情| 国产综合操逼高清| 国产美女mm131爽爽爽爽| 国产亚洲福利第一页丝袜| 97色欧洲| 97超碰影音| 亚洲欲| 成人A片男人的天堂| 另类在线| 久久久久9| 333kkkk·亚洲com久久| 97爱碰| 国产少妇肉丝在线观看| 欧美v亚洲v综合v国产v妖精| 欧洲站一级二级三级h| 污污污8888| 亚州色站 日韩电影| 老女人爆菊| 婷婷五月花| 91精品电影18| 亚洲中文字幕熟女| 人妻熟女一区二区在线视频| 激情黄色五月天| 天天看人人操屄犊摸阴| 老师充足的奶水小说| 亚洲国产精品久久久久婷婷青年| 久久草在线综合视频| 国产精品无码av| 久久久久成人亚洲国产| 天堂种子在线www网资源| 99操视频| 99国产精品人妻人伦| 中文字暮97| 高潮综合网| 日本九九久久99播| 青娱乐大香蕉| 嗯嗯啊啊日韩精品| 97干在线视频| 欧美大波激情xxxx| www.91理论| 日本亚洲vr欧美不卡高清专区| 一区在线国产播放| 中文字幕在线观看丝袜| 熟女丰满人妻一区| 一区二区精品更新提醒| 91国内外在线| 日韩大香蕉| 91人妻精华帖| 欧美一级国产一级| 啪啪啪大香蕉| 久久久久9999妇女| 欧美姓爱综合网| 国产亚洲精品一区二区三区| 日本国产亚洲一区在线观看| 男人女人18禁片免费看网站| 午夜福利在线合集| 亚洲综合小说另类图欧美视频激情小说色五月天 | 中文字幕狠狠玩| 五月丁香啪啪啪| 东北少妇高潮zzzz| 欧美传媒| 亚洲国产日韩精品久久久| 色婷婷亚洲婷婷| 免费视频a级毛片免费视频| 香港日本韩国人妇99www.wccm20| 久久久久网站-538在线视频-欧美永久乱码 | 91麻豆天美国产欧美高潮| 色婷婷一区二区三区久久午夜| 97资源免费视频| 96一区二区三区| 国产深喉视频一区二区| 国产精品久久久久久久AV大片| 色欲蜜臀AV| 91蜜桃婷婷狠狠久久综合9色| 人妻AV 中文字幕的| 人妻插插人妻人| 亚洲青青草| 伊人麻豆传媒| 精品中文字幕一区二区| 色婷婷综合网站| 蜜臀AV一区二区三区激情综合| 欧美97在线欧| 综合久久久久久久综合网| 欧美日韩电影成人在线| www九九热| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师 | 亚洲成人久久美女| 亚洲五月丁香花狠狠干一区二区三区 | 欧美色图在线视频少妇| 人人操人人摸人人骑| 这里只有精品视频在线观看麻豆| 97人人模人人爽人人| 亚洲一二三四区机械| 九九久精品| 九月丁香婷婷色| 91亚洲综合| 亚洲人成网www| 日韩 欧美 视频 在线 一区| 久草婷婷| 久久九九97| 最新日本中文字幕| 天天干天天爽| 97国产精品久久久久| 精品91| 91热色| 日日夜夜骚| 免费一级毛片在线视频观看| 午夜无码熟妇丰满人妻| 神马久久久久久久久| 国产一进一出视频网站| 99色在线观看| sewuyueav| 五月激情小说| 91少妇人妻| 欧美黄页在线| 国产精品一区二区手机看片| 人人超碰在线观看黄| 高清国产无码av| 99re在线观看| 爽极品影院| 亚洲吊色| 99精品网| 色欲三区| 中文字幕午夜精品久久久| 国产激情av女片自拍| 91亚洲网站| 日日日日日| 久久午夜鲁丝片| laoshunv91| 日本三级R| 91久久青青草原精品| 久久神马影院| 国产午夜精品一区二区三区牛牛| 长长久久88视频| 操熟女91| 日日骚精品视频| 亚洲综合五月天| 天天综合91入口| 欧美日韩情色一区二区| 伊人五月天激情| 99热一区二区三区四区| 亚洲激情色片| 97超碰jingpin| 亚洲 欧美 手机在线观看| 九九九九免费| 人人操超碰在线| 婷婷色网| 在线观看色视频| 78精品| 伊人色综合欧美| 亚洲人在线| 亚洲,欧美,春色,另类| 亚洲成人免费中文字幕| 青青五月天| 亚洲图片偷拍欧美| 亚州色图片在线色| 亚洲美欧999| 超碰亚洲97| 人妻少妇久久久| 精品在线观看视频在线| 人人妻人射| 亚洲精品一二牛牛| 久久精品国产亚洲AV清纯| 中文字幕视频在线观看| 久久激情视频| 媚薬在线视频麻豆| 91在线美女| 成人婷婷丁香| 69精品在线| 人妻激情偷乱视频一区二区三区 | 97人人草| www.av在线视频| 欧美传媒| 亚州操逼图| 欧美人妻久久精品二区三区| 狠狠色狠狠色狠狠五月| 天天色综亚洲91污| 99热婷婷| 色情婷婷| 亚洲人妻熟妇三十三区| 天美传媒AV国产在线| 2019天天操天天爽天天拍| 欧插网站| 日本孕妇孕交| 伊人麻豆传媒| 乱抡国产91| 欧美日韩激情无码专区| 国模精品娜娜一二三区| 免费中文在线| 操婢日韩| 国产一区在线观看无码AV | 啪啪一区| 欧美丰满熟妇XXXX性ppX人交| 久色网| 乱日视频| 日本不卡卡一区| 成人怡红院| .精品人妻一区二区三| 欧美老妇曰批的视频| 91热爆在线| 天操天操夜操夜月操月年年操| 水澄无码AV| 精品97精品97| 亚洲成人ab| 日韩卡一卡二卡三在线| 久久久精品国产亚洲AV无码| 五月色综合| 330Dv国产女人终合视频极品人与兽 | 精品国产乱码久久久| 91少妇人妻| 久久九九视频九九视频| 色999人与兽| 男女香蕉一区二区| 精品妇女一区二区三区| 91福利网在线观看| 99re在线| 超碰成人免费| 狠狠干精品一二三四五六2022| 蜜臀久久99精品久久久久久成人小说 | 极品色综合| 婷婷超| 人人 操人人 操人人| 99热精品在线播放| 国产成人精品一区| 黄色香蕉视频网站一区| 男人天堂2019| 久久久精品国产亚洲AV无码| 嗯嗯啊啊好大好爽| 欧 美 自 拍 偷 拍| 四月丁香婷婷| 中日韓欧美高清| 婷婷五月丁香五月| 亚洲欧洲综合| 婷婷99狠狠躁天天躁| KK色在线影院| 午夜精品一区二区三区三上悠亚| 色777999综合| 九九黄色网| 超碰色老头| 国产亚洲精品无码三区| 欧美性五月| 超碰在线国产| 欧美色图20p| 美女高潮视频91| 欧美爱三级日韩久久| 一级AAA片一区二区三区| 91春色| 日产国产精品中文久久婷婷| 国产精品人妻免费精品| 自拍欧美| 在线国产探花| 久久鲁夜| 午夜精品久久久久| 欧美,亚洲,日韩,v,天堂,手机在线观看 | 啪啪综合网| 2019午夜福利视频| 91女网站| 中文字幕一区二区三区人妻不卡| 丁香五月激情婷婷| a片久久久久久久久久久久| 久久AV色| 嗯嗯嗯啊啊啊在线免费观看| 91丨人妻丨国产丨丝袜| 色综合一区二区三巨| 久久久精品| 亚洲色图 综合| 91九色精品熟女内射| 被窝影院午夜看片无码| 色五月大香蕉| 亚洲熟久久| 99热成人| 中日韩欧美精品无码AⅤ一区二区| 人妻第一页| 97天天在线| 蜜臀AV一区二区三区激情综合| 日韩性爱视频免费在线| 国产精品熟女九色九色蜜臀| 婷婷爽人人婷婷爽视频| 韩日自拍| 亚熟hd视频在线| 强上我不卡卡| 野狼激情网| 天天综合色| 日欧操屄视频| 国产成人在线观看综合| 人妻少妇被猛烈进入中| 欧美极品美女aaaaaa级黄片| 精品人妻av区天天看片| 国产一区二区精品久久久不卡蜜臀| 丝袜喷水在线| 丁香五月婷婷基地| 99热超碰在线| 3d成人精品一区二区| 国产女人和拘做爰视频 | 99热这里只有精品1| 少妇内射www在线观看视频| 91色黑人少妇| 欧美精品在线观看| 91精品国产综合久久久蜜臀| 欧美第38页| 日韩操逼性鲍| 国产精品人妻无码久久久互動交流 | 丁香九月 婷婷| 6080YYY午夜理论片在线观看| 国产色综合亚洲色综合吹潮| 99久国产精品午夜性色福利| 日韩欧美成人性爱在线| 人妻在线视频| 丁香五月性爱| 少妇毛片久久| 97人肏| 九九热在线视频| 日本免费一区二| 少妇精品久久久| 久久久久久久久久久精| 91天美| 无码高清专| 中亚精品极乱| 另类视频在线| 人妻天堂网| 色婷婷激一区二区三区 | 人人色人人射人人妻| 青青操在线亚洲视频观看欧美在线 | 欧美综合狠| 国产一线二线三线av| 日本性爱欧美性爱| 狠狠色丁香| 99九九久久| 蜜臀中文无码午夜| 伊人精品久久网站| 久久久久久久极品香蕉视频| 日韩久射综合| 亚洲情色欧美| 91美| 97超碰精品| 天天日天天干天天摸天天操| 丰满少妇精品一区二区| 岛国黄片网站| 91久久久久免| 欧美96交| 乱伦av麻豆| 欧亚不卡| 免费观看成人www精品视频| 精品人妻美妇91job| 亚洲日韩乱码中文无码蜜桃臀网站 | 午夜福利视频在线一区| 加勒比AV网| 91丨国产丨白浆秘 洗澡动漫| 开心五月天激情网| 91精品久久久久久77777| 大学生口爆吞精| 久久久久亚洲精品| 免费的黄片有限公司| 大香蕉综合| 国产亚洲99久久精品熟| 亚洲、日韩、综合、另类| 狠狠爱综合网| 久9视频| 另类在线| 欧美啪啪啪91| 五月婷婷综合网| 国产9熟妇视频网站| 国模吧 一区二区三区| 天天干1区2区在线| 立川理惠无码一区二区| 九九九九免费高| 视频二区熟女人妻| 51一区二区三区| 极品少妇久久久久| 精品超碰中文在线| 97在线观看免费视频| 99蜜桃臀久久久欧美精品网站| 欧美性爱免费短视频| 91n免费处女| 女人爽到高潮潮喷18禁网站| 久久久久久九九九九九九| 五月天偷拍| 大香蕉免费3| 人人摸人人舔一区二区| 婷婷丁香五月综合| A级在线视频| 久久久精品中文字幕麻豆| 337p大胆噜噜噜噜噜91Av| 国产精品操| 天天综合网1| 婷色五月| 欧美日本一区二区a人| 男人天堂新| 秋霞鲁丝午夜无码一区二区三| 亚洲国产欧美中日韩成人综合视频| dy888午夜老子影视达达兔| 色偷综合| 啊啊啊不要好疼视频| 成人自拍三级在线观看| 99热这里都是精品| 蜜臀久久久国产| 很黄很污的免费网站| 欧美十八禁导航成人| 激情五月天中文字幕色| 久久精品一区二区三区蜜桃臀| 91老司机视频| 天天操狠狠日夜夜干超大胆开放com大香蕉视频在线观看 | 乱伦av麻豆| 无码人妻一区二区三区色欲aⅴ | 亚洲天堂少妇| 五十路人妻在线| 97这里都是精品| 九九热免费视频| 欧美一区二区三区另类精品| 亚洲精品九九九| 91制服丝袜| 久久久久幕乱码| 伊人久久大香线综合无码| 天天做天天爱| 我要色综合网| 久久亚洲影院一区二区| 美女被艹尤物视频| 亚洲精品乱码久久久久久蜜桃麻豆 | 国产福利合集| 五月丁香激情四射| 国产精品久久久久久久久久久久久久吹 | 91久久堂| 国产精品午夜福利视频| 青青草视频导航官网| www.97在线| 91最新综合| A啊啊在线观看| 成人久久久精品| 97超碰精品图片| 在线播放中文字幕| 999久久芭蕾| 欧美在线天堂| 八戒无码国产午夜福利| 国产精品美女在线一区| 久久久久国产精品片区无码直播| 国产女性无套 免费观看| 国产一区二区三区影片| 久久乐| 欧美成人精品一区二区三区| 啊啊啊啊啊啊啊网址在线观看| 亚洲永久永久永久永久一级一级一级精品 | 学生妹天天看| 男女啊啊啊啊啊| 91精品国产91综合久久蜜臀| 凹凸久久人人| 深爱五月婷婷| 裸体1区| 欧美 亚洲| 黄片视频,下载| 五月天婷婷色| 欧美激情 日韩精品| 亚洲图片偷拍欧美| 午夜亚洲WWW湿好大| 久草视频分类在线| 亚洲AV乱码专区国产噜噜亚洲| 99re6国产精品99re| 97色在线视频| 久久精品99| 天操天操夜操夜月月年年操操| 久久久少妇| 亚洲精品视频在线播放| 国产精品色哟哟| 欧美碰碰综合色| 黄色欧美性爱视频| 日韩78m视频| 中文字幕熟女人妻丝袜| 99综合免费视频| 亚洲综人| 色婷婷狠狠18禁| 欧美少妇高潮久久91| 欧美亚洲| 天天欧美色| 欧美激情高清性猛交| 无码 有码 国产18p| 人人摸人人干| 欧美综合自拍| 久久不卡一区二区 | 性生活性生大爱77AV国产| av无码av无码专区| 亚洲少妇色图自慰直播| 乱伦日本中文自拍| 天操天操夜操夜月操月年年操| 97在线视频免费观看| 性爱av网站| 夜色97| 色一色综合网| 熟妇高潮精品一区二区三区下载| 97超碰色情| 伊人影院中文字幕| 欧美中出| 殴美大黄片| av2014 日韩在线中文字幕| 91丨国产丨白浆| 另类图片综合| 丰满翘臀美女影院视频| 97啪啪| 亚洲乱色视频一区、二区在线| 久久线上视频免费看| 95人妻爽爽人人做人人澡| 素人伊尹大香蕉免费下载视频| 日本不卡高清视频| 97伪v| 操逼逼无码| 日本一道在线播放高清| 91成人社区| 超碰成人国产| 少妇综合网| 啊啊啊啊操死我了| 日欧操屄视频| 在线洲亚线| 男人天堂.AB| 国产一级高跟丝袜| 亚洲天天更新| 国产夜夜操| 在线看免费无码AV天堂的| 97欧美综合| 日韩图区| 九九色精品| 超碰在线观看av不卡| 九热中文字幕| 加勒比久久av| 熟女一区二区三区| 91超碰人人| 国产男人又猛又粗又爽| 思思热在线视频免费| 熟女少妇一区二区三区| 亚洲天堂美臀在线| 国内精品999| 色婷婷久久| 日韩激情中文字幕有码| 日本孕妇一区二区视频操逼免费看| 夜夜精品视频一区二区| 麻豆一区在线| 天天综合影院91| 国产精品青青草| 99精品视频在线观看| 日本女人操逼| 国产 亚洲 丝袜 制服| www.91人妻.com| 欧美一级黄色免费专区| 久久久九九九| 亚洲高清自拍| 97国产超碰| 97国产超碰| 成人性生活高清视频在线播放| 死我十八禁| 97 国产精品| 大屁股国产在线视频| 成人天天爽| 欧美人妻色| 久久国产对白激情浪潮| 亚洲 图片 欧美 色图| 在线综合 亚洲 欧美中文字幕 | www…国产操逼| 国产精品成久久久久午夜午夜| 97国产精品一区二区传媒公司| 啊啊啊啊好疼| 青青草好吊色| 久久久久久99AV无码免费网站| 国产日韩精品suv| 天堂亚洲精品| 亚洲欧美校园| 高颜值美女口爆高潮浪叫| 怡春院久久| 97精品一区二区三区免费| 屁股久久久久久| AV乱伦专区| 激情综合二| 九九在线视频| 欧美一区二区传媒| 少妇蹲下买菜露大唇0| 97超碰国产亚洲精品| 91丝袜| 在线一道啪| 天天做天天爽| 中文一区在线日| 婷婷五月天激情四射| 国产亚洲女v在线观看| 日韩三级一区 | 欧美激色| 情趣丝袜无码操逼视频| 91天天| 国产高清吃奶免费视频网站| 园内精品自拍视频在线播放| 免费精品福利在线观看| 国产精品经典一卡久久久| av操操不卡| 九九九九九九综合| 久久久久久久久久va| 97人人模人人爽人人| 60秒试看最爽10分钟网站| 国内外激情在线| 蜜臀久久99精品久久久久| 欧美精品999| 男人天堂网手机版婷婷| 中文字幕国产| 上床不卡网站| 亚洲精品九九九| 97超碰国产精品| 亚洲综合九九| 加勒比大香蕉视频在线| 91超碰丝袜制服| 人人摸人人叼| 中文字幕伊人| 美国日韩黄色片| 亚洲脚交| www.av在线观看| 91黄站| 天美传媒一二三区永久网站| 国产白丝AV| 小草精彩毛片| 四虎精品永久在线播放| 狠狠狠一区二区三区| 尤物视频视频官网| 91爱看| 九九精品99| 日韩丨制服丨中文|在线| 91在线无码精品秘 软件| 走光一区92下载| 国模精品娜娜一二三区| 天天天干977| 花野真衣| 日韩欧美午夜一区二区| 九九九九九九免费视频| 久久99热这里只频精品6学生| 国产精品乱码久久久久| 免费的av网| 福利社区午夜一区二区| 日韩精品影视| 大香蕉人妻| 亚洲色欲天天天堂色欲网女| 综合一区二区影视| 色综合美国| 中国AAAAAA黄色片| 91九色丰满高潮| 国产精品麻豆成人AV艾秋| 国产日韩手机视频在线| 国产丁香精品露脸视频| 欧美天天拍| 亚洲一区二区性爱电影| 欧美色青| 中出20p| 日本 免费 一区二区三区 久久香蕉| 天天看天天在线精品| 欧美激情内射| 国产又大又粗又长视频在线| 99青草| 国产区91柔拿会所技师| 51久久夜色精品国产麻豆| 偷拍在线观看视频| 日本色色色视频| 亚洲欧美日韩免费观看| 草B在线| 操b网站亚洲无码| 欧美一区91大爱| 亚洲精品成人激情在线| 天天操天天射天天日| 欧美视频一区二区在线| 日韩大香蕉AV影片| 91老熟女老女人国产老太| 综合五月天| 国产中文福利| 亚洲瓯美色图| 日本青青草在线| 五月天婷婷基地| 国产操操日韩三级黄| 人人操欧美风骚| 亚洲av性爱电影| 日本色色色网站免费看不卡| 在线视频 亚洲精品| 免费试看60秒| 97在线视频观看| 夜夜爽夜夜| 国产真实子伦对白| 日本一级特级毛片视频| 亚洲国产另类在线中文| 欧美色图片| yw尤物av无码点击进入麻豆| 色色毛片| 国产女人与拘做受视频免费| 久久受www免费人成| 色婷婷国产精品一区在线观看| 日韩免费簧片| 久久久久久久伊人精品| 国产精品一区二区校花| 午夜福利在线合集| 国产人妖视频一区在线观看| 亚洲欧美日韩精品久久久一区二区| 国产精品香蕉热久久新品| 久热无码| 精品人妻一区二区乱码一区二区| 啊啊啊啊好大好硬啊啊啊啊啊| 欧美热图99| 乱性AV| 国产 无码 一区二区| 亚洲精品男人的天堂| 久久97| 中文乱码99| 亚洲天天自拍| 久操操AV电影| 99这里有精品| 久噜噜| 国产传媒av天美传媒在线| 久久首页| 亚洲色图91欧美日韩| 久久日本熟女精品一区| 国产精品粉嫩福利在线| 欧美资源| 国产日本久久免费精品| 青青草白白色| 久久人妻熟女一区二区| 欧美综合娱乐久久| 97资源制服丝袜| 97超碰亚洲| 熟女熟妇一区二区三区视频| 黄站在线免费观看| 久久曰曰| 久久亚洲骚逼综合| 中文字幕av一区二区三区人妻少妇| 四虎av在线| 无码高清少妇久久| 美日韩一卡二卡三卡免费人妻精品| 久久久免费高清中文视频| 99re这里| 在线视频一区二区传媒| 超碰色97| 狠狠操狠狠插| 99AV| 免费黄色视频网址|