日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

研發(fā)數(shù)字中樞落地復(fù)盤:從工具堆疊走向軟件工業(yè)化的底層重構(gòu)

研發(fā)數(shù)字中樞落地復(fù)盤:從工具堆疊走向軟件工業(yè)化的底層重構(gòu) 前兩年我接手了一個(gè)“研發(fā)效能提升”的項(xiàng)目。剛開(kāi)始我特別反感這個(gè)命名因?yàn)檫^(guò)去我們公司已經(jīng)上過(guò)不少類似的平臺(tái)項(xiàng)目最后不是成了沒(méi)人用的報(bào)表工具就是變成了各自為政的工具堆疊。但真正把需求、代碼、流水線、測(cè)試環(huán)境、發(fā)布審批和線上觀測(cè)這六塊核心數(shù)據(jù)全部打通并沉淀出一個(gè)統(tǒng)一的研發(fā)數(shù)字中樞之后我對(duì)“軟件工業(yè)化”這件事的看法發(fā)生了根本轉(zhuǎn)變。它不是一個(gè)趕時(shí)髦的概念而是軟件生產(chǎn)方式從手工作坊走向流水線裝配時(shí)必然要經(jīng)歷的一次底層重構(gòu)。這篇文章是我在設(shè)計(jì)和落地整個(gè)研發(fā)數(shù)字中樞過(guò)程中的完整復(fù)盤。我會(huì)講清楚它到底解決了什么問(wèn)題、如何定義自己的能力邊界、技術(shù)選型時(shí)為什么堅(jiān)持“開(kāi)源基座自研擴(kuò)展”的路線、核心流程閉環(huán)怎么搭建以及這三年里我們踩過(guò)哪些值得警惕的坑。如果你也正在推動(dòng)類似的研發(fā)效能建設(shè)、工程生產(chǎn)力平臺(tái)整合或者只是想搞明白“工業(yè)化研發(fā)”和“上幾個(gè)工具”之間的本質(zhì)差別這篇文章應(yīng)該能給你一些可落地的參考。1. 軟件工業(yè)化到底在解決什么問(wèn)題從作坊式研發(fā)到流水線生產(chǎn)的范式切換很多團(tuán)隊(duì)把軟件工業(yè)化理解成“上自動(dòng)化工具”這是我認(rèn)為最大的誤讀。工業(yè)化的核心不是自動(dòng)化而是可復(fù)制、可度量、可治理。手工做一把椅子匠人可以用五年時(shí)間打磨出藝術(shù)品但沒(méi)法保證第二把、第三把還能保持同樣的水準(zhǔn)。流水線的價(jià)值在于任何一個(gè)熟練工按照標(biāo)準(zhǔn)作業(yè)指導(dǎo)書操作都能做出品質(zhì)穩(wěn)定、符合規(guī)格的產(chǎn)品。這個(gè)邏輯映射到軟件行業(yè)就是我們常說(shuō)的“研發(fā)數(shù)字化”。1.1 作坊式研發(fā)的三個(gè)典型痛點(diǎn)我復(fù)盤了過(guò)去項(xiàng)目里反復(fù)出現(xiàn)的三類問(wèn)題它們幾乎在每個(gè)轉(zhuǎn)型初期的團(tuán)隊(duì)都存在。第一個(gè)痛點(diǎn)是“信息孤島”。需求在項(xiàng)目管理工具里代碼在代碼倉(cāng)庫(kù)里測(cè)試用例在另一個(gè)系統(tǒng)里線上監(jiān)控又在別的地方。每次要做一次完整的變更影響分析都需要人工去五個(gè)系統(tǒng)分別查一遍再憑個(gè)人經(jīng)驗(yàn)拼湊結(jié)論。這種模式下人的記憶力成了最高優(yōu)先級(jí)的基礎(chǔ)設(shè)施一旦核心人員請(qǐng)假或離職整個(gè)變更的上下文就斷了。第二個(gè)痛點(diǎn)是“過(guò)程不可見(jiàn)”。代碼提交了沒(méi)有測(cè)試跑了沒(méi)有部署到哪個(gè)環(huán)境了版本對(duì)不對(duì)這些信息散落在各個(gè)工具的日志和通知里管理層看到的是團(tuán)隊(duì)每周匯報(bào)的PPT聽(tīng)不到系統(tǒng)的真實(shí)聲音。第三個(gè)痛點(diǎn)是“質(zhì)量靠英雄”。在一個(gè)沒(méi)有標(biāo)準(zhǔn)化流程的團(tuán)隊(duì)里高質(zhì)量的交付往往來(lái)自個(gè)別資深工程師的個(gè)人習(xí)慣——有人習(xí)慣寫單測(cè)有人寫完代碼會(huì)自己先走查一遍有人會(huì)在合并前手動(dòng)檢查依賴。但個(gè)人的好習(xí)慣如果不能沉淀為團(tuán)隊(duì)的標(biāo)準(zhǔn)動(dòng)作整個(gè)組織的交付質(zhì)量就會(huì)像水波紋一樣起伏不定。這三個(gè)痛點(diǎn)讓我確定了一件事研發(fā)數(shù)字中樞的核心價(jià)值不是多做一個(gè)系統(tǒng)而是把已經(jīng)存在的系統(tǒng)和數(shù)據(jù)串成一個(gè)可以被統(tǒng)一治理的整體。1.2 工業(yè)化的核心詞是“可復(fù)制”而非“自動(dòng)化”很多人一談工業(yè)化就想到自動(dòng)化率比如CI/CD是否全自動(dòng)、測(cè)試是否自動(dòng)跑。但自動(dòng)化只是手段不是目的。一個(gè)全自動(dòng)但口徑混亂、結(jié)果不可信的流水線只會(huì)更快地把錯(cuò)誤推向生產(chǎn)環(huán)境。我更喜歡用制造業(yè)的“工藝路線”來(lái)類比。在工廠里一個(gè)零件從毛坯到成品要走哪幾道工序、每道工序用什么設(shè)備、加工到什么尺寸、用什么樣的檢驗(yàn)標(biāo)準(zhǔn)這些都有明確的定義。軟件研發(fā)中也應(yīng)該有同樣的東西一個(gè)需求從提出到上線要走哪些狀態(tài)、每個(gè)狀態(tài)需要什么條件才能進(jìn)入下一階段、每個(gè)階段產(chǎn)出什么產(chǎn)物、用什么樣的標(biāo)準(zhǔn)來(lái)判定“完成”。這些標(biāo)準(zhǔn)一旦被固化到研發(fā)數(shù)字中樞里團(tuán)隊(duì)得到的就不只是效率而是確定性。所以我在設(shè)計(jì)中樞的時(shí)候首要目標(biāo)不是把流水線做得“快”而是把流程定義得“一致”。只要流程一致后續(xù)的度量、質(zhì)量分析、瓶頸識(shí)別全部有了數(shù)據(jù)基礎(chǔ)。這一步走扎實(shí)后面的技術(shù)選型和架構(gòu)設(shè)計(jì)才有意義。2. 研發(fā)數(shù)字中樞的定位設(shè)計(jì)它包含什么以及它拒絕了什么項(xiàng)目啟動(dòng)時(shí)我們面臨的最尖銳問(wèn)題是這個(gè)中樞到底要做什么最初討論會(huì)上產(chǎn)品經(jīng)理列了兩百多條功能需求研發(fā)團(tuán)隊(duì)提出要統(tǒng)一六個(gè)工具的登錄認(rèn)證管理層希望一個(gè)看板看到所有項(xiàng)目的進(jìn)度和風(fēng)險(xiǎn)。如果都滿足這個(gè)項(xiàng)目三年都交付不了。我后來(lái)用了一個(gè)很樸素的判斷標(biāo)準(zhǔn)來(lái)收斂需求凡是只解決“點(diǎn)”上效率的不做凡是能沉淀為“面”上能力的優(yōu)先做。研發(fā)數(shù)字中樞定位為全鏈路數(shù)據(jù)的治理與流轉(zhuǎn)平臺(tái)而不是業(yè)務(wù)工具本身。它不替代代碼倉(cāng)庫(kù)、不替代CI系統(tǒng)、不替代監(jiān)控系統(tǒng)而是作為它們之上的統(tǒng)一編排與數(shù)據(jù)通道。2.1 中樞的能力邊界六類核心數(shù)據(jù)的治理我最終把中樞的能力邊界收斂在六類數(shù)據(jù)的統(tǒng)一治理上分別是需求數(shù)據(jù)、代碼數(shù)據(jù)、制品數(shù)據(jù)、環(huán)境數(shù)據(jù)、發(fā)布數(shù)據(jù)和觀測(cè)數(shù)據(jù)。需求數(shù)據(jù)指的是從需求提出、評(píng)審、排期到最終驗(yàn)收的完整狀態(tài)流代碼數(shù)據(jù)包括代碼倉(cāng)庫(kù)元數(shù)據(jù)、分支信息、提交記錄、代碼評(píng)審記錄等制品數(shù)據(jù)指構(gòu)建產(chǎn)物、鏡像、依賴包及其版本和簽名信息環(huán)境數(shù)據(jù)描述開(kāi)發(fā)、測(cè)試、預(yù)發(fā)、生產(chǎn)等各環(huán)境的狀態(tài)和部署關(guān)系發(fā)布數(shù)據(jù)記錄每一次變更的審批、執(zhí)行、回滾全過(guò)程觀測(cè)數(shù)據(jù)則匯聚線上監(jiān)控、日志、告警和調(diào)用鏈信息。這六類數(shù)據(jù)的共同特點(diǎn)是沒(méi)有業(yè)務(wù)領(lǐng)域?qū)傩允侨魏渭夹g(shù)團(tuán)隊(duì)都通用的研發(fā)過(guò)程資產(chǎn)。把它們治理好了團(tuán)隊(duì)就可以回答幾個(gè)以前很難回答的問(wèn)題某個(gè)需求到底合入到哪個(gè)版本了線上運(yùn)行的鏡像包含哪幾個(gè) commit告警對(duì)應(yīng)的那次變更是誰(shuí)在什么時(shí)候?qū)徟倪@些問(wèn)題的答案一旦能自動(dòng)給出研發(fā)和運(yùn)維協(xié)作的信任成本會(huì)立刻下降。2.2 拆掉重造和工具堆疊之間的中間路線在落地路徑上我們很清楚自己不會(huì)走兩條極端的路。第一條是拆掉重造所有東西都自研。這需要極強(qiáng)的研發(fā)資源和長(zhǎng)期投入收益期太晚對(duì)大部分公司來(lái)說(shuō)不現(xiàn)實(shí)。第二條是工具堆疊買來(lái)或接入一批現(xiàn)成系統(tǒng)用一個(gè)頁(yè)面聚合入口就對(duì)外宣稱是“平臺(tái)”這是最容易出現(xiàn)的結(jié)果也是最沒(méi)價(jià)值的。兩條路之間的中間路線是保留成熟工具的核心能力在其之上做統(tǒng)一的數(shù)據(jù)模型、統(tǒng)一的流程編排、統(tǒng)一的門戶展示。核心資產(chǎn)自己控制非核心能力讓專業(yè)工具發(fā)揮專業(yè)價(jià)值。這種定位帶來(lái)的最大好處是我們不需要去和已有的系統(tǒng)競(jìng)爭(zhēng)而是成為它們之間的連接器和規(guī)則引擎。整個(gè)項(xiàng)目始終是“減法優(yōu)先”而不是“加法優(yōu)先”每加一個(gè)功能模塊之前都要先回答一個(gè)問(wèn)題它是否在為六類數(shù)據(jù)的完整流動(dòng)服務(wù)如果答案是“體驗(yàn)優(yōu)化”或“展示美觀”我就把它排到后置。3. 自主可控的技術(shù)選型與架構(gòu)落地細(xì)節(jié)自主可控這個(gè)提法在研發(fā)數(shù)字中樞的語(yǔ)境下不是一句口號(hào)而是一系列非常具體的技術(shù)決策。我的理解是系統(tǒng)必須保證全鏈路的技術(shù)可解釋、可維護(hù)、可替換不讓任何一環(huán)被供應(yīng)商鎖定也不讓核心邏輯變成誰(shuí)都不懂的黑盒。3.1 為什么堅(jiān)持“開(kāi)源基座自研插件統(tǒng)一門戶”技術(shù)選型階段我們?cè)u(píng)估過(guò)一個(gè)龐大的商業(yè)研發(fā)效能平臺(tái)功能確實(shí)全但有兩個(gè)問(wèn)題我們接受不了一是核心代碼在供應(yīng)商手里個(gè)性化需求必須走漫長(zhǎng)的排期二是數(shù)據(jù)模型不開(kāi)放未來(lái)如果我們想基于這些數(shù)據(jù)做更深入的算法分析會(huì)非常被動(dòng)。最終我們選擇了“開(kāi)源基座自研插件統(tǒng)一門戶”三層結(jié)構(gòu)。開(kāi)源基座提供穩(wěn)定的基礎(chǔ)能力比如代碼倉(cāng)庫(kù)我們用GitLabCI/CD用Jenkins和GitLab CI混合制品管理用Nexus監(jiān)控體系用Prometheus和Grafana。自研插件解決關(guān)鍵路徑上的訴求包括需求到代碼的自動(dòng)關(guān)聯(lián)、發(fā)布審批的流程編排、跨系統(tǒng)數(shù)據(jù)同步等。統(tǒng)一門戶則是一個(gè)自研的前端容器把所有系統(tǒng)的常用操作做成了統(tǒng)一體驗(yàn)的入口底層卻仍然調(diào)用各系統(tǒng)的原生API。這個(gè)結(jié)構(gòu)的核心優(yōu)勢(shì)是每一層都可替換。如果未來(lái)某個(gè)開(kāi)源基座無(wú)法滿足需求我們只需要替換對(duì)應(yīng)的適配層不需要重寫中樞的邏輯。這種“可替換性”正是自主可控最容易落地的一種形態(tài)。3.2 技術(shù)棧和部署架構(gòu)的穩(wěn)定基線中樞本身我們分為接入層、流程層和數(shù)據(jù)層。接入層負(fù)責(zé)對(duì)接各類外部系統(tǒng)的API所有調(diào)用統(tǒng)一走一個(gè)獨(dú)立的網(wǎng)關(guān)在網(wǎng)關(guān)層完成鑒權(quán)、限流和敏感字段脫敏。流程層是中樞的大腦采用微服務(wù)架構(gòu)按領(lǐng)域拆分成需求服務(wù)、流水線服務(wù)、發(fā)布服務(wù)、度量服務(wù)等模塊服務(wù)之間通過(guò)事件總線異步通信。數(shù)據(jù)層使用MySQL存儲(chǔ)核心流程數(shù)據(jù)用Elasticsearch存儲(chǔ)全量審計(jì)日志和度量數(shù)據(jù)用Redis緩存熱點(diǎn)狀態(tài)。部署上我們沒(méi)有追求復(fù)雜的容器集群初期就采用單Kubernetes集群多命名空間的方式把不同模塊軟隔離。每個(gè)服務(wù)設(shè)置資源上限避免某個(gè)模塊的異常流量拖垮整個(gè)中樞。數(shù)據(jù)庫(kù)主從同步從庫(kù)承擔(dān)所有查詢和分析類任務(wù)主庫(kù)只寫高一致性的狀態(tài)變更大幅降低了鎖沖突。這里有一個(gè)容易被忽略的細(xì)節(jié)各系統(tǒng)之間的同步不能直接強(qiáng)依賴定時(shí)任務(wù)拉輪詢而要優(yōu)先使用Webhook事件驅(qū)動(dòng)。GitLab的Push事件、Jenkins的構(gòu)建完成事件、Prometheus的告警事件都以消息形式進(jìn)入我們的事件總線再由流程層的消費(fèi)者來(lái)決定觸發(fā)什么動(dòng)作。這種設(shè)計(jì)讓全鏈路的響應(yīng)時(shí)間從分鐘級(jí)降低到秒級(jí)這才是數(shù)字化中樞該有的體感。4. 從需求到發(fā)布核心流程的數(shù)字化閉環(huán)實(shí)現(xiàn)研發(fā)數(shù)字中樞如果只做一個(gè)數(shù)據(jù)倉(cāng)庫(kù)價(jià)值會(huì)大打折扣。真正的價(jià)值體現(xiàn)在流程閉環(huán)上一條需求從進(jìn)入系統(tǒng)到最終上線產(chǎn)生觀測(cè)反饋全鏈路都在中樞的控制和監(jiān)視之下任何環(huán)節(jié)出現(xiàn)偏差都能被及時(shí)暴露。4.1 需求到代碼關(guān)聯(lián)強(qiáng)制卡片流轉(zhuǎn)第一個(gè)閉環(huán)是需求和代碼的關(guān)聯(lián)。過(guò)去經(jīng)常出現(xiàn)一種情況產(chǎn)品經(jīng)理統(tǒng)計(jì)需求完成率時(shí)發(fā)現(xiàn)80%的需求都顯示“待驗(yàn)收”但代碼已經(jīng)上線了。原因是代碼提交信息里根本沒(méi)有關(guān)聯(lián)到需求ID兩者在數(shù)據(jù)層就斷裂了。我們做了一個(gè)強(qiáng)制規(guī)則所有功能分支必須從主分支拉出分支名必須包含需求編號(hào)所有合并請(qǐng)求的描述里必須關(guān)聯(lián)需求卡片否則CI的第一階段校驗(yàn)直接失敗阻斷合并。同時(shí)當(dāng)合并請(qǐng)求被合入主分支后中樞會(huì)自動(dòng)更新對(duì)應(yīng)需求的狀態(tài)為“已實(shí)現(xiàn)”并記錄這次需求量變更涉及的提交哈希和代碼文件列表。這個(gè)規(guī)則的推行阻力不小最初兩周幾乎每天都有人在群里抱怨“流程太重”。但堅(jiān)持跑了一個(gè)月后產(chǎn)品經(jīng)理、測(cè)試和研發(fā)的數(shù)據(jù)口徑完全統(tǒng)一了一個(gè)需求關(guān)聯(lián)了幾個(gè)提交、改動(dòng)了哪些文件、對(duì)應(yīng)哪個(gè)合并請(qǐng)求、測(cè)試通過(guò)沒(méi)有全部可以在一個(gè)界面里看到。跨部門協(xié)作的爭(zhēng)吵明顯減少因?yàn)榇蠹铱吹氖峭惶资聦?shí)。4.2 可重復(fù)的流水線模板與制品管理流水線的建設(shè)我們同樣遵循“模板化”而非“靈活自由”的理念。研發(fā)團(tuán)隊(duì)可以自定義自己的構(gòu)建步驟但沒(méi)有權(quán)限直接編寫不受控的Shell腳本。所有語(yǔ)言類型Java、Go、Node等的默認(rèn)流水線都從中樞提供的標(biāo)準(zhǔn)模板中生成模板里包含了版本號(hào)自動(dòng)生成、依賴安全檢查、單元測(cè)試、制品歸檔等一系列默認(rèn)動(dòng)作。版本號(hào)規(guī)則是我們很早定下來(lái)的Git的短提交哈希構(gòu)建序號(hào)。例如release-1.4.2-a1b2c3d-78。這樣的好處是每個(gè)制品都同時(shí)對(duì)應(yīng)到一個(gè)明確的代碼版本和一個(gè)構(gòu)建批次回滾時(shí)可以準(zhǔn)確無(wú)誤地找到上一個(gè)可用的制品而不是重新構(gòu)建一份新鏡像。制品管理采用不刪除策略所有鏡像和jar包都保留可追溯的記錄磁盤不夠就定期歸檔到冷存儲(chǔ)。這套機(jī)制幫我們解決了一個(gè)非常實(shí)際的痛點(diǎn)環(huán)境差異導(dǎo)致“在我機(jī)器上能跑”的問(wèn)題。通過(guò)模板化的流水線每個(gè)環(huán)境的部署制品完全一樣區(qū)別只是配置注入不同。研發(fā)和生產(chǎn)環(huán)境用的是同一個(gè)構(gòu)建產(chǎn)物這從根本上消除了“測(cè)試通過(guò)但上線失敗”的常見(jiàn)根源之一。4.3 上線審批與變更數(shù)據(jù)的沉淀發(fā)布是研發(fā)流程里風(fēng)險(xiǎn)最高的環(huán)節(jié)所以我把它設(shè)計(jì)成了流程層的核心場(chǎng)景。在中樞里發(fā)布和變更不再是直接在Kubernetes集群上執(zhí)行命令而是一條受控的審批流水線。每一次正式環(huán)境發(fā)布系統(tǒng)會(huì)在前端頁(yè)面把這次發(fā)布涉及的代碼變更、關(guān)聯(lián)需求、測(cè)試報(bào)告、制品信息、之前同類變更的歷史告警情況匯總到一張“變更說(shuō)明書”頁(yè)面上。審批人不再憑感覺(jué)點(diǎn)“同意”而是先看變更影響面和測(cè)試證據(jù)。審批通過(guò)后系統(tǒng)調(diào)用底層發(fā)布工具執(zhí)行部署并在部署完成后拉取一段時(shí)間窗口內(nèi)的監(jiān)控?cái)?shù)據(jù)做自動(dòng)比對(duì)如果發(fā)現(xiàn)錯(cuò)誤率上升或延遲增加立即觸發(fā)回滾預(yù)案。這些變更記錄全部進(jìn)入了我們的ES索引形成持續(xù)積累的變更知識(shí)庫(kù)。后續(xù)每當(dāng)有類似模塊的變更申請(qǐng)時(shí)系統(tǒng)會(huì)自動(dòng)提示歷史上同模塊的變更頻率和故障率幫助審批人更精準(zhǔn)地識(shí)別風(fēng)險(xiǎn)。這是我認(rèn)為“數(shù)據(jù)資產(chǎn)”最有價(jià)值的地方它把每一次事故都轉(zhuǎn)化成了下一次決策的參考依據(jù)。5. 構(gòu)建過(guò)程中的典型故障與避坑記錄承接中樞這個(gè)項(xiàng)目最不缺的就是踩坑。我在這里記錄三個(gè)最典型的教訓(xùn)它們分別出現(xiàn)在權(quán)限模型、數(shù)據(jù)同步和度量口徑三個(gè)方向每一個(gè)都曾經(jīng)讓項(xiàng)目停滯過(guò)一兩周以上。5.1 權(quán)限模型設(shè)計(jì)失誤從“功能權(quán)限”轉(zhuǎn)向“數(shù)據(jù)權(quán)限”項(xiàng)目初期我們模仿很多后臺(tái)系統(tǒng)的做法設(shè)計(jì)了基于角色的功能權(quán)限每個(gè)用戶可以訪問(wèn)哪些頁(yè)面、點(diǎn)擊哪些按鈕。但上線兩周后就出了問(wèn)題測(cè)試部門的小李可以進(jìn)入項(xiàng)目A的需求列表修改狀態(tài)因?yàn)樗麚碛械慕巧恰皽y(cè)試工程師”而角色定義沒(méi)有細(xì)化到項(xiàng)目維度。這個(gè)bug在項(xiàng)目初期直接被忽略直到一次跨部門審計(jì)時(shí)才發(fā)現(xiàn)一位研發(fā)可以隨意查看所有項(xiàng)目群的生產(chǎn)環(huán)境密鑰。問(wèn)題本質(zhì)在于研發(fā)數(shù)字中樞的訪問(wèn)控制粒度必須是“數(shù)據(jù)權(quán)限”而不是“功能權(quán)限”。我們重構(gòu)為以“項(xiàng)目群-環(huán)境-資源”為維度的授權(quán)模型用戶能看到的每一個(gè)環(huán)境、每一個(gè)制品、每一條流水線日志都通過(guò)底層接口做數(shù)據(jù)級(jí)校驗(yàn)前端按鈕隱藏只是交互優(yōu)化真正可靠的是服務(wù)端的數(shù)據(jù)過(guò)濾。重構(gòu)之后我們形成了一個(gè)規(guī)范任何涉及其他系統(tǒng)數(shù)據(jù)的請(qǐng)求都必須帶上用戶在數(shù)據(jù)域的授權(quán)上下文第三方工具自己的權(quán)限系統(tǒng)只作為第二道防線。這個(gè)設(shè)計(jì)最終幫我們?cè)诎踩弦?guī)評(píng)審上省了不少時(shí)間。5.2 同步鏈路的數(shù)據(jù)一致性消息重復(fù)與亂序因?yàn)槲覀儾捎檬录?qū)動(dòng)架構(gòu)各系統(tǒng)之間靠Webhook和消息隊(duì)列同步很快遇到了消息的重復(fù)消費(fèi)和亂序處理問(wèn)題。舉個(gè)具體例子GitLab的Merge Request更新事件在評(píng)論或者狀態(tài)變更頻繁時(shí)Webhook可能重復(fù)推送也可能先推updated再推opened導(dǎo)致中樞里的MR狀態(tài)和實(shí)際GitLab狀態(tài)不一致。第一版解決思路很粗暴在數(shù)據(jù)庫(kù)表加唯一索引重復(fù)消息直接丟棄。但這并沒(méi)有解決亂序問(wèn)題反而造成狀態(tài)倒掛比如一個(gè)MR已經(jīng)被合并后續(xù)一條兩秒前的“已關(guān)閉”事件才被處理系統(tǒng)就把狀態(tài)錯(cuò)誤地更新成關(guān)閉。后來(lái)我們引入了兩個(gè)機(jī)制。一是“事件冪等表”接受到事件后先在冪等表里比較事件ID和事件產(chǎn)生時(shí)間戳如果當(dāng)前處理的事件時(shí)間戳早于已處理事件的最后時(shí)間戳就直接跳過(guò)。二是“狀態(tài)機(jī)校驗(yàn)”每個(gè)聚合根在狀態(tài)流轉(zhuǎn)時(shí)只接受合法的前序狀態(tài)非法轉(zhuǎn)換一律拒絕并進(jìn)入告警隊(duì)列。這個(gè)組合方案把同步準(zhǔn)確率從99.2%提升到了99.98%剩下的萬(wàn)分之二則通過(guò)每小時(shí)的核對(duì)任務(wù)兜底。5.3 指標(biāo)口徑不統(tǒng)一引發(fā)的信任危機(jī)研發(fā)數(shù)字中樞上線后我們做了一個(gè)“研發(fā)效率看板”展示需求交付周期、部署頻率、變更失敗率等指標(biāo)。結(jié)果上線第一周就有兩個(gè)團(tuán)隊(duì)反饋數(shù)據(jù)完全對(duì)不上研發(fā)團(tuán)隊(duì)說(shuō)交付周期平均是14天而測(cè)試團(tuán)隊(duì)說(shuō)從提測(cè)到上線怎么算都要20天。排查后發(fā)現(xiàn)原因是兩個(gè)團(tuán)隊(duì)對(duì)“交付周期”的起止定義不一樣。研發(fā)團(tuán)隊(duì)認(rèn)為應(yīng)從創(chuàng)建需求到代碼合入主分支計(jì)算測(cè)試團(tuán)隊(duì)認(rèn)為應(yīng)從提測(cè)到生產(chǎn)環(huán)境部署成功計(jì)算。兩個(gè)口徑各有道理但放在同一個(gè)看板上就成了互相矛盾的數(shù)字。這個(gè)坑給了我們一個(gè)很重要的啟示研發(fā)數(shù)字中樞的度量模塊必須把每一個(gè)指標(biāo)的定義、計(jì)算邏輯、數(shù)據(jù)來(lái)源、刷新頻率固化為元數(shù)據(jù)可視化用戶在查看數(shù)據(jù)時(shí)可以一鍵展開(kāi)口徑解釋而不是只看到一個(gè)孤零零的百分比。指標(biāo)口徑是一個(gè)組織級(jí)的約束問(wèn)題不是技術(shù)問(wèn)題但沒(méi)有系統(tǒng)層面的“強(qiáng)制透明”這個(gè)問(wèn)題永遠(yuǎn)無(wú)法收斂。6. 落地三年后的經(jīng)驗(yàn)復(fù)盤與后續(xù)演進(jìn)方向項(xiàng)目走到今天我最大的體會(huì)是研發(fā)數(shù)字中樞的建設(shè)不是一次性的項(xiàng)目交付而是一個(gè)長(zhǎng)期演進(jìn)的“軟件工業(yè)化底座”。如果你剛開(kāi)始推動(dòng)類似建設(shè)下面這些判斷可能對(duì)你有用。6.1 什么情況下這個(gè)模式不適用我需要先說(shuō)清楚邊界。如果你的團(tuán)隊(duì)規(guī)模在十人以下需求變化極快產(chǎn)品處于探索期那么投入資源建設(shè)這樣一個(gè)中樞可能并不劃算。小團(tuán)隊(duì)的核心優(yōu)勢(shì)是溝通成本極低一個(gè)優(yōu)秀的工程師可以一個(gè)人完成需求、開(kāi)發(fā)、測(cè)試、部署的全部動(dòng)作硬塞一套標(biāo)準(zhǔn)流程反而會(huì)拖慢節(jié)奏。還有一類情況也不適用組織本身對(duì)數(shù)據(jù)共享和流程透明沒(méi)有強(qiáng)烈意愿各部門把工具和數(shù)據(jù)視作部門私有領(lǐng)地。在這種情況下中樞建設(shè)最大的障礙不在技術(shù)而在組織本位主義。我曾經(jīng)在一個(gè)內(nèi)部溝通會(huì)上提議統(tǒng)一各團(tuán)隊(duì)的CI/CD規(guī)范結(jié)果被三個(gè)不同團(tuán)隊(duì)以“我們的場(chǎng)景特殊”為由拒絕。如果高層沒(méi)有下決心推動(dòng)統(tǒng)一的流程標(biāo)準(zhǔn)中樞項(xiàng)目很容易變成一個(gè)無(wú)人使用的數(shù)據(jù)空殼。所以我的建議是先評(píng)估組織的“工業(yè)化意愿”再評(píng)估“工業(yè)化能力”。意愿不統(tǒng)一時(shí)先做局部標(biāo)桿讓率先使用中樞的團(tuán)隊(duì)跑出效果再逐步向外滲透這比自上而下地強(qiáng)推有效得多。6.2 后續(xù)演進(jìn)的方向從流程數(shù)字化到數(shù)據(jù)智能當(dāng)六類數(shù)據(jù)都能穩(wěn)定流轉(zhuǎn)后我們開(kāi)始把一部分精力從“流程”轉(zhuǎn)向“智能”。最直接的變化是很多以前需要人工判斷的事情系統(tǒng)開(kāi)始能做輔助決策了。比如故障定位。過(guò)去線上告警后運(yùn)維需要先查部署時(shí)間線再查代碼變更記錄再通過(guò)日志反推根因整個(gè)過(guò)程可能耗時(shí)半小時(shí)。現(xiàn)在中樞把發(fā)布事件和告警事件關(guān)聯(lián)起來(lái)一旦監(jiān)控指標(biāo)異常系統(tǒng)自動(dòng)展示最近一次發(fā)布變更的明細(xì)、對(duì)應(yīng)需求背景、相關(guān)代碼提交把這些信息聚合到同一個(gè)告警卡片上給值班工程師節(jié)省了很多跨系統(tǒng)切換的時(shí)間。下一步我們計(jì)劃把歷史變更數(shù)據(jù)、測(cè)試覆蓋數(shù)據(jù)和線上質(zhì)量數(shù)據(jù)匯總起來(lái)構(gòu)建一個(gè)“變更風(fēng)險(xiǎn)預(yù)測(cè)”的模型。簡(jiǎn)單來(lái)說(shuō)就是當(dāng)一個(gè)合并請(qǐng)求進(jìn)入準(zhǔn)備發(fā)布階段時(shí)系統(tǒng)根據(jù)歷史相似模塊的變更規(guī)律給出一個(gè)風(fēng)險(xiǎn)評(píng)分分?jǐn)?shù)過(guò)高的變更會(huì)被自動(dòng)標(biāo)記為需要人工重點(diǎn)復(fù)核。這個(gè)方向我很看好因?yàn)樗蜒邪l(fā)數(shù)字中樞從被動(dòng)記錄工具變成了主動(dòng)的風(fēng)險(xiǎn)防控體系這也是我認(rèn)為軟件工業(yè)化繼標(biāo)準(zhǔn)化、自動(dòng)化之后的第三層價(jià)值——智能化。回看整個(gè)項(xiàng)目過(guò)程我覺(jué)得最有成就感的一件事不是系統(tǒng)上線時(shí)有多少人在用而是某天深夜一個(gè)值班同事在群里說(shuō)了一句“現(xiàn)在處理線上問(wèn)題比以前快多了因?yàn)樗斜尘岸荚谝粋€(gè)屏幕上不用到處問(wèn)人了?!毖邪l(fā)數(shù)字中樞聽(tīng)起來(lái)是個(gè)很大的詞但它落到每個(gè)人每天的工作里其實(shí)就是讓團(tuán)隊(duì)少做點(diǎn)無(wú)意義的重復(fù)溝通多獲得一些高質(zhì)量的數(shù)據(jù)支持。所謂軟件工業(yè)化我現(xiàn)在的理解很簡(jiǎn)單把偶然的聰明變成必然的穩(wěn)定把個(gè)人的經(jīng)驗(yàn)變成組織的資產(chǎn)。這條路沒(méi)有終點(diǎn)每往前走一步團(tuán)隊(duì)就離低效的過(guò)去更遠(yuǎn)一點(diǎn)。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久视频,这里只有精品 | 九九九久久久| 婷婷九月国产| 精品久久久久瑟瑟| 6080yy午夜理论三级一区二区三区无码| 免费国产视频| 极品人妻少妇综合| 人人操人人射人人干| 久久久五月天| 盗摄女人妻在线| 999精品久久久久久久| 精品999日本| 99操碰| 逼操网站| 色色香蕉| 成人av福利在线观看| 草B在线| 素人无码中文字幕| 99国产精品在线观看| www.91理论| 大学生美女口爆| 超碰97资源网亚洲| 少妇久久久免费| 亚洲一二三精品久久网 | 97热视频在线观看| 99国产精品久久久久久久成人热| 久久麻豆一区二区| 亚洲精品一区二区三区新线路| 无码抄逼网| 秋霞网—男女啪啪亚洲免费体验区| 欧美中日韩XXXX| 无码av永久免费专区网站| 九九九九88| 亚洲激情综合另类男同| 视频国产欧美在线播放| 欧美性爱伊人| 狠狠操狠狠燥| 4虎在线观看| www色色色com| 亚洲人妻中文在线视频| 国产又粗又又黄又猛| 欧美自拍偷拍免费观看| 人妻精品一区二区在线| 欧美精品999| 色小视频蜜乳| 日本中文字幕在线电影| 亚州精品一区二区三区香中文字幕在线| 综合久久婷婷| 小骚逼被操的爽不爽| 免费黄色片。| 美女啪欧美一区| 激情小说成人日本无码一| 亚洲一区二区三区久久 亚洲一区二区| 9999亚洲精品| 超碰这里只有精品| 日韩熟女视频二区| 91青青| 97日韩欧美亚洲| 爱妻综合网| 九久久精品| 天天干夜夜| 南澳成人一级片在线播放| 福利视频一区二区微拍| 小情侣高清国产在线视频| 天天干夜夜操网| 男人的天堂一区三区| 人妻中文在线| 天天综合在线4| 久操B网| 精品久久久久,69国产成人精| 久久手机视直播| 国产农村妇女精品一| 欧美性爱一区二区三区四区| 9美女超碰在线免费观看| 欧美综合自拍| 国产欧美一区激情交| 午夜精品久久久久久久男人的天堂 | 妇女性内射冈站HDWWWCOM| 黄片视频观看| 亚洲砖码砖专无区2023| 色呦呦、国产精品| 国产精选视频| 激情五月天插| 精品区9| 一道本东京热加勒比一区二区三区| 屌妞视频久久久久久久久久久久| 伊人在线大香蕉二。| 伊人超碰97| 免费成人在线观看91| 久久久精品无码亚免费| 亚洲精品一二三四区| 天天精品| 男人把坤坤插入女人的下体| AA级电影三区| 一区二区三区机械有限公司| 日韩欧美被操黄免费观看| 999色欧美中文字幕| 欧美91精品国产自产| 自拍视频一区在线观看| 中文字幕视频一区视频二区| 超碰人妻久久| 尤物一级在线免费观看| 五码视频在线观看| 91女神在线视频| 男女啊啊啊啊啊| 大黄片做爱的大的| 91黑丝美女| 国产综合色精品在线观看| 人人操人人摸人| 美女毛片999| 欧美精品宗合| 久久色一区| 综合久久2017| 欧美久久九九| 97亚洲精品超碰| 香蕉婷婷| 天天操妹子| 日日日日日| 亚洲第一成人影院色播| 9999九九九久久久| 少妇干B| 91中文精品日韩欧美在线| 色悠久| 熟妇熟女亚洲天堂网| 91欧美经典| 国产一区二区三区影片| 色网亚洲人| 无码国产精品久久久久| 96精品久久久| 人妻少妇视频在线播放| 国产精品内射婷婷一级二| 大香蕉碰碰| 骚女天天综合网| 96AV精品| 国产在线强奸视频| 9ⅰ久久久天天| 人干人人人操人人摸| 青青草日韩免费观看高清在线| 日本精品88888888| 中文字幕日韩电影人妻| 91精品操美女| AV天天综合| 国产 日韩 欧美一区| 久久av色| 欧美视频一区二区在线| 91综合网在线| 国产成自自拍在线观看| 日本一区二区三区四区免费观看| 精品国产综合久久福利,热99这里有精品综合久久,99热这里只有免费国产精品,精 | 欧综合网| 色女综合| 亚洲古典另类欧美在线| 97美日韩视频| 久久久久久久久久精| 精品一区二区成人| 亚洲另类春色| 国产女s强制榨精视频| 九九九久千久久激情蜜桃在线看 | 国产剧情一区在线观看| 一级黄色视频网| 黄色工厂这里只有精品| 超碰久久草| 婷婷五月天影院| 少妇厨房愉情理伦片bd在线观看| aV中文麻| 激情综合av| 亚洲性爱高潮影院| 性爱av在线免费观看| 欧美综合网| 欧美综合综合| 欧美视频激情久久久久久| 日本黄 R色 成 人网站| 亚洲好看强奸乱伦| 91av熟女人妻| 亚洲色婷婷综合久久久久中文| 日本97久久久精品| 亚洲 中文 女同| 青青伊人这里只有精品| 搡老女人老熟女91| 91高清欧美| 久久久内射良家| 国产婷婷一区| 超碰色97| 亚洲色天堂九9| 一区二区视频你懂的| 色婷婷五月天| 99精品无码| 国产九九九九九九九九| 日韩黄色一区二区三区| 黑人操一区二区| 亚洲不卡三级手机播放| 啊啊啊啊免费视频| 97在线亚洲| 裸体1区| 爱爱动态试试看6 0秒| 国产精品交换一区二区| 日本123区操B视频| 国产成人精品日本视频| 亚洲日韩青青草色月| 亚洲色综合| 91强热人妻| 嗯啊抽插大香蕉网页| 欧美综合国产精品久久丁香| 国产9 9在线 | 亚洲| 夜夜爽夜夜操| 999精品乱码| 美女91网| 亚洲人妻爽爽爽| 91色欧美| 丁香九月婷婷| 91精品国产91久久福利| 欧美日韩国产三级黄色| 亚洲无码国产精品久久| 国产毛片在线| 超碰97首页| 伊人991| 97国产天堂岛| 天堂成人网| 亚洲熟女av中文字幕| 亚洲有码视频二区| 男人的天堂 在线一区| 91老熟女视频| 免费伦费视频在线观看| 岛国成人av在线播放网址| 久久99午夜精品一区人妻| 偷窥自拍A片| 凹凸视频特色日本特黄| 欧美嗯啊……在线观看视频免费| 少妇毛片久久| 少妇内射视频| 亚洲黄色AV电影| 不卡日本一区二区| 一牛影视成人片免费| 久久久久久久久成人av解说| 蜜色网色哟哟| 97精选久久| 夜夜黄| 大香蕉一级黄色片久久| 亚洲av影音先锋| 婷婷五月天影院| 91热| 国产一级特黄大片处女| 国产在线视视频有精品| 91 丝袜在线| 国产少妇内射| 亚洲中文一区二区三区| 啊啊啊啊嗯嗯嗯用力好爽| 天天影视激情欧美| www国产精品| 色操逼网| 国产 日韩 欧美 人妻 熟女 中文| 青青11操操操操操操操操| 亚洲性猛交| 国产又粗又长视频| 欧美黑人精品在线播放| 中文伊人大香蕉视频| 亚洲精品国产av天美传媒| 新91视频.cmp| 国内毛片婷婷六月色| 亚洲1区| 欧美激情片一区二区| 大香蕉一人| 亚洲日韩精品久久久久一区壹牛 | 91少妇通奸网站| 男同专区一区二区三区在线| 亚洲无吗在线视频| 亚洲av总站| 青青五月天| 午夜.DJ高清在线观看免费7| 欧美性战999| 中文字幕成人乱码熟女精品国50| 国产东北女人在线视频| 免费的av网| www男人天堂| 国产熟女完整版中字| 麻豆亚洲Av成人无码一区精品| 国产吹潮女在线观看| 性爱视频免费网址| 亚洲人精品久久久喷水| 2017,超碰| 加勒比久久综合网高清| 蜜桃视频一区二区三区| 岛国免费视频在线| 欧色综合| 国产91啪| 十八禁电影伊人网| 青椒国产97在线熟女| 九九九九88| 九九九九九九九九九国产精品 | 狠狠激情综合狠狠操中文字幕| 91熟女综合| 国产精品白领在线观看| 国产精品国产自产拍高清AV| 成年无码动漫av片无尽在线| 欧美另类色图片| 肥臀熟女一区二区三区视频| 丁香五月性| 国产丝袜一区二区三区| 日本日皮视频逼| 久久色AV线| 欧美国产伊人久久久久| 男人的天堂日韩| 一区二区三区精品视频| 五十路熟女人妻一区二区三区四区五| 加勒比无码一区二区三区| 1024精品在线| 国产成人资源| 92性色国产午夜福利在线661| 一道本东京热加勒比一区二区三区| 人人操人人摸超碰| 九九九综合精品| 亚洲无码精品AV久久久| 欧美高潮| 一二三区在线| 高清无码在线播放网站| 亚洲s色图| 国产精品视频精品一二| 一区二区三区看视频| 国产 日韩 欧美 人妻 熟女 中文| 亚洲天天更新| 久久久久久91香蕉国产| 午夜120视频在线观看| 天美传媒av在线| 99久久久无码国产精品性男| 人人操人人色网| 91热情品| 99激情视频| 尤物av网站免费在线播放| 91天射| 欧美精品自慰系列寂寞少妇| 日本一级真人黄色性爱视频| 激情五月天校园春色网| 长长久久曰曰夜夜成人网| 三级日本一区二区三区| 欧美天天在线| 蜜桃中文字日产乱幕4区| 国产欧美成人第一页在线观看| 超碰视97中文| 亚洲射综合网| 久操精品网| 被男人吃奶很爽的毛片| 97 国产精品| 炮色五月| 久久久com| 日本日逼高清| 日本孕妇一区二区视频操逼免费看 | 日韩内| 夜夜嗨AV蜜臀av| 国产CHASE男男GAYGA 毛多色婷婷| 麻豆久久一区二区三区| aV中文麻| 激情五月天校园春色网| 性欧美体内射精| 婷婷五月花| 亚洲精品天堂久久A∨51成人漫| 97神马久久| 亚av顶级裸体一区二区三区四区五区 | 综合网色| 久久久无码av精| 中文字幕av亚洲精品| 69丨亚洲丨精品丨入口免费播放| 男人的天堂激情| 日日日日日| 久久亚洲精品成人av| 囯产精品久久久久久久久久梁医生 | 18禁久极品美女久久哦哟呀!| 920日本午夜免费| 思思在线免费视频| 日韩美女操b| 91肉丝| 色欲天香天天综合网-成年人三级片网站-欧美乱妇狂野-日韩国产专区-久久久久久 | 色爱三区| 国产综合网站在线播放 | 久久视频少妇美女| 男人的天堂久久狠| 久久夜嗨| 在线97在线| 国产日本熟女顶级一区二区三区视频| 欧美性爱五月天| 欧美网站免费| 91丨九色丨东北熟女| 日韩欧美国产高清视频| 日本高清一区二区在线| 黄色欧美性爱视频| 干婷婷综合网| 在线看免费无码AV天堂的| 色噜噜人妻丝袜AV资源| 精品人妻一区二区三区-国产精品 一个人在线看的黄色电影网站 | 国产精品一区二区a| 97爱爱爱| 91精品国产91久久福利| 成人av在线播放| 人人做天天爱| 黑人操一区二区| 亚洲成人美女无吗| av片在线观看免费播放| 夜色五月天| 九色97| 搡老女人老妇女老妇老熟女怎么读| 超91综合网| 伊人97色天使| 九九九九九九九九九五码| 99黄页网站| 国产丝袜高跟美女av免费观看| 一区二区三区在线日韩影院观看| 久草线上视频免费看| 怡红院久久老司机| 精品欧美不卡在线播放| 5278欧美一区二区三区| 男人的天堂啪啪啪啪啪蜜桃不卡| 嗯嗯,啊啊,国产精品| 日韩不卡码| AV在线播放网址| 中国少妇啪啪视频| CCYY草草影院地址入口| 精品区国产区一区二区三区| 啊灬啊灬啊灬好深灬快高潮了动漫-国产字幕国产在线观看-B049AV | WWW啪啪的com| 亚洲av无码成人精品国产| 在线观看一卡二卡| 97精品在线| 精品九区| 老熟妇一区二区三区…| 99色视频| 久久综合久色欧美综合狠狠| 久久二| 自拍偷拍国产欧美日韩韩| 秋霞无码av鲁丝片一区| 亚洲欲色9532548967一区| 九九九九日本 | 亚欧无码在线| 中文字幕片| 欧美色图99| 人人干黄色| 婷婷五月天影院| 婷婷情色五月天| 色与欲影视| 色官网色综合| 国产精品欧美激在线| 日本三级精品| 404操逼福利视频| 大香蕉手机在线视频| 久久9免费视频| 青青青国产手线观看视频2| 人人操人人摸人| 久久偷拍人| 啪啪自拍九九综合| 99色在线| 超碰 欧美| 天天色天天干天天射| 大香蕉在线视频15| 久久久久白虎| 欧美日韩国产色五月综合在线 | 区一二区日韩亚洲乱码av电影| K8久久久久| 伊人激情五月天一区二区| 中文字幕乱碼在线| av毛片aaaaa免费看| 成人情色一区二区| 国语精品av| 在线看免费无码AV天堂的| 新精精品久久精品| 国产精品久久久久久照片| 99国内精品| 日韩猛交| 韩国久久97| 国产成人五月天丁香花| 97久久久| 国产精品久久久久久久久久久久久久| 日韩999| 久久久久久免费电影| 夜嗨影院| 精品免费成人久久| 国产亚洲精品自在线亚洲情侣| 亚洲的天堂网| 国产亚州高清国产拍精| 偷拍亚洲情色| 日本日逼视频网| 黄色成年| 91精品电影18| 亚洲精品性爱片| 欧美天堂第二区| AV污污污污| 东京热伊久| 婷婷五月天综合网| 亚州熟女乱伦| 新视频sss国产| 91人妻素女| 九九九成人| 97资源制服丝袜| 亚洲自拍偷拍视频在线| 蜜桃久久久久久久久久久久| 欧美人妻一区| 夜夜精品视频| 另类 综合 日韩 欧美 亚洲| 性做久久久久久久| 亚洲欧美首页| 欧美一区二区成人一卡| 欧美人人AAA| 九九九九精| 欧美色997| 婷婷中文网| 中文字幕乱码在线观看| 国产传媒美日韩av| 国产精品成人无码av| 思思热国产高清| 人妻少妇三级| 91一区二区| 性暴力欧美猛交在线直播| 色偷综合| 超碰超碰欧美| 美國A片| 人妻久久一区二区三区 | 国产精品视频一区二区三区八戒| 嗯嗯啊啊啊好爽| 五月天色电影| 日日干日日| 国产女人高潮嗷嗷嗷叫小说 | 国产精品一区二区三区,亚洲综合 性开放中文AV高清无码免费看 | 91男人天堂网| 中文字幕加勒比海高清无码免费视频| 亚洲精品精品一区二区| 亚洲AV成人精品网站在AV| 日本黄色天堂| 日本精品88888888| 久久久久久人妻| 在线欧美69V免费观看视频| 欧美色图电影| 超碰在线在公开超碰在线在公开| 久久综合精品一区二区三区| 五月天婷婷基地| 青青操综合网| 精品国产无码中文| 啊啊啊操死我| 2017天天插| 久欲AV| 在线黄色污污网站| 日本熟人妻中文字幕在线|...久久国产精品-国产精品_日本一区二区三区中文字幕 | 女人综合网| 温婉少妇玩3p| 午夜国产综合视频在线观看| 欧美综合亚洲综合| 78精品| 欧美草草| 天天爱综合网| 婷婷精品国产一区二区三区日韩| 99re这里只有精品3| 大香樵伊人网| 男人的天堂2010| 91操人视频| 国产自偷自拍一区| 女同性恋久久| 干婷婷综合网| 91干熟女| 五月激情影院| 日韩啪啪啪啪啪| 久久综合99| 五月婷丁香| 91九九| 开心五月天激情网| 水澄无码AV| 精品久久久久,69国产成人精| 97在线视频观看| 婷婷六月色| 婷婷精品| 99国产精品人妻人伦| 骚逼高潮久久精品| 97色在线观看| 欧美18禁91| 丝袜视频一区二区在线播放国产中文| 亚洲精品国产精品乱码不卡| 91精品国产91久久青草| 超碰午夜| 国产精品久久久久久久AV大片| 人妻一区二区三区视频| 草草影院最新网址| 精品人妻美妇91job| 五月香婷婷| 大香蕉碰| 97er欧美性| 97chaopenrihan| 欧美姓爱综合网| 深夜福利黄片| 郑州宾馆老熟女露脸啪啪| 国产激情在线| 偷拍网站久久男女男| 美女91在线观看| 欧洲大香蕉| 欧美色院| 亚洲天堂中文字| 超碰在线看| 91扒丝袜综合在线| 97超色| 欧美日韩在线小说 | 夜嗨影院| 啊啊啊啊嗯嗯嗯用力好爽| 综合日韩激情另类图片| 成人性爱AV在线免费观看| 人人操人人插人www| 99热国产| 国产欧美日韩臀| 精品制服美女中文一区二区三区| 久久中出| 果冻国产精品麻豆成人av| www.91色综合| 中字一区| 国产高清视频无码在线| 久久精品国产免费观看99| 久久99国产综合精品女同| 9精品久久| 97av在线观看| 久草福利在线资源站| 日本亚洲vr欧美不卡高清专区| 91超碰在线播放| 嗯嗯啊啊操我| 911粉嫩人妻| n1038 一二三区| 阿姨一区二区免费视频-高清正片西瓜视频下载app-T450AV | 男人的天堂1024| 国产亚洲精品美女久久久久久2021| 五月丁香影视| 懂色av中文字幕| 九九精品99| 宅男91视频在线播放| 亚洲欧美97√| 特级丰满少妇一级AAAA爱毛片| 超碰97玖玖爱| 秋霞色色影院| 丝袜六区| 91精品人妻一品二品三品| 国产女人操逼视频| 77国产精品| 浓厚中出中文字幕在线| 超碰97爽| 国产精品白丝| 国产乱码久久| 超碰97丝袜| a久久| 欧美日本国产日韩激情视频| 丝袜喷水在线| PMv在线观看| 中文字幕日产av人| 久久老女人| 人人乐大香蕉| 男人天堂网站| 久久国产精品91| 亚洲天天综合| 日韩中文字幕熟妇人妻| 婷婷色综合欧美日韩| 日本熟妇熟色97一本在线观看| 亚洲高清综合网| 亚洲欧美大香蕉| 91网站18| 欧美综合加勒比在线| 亚洲电影中字一区二区| 尤物av网站| 国产成人精品必看| 青青欧洲黑| 99久久久er直播网址| 午夜无码熟妇丰满人妻| 一级久久性爱视频| 免费视频观看60秒| 丝袜美腿诱惑亚洲欧美视频在线观看 | 手机在线看片免费人成视频| 亚洲精品国产熟女久久久| 欧日a| 蜜臀久久99精品久久久久久成人小说 | 精品日韩人妻精品一二三区| 欧美精品双插| 国产区性爱在线视频秋霞豆| 中文字幕免费在线观看| 91 刺激在线| 波多野结衣之双飞调教在线播放| 男人的天堂欧美| blacked精品一区国产| 91久热| 偷拍欧美综合| 国产成人无码a| 亚洲AV色图一区| 天天色香欲综合网| 午夜福利激情在线视频| 啊啊啊啊,啊啊好多水| 久久久爆乳翘臀一线天伦理视频| 国产精品点击进入在线影院高清| 99在线视频播放| 免费一级欧美片片线观看| 69天堂| 亚洲精品一区二区免费在线观看| 狼人久草| 91搞逼视频| 久久久久女教师免费一区| 麻豆视频test| 國產尤物AV尤物在線觀看| 日韩91网站| 日韩久久艹| 噜噜在线| 欧美人妻久久精品二区三区| 午夜福利免费福利视频| 欧美欧美少妇| 久久九精品| 色色色色色色色色色色色色色色综合| 国产精品嫩草久久久久| 亚洲熟女av中文字幕| 日韩精品怡红院| 夜夜夜久久| 久久婷婷热| 成人av影院在线观看| 亚洲 欧美 色图| 东北操逼| 国产不卡中文字幕免费avi| 色婷婷丁香五月| 精品人妻av在线播放| 97在线观看| 91欧美情色| 中文在线视频| 啊啊啊快操我视频| 国产精品女同| av中文在线| 国产精品自在线发布| 人人操人人爽人人操人人| 精品免费囯产一区二区三区| 日日日色色色色色| 中文字幕十五区| AND人妻系列| 97久精品| 天无日色综合| 午夜精品久久久久久久男人的天堂| 国产a级午夜毛片| 国产高清成人mv在线观看| 国产高清吃奶免费视频网站| 免费AV中文网在线观看| 97在线免费观看| 97在线免费看视频| 天天综合中文字幕 91| 东京热毛片调教| 亚洲蜜臀精品视频久久| 国产天天噜一噜久久久| 蜜臀在线看片| 97欧美性爱| 成人激情无码在线视频| 日韩中文字幕人妻视频| 中国一级操逼视频| 97人人操人人摸| 久久九九视频九九视频| 欧美日韩在线国产在线| 国产精品探花视频| 69精品久久久久中文字幕| 爱av免费| 91粉嫩萝控精品福利网站_精品影音先锋国| 婷婷视频在线免费观看| 欧美日韩国产色图在线| 噜噜噜无码AV一级一级久久影院| 久久精品国产免费观看99| 激情看片网站| 久超碰在| 裸体女人草逼视频播放一区,二区,三区,四区,五区 | 亚洲 日本 国产 综合| 天堂а√在线最新版在线| 激情网色| 色婷五月| 无码一区二区三区四区五区六区七区八区九区十区视频 | 亚洲欧美高清无码| 国内偷自视频区视频综合| 999亚洲国产视频| 操逼网站视频漫画国产| 密桃99999| 曰本精品久久久| 欧美论理片| 97超级久久| A 天堂| 国产成人一级av88| 国产精品国产拍高清AV| 超碰超碰欧美| 九九九九九九九九九九九九九九九女| 男人天堂无码| 天天日天天操天天射河南省| 中国zzijzzijzzwww精品| av资源在线观看少妇| 日韩偷拍色图| 久久精品夜色国产亚洲AV| 97国产精品在线观看| 97干在线| 欧美成人AⅤ大片在线观看| 色小视频蜜乳| 日本高清电影欧美色图| 蜜桃精品视频一区| 国产三级中文字幕粉嫩| 国产在线综合福利网站| 免费岛国一级片| 欧美系列在线一区二区| 91 手机在线播放 绯色| 99啪啪| 亚洲激情在线| 国产精品久久久久久久久久梁医生| 人妻在线视频| 久悠悠av| av2014 日韩在线中文字幕| 亚洲日韩国产精品| 日韩性爱再线视频| 丝袜美腿欧美| 国产AV天美传媒一区二区三区| 精品九九| a级理论午夜日本| 日本啊啊啊啊啊视频| 亚洲日韩资源| 免费一级黄色录像影片| www.色五月| 蜜桃臀一区二区三区久久| 亚洲高清视频在线免费观看| 亚洲国产欧美中文永久| 亚州色图欧美| 99热在线播放| 一区二区三区机械有限公司| 2019AV天堂| 日日骚AV| 毛片电影一区二区三区| 精品一区二区三区四区外站| 中文字幕在线观| 我爱大香蕉| 99久久无色码| 色路综合| 国产女生在线| 啊啊啊不要好爽日韩无码一区| 亚洲九九九| 97人人射| 久久久久女教师免费一区| 天天躁日日躁xxxxx| 好看的91视频| 国产粉嫩蜜臀av一区二区三区| 成人国产精品三级A片| 精品一国2| 色y情视频免费看| 欧美综合第一| 在线综合网| 激情四射婷婷四五月天| 五月天加勒比啪| 欧美一区二区三区入口| 国产精品 午夜福利| AV中亚| 亚洲不卡AV在线| 精品人妻丰满熟妇一区二区三| 干婷婷综合网| 久久r精品| 欧美黄色大香蕉一区二区| 日韩99神马视频播放| 欧美性xxxxx狂欢| 伊人影院在线理论播放| 欧美一级二级三级| 久久一二三四五六七八九区区区| 青青五月天| 亚洲男人的天堂亚洲| 91麻豆一二三区| 黄色小视频日本txt| 亚洲偷91色| 黄色大香焦1级‘′‘| 天天天堂影视日韩亚洲91| 乱伦图av| 丰满欧美放荡少妇在线| 91在线精品| 中文字幕激情小说| 色嘟嘟人妻天堂网| 日韩欧美日韩| 亚洲少妇色图自慰直播| 99国产精品视频尤物| 日韩精品影视| 久99| 97超碰色色| 久久綜合很很很| 国产最新小视频在线播放下载 | 在线综合 亚洲 欧美中文字幕| 男人网站婷婷| 免费综合亚洲中文| 九九热精品| 和协无码影院| 狠狠操夜夜| 欧美激情 一区| 久久精品一区二区三区不卡| 一级性爱视频免费观看| 亚洲性综合| 色婷网| 91人妻人人澡人人爽人人精品| 秋霞午夜视频一区二区| 国产激情在线观看| 精品视频一区二区| 亚洲av总站| www网站黄| 97超碰日韩| 欧美精品久久96人妻无码| 欧美性爱一级操| 超碰97 线线 在现| 二三四区精品| 看看小穴| 国产精品探花视频| 精品无码久久久久久久久果冻糖心| 欧美白嫩在线放| 五月婷婷性爱| 免费的很黄很污的全部视频| 国产一区二区在线看| 日日天天久久啊啊aaa| 成人性爱美曰韩| 免费a v| 青青操日韩| 日本一区99| 色色热| 岛国视频一二三区| 欧美色图综合| www.91视频网| 黄色片G G G| 97se综合网| 日韩人妻无码专区| av绯色| 久久草草亚洲蜜桃臀| 97资源站国产精品| 亚洲宗合网| 宅男91视频在线播放| 99色色网| 成人性爱电影一区二区| 日本成人A片网站| 欧美综合天天| 欧美韩日精品资源| 国产亚洲欧洲在线观看| 91无人区卡一卡二卡三乱码入口最新版:能让用户有更多选择的选择-经典说说-爱 | 日韩熟女精一区二区三区不卡| 97超碰免费人人性爱| 午夜呻吟欧美| 91久久久久久久| 国产a级午夜毛片| 黄在线| 1769国内精品视频| 亚洲中文字幕精品一区| 91天堂| 91岛国动作片| 亚洲黄色AV电影| 超碰在线日韩一区| 大香蕉一级黄色片久久| 亚洲国产激情国产av| 日本精品网站在线中文| 日韩av性爱在线播放| 欧美在线啊啊| 上特色A在线| 大香蕉在线视频15| 2011国产精品| 久久熟女人| 亚洲男人的天堂亚洲| 男人天堂一区二区| 成人夜夜爽| 屌色在线97视频| av天堂影视中文在字幕在线中文| 日本护士高潮| 婷婷99狠狠躁天天躁| 九九这里只有精品| 国产成人网址| 久久久久日本视| 欧美亚洲丝袜美女电影| 国产有码一区| 午夜精品久久久久| 日韩精品第3页| 欧美精品,四区。五区| 九九九九精品在线| 亚洲第一页色网| 啊v在线观看视频| 午夜成人爽爽爽爽A片李冰冰| 久久人妻| 国产最火爆久久国产网站网站| 牛牛操视频逼| 欧美东京热精品A∨| 日韩成人网址| 深夜啪啪啪视频免费| 欧美天天谢综合网| 欧美日韩另类字幕中文| 91精品人妻一区二区-全集完整版免费正片国语-B02AV | 久艹伊人精品综合在线| 日韩一级二级在线| 久草线上视频免费看| 加勒比99999| 91色综合| 色噜噜精品一区二区三| 韩三级a视频在线观看| 91成人在线免费视频| 激情综合五月| 性感女人网页在线观看视频| 九九自拍伦理| 男人天堂2030| 日韩精品在线放| 欧美成人黄网色网站| 久久久精品日本一道| 国产一区麻豆免费观看| 久久成人网站| 91亚洲网| 日韩一区二区三区四区五区| 天美传媒av 在线| 啊操爽品善一区二区三区| 久久久女人| 国产精品点击进入在线影院| 另类一区| 亚洲男人天堂网久久| 欧美91丝袜| 天天做天天爱| 国产日产精品久久快鸭的功能介绍| 另类一区| 婷婷五月综合激情| 午夜欧美神马久久久久| 日韩 欧美 国产 麻豆| 欧美78P| 亚洲免费在线探花| 五月丁香影视| 九九九九九九九九九五码| 男人天堂毛片| 欧美性爱无码一区二区三区| 国产亚洲在线| 色鬼在线综合| 日逼97| 日本精品第一视频在'| 久久久久亚洲精品| 天天爽天天操啊啊啊| 日韩不卡毛片Av免费高清| 欧美一区二区传媒| 精精品人妻一区二区三区| 国产偷拍自拍在线视频| 久久综合中文国产| 黄色工厂这里只有精品| 乱伦3P视频| 9999亚洲精品| 国产无码久久高清| 欧美精品成人亚洲| 一区二区视频在看| 精品在线观看视频在线| 无码久| 久久中文字幕一区不卡| 乱精品一区字幕二区| 黄色工厂这里只有精品| 欧美亚洲日本激情在线| 无码久| 欧美传媒| 一区=区三区视频| 思思热国产高清| 啊啊啊啊啊啊啊国| 国产视频第二页| 欧美日韩99| 亚洲中文sv| 日韩成人大片在线观看| 四虎影视永久在线观看精品免费网站| 日本东京热加勒比久久| 久久精品一区| 97人人夜夜精品视频| 久久偷拍人| 一级AV性爱| 亚洲欧洲日产国产综合网| 久久天天艹| 日产中文字幕2020| 在线岛国新天堂8| 成人五月天色网| 日韩黄片视频试看| 中文字幕女同在线| 日本Xx性爱| 久久一二三四不卡 | 97亚洲精品超碰| 国产亚洲综合欧美一区| 91痴汉| 成人 日韩欧美一区| 日日夜夜摸| 天堂日本亚洲欧美| 午夜超爽| 死我十八禁| 大香蕉520| 97操| 日韩精品操少妇| 99热99在线播放激情| 日韩射图| 成人影 天天操 亚洲| 青草精品视频-日本久久久久网站| 校园春色之综合网| 吖在线不卡一区二区国产剧情| 内射卯月麻衣| 国模精品一区二区三区苹果色戒| 97资源久久| 日韩精品第3页| 亚洲最大的综合性av| 超碰美女97| 日韩精品第3页| 亚洲美女自拍偷拍视频| 欧美色图第一页| 青青草成人视频在线观看二区| 999精品国产高清一区二区| 视频在线观看青青99国产| 国内91熟女人妻丝袜天天精品视频在线| 无码一区免费在线不卡| 丝袜亚洲91| 日本三级韩三级99久久| 三级激情网站| 97在线视频观看免费| 午夜欧美J进J出白浆流出久久久 | 亚洲综合射| 精品一区二区三区蜜桃臀赵总 | 97干com| 亚欧性爱无码| 暴力av在线| 美女淫穴| 一区二区日韩欧美久久| 97精品熟女少妇一区 | 爽爽淫人网| 欧美日韩 强奸乱伦| 好吊色综合| www.成人无码| 国产九区| 按摩中文字幕| 久久久免费一级黄片| 日韩在线地址一| 天堂网亚洲区手机版| caopeng97人妻| 99性爱| 欧美亚洲日本激情在线| 亚洲AV麻豆Aⅴ无码电影一| 91九色丰满高潮| 欧美情色男人的天堂| 亚洲91少妇| 欧美劲爆视频一区二区| 人人摸.人人色| 2024黄色视频| 天天操天天舔| 久久久久久久9最新免费视频观看| 一区 欧美 日韩 麻豆| 91亚州日韩高清| 国产女人成人精品视频| 熟女精品va中文字幕| 日本熟女不卡视频| 国产精品福利视频| 青青操日韩| 欧美亚洲高清晰| 新视频sss国产| 亚州人妻| 人人妻人人操人人乐| 一本道综合色图| 99色在线| 亚洲欧美日韩综合在线尤物 | 精品久久久久久中文字幕视频免费| 亚洲人妻av| 一区二区三区精品久久| 欧美一级国产一级| 欧美性生活免费网| 搡老熟女免费视频| 操逼网站网站| 2023天天操夜夜操| 人妻久久| 久久人妇| 青青草日本中文字幕| 116美女午夜| 91美女中出| 涩五月婷婷| 婷婷色婷婷| 日韩人妻一二三区视频| 中国农村熟妇毛片视频| 免费观看日本操逼视频| 亚洲日韩精品一区二区| 一区二区不卡视| 男女一进一出视频久久| 国产婷婷综合在线观看| 91免费看一区二区三区| 国产乱伦亚洲色图高清无码| 不卡av在线中文字幕|