日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

DataOps落地指南:從數(shù)據(jù)管道治理到數(shù)據(jù)契約的工程化實(shí)踐

DataOps落地指南:從數(shù)據(jù)管道治理到數(shù)據(jù)契約的工程化實(shí)踐 1. 從被數(shù)據(jù)管道淹沒到認(rèn)真寫一個(gè)DataOps博客做了快十年數(shù)據(jù)平臺(tái)相關(guān)的工作一個(gè)非?,F(xiàn)實(shí)的問題是身邊真正把DataOps講清楚的人遠(yuǎn)比真正把DataOps落地的人少。這個(gè)詞被引進(jìn)來之后很多團(tuán)隊(duì)第一反應(yīng)是“這不就是DevOps套到數(shù)據(jù)上嗎”然后買了一堆調(diào)度工具把Airflow裝起來開幾個(gè)自動(dòng)化任務(wù)的會(huì)就覺得DataOps已經(jīng)做完了。我見過太多團(tuán)隊(duì)在半年后回到原點(diǎn)管道照樣掛口徑照樣亂數(shù)據(jù)延遲照樣沒人說得清楚什么時(shí)候能修好。我自己的情況也差不多。早幾年負(fù)責(zé)一個(gè)數(shù)據(jù)平臺(tái)每天早上的第一個(gè)動(dòng)作不是看業(yè)務(wù)報(bào)表而是打開任務(wù)監(jiān)控列表看昨晚的批處理有沒有掛掛在了哪一步誰(shuí)的數(shù)據(jù)沒跑出來。那種每天從“滅火”開始的體驗(yàn)持續(xù)了很長(zhǎng)一段時(shí)間。后來我意識(shí)到問題不在于某一條任務(wù)寫得不好而在于整個(gè)數(shù)據(jù)交付的過程缺少工程化的約束。數(shù)據(jù)管道本質(zhì)上是一套軟件系統(tǒng)但它長(zhǎng)期被當(dāng)作“寫完SQL能出數(shù)就行”的野生產(chǎn)物來維護(hù)這本身就是最大的隱患。這就是我決定認(rèn)真寫Liking‘s DataOps Blog的原因。這個(gè)博客不是列名詞解釋也不是給某家廠商的產(chǎn)品寫軟文而是把我自己從“每天撈數(shù)據(jù)、修任務(wù)、對(duì)口徑”的泥潭里爬出來的過程以及過程中沉淀下來的方法、工具和教訓(xùn)一件件記錄下來。這篇內(nèi)容算是博客的第一篇正式文章我會(huì)把DataOps在真實(shí)工程環(huán)境里到底解決什么問題、哪些概念被過度包裝、落地時(shí)真正要?jiǎng)拥牡胤绞鞘裁匆晃逡皇f清楚。如果你是被“數(shù)據(jù)管道頻繁失敗”“業(yè)務(wù)口徑對(duì)不上”“數(shù)據(jù)交付沒有節(jié)奏感”這些問題困擾的數(shù)據(jù)工程師、數(shù)據(jù)平臺(tái)負(fù)責(zé)人或者你的團(tuán)隊(duì)已經(jīng)在用一些數(shù)據(jù)工具但總覺得差一口氣那這篇文章應(yīng)該對(duì)你有用。沒有PPT式的框架圖只講落地過程中真正起作用的細(xì)節(jié)。2. 關(guān)于DataOps先撕掉幾層認(rèn)知偏差2.1 DataOps不是DevOps的數(shù)據(jù)專用版很多文章喜歡用一個(gè)簡(jiǎn)單的類比DevOps管代碼DataOps管數(shù)據(jù)。這個(gè)類比方向沒錯(cuò)但如果照搬DevOps的實(shí)踐到數(shù)據(jù)領(lǐng)域很快就會(huì)發(fā)現(xiàn)不對(duì)勁。代碼的構(gòu)建和發(fā)布有一個(gè)非常清晰的分界代碼在測(cè)試環(huán)境驗(yàn)證通過合并到主干打包發(fā)布到生產(chǎn)整個(gè)過程可以做到高度標(biāo)準(zhǔn)化回滾也相對(duì)干凈——上一個(gè)版本就是上一個(gè)版本直接切換即可。數(shù)據(jù)的構(gòu)建則完全不同。一個(gè)數(shù)據(jù)任務(wù)跑完產(chǎn)出的不是可以發(fā)布的“交付物”而是一份狀態(tài)。這份狀態(tài)一旦被下游消費(fèi)想回滾就不是把任務(wù)切回上一個(gè)版本就能解決的你還要考慮下游已經(jīng)基于錯(cuò)誤數(shù)據(jù)做了哪些決策、哪些報(bào)表已經(jīng)被導(dǎo)出、哪些模型已經(jīng)被訓(xùn)練。數(shù)據(jù)回滾從來不是“切版本”而是“修正真相”。另一個(gè)關(guān)鍵差異是測(cè)試的語(yǔ)義。DevOps里的單測(cè)是針對(duì)某個(gè)函數(shù)、某個(gè)模塊的確定性斷言輸入固定輸出可預(yù)期。數(shù)據(jù)任務(wù)里經(jīng)常面對(duì)的是“數(shù)據(jù)分布漂移”上游業(yè)務(wù)系統(tǒng)改了訂單狀態(tài)碼下游清洗邏輯沒有跟上結(jié)果某一天產(chǎn)出數(shù)據(jù)的值域范圍變了但任務(wù)本身沒有報(bào)錯(cuò)。單測(cè)能發(fā)現(xiàn)的往往只是表結(jié)構(gòu)對(duì)沒對(duì)上、非空約束有沒有被滿足很難發(fā)現(xiàn)“單量的環(huán)比暴漲了20倍但其實(shí)是因?yàn)樯嫌伟讶∠唵我菜氵M(jìn)去了”。這種情況測(cè)試通過數(shù)據(jù)卻是壞的。我見過不少團(tuán)隊(duì)用DevOps的思路上來就給數(shù)據(jù)任務(wù)加了嚴(yán)苛的CI流程結(jié)果大量時(shí)間耗在讓“任務(wù)能跑過檢查”上真正該關(guān)注的數(shù)據(jù)質(zhì)量反而被忽略了。DataOps一定需要借鑒DevOps的工程化手段但不能把手段當(dāng)目的數(shù)據(jù)和代碼在本質(zhì)上的差異決定了做法必須有自己的邏輯。2.2 工具堆出來了不等于DataOps就落地了2020年前后數(shù)據(jù)工具開始爆發(fā)編排、血緣、質(zhì)量、元數(shù)據(jù)、數(shù)據(jù)資產(chǎn)每個(gè)賽道都有一堆產(chǎn)品。這時(shí)候出現(xiàn)了一種很典型的“工具幻覺”把市面上所有熱門的東西都集成一遍數(shù)據(jù)質(zhì)量平臺(tái)、數(shù)據(jù)目錄、數(shù)據(jù)血緣、任務(wù)編排加起來十幾個(gè)系統(tǒng)看起來什么都有但數(shù)據(jù)平臺(tái)的現(xiàn)狀沒有任何改善。為什么因?yàn)檫@些工具彼此獨(dú)立數(shù)據(jù)孤島變成了“工具孤島”。血緣系統(tǒng)畫出來的鏈路圖和實(shí)際的調(diào)度依賴對(duì)不上質(zhì)量平臺(tái)每天出了一堆告警但沒人處理編排平臺(tái)的DAG越畫越復(fù)雜核心的靠人工維護(hù)的定時(shí)任務(wù)還是照舊。每一個(gè)工具都在“運(yùn)行”但它們沒有連成一條真正的流水線。DataOps的核心價(jià)值在于“端到端地看數(shù)據(jù)交付這件事”。從業(yè)務(wù)系統(tǒng)的數(shù)據(jù)產(chǎn)生到加工清洗到進(jìn)入數(shù)倉(cāng)/數(shù)據(jù)湖再到提供給分析、報(bào)表、模型消費(fèi)這中間的所有環(huán)節(jié)要當(dāng)成一條流水線來設(shè)計(jì)。如果買了工具但不去動(dòng)流程本身工具再多也只是給原本混亂的過程增加了一層新的混亂。2.3 DataOps與數(shù)據(jù)治理、Data Fabric不是一回事這個(gè)認(rèn)知偏差在行業(yè)里很常見有人把DataOps理解為數(shù)據(jù)治理的工程化升級(jí)也有人把DataFabric和DataOps當(dāng)成同義詞互換著用。從我自己的實(shí)踐感受來說這三者的邊界其實(shí)很清晰它們的關(guān)注點(diǎn)完全不在一個(gè)層面。數(shù)據(jù)治理的核心是“定規(guī)則”誰(shuí)來負(fù)責(zé)這個(gè)數(shù)據(jù)域、這個(gè)字段的業(yè)務(wù)定義是什么、哪些數(shù)據(jù)涉及隱私需要脫敏、數(shù)據(jù)的保留周期是多長(zhǎng)。治理的產(chǎn)出物是規(guī)范、流程、職責(zé)本質(zhì)上偏“管理”。DataFabric的核心是“織一層智能的數(shù)據(jù)訪問層”讓用戶能通過統(tǒng)一的接口拿到分布式環(huán)境中合適的數(shù)據(jù)它強(qiáng)調(diào)的是架構(gòu)形態(tài)試圖通過虛擬化、知識(shí)圖譜、主動(dòng)元數(shù)據(jù)等技術(shù)讓“找數(shù)”和“用數(shù)”更順滑偏“架構(gòu)”。DataOps的核心是“把這些事情放到工程化流水線里持續(xù)運(yùn)作”。一個(gè)數(shù)據(jù)平臺(tái)可以沒有嚴(yán)格意義上的DataFabric架構(gòu)但DataOps的原則依然適用數(shù)據(jù)治理的規(guī)范最終一定要落到具體的任務(wù)和流水線里去執(zhí)行否則治理落地就是一句空話。我自己的理解是治理負(fù)責(zé)定義“正確”是什么DataFabric負(fù)責(zé)讓數(shù)據(jù)更好被找到DataOps負(fù)責(zé)讓數(shù)據(jù)以可靠、敏捷的方式持續(xù)交付出來。三者需要協(xié)作但不能混為一談。3. 我在項(xiàng)目中推DataOps的實(shí)際動(dòng)作從編排到契約3.1 第一件事盤點(diǎn)存量數(shù)據(jù)管道建立“失敗清單”真正動(dòng)手做DataOps改進(jìn)第一步不是選工具而是先把現(xiàn)狀摸清楚。我習(xí)慣的做法是把當(dāng)前生產(chǎn)環(huán)境所有定時(shí)數(shù)據(jù)任務(wù)拉出來按以下維度清單化任務(wù)的所有人owner調(diào)度頻率與依賴上游近30天失敗次數(shù)與最頻繁的失敗原因是否有監(jiān)控、是否有重試機(jī)制、告警是否真的有效下游消費(fèi)方報(bào)表、接口、算法、下游任務(wù)產(chǎn)出數(shù)據(jù)的關(guān)鍵質(zhì)量維度行數(shù)、主鍵唯一性、異常率等這張清單的價(jià)值在于把“數(shù)據(jù)管道很亂”這種模糊的感受變成了可以量化的“失敗任務(wù)Top 10”“無人認(rèn)領(lǐng)任務(wù)Top 20”“下游鏈路不清晰任務(wù)Top 10”。沒有這份清單前很多人開會(huì)討論的是感受有了這份清單討論的是具體問題。我見過最多的“隱性炸彈”是無人認(rèn)領(lǐng)的任務(wù)任務(wù)掛在某臺(tái)服務(wù)器上每天跑但沒人說得清它是誰(shuí)建的、產(chǎn)出給誰(shuí)用。直到某一天下游的人來找你說“這個(gè)數(shù)據(jù)停了三天了為什么沒人修”你才發(fā)現(xiàn)這臺(tái)機(jī)器上掛著一個(gè)沒有任何負(fù)責(zé)人、沒有任何監(jiān)控的任務(wù)。這種任務(wù)DataOps改造的第一步就該下線或者明確歸屬。3.2 把數(shù)據(jù)流水線的CI/CD落到實(shí)處很多團(tuán)隊(duì)說自己在做“DataOps”但每天的流程還是有人把SQL改了一版直接在生產(chǎn)環(huán)境跑跑出問題了再回滾。這個(gè)流程缺少最基本的工程約束。我在自己的項(xiàng)目里把數(shù)據(jù)流水線的CI/CD拆成了四層每一層都做了對(duì)應(yīng)的檢查。第一層是“代碼入庫(kù)”所有用于數(shù)據(jù)加工的任務(wù)定義、SQL腳本、配置文件必須統(tǒng)一放到Git倉(cāng)庫(kù)管理不能只存留在調(diào)度平臺(tái)里。這一步看似基礎(chǔ)但能解決大量實(shí)際問題比如“上個(gè)月誰(shuí)改了什么任務(wù)說不清楚”“這個(gè)版本的邏輯為什么要改”“事故出在哪個(gè)版本”。很多數(shù)據(jù)團(tuán)隊(duì)管不好任務(wù)版本根本原因就是沒把任務(wù)當(dāng)代碼管理。第二層是“構(gòu)建與測(cè)試”語(yǔ)法檢查與字段級(jí)校驗(yàn)在任務(wù)提交后用腳本檢查SQL語(yǔ)法是否合法目標(biāo)表字段是否存在字段類型映射是否匹配。單元測(cè)試對(duì)每個(gè)核心清洗邏輯構(gòu)建“最小用例”用樣本數(shù)據(jù)驗(yàn)證邏輯正確性。比如“訂單狀態(tài)碼999的臟數(shù)據(jù)應(yīng)該被過濾”“金額字段為負(fù)的記錄應(yīng)該被打標(biāo)而不是丟棄”。數(shù)據(jù)質(zhì)量測(cè)試嵌入用數(shù)據(jù)質(zhì)量工具我在第四部分會(huì)細(xì)說在數(shù)據(jù)產(chǎn)出后自動(dòng)運(yùn)行校驗(yàn)比如“訂單明細(xì)表主鍵唯一性”“核心業(yè)務(wù)表行數(shù)與昨日變化不超過10%”“字段空值率不超過5%”。校驗(yàn)不通過的任務(wù)不允許進(jìn)入下一環(huán)節(jié)。第三層是“部署與發(fā)布”數(shù)據(jù)任務(wù)的發(fā)布不能簡(jiǎn)單等同于“把代碼提交到生產(chǎn)”。我習(xí)慣把生產(chǎn)數(shù)據(jù)任務(wù)分成兩套環(huán)境的概念——雖然大多數(shù)情況下數(shù)據(jù)環(huán)境和計(jì)算資源是同一套但“預(yù)發(fā)布階段”和“正式發(fā)布階段”要分開。預(yù)發(fā)布階段先跑一個(gè)簡(jiǎn)化版本只處理小分區(qū)比如只處理最近1小時(shí)或最近100MB的數(shù)據(jù)驗(yàn)證新邏輯在實(shí)際生產(chǎn)數(shù)據(jù)上不會(huì)出問題確認(rèn)無誤后再切換到全量分區(qū)跑正式發(fā)布。這有點(diǎn)類似灰度發(fā)布的概念在實(shí)際操作中可以極大降低大改動(dòng)的風(fēng)險(xiǎn)。第四層是“監(jiān)控與告警閉環(huán)”任務(wù)失敗要有告警告警要有認(rèn)領(lǐng)認(rèn)領(lǐng)要有處理記錄。很多團(tuán)隊(duì)做到“有告警”就停住了結(jié)果告警過多變成“狼來了”每天幾百條告警習(xí)慣了之后連真正的故障都會(huì)被忽略。我后來的做法是告警分級(jí)、認(rèn)領(lǐng)制度和每周失敗原因復(fù)盤。P0級(jí)告警意味著核心業(yè)務(wù)數(shù)據(jù)鏈路中斷要在15分鐘內(nèi)響應(yīng)P1級(jí)是數(shù)據(jù)質(zhì)量異常但鏈路未斷4小時(shí)內(nèi)處理P2級(jí)是可延后處理的告警。每周固定時(shí)間把一周的失敗任務(wù)清單過一遍找出共性問題而不是每天疲于奔命。3.3 真正關(guān)鍵的是“數(shù)據(jù)契約”不是血緣血緣lineage確實(shí)是DataOps里的重要信息但依賴血緣系統(tǒng)解決所有問題是很多團(tuán)隊(duì)的誤區(qū)。血緣工具畫出來的鏈路圖再漂亮如果它展示的是“字段從哪里來”而不是“實(shí)際運(yùn)行中數(shù)據(jù)是怎么流轉(zhuǎn)的”那它對(duì)排查問題的作用有限。我在實(shí)際項(xiàng)目里更看重“數(shù)據(jù)契約”——數(shù)據(jù)生產(chǎn)者與數(shù)據(jù)消費(fèi)者之間的一份明確約定。契約的內(nèi)容包括表/字段命名規(guī)范字段的業(yè)務(wù)口徑定義字段的數(shù)據(jù)類型、取值范圍、編碼標(biāo)準(zhǔn)數(shù)據(jù)產(chǎn)出的時(shí)限SLA比如“每日凌晨6點(diǎn)前必須產(chǎn)出”數(shù)據(jù)質(zhì)量的最低標(biāo)準(zhǔn)非空率、唯一性、變更率容忍范圍有了契約數(shù)據(jù)管道之間就不再是“你產(chǎn)出、我用”這種模糊關(guān)系而是有明確檢查點(diǎn)的協(xié)作關(guān)系。上游要保證產(chǎn)出符合契約下游消費(fèi)前可以自動(dòng)校驗(yàn)契約是否符合要求。這份契約甚至可以用機(jī)器可讀的方式維護(hù)比如用YAML文件定義在倉(cāng)庫(kù)里在數(shù)據(jù)發(fā)布時(shí)自動(dòng)校驗(yàn)。我印象很深的一個(gè)案例業(yè)務(wù)團(tuán)隊(duì)要上線一個(gè)新功能改了訂單表里的一個(gè)字段含義從“下單時(shí)間”改成“支付完成時(shí)間”。這個(gè)改動(dòng)在業(yè)務(wù)代碼里只影響一個(gè)頁(yè)面展示但在數(shù)據(jù)鏈路里影響的是無數(shù)下游報(bào)表和模型。沒有數(shù)據(jù)契約這個(gè)改動(dòng)可能要過兩三周才會(huì)以“報(bào)表數(shù)據(jù)對(duì)不上”的方式爆發(fā)出來有了契約發(fā)布前就能被自動(dòng)檢查攔截上游字段口徑變更了舊契約校驗(yàn)失敗下游負(fù)責(zé)人提前收到變更通知該調(diào)整的調(diào)整該確認(rèn)的確認(rèn)。這才是DataOps要解決的核心問題——不是讓所有數(shù)據(jù)任務(wù)永遠(yuǎn)不失敗而是讓變更、失敗、恢復(fù)都是可控和可預(yù)期的。4. 支撐這套流程的工具鏈選型不翻車的幾條經(jīng)驗(yàn)4.1 調(diào)度與編排別只盯著Airflow編排工具是數(shù)據(jù)流水線的骨架Airflow因?yàn)樯鷳B(tài)成熟、社區(qū)樣本多確實(shí)是最多人上手的方案。但Airflow的坑也明顯——它本質(zhì)上是一個(gè)“調(diào)度平臺(tái)”性質(zhì)的系統(tǒng)DAG寫起來靈活但復(fù)雜依賴一多多層依賴關(guān)系和動(dòng)態(tài)任務(wù)生成會(huì)讓DAG的可讀性迅速惡化。我自己維護(hù)過一個(gè)幾百個(gè)任務(wù)的大規(guī)模Airflow集群到了后期出問題最多的已經(jīng)不是任務(wù)邏輯本身而是DAG之間的依賴關(guān)系被隱式邏輯搞亂。如果你在選型我給一個(gè)比較務(wù)實(shí)的判斷維度需求特征推薦方向理由團(tuán)隊(duì)有Python基礎(chǔ)任務(wù)類型以SQL/Spark為主需要高度定制Airflow生態(tài)最全、踩坑資料最多、定制度高數(shù)據(jù)資產(chǎn)豐富任務(wù)間依賴復(fù)雜想把數(shù)據(jù)資產(chǎn)和任務(wù)放在一起管理Dagster軟件定義資產(chǎn)模型資產(chǎn)與任務(wù)綁定關(guān)系清晰可觀測(cè)性強(qiáng)團(tuán)隊(duì)規(guī)模小任務(wù)量不大希望上手快、開發(fā)體驗(yàn)現(xiàn)代化PrefectAPI設(shè)計(jì)友好本地開發(fā)和云端執(zhí)行分離做得好深度綁定云廠商不想自己運(yùn)維調(diào)度平臺(tái)云廠商托管調(diào)度服務(wù)如AWS MWAA、阿里云DataWorks等運(yùn)維成本最低但廠商鎖定要提前評(píng)估我自己現(xiàn)在的項(xiàng)目用的是Dagster。原因是我們的業(yè)務(wù)已經(jīng)不缺任務(wù)缺的是“看清任務(wù)和資產(chǎn)的關(guān)系”。Dagster的Asset模型讓我可以像聲明變量一樣把數(shù)據(jù)資產(chǎn)聲明出來任務(wù)之間的關(guān)系通過資產(chǎn)依賴自然表達(dá)調(diào)度、血緣、日志都圍繞資產(chǎn)展開排障路徑清晰很多。但這不意味著Airflow不好——如果你的團(tuán)隊(duì)已經(jīng)熟練使用Airflow遷移成本是需要認(rèn)真衡量的工具永遠(yuǎn)是為流程服務(wù)的不是反過來。4.2 數(shù)據(jù)質(zhì)量測(cè)試不是裝一個(gè)平臺(tái)就完事數(shù)據(jù)質(zhì)量是DataOps里最容易被“形式化”的部分。很多團(tuán)隊(duì)選型了商業(yè)數(shù)據(jù)質(zhì)量平臺(tái)配置了一堆質(zhì)量規(guī)則但告警一封封發(fā)出來處理率卻趨近于零。原因不外乎兩個(gè)規(guī)則閾值設(shè)得過于敏感或者質(zhì)量規(guī)則和具體任務(wù)脫節(jié)告警發(fā)出去了沒人知道要找誰(shuí)。我的經(jīng)驗(yàn)是先用輕量級(jí)工具把流程跑通再考慮要不要上重平臺(tái)。開源領(lǐng)域比較典型的兩個(gè)選項(xiàng)是Great Expectations以下簡(jiǎn)稱GE和Soda Core。GE適合做“數(shù)據(jù)文檔式”的驗(yàn)證通過Expectation Suite描述“我期望這份數(shù)據(jù)長(zhǎng)什么樣”然后對(duì)DataFrame或數(shù)據(jù)庫(kù)表執(zhí)行驗(yàn)證。它和Notebook、Python生態(tài)結(jié)合得很好適合數(shù)據(jù)探索階段快速做質(zhì)量斷言。Soda Core對(duì)“數(shù)據(jù)管道里的自動(dòng)監(jiān)控”更友好可以直接在配置里聲明數(shù)據(jù)源的檢查規(guī)則比如“昨日訂單表行數(shù)不能少于100萬(wàn)”“customer_id列唯一值數(shù)量偏差不能超過5%”和CI/CD集成很順滑。它生成的告警信息也更貼近工程側(cè)需要。我自己現(xiàn)在的做法是GE負(fù)責(zé)開發(fā)和測(cè)試階段的數(shù)據(jù)驗(yàn)證Soda Core負(fù)責(zé)生產(chǎn)環(huán)境的監(jiān)控。測(cè)試階段把關(guān)的是“邏輯寫對(duì)了沒”生產(chǎn)監(jiān)控管的是“今天的真實(shí)數(shù)據(jù)出了什么幺蛾子”。兩件事的語(yǔ)義不同用兩種工具各管一段反而比一個(gè)“萬(wàn)能平臺(tái)”更順手。4.3 元數(shù)據(jù)與血緣先明確要解決什么問題再選工具血緣工具的選型也是很多團(tuán)隊(duì)會(huì)糾結(jié)的地方。我的建議是先想清楚你要血緣解決什么問題再選工具。如果要解決的是“合規(guī)審計(jì)”場(chǎng)景——某個(gè)字段的數(shù)據(jù)來自哪些系統(tǒng)誰(shuí)加工過展示給誰(shuí)看過那需要的是能夠從SQL解析出溯源關(guān)系的血緣工具OpenMetadata或者DataHub都可行但關(guān)鍵是你的SQL和任務(wù)是不是都規(guī)范化管理了。如果SQL本身就散落在各個(gè)臨時(shí)腳本里血緣工具再?gòu)?qiáng)也畫不出完整的依賴圖。如果要解決的是“排障場(chǎng)景”——某個(gè)表的數(shù)據(jù)怎么變了影響了下游哪些表和報(bào)表那血緣必須和實(shí)際調(diào)度運(yùn)行記錄結(jié)合起來。靜態(tài)SQL解析出的血緣經(jīng)常漏掉動(dòng)態(tài)生成SQL的場(chǎng)景比如通過配置文件拼接出來的表名。排障的時(shí)候指著血緣圖說“這條鏈路有影響”結(jié)果實(shí)際動(dòng)態(tài)運(yùn)行時(shí)走了另一條鏈路反而誤導(dǎo)排查方向。我踩過的一個(gè)具體坑是早期我們實(shí)現(xiàn)血緣是拿SQL文本做正則解析覆蓋率看起來還行但后來發(fā)現(xiàn)有一個(gè)核心表的血緣關(guān)系解析錯(cuò)了——因?yàn)橄到y(tǒng)在SQL里用了變量替換表名靜態(tài)解析識(shí)別出來的上下游全錯(cuò)了排障時(shí)沿著錯(cuò)誤血緣查了半天才發(fā)現(xiàn)問題出在真正的上游。后來我把血緣的維護(hù)方式改成了基于實(shí)際運(yùn)行記錄的采集從任務(wù)調(diào)度系統(tǒng)的執(zhí)行日志反推真實(shí)的上下游關(guān)系正確率才真正上來。這個(gè)經(jīng)驗(yàn)一句話總結(jié)就是血緣要吃“實(shí)際運(yùn)行記錄”不能只吃“聲明式依賴”。4.4 數(shù)據(jù)版本的哲學(xué)區(qū)分“臨時(shí)彈性”和“長(zhǎng)期可復(fù)現(xiàn)”在DataOps里有一個(gè)被低估的問題數(shù)據(jù)管道跑出來的結(jié)果能不能復(fù)現(xiàn)。代碼有版本號(hào)數(shù)據(jù)同樣應(yīng)該有可追溯的信息——這份數(shù)據(jù)是哪個(gè)任務(wù)、哪個(gè)版本、哪個(gè)時(shí)間窗口跑出來的。我在設(shè)計(jì)數(shù)據(jù)任務(wù)時(shí)堅(jiān)持一個(gè)原則核心業(yè)務(wù)數(shù)據(jù)表的產(chǎn)出信息必須自描述。最簡(jiǎn)單的方式是給表增加一套“元數(shù)據(jù)字段”不管叫_snapshot_time_job_version還是_sql_commit_id關(guān)鍵是讓每一個(gè)下游消費(fèi)者能回答“這份數(shù)據(jù)是什么時(shí)候生成的、由哪個(gè)版本的任務(wù)加工出來的”。這個(gè)原則在排查歷史數(shù)據(jù)質(zhì)量問題時(shí)特別管用。比如業(yè)務(wù)方某天來問“為什么上周三的報(bào)表數(shù)據(jù)和今天重刷的數(shù)據(jù)對(duì)不上”如果你有版本信息很快可以定位是“上周三跑的是舊版任務(wù)今天跑的是新邏輯”從而快速判斷差異原因。如果沒有這些字段就只能靠猜而數(shù)據(jù)領(lǐng)域最怕的就是靠猜。數(shù)據(jù)版本還有一個(gè)維度是回放/重放。數(shù)據(jù)管道重跑一個(gè)歷史分區(qū)應(yīng)該像代碼回滾一樣可預(yù)期。我建議每個(gè)調(diào)度任務(wù)都支持“指定業(yè)務(wù)日期范圍重跑”的能力且重跑時(shí)必須校驗(yàn)已有分區(qū)是否會(huì)被覆蓋、下游是否感知到數(shù)據(jù)已變更。這一點(diǎn)看起來基礎(chǔ)但在真實(shí)項(xiàng)目里因?yàn)橹嘏軐?dǎo)致下游重復(fù)計(jì)算、重復(fù)入數(shù)的案例比比皆是。5. 最容易翻車的三個(gè)環(huán)節(jié)修復(fù)記錄5.1 數(shù)據(jù)回滾為什么“回滾”這個(gè)詞在數(shù)據(jù)領(lǐng)域是偽命題做DataOps的過程中我遇到過最棘手的一次事故上游業(yè)務(wù)系統(tǒng)的庫(kù)表結(jié)構(gòu)變更導(dǎo)致當(dāng)天清洗任務(wù)產(chǎn)出的訂單數(shù)據(jù)出現(xiàn)了大面積亂碼和字段錯(cuò)位。事故發(fā)現(xiàn)已經(jīng)是業(yè)務(wù)部門下午看報(bào)表的時(shí)候了。第一反應(yīng)是“回滾”——把任務(wù)切回昨天的版本重新跑。但緊接著問題來了今天的表已經(jīng)被昨天的版本覆蓋但下游的報(bào)表已經(jīng)在早上讀了新數(shù)據(jù)算法團(tuán)隊(duì)已經(jīng)用今天的錯(cuò)誤數(shù)據(jù)跑了一版模型?;貪L任務(wù)能修復(fù)表但修復(fù)不了已經(jīng)發(fā)生的消費(fèi)行為。那次之后我把數(shù)據(jù)任務(wù)事故響應(yīng)流程改成了三步走止損第一時(shí)間停掉下游所有依賴這條鏈路的任務(wù)防止錯(cuò)誤數(shù)據(jù)擴(kuò)散。修復(fù)數(shù)據(jù)用正確的邏輯重新生成受影響分區(qū)同時(shí)把數(shù)據(jù)變更事件主動(dòng)通知給所有下游消費(fèi)者附上“數(shù)據(jù)已修正請(qǐng)基于新數(shù)據(jù)重新消費(fèi)”的說明。復(fù)盤根因?yàn)槭裁瓷嫌巫兏鼪]有被及時(shí)發(fā)現(xiàn)是測(cè)試數(shù)據(jù)集沒有覆蓋到這個(gè)變更場(chǎng)景還是監(jiān)控閾值沒有覆蓋范圍校驗(yàn)values beyond expected range)數(shù)據(jù)回滾的真相是你無法讓所有消費(fèi)方回到事故發(fā)生之前你能做的是快速縮短“錯(cuò)誤數(shù)據(jù)的生命周期”并讓錯(cuò)誤數(shù)據(jù)的擴(kuò)散范圍盡可能小。這種思路應(yīng)該被設(shè)計(jì)進(jìn)系統(tǒng)里而不是等事故發(fā)生時(shí)靠人工臨時(shí)抱佛腳。5.2 測(cè)試的“數(shù)據(jù)保鮮”離線驗(yàn)證通過上線就掛做數(shù)據(jù)管道自動(dòng)化測(cè)試時(shí)另一個(gè)高頻翻車點(diǎn)開發(fā)和測(cè)試階段用的是歷史樣本數(shù)據(jù)驗(yàn)證全過一上線跑真實(shí)數(shù)據(jù)直接掛掉。原因基本都是測(cè)試數(shù)據(jù)和真實(shí)數(shù)據(jù)分布差異過大。比如開發(fā)環(huán)境里的測(cè)試表數(shù)據(jù)量是幾千行生產(chǎn)環(huán)境每天產(chǎn)出上億行測(cè)試數(shù)據(jù)里的枚舉值只有兩三個(gè)生產(chǎn)環(huán)境里能冒出十幾種異常編碼。我的修復(fù)方案是“影子測(cè)試數(shù)據(jù)子集”的組合打法影子測(cè)試在測(cè)試環(huán)境里用一份脫敏后的生產(chǎn)數(shù)據(jù)子集按核心維度抽樣來運(yùn)行任務(wù)。這樣測(cè)試的輸入和生產(chǎn)的輸入分布基本一致跑出來的結(jié)果才有說服力。數(shù)據(jù)子集從生產(chǎn)數(shù)據(jù)中按規(guī)則抽取一個(gè)“小而全”的分區(qū)集。抽取規(guī)則不是隨機(jī)抽樣而是“每個(gè)分支機(jī)構(gòu)取一天數(shù)據(jù)、每個(gè)業(yè)務(wù)類型取一條極端值記錄、每種異常碼保留一條”確保測(cè)試集能覆蓋生產(chǎn)數(shù)據(jù)的主要分布特征。另外質(zhì)量測(cè)試?yán)镆欢ㄒ胺植甲兓瘷z測(cè)”這一項(xiàng)。不一定用太重型的統(tǒng)計(jì)檢驗(yàn)一個(gè)簡(jiǎn)單的移動(dòng)窗口均值/方差對(duì)比就很有用計(jì)算昨日核心指標(biāo)均值與近7日均值的偏離度超過閾值就告警。這種檢測(cè)對(duì)“數(shù)據(jù)突然漂移”類問題極其有效。5.3 血緣優(yōu)先級(jí)的教訓(xùn)靜態(tài)解析必須讓位于運(yùn)行時(shí)信息我在4.3里提過靜態(tài)血緣解析的坑這里把排查鏈路完整記錄一遍。當(dāng)時(shí)的情況是業(yè)務(wù)方反饋“某核心報(bào)表的今日數(shù)據(jù)比昨日少了30%”我們需要快速定位“少的數(shù)據(jù)源頭在哪”。第一輪排查我們打開血緣系統(tǒng)看到“報(bào)表→DW層某匯總表→ODS層訂單表”這條依賴鏈檢查了鏈路里的每一個(gè)任務(wù)都沒發(fā)現(xiàn)問題任務(wù)全部成功、調(diào)度全部正常。數(shù)據(jù)為什么還少第二輪排查我們把視角從“血緣圖”切到“實(shí)際運(yùn)行日志”去調(diào)度系統(tǒng)里查這個(gè)報(bào)表任務(wù)真正依賴的上游節(jié)點(diǎn)。結(jié)果發(fā)現(xiàn)該報(bào)表任務(wù)在調(diào)度配置里除了血緣圖上顯示的那張匯總表還依賴一個(gè)“手工同步任務(wù)”產(chǎn)出的外部表這張外部表是另一個(gè)團(tuán)隊(duì)通過一個(gè)臨時(shí)腳本同步的血緣系統(tǒng)完全沒有采到。昨天這個(gè)手工任務(wù)因?yàn)樵炊藱?quán)限變更跑失敗了沒人注意到。那一刻我徹底明白了血緣工具只是一個(gè)輔助真正給出事實(shí)的是系統(tǒng)的運(yùn)行記錄和任務(wù)依賴關(guān)系。血緣圖可以幫你做信息檢索和審計(jì)但排障時(shí)必須把“實(shí)際執(zhí)行鏈路”作為第一依據(jù)血緣可視化只能作為輔助理解。后來我們強(qiáng)制要求所有任務(wù)在調(diào)度系統(tǒng)中的依賴都必須顯式聲明任何隱式依賴比如任務(wù)里面用代碼讀取另一張表但沒有在調(diào)度層聲明都要被消滅同時(shí)血緣展示的優(yōu)先級(jí)改為“運(yùn)行記錄優(yōu)先、靜態(tài)解析兜底”。這套調(diào)整之后同類排障的時(shí)間縮短了很多。6. 如果你也想從0開始跑DataOps第一步應(yīng)該這么做每次有人問我“我們團(tuán)隊(duì)也想做DataOps應(yīng)該從哪里開始”我的回答都不是“買工具”而是“先選一條具體的數(shù)據(jù)鏈路把它當(dāng)樣板間來做”。不要一開始就試圖做全平臺(tái)改造那樣會(huì)陷入第二章節(jié)說過的“工具幻覺”。我的建議是選擇一個(gè)“高頻使用、常出問題、影響面可控”的核心業(yè)務(wù)數(shù)據(jù)域比如訂單域或者用戶域把這一條鏈路的端到端流程徹底理一遍。具體路徑可以按四步走找出這條鏈路的所有數(shù)據(jù)任務(wù)、責(zé)任人、依賴關(guān)系和消費(fèi)方壓縮成一張真實(shí)的鏈路清單。在任務(wù)的上游與下游之間建立明確的數(shù)據(jù)契約把字段口徑、SLA、質(zhì)量預(yù)期都白紙黑字定下來。給這條鏈路套上自動(dòng)化質(zhì)量檢測(cè)和告警閉環(huán)數(shù)據(jù)產(chǎn)出后立即跑質(zhì)量檢查失敗立即告警并自動(dòng)暫停下游。用一周的時(shí)間把這條鏈路的失敗任務(wù)和告警做一次復(fù)盤找到最高頻的問題根因。這個(gè)“樣板間”做好之后你會(huì)得到三個(gè)可以量化的收益管道失敗率明顯下降因?yàn)槭”桓彀l(fā)現(xiàn)、更快處理數(shù)據(jù)交付時(shí)間變得可預(yù)期因?yàn)橛辛薙LA和數(shù)據(jù)契約團(tuán)隊(duì)積累了完整的DataOps實(shí)踐方法而不是一堆工具的說明書再把樣板間的經(jīng)驗(yàn)復(fù)制到其他數(shù)據(jù)域推進(jìn)阻力會(huì)小很多因?yàn)槟贸鰜淼亩际钦鎸?shí)的成功案例而不是一套紙面方法論。我在自己的項(xiàng)目里就是這么起步的。最初只是選了訂單域的一條核心鏈路做了改造用了大概三周時(shí)間把鏈路理清楚、加了契約和質(zhì)量檢測(cè)、砍掉了兩個(gè)無人認(rèn)領(lǐng)的下游任務(wù)。三周之后的效果是這條鏈路的平均失敗恢復(fù)時(shí)間從“小時(shí)級(jí)”降到了“分鐘級(jí)”因?yàn)楦婢苤苯佣ㄎ坏骄唧w的任務(wù)和環(huán)節(jié)不再需要人肉翻日志。后面再往其他域擴(kuò)展時(shí)團(tuán)隊(duì)里沒有人再質(zhì)疑DataOps是不是一個(gè)空洞的概念因?yàn)榇蠹乙呀?jīng)看到了它帶來的實(shí)實(shí)在在的變化。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲自拍偷拍视频在线| 夜夜中出国产| 99国产精品免费| 玖玖资源视频一区二区三区| 人妻无一区二区三区| www.人人cao| 人妻无码后入| 涩综合导航| 志村玲子视频一区二区| 精品综合久久久久久97| 家庭乱伦国产| 欧美色997| 欧美色图片| 91精品久久久久久77777| 97国产亚洲中文在线| 青青操国产夫妻| 国产激情久久| 免费人成毛片乱码| 天堂av2019| 天堂综合网| 国产精品久久久久无码AV会牛| 天天综合网在线| 婷婷婷婷婷婷久久久久| 99re6久热只有精品6在线直播| 日天天九九天堂666| 欧洲特黄毛片免费看欧洲毛片| 亚洲九九夜夜| 九t超碰| 激情接吻视频久久久久久| 校园春色综合香蕉| 人妻系列无码专区中文有码| 久日综合网| 9国产超碰| 一牛影视久久久一区二区三区| 欧美色图第一页| 国产原创自拍| 天天干天天操天天操夜夜操天天操| 综合婷婷| 蜜臀一区二区三区在线| 亚洲91网。| 久久欲| 久操在97| 91粉嫩萝控精品福利网站_精品影音先锋国 | 天天伊人| 少妇精品久久久八区九区| 国产夫妻性生活视频| 欧美亚洲日本视频久久久| 9长久久精品| 色爱三区| 国产女同在线观看视频| 性色综合网| 黄色大片免费在线| 九九人妻| 校园春色之综合网| 欧美日韩国产另类综合| 91美女视频直播| 亚洲 日韩 欧美 国产综合体| 久久专区| 超碰日韩美妻| 亚洲图片 91| 性色AV蜜色av色欲av| 欧日韩在线观看| 综合自拍| 高清有码一区二区| 久操视频在线| 欧美色图片91| 亚洲伊人a线观看视频| 东京热精品97综合网| 欧美一区二区亚洲天堂| 肏逼福利网站| 性欧美| 久久丁香五月婷婷| 国产精品亚洲一级av第二区| 久久在肏| 久久久精品一区二区| 欧美亚洲日韩人妻在线观看| 日韩精品一区,二区 九九...老司机| 口爆吞精在线观看| 91丝袜美女视频| 国产十八禁视频| 在线不卡视频| 欧美性爱十八禁| 亚洲欧美色图片| 欧美A√综合网| 国内毛片无码一级毛片| 国产成人精品无码久久| 国产亚洲深夜激情| 精品人妻一区二区三区在线视频不卡| 岛国毛片手机在线观看| 综合网亚洲1| 日韩精品中文字幕一| 天天看天天日| 91美| 久久亚洲一区二区色婷婷| 夜夜高潮夜夜爽| 亚洲男人bt天堂| 91足交| 欧美在线天堂| 久久精品国产精品一区| 欧美牲| 骚妻少妇精品性色无码四色A V| 夜夜爽妓女| 亚洲干B| 好舒服视频| 亚洲精品天天影视综合网 | 黄色片G G G| 欧美综合骚| 五月天婷婷基地| 五月综合婷婷久久网站| 一类av片在线看| 无码直播久久久| 亚洲中文字幕精品一区| 最新国内自拍av免费| 视频不卡中文字幕| av中亚| 黄色成年| 欧美色97| 亚洲第一页色网| 激情综合婷婷| 桃花色涩综合影院| 最新国产精品久久精品| 国产一区二区在线电影| 五月婷婷丁香| 色色亚洲| 久久久久久久久久久久久久久性生活视频 | 性爱精品一区| 思思热在线| 日本久久精品| 一区=区三区视频| 国产蜜臀精品一区免费尤物| 欧美图片色综合| 久久鲁夜| 人人操人人大香蕉| 在线观看亚洲成人精品| 99在线免费公开视频| 免费黄色片。| 亚洲情色中文字幕一区| 免费看日产一区二区三区| 新婚人妻扶着粗大强行坐下| 久久久婷| 日韩AV一区二区三区三州三州| 日本九九久久99播| 97超碰资源网| 日日日日做夜夜夜夜做无码97| 2025亚洲男人天堂| 久久精品国产精品| 99999亚洲| 无遮挡男女激烈动态图| 精品一区二区综合熟妇| 日本三级大片| 九久9热| 青苹果影院男人的天堂| 自拍偷拍 日韩无码| 99精品久久久久久久婷婷| 最近的最新的中文字幕视频| 超踫中文字幕| 欧美日动态视频| 妇女乱色二区| 免费精品国偷自产在线在线 | 青草精品视频一日本久久久久网站| 91黑丝在线| 欧美五十路熟| 久操B网| 骚女高跟AV在线| 一区二区不卡| 亚洲欧美不卡线| 久草国产在线视频| 久久天堂| 中文自拍欧美影视| 九九久久首页| 欧美日韩亚洲天堂| 久久性爱视频99| 毛片电影一区二区三区| 神马久久久久久久久久| 另类图片天天影视| 人人操,操人人| 亚洲色吧网| 久久久久国产| 啪啪啪亚欧美视频| 久久精品国产亚洲AV嘿嘿| 自偷自拍的亚洲视频| 日本一二区免费| 91高清日| 91快色色色色色| 伊人五月天| 精品视频久久区| 亚洲瓯美色图| 欧美人妻制服| www.色婷婷| 天天享受天天看| 青青草一区二区高清无码视频| 青娱乐国产精品| 午夜成人福利影视| 淫荡网址| 97天天摸天天碰| 另类专区加勒比| 日韩性爱视频在线免费观看| 射丝袜高跟鞋99| 中文字幕欧美精品亚洲日韩蜜臀| 无码高清国产AV| 99热在线播放| 国产成人+综合亚洲+天堂| 日日妻色网| 日本黄色精品专区网站| 高清不卡国产| 五十路三区在线| 91欧美| 综合网亚洲在线| 99性爱在线观看| 夜夜夜久久| 日夜精品| 天天操女人| 91久久青青草原精品| 蜜桃久久一区二区三区| 91精品导航| 无码日韩网站| 加勒比海人人操超碰在线| 91艹B视频| 91欧美成人色站| 一区AV| 欧美综合站| 91国产丝袜白虎| 午夜免费福利视频一区| 高清无码学生妹高潮| www…国产操逼| 蜜臀Av一区二区三区| 超碰天天去日穴| 新版天堂中文资源8在线| 亚洲熟妇综合久久久久久| 亚洲成人福利电影免费| 亚洲男人天堂网站| 91在线欧色| 亚欧毛片基地国产毛片基地| 中文一区在线日| 国产美女销魂在线观看不卡| 加勒比五月天| 九九久久99| 91精品人妻一区二区三区蜜桃| 天天综合精品| 在线有码中文字幕| 国产农村妇女毛片精品久久| 婷婷亚洲中文字幕在线| 两女互慰AV高潮喷水在线观看| 另类 综合 日韩 欧美 亚洲| 美国aaaaa一级黄片| 国产亚洲精品农村妇女| 超碰97日韩| 不卡超碰护士AV在线免费播放| 老司机午夜精品视频| 男人的天堂VA在线| 久操热线| 久久精品国产亚洲AV高清演员表| 五月天亚洲网| 久久精品免费| 一,爱啪啪,在线免费视频| 人妻少妇久久中文| 国产精品91一样| 大香蕉专区| 少妇无码999| .精品人妻一区二区三| 粉嫩久久久久| 日本在线不卡123| 男女激烈网站最新| 好爽视频在线观看视频 | 神马久久久久久| 色综和网| 九九色图| 精品国产一区二区三区在线播出| 蜜臀久久久99久久久久 | 蜜臀AV成人精品蜜臀AV久久| 一区二区三区激情在线观看| A级片日韩欧美国产欧美视频精选观看 | 久久91| 操死我了啊啊啊| 麻豆天美国美国产| 操逼逼福利视频| 男人的天堂 在线一区| 屁屁影院一区二区三区国产| 亚洲在线| 97欧美| 午夜精品久久久久久久99| 18精品一区| 男人的天堂一区三区| 100啪啪视频大全| 超碰在线一区二区三区| 激情文学亚洲| a人片中文字幕一区二区| 日本伦理一区二区| 丰满少妇乱子伦精品无| 亚洲天堂男人| 一区二区影视| 久久久久熟女| 精品国产综合久久福利,热99这里有精品综合久久,99热这里只有免费国产精品,精 | 91ise欧美| 高清不卡 中文 人妻| 九九十八精品| 欧美制服另类丝袜| 920日本午夜免费| 欧亚在线视频| A片 AV一级在线播放观看免费| 色综合V| 日韩欧美性吧婷婷乱伦大香蕉| 欧美 亚洲 在线| 欧亚日本情色| 啊啊啊啊免费视频| 亚洲中文丝袜美腿诱惑字幕| 中文一区在线日| 无码9区| 婷色五月| 人妻熟女字幕一区二区| 亚洲有码 视频一区| 99精品在线播放| 国产免费久久久久| 337p大胆噜噜噜噜噜91Av| 最新日韩黄片| 丁香五月av| 很很干很很操| 日日干夜夜操视频h| 手机不卡视频不卡在线一二三区| 国产精品 亚洲情色| 无码一区二区三区四区五区六区七区八区九区十区视频 | 亚洲激情深爱文学小说网站| 欧美日韩97在线| 91精品久久久久久| 无码人妻一区二区三区四区老鸭窝| 啊啊啊慢点| 91欧美经典| 久久精品店| 九九九九AV| 91第一页| 97无码视频在线播放| 欧美五十路熟| 国产成人精品日本亚洲语言| 久久曰曰| 日韩欧美丝袜诱惑| 97超碰中文字幕| 中文字幕成人理论在线| 能看的AV| 久久香蕉超碰97国产精品| 大香蕉琪琪日本女优不卡| 色69大色97香蕉| 91n欧美| 国内毛片热久久思思热| 久久久无码av精| 色色99| 91精品人妻一区二区-全集完整版免费正片国语-B02AV | 久久精品国产97欧美精品亚洲 | 久久久网站| 夜夜中出国产| 久久啊啊啊视频| 亚洲色综网| 精品人妻av区天天看片| 免费啪啪一级视频| 97久久超碰国产网站| 国桃视频产巨乳精品一区二区在线| 自拍第一页| 999久久久| 精品少妇人妻av久久免费| 婷婷色中文字幕| 性色乱AV一区二区| 亚洲第一视频 欧美风情 日韩| 免费视频观看60秒| 亚洲字幕一区二区| 五月丁香婷婷综合网| 少妇人妻无码| 久艹日日日| 亚洲欧美国产va在线播放频| 久久婷婷五月| 亚洲日韩欧美一区二区| 日日操免费视频| 91一区二区| 超碰综合97在线| 欧美性爽xyxOOOO| 国产日韩欧美三级片| 久久久久久久久久久久黄色 | 日日狠狠久久偷偷色综合免费| 久久久久久波多野吉衣高潮| 黑人娇小av在线播放| 亚洲美女自拍偷拍视频| 91美女在线看| 无码精品久久| 中文字幕乱码人妻一区二区三区,99精品| 另类专区加勒比| 亚洲密乳AV| 狠狠躁AV| 男人天堂欧美| 蜜臀av在线播放一区二区三区| 亚洲骚男同com| 中国AV美女| 亚洲人成色9999精品久久| 超碰午夜| 久久免费精品视频免一| 亚洲国产青青| 亚洲A曰本VA欧美VA视频| 亚洲麻豆精品二区三区| 高清孕妇孕交 交| 久久久免费一级黄片| 国产中文福利| 人人干黄色| 欧美图片色综合| 久久久久9999| 黄污污污污| 亚洲综合在线第一页| av资源在线观看少妇| 97爱碰| 国产一级作爱毛片| 黑人粗大V S日韩女优视频| 亚洲 小说 欧美 激情 另类| 青青草视频在线观看一区二区| 国产老太乱伦一区| 久久国产99精品72福利| 欧美78P| 五月丁香| 国产深夜福利| 久操 高清| 26uuu偷拍亚洲欧洲综合| 青青青国产| 神马麻豆福利院| 久久久精品国产亚洲伊人| 亚洲欧美另类图片| 亚洲激情 欧美色图| 熟女激情综合网| 天天舔九色婷婷| 免费精品人妻一区二区三| 精品一二三区女同| 五月色网| 乱人乱色一区二区三区免费| 亚洲男人天堂网久久| 欧美日韩性爱电影在线| 色欲色香天天天综合网www-亚洲综合国| 人妻干天天| 亚洲三级网址久久最新| 日va操| 老鸭窝在线视频播放| 五月综合视频| 人妻啪| 91亚洲黄色网| 丝袜喷水在线| 亚洲国产午夜真人一级片中文字幕精品黄网站 | 欧美区亚洲区偷拍区| 综合亚洲情色| 在线岛| 久久噜噜噜精品国产亚洲综合| 婷婷五月天AV| 中文字幕精品免费一区二区| 亚州五月| 麻豆AV96熟妇人妻| 久综合网| 伊人久久在线视频观看| 国产自偷| 亚洲欧美九九九| 99热只有这里有精品| 蜜桃av色偷偷av老熟女| 亚州再线| 欧美图片偷拍| 操逼日韩无码 | 人妻天天爽夜夜爽2| 人妻熟女午夜精品在线| 女欧美一区二三区| 亚洲人妻精品一区二区| 国产乱子伦一区二区三区免看| 这里只有精品久久| 操逼不卡中文字幕| 中文AV制服乱伦| 日本不卡免费二区| 超碰97久久观看| 91蜜臀熟女| 久久精品国产亚洲AV无码电影| 国产又粗又长又大的视频| 丝袜喷水在线| 夜夜一区二区| 久久精品国产亚洲AV高级北京| 99re免费| 高清孕妇孕交 交| 欧美综合传媒| 爱欲AV| 丁香五月成人| 色五月网址| 3P乱轮视频| 久久丁香久草综合网| 成人性生活高清视频在线播放| 偷拍片久久| 欧美精品第四五页中文字幕在线观看| 人妻少妇久久久| 91干熟女| 亚洲中文字母在线播放| 操逼视频亚洲| 先锋色眉乱伦资源| 美国一区二区三区视频| 免费日韩黄片| 内射小黄片| 免费视频观看60秒| 91N综合网| 啊啊啊 在线| 啊啊啊啊啊舒服| 狠狠做深爱婷婷久久二区| 欧美大码在线视频| 日本不卡码黄色| 99热18| 久久久久久欧美精品se一二三四| 久久久精品无码亚免费| 最新中文字幕精品在线| 最新中文字幕精品在线| 婷婷五月天激情网| 俺去俺来也在线www| 免费啪啪一级视频| 日韩性爱电影一区| 国产又色又爽又舒服的三级视频 | 玖色av| 天美传媒精品久久视频| 久久久免费懂色| 天美一区在线| 91久久国产精品| 超碰碰97资源站| 97欧美| 色吧 综合| 天天视频网站黄| se吧提供国产乱老熟视频胖女人 | 99性爱视频| 99热亚洲天堂| 亚州色图欧美| 婷婷探花久久精品一区| 性91| 欧美中文字幕日韩在线| 无码高清国产AV| 欧美三级中文字幕hd| 狠狠操综合| 超碰久久性爱| 免费看污网址| 深喉吞精| 老子午夜伦不卡影院| 国产网红精品| 九九热超碰| 国产少妇与亚洲av| 大香蕉综合在线| 中文字幕在线第二页| 东京男人天堂| 久久久精品中文字幕爱豆| 殴美在线AⅤ| 伊人成人中文字幕久久网| 综合熟女| 一区二区视频你懂的| 狠狠97| 国产粉嫩蜜臀av一区二区三区| 2019精品国产无码成人| 91一起操| 亚洲清纯唯美| 国产色产精品在线观看| 日韩精品黄片免费观看| 巨爆乳肉感一区二区三区竹菊影视 | 国产操逼网站亚洲一级黄色| 日本一二区不卡| 国产精品久久久久无码A√| 93人人操人人| 白丝1区2区3区| 久久久熟女一区| 东北熟女91| 国产区性爱在线视频秋霞豆| av一区二区三区 中文| 狠狠操夜夜操蜜桃视频三区| 欧美91在线+|+欧美| 东京热,男人的天堂| 秋霞网—男女啪啪亚洲免费体验区 | 一本一道人妻久久一区二区三区| 日韩久久超碰色| 欧美色图99| 欧美性爱91| 欧美亚洲性爱一区二区| 欧美成人贴图| 激情综合网五月婷婷五月天| 中文97国产| 97在线视频免费观看| 国产成人无码a| 国产精品免费美女视频| 9精品在线| 人人模人人看| 免费看美国人人爽,人人操| 尤物AV免费网站| av绯色| 欧美在线官网| 久肏视频字幕| 日本无码1| 日日日啊啊啊| 久久这里只精品| 在线观看色视频| 久久久9品一区二区三区| 91热| 久久久激情| 亚洲网污污污污| 377p欧洲日本亚洲大胆| 97超碰欧美中文字幕| 日韩探花精品在线视频| 色噜噜婷婷| 男人的天堂无码| 国产日韩欧美中文在线播放| 91色图片| 人人操 欧美| 大鸡吧尹人在线| 免费成人自拍视频在线| 欧美综合97www| 91久久青青草原精品| 国产精品熟女一区二区三区| 操逼网站网站| 大香蕉综合| 97超碰人人模人人拍人人| 美女黄页| 久久精品免费| 国产高清亚洲日韩一区| 青青操97| 国产精品久久久久久久AV大片| 手机不卡视频不卡在线一二三区 | 黄色大香焦1级‘′‘| 欧美日韩亚洲电影| 中文字幕狠狠玩| 夜夜嗨一区| 日本福利社| 天天日天天干天天操| 宗合情欲网| 日韩在线一区高清在线| 久久人妻无码毛片A片麻豆| 日韩丰满熟妇| 少妇天堂| 亚洲日产专区| 久久欲| 伊人一区二区三区| 日韩AV一起草| 超碰欧美97| 天美传媒国产原创中文字幕亚洲欧美另类 | 亚洲av国产av综合av卡| 亚洲天堂日本| 99九九久久| 精品一区二区三区免费古装毛片香港三级日本三级人妇 | 亚洲免费97免费| 操B在线观看| 欧美97超碰| 超碰天天久久79| 91小视频| 蜜桃狠狠色伊人亚洲综合网站| 中文字幕十五区| 大地资源在线观看中文第二页| 欧洲亚洲人妻无码高清久久三区四区| 91九久| a级成人毛片免费视频高清| 亚洲最大的综合性av| 91n处女在线观看| 男人干美女| 久久久婷婷婷| 中文字幕一区二区三区字幕| 欧美激情亚洲| 九九热免费国产视频婷婷伊人| 国产精品呦一区二区三区| 日本精品一区二区不卡| 五月开心久久AV官网| 国产成人自拍视频在线| 天天爽夜夜爽夜夜爽精| 夜夜嗨一区二区三区直播内容| 激情四射婷婷四五月天| 少妇人妻太紧太深av| 一本色道久久综合精品婷婷| 中出789在线视频| 日韩人妻少妇 一区二区三区| 噜噜噜在线视频| 91精品久久久久| 91 综合 色| 婷婷久久综合久| 目产99999久久999| 夜色五月天| 亚洲精品无码少妇久久| 国产在线观看一区二区三区| 精品人妻一区二区三区不卡断| 国产熟女二区| 9 7超碰在线免费观看| 乱伦熟女区| 最新中文字幕精品在线| 女欧美一区二三区| 精品视频一二三中文| 欧美亚洲高清不卡| 蜜臀精品1区2区| 999久久久精品国产| 欧美日韩岛国大片在线观看| 日韩人妻制服丝袜av| 久久精品国产欧美日韩亚洲欧美日韩中文久久国产一区 | 熟妇色99| 天天夜夜rb| 精品久久久不卡一区二区| 激情婷婷丁香| 欧美在线视频99| 岛国成人av在线播放网址| www.91逼逼.com| 另类图片综合| 97国产精品视频| 91五十路| av影片在线观看不卡| 96超碰网| 91色花堂| 亚洲久久天堂| 九九九九九九精品| 亚洲一本色码中文字幕| 白丝少妇一区二区| 一区二区 电影 亚洲| 国产精品午夜成人福利| 中文字幕日韩精品一区二区三区| 好吊色一区| 色诱avtt| 大香蕉在线视频15| 在线女人91| 97WW精品| 嗯嗯啊啊用力视频免费| 91麻豆天美传媒HD| 96国产污污污丝袜| 久久久久久久久国产| 蜜臀th| 午夜视频久久久| 97在线视频免费看| 亚州综合色| 欧美狠狠| 中文字幕一区二区日韩网| 狼狼色丁香久久婷婷综合五月| 美国一区二区免费视频| 久久亚洲av成人无码国产| 色五月综合| 中文字幕 av v| 一本一首道人妻少妇免费久久| 欧美九九99久久精品| 用力操死我| 欧美在线啊啊啊| 国模91| 少妇熟女视频一二三区| 91插B网站| 国产精品国产精品国产| 成人无码在线超碰网| 亚洲天堂7777| 乱人伦 国语对白:视频直接看| 日韩影片中文字幕一区二区三区| 亚洲av热热色| 暴力av在线| 久久免费少妇| 国产精品视频白浆免费| 射 色综合| 久久夜精品一区二区三区| 久九九九| 国产成人bd在线观看| 久久久草成人网站久久久草成人久久久草久久久| 日韩AV一区二区三区三州三州| 亚洲第一男人天堂| 翔田千里A片一区二区| 在免费jIzzjIzz在线视频| 五月丁香六月| 丝袜美女诱惑 91 视频| 亚洲牲交| 免费看一级a性色生活片久久无| 91夜夜蜜桃臀1区2区3区| 后入综合久久| 国产精品毛片?v一区二区三区| av草草在线电影| 99自拍视频在线观看| 少妇毛片久久| 热G综合热G中文| 国产成人精品无码久久| 99热超碰| 岛国天天午夜影院传媒网| 啪啪免费| 国产SV一线| 欧美色另类| 日韩av乱伦| 爱爱久久| 四虎国产精品永久入口| 免费一级毛片在线视频观看| 丰满精品人妻少妇久久字幕| 天天干人人看综合| 五月天社区| 蜜臀网址在线| 中文字幕123| 欧美激情片一区二区| 亚洲AV无码秘 蜜桃臀国精产品| 久久综合激情| 激情小说亚洲视频| 亚洲欧美日韩制服另类| 久无码| 97中文热色| 日韩AV熟女乱伦| 亚洲色综网| 麻花传媒免费网站在线观看| 欧美天堂日韩三级国产传媒| 亚洲高清视频在线免费观看| 韩国久久97| 超碰97伊人| 播播亚洲小说亚洲| 嫩草 我啊~嗯~在线| 国产精品亚洲一级av第二区| 日本97久久久精品| se吧提供国产乱老熟视频胖女人| 日韩一999精品| 国产区日韩区在线观看| 亚洲久热| 超碰97精品| 熟女日韩| 日本人妻丰满熟妇久久久久久| 91偷拍欧美亚洲| 天堂v无码免费视频| 欧美性爱97超碰| 中文字幕日韩专区精品系列| 色综合加勒比四四季| 超碰在线欧美性爱激情| 亚洲美女色图| 377p欧洲日本亚洲大胆| 中文字幕在线2| 金莲网址| 天堂av最新电影网| 狼人久草| 97在线观| 插B在线观看| 98超碰欧美| 久久久久久AⅤ无码免费肉站| 狠狠色五月亚洲91| 六月天婷婷| 另类亚洲一区二区三区| 青青草国产盗摄一二三区| 丰满人妻被猛烈进入中| 人妻爽爽啪视频| 粉嫩av在线一区二区| 风间由美日韩欧美久久| 欧美亚洲玖玖玖| 极品欧美一区二区三区| 国产女人9999| 中文字幕国产| 国产精品白虎| 先锋精品av色鲁| 天美传媒在线一区| 被体育老师抱着c到高潮| 嗯嗯啊啊啊好爽| 欧美日韩电影一区二区| 久久人人爽爽人人爽人人片αV| 真实高潮91| 国产精品久久久久久片| 日本 情色 1区| 亚洲s在线观看| 中文字幕狠狠玩| 亚洲熟女av中文字幕| 乱码熟妇人妻久久久| 免费在线观看AV无码网站| 日韩综合色图| 天天日天天操VV| 综合色图区| 亚洲最新av无码成人精品区 | 欧美性生活综合| 99色网| A男人的天堂| 久久精品视-一级做a爰片性色毛片16美国-中国女与老外在线精品 | 日韩在线AB| 一区二区三区欧美激情| 亚洲成人激情小说视频| 美女丝袜激情小说| 白丝AV网站| 91操人视频| 亚洲图片婷婷五月天| 偷拍亚洲| 综合色久欲| 91在线色| 久久久久久夜夜夜夜夜| 亚洲古典另类欧美在线| 亚洲欧美另类图片| 一区二区三区男人的天堂| 亚洲永久AV无码精品秋霞| 丰满人妻一区二区三区免费,| 亚洲精品三区在线观看| 99re98| 久久黄黄黄| 老司机免费视频在线91| 久久人妻四季| 欧美图片偷拍| 激情看片网站| 黄在线| 久久无码成人| 日本一区二区亚洲综合| 男女啊啊啊| 国产又粗又长的视频| 日本九九久久99| 中文字幕片| 免费看污网站| 偷拍欧美综合| 97天天摸天天碰| 99久久精品国产高潮| 久久男人精品| 国产性爱在线视频一区二区| 超碰免费97| 婷婷色香伊人| 一区二区高清视频| 无马一区二区| 中文字幕青青草| 2017,超碰| 夜夜嗨一区| 久久久极品| 亚洲狠狠入| 亚洲第一男人天堂| 欧日韩一二三f区| 国产吹潮女在线观看| 天天日天天屌天天操| 中国小夫妻勾搭露脸淫荡对白| 青青草亚洲一区 | 欧美一区二区观看在线| 国产精品免费日韩| 亚洲av综合色| 成人三级片无码| 人人妻人人狠人人| 婷婷亚洲天堂| 操91| 天堂精品在线| 女人妻一区| 中文字幕88av在线| 精品亚洲俞拍视频一区| 啊啊啊啊啊,啊啊啊啊好舒服,操我舒服啊啊啊 | 人人么人人操| www.99色| 超碰精品日韩欧美国产| 草莓精品视频在线免费观看| 蜜乳AV.COM| 国产亚洲精品玖玖玖在线观看| 亚洲第2页| 日本 欧美 国产一区| 大香蕉啪啪啪| 欧美综合97www| 91天美传媒精品| 老女人91| 亚洲欧洲日韩中文字幕一区| 午夜视频久久久| 大色综合| 国产久久成人| 99久久99九九99九九九| 久久久草成人网站久久久草成人久久久草久久久 | 国产搭汕a级片| 一起草三级AV电影在线观看| 秋霞网—男女啪啪亚洲免费体验区| 亚洲第一狼人丝袜美女另类| 97综合在线| www.97在线| 成人综合视频久久| 色网亚洲人| 人人弄人人摸| 黄片在线免费在线观看| 97九色人妻| 另类 综合 日韩 欧美 亚洲| 亚洲色图欧美色18直播在线| 欧美精品69性爱| av网页一区二区三区| 亚洲五月婷婷| 欧美精品 - 91爱爱| 亚洲一区中文字幕| 国产精品人妻免费精品| 亚洲国产成人精品无码专区| 不卡在线一区,精品一区二区三区中| 中日韩久久人妻一区二区| 日韩精品资源| 超碰免费人妻人人| 秋霞曰韩R级| 亚洲色五月| 国产AV人人 夜夜人人澡| 91综合天天看| 免费av在线播放二区| 国内精品久久久久影院亚洲| 中文字幕加勒比海高清无码免费视频| 欧美永久激情一区二区| 精久久久| 综合欧美亚洲| 亚州AV无码国产精品| AV天堂丝袜| 久男人久久| 国产性爱强奸乱伦大全| 91爆操视频| 日日天天久久啊啊aaa| 久久久久白虎| 国产成人综合在线播放| 国产久久视频| 久久久91| 欧美久久伊人| 男人的天堂久久狠| 欧洲黄色网| 9久综合网| 亚欧操逼片在线观看| 在线日韩日本亚洲国产| 亚洲精品三| av东京热男人的天堂| a片自拍直播视频| 亚州国产精品乱| 精品女同一区二区三区| 日日摸夜夜夜夜爽| 色999偷自拍拍| 日韩三级伦理中文字幕| 99精品久久| 久久熟女精品不卡一区| 精品午夜福利国产一区二区在线观看| AV九九| 校园春色 亚洲| 色伊人91| 久久久一区二区| 国产网红精品| 亚洲熟女乱综合一区二区三区 | 久久中久文96| 日本一区二区三区四区免费观看| 欧美永久激情一区二区| 乱性AV| 日韩欧美成人大香蕉| 超清中文乱码字幕| 人妻熟女字幕一区二区| 欧美一区二区三区黄色影视| 韩国黄片aaaa| 久草草一二三四区久久| 欧美人黑A片无码免视费| 爱爱60秒免费视频| av网站免费看| 久久久久国产亚洲一区欧美色图日韩 | 99超碰色| 亚洲中文字幕熟女| 高清不卡一二三区视频......| 国产午夜在线观看| 日韩内射视频| 91天天| 麻豆天美传媒在线视频天堂| 国产精品白丝在线播放| 九九拍拍精品视频在线播放 | 伊人少妇久久久| 亚洲精品久久久久久久蜜桃臀| 青青草AV色| 日本熟妇一区二区三区| 爱爱啊啊啊| 亚洲蜜臀懂色| 国产人妖的免费的视频| aaa淫乱视频| 2019久久久久久久久福利| av久日| 婷婷五月影院| 免费一二区| 欧美中字二区| 大香蕉一线视频| 久久久久久久| 97综合在线观看| 国产强奸乱伦第1页| 亚爽爽爽爽爽爽爽爽| 中国女人内射6XXXXX| 亚洲日韩精品一区二区| 大香蕉伊人一区在线观看| 欧美黄色大片在线观看 | 国产精品老熟女一区二区| 国内毛片热久久思思热| 粉嫩AV一区夜夜嗨| 国产综合操逼高清| 九九九九久久久久| 伊人久久亚洲中文字幕不卡| 国产粉嫩出水在线播放| 久久AV无码AV| 2019午夜福利视频| 蜜臀国产AV中文字幕| 亚洲熟女乱色一区二区三区 | 国产最新AV| 强奸乱伦亚洲第一页| 国产97色在线 | 亚洲| 北京专精特新企业招聘信息| 亚洲天堂无码| 欧美天天综合网| 1区2区3区中文字幕日韩| 国产超碰人人爽人人做| 激情小说在线视频| 色一区二区三区综合| 91天天日| 巨爆乳肉感一区二区三区竹菊影视 | 亚洲 综合 欧美| 97国产高清视频在线观看| 亚欧美色| 久久久久久免费电影| 亚洲精品丝袜| 狠狠五月天| 天天懆天天日| 啊啊啊不要嗯嗯在线观看| 国产欧美一区二区| 交换娇妻呻吟声不停中文字幕| 一本色道久久综合精品婷婷| 久神马| 日本少妇va7777| 欧美视频在线视频免费va| 波多野结衣被操50分钟免费视频 | 宅男91视频在线播放| 午夜精品视频777| 一级毛片久久久久久久女人18| 好爽视频在线观看视频| 精品人妻伦一区二区三区久久| 久热精品色情| 国产女人高潮视频| 久久婷婷精品| 一本一道vs波多野结衣| 一区操逼| 婷婷丁香激情| 超碰色老头| 久久婷婷一区| rivers-china.com| 久久大精品乱码视频人妻熟女| 亚洲精品一二三四区| 婷婷综合网| 青草av在线| 国产精品久久久久久 百度| 亚洲 欧美 偷拍 唯美| 欧美欧美啪啪视频| 中文字幕乱码在线| 啊啊啊啊嗯嗯在线久久久| 国内精品久9| 欧美日韩另类字幕中文| 国产乱弄免费在线视频。| 九九无码久久精品视频| 操逼操操操91| 99久久网站| 日韩丝袜二区| 看一级特黄a大一片| 亚洲天堂在线怕怕视频| 青青在线视频日韩欧美| 一本久道久久综合狠狠爱一密臀精| 日韩欧美蜜桃精品久久中文字幕久久| 欧美72网页| 久久水蜜臀亚洲AV无码精品| 日韩一级二级在线| 一区二区三区网站日日骚| 在线啊啊啊啊| 91在线综合网| 久九九九九九九热| 青青青操| 久久中文色图| 欧美性爱一区| 激情人妻另类| 一本色道久久综合熟妇| 爱丝福利| 亚洲天堂久久| 日本加勒比无码专区| 天堂成人网| 成年人网站在线免费观看| AAAA级日本片免费视频| 亚洲 小说 欧美 激情 另类| 久久亚洲中文字幕视频| 6080YYY午夜理论片在线观看| 欧美日韩大黄片| 91精品国产日韩欧美综合| 少妇人妻好深太紧了vr91| 福利操逼| 丁香六月东京热| 国产精品99久久久www| 婷色五月| 久久本道| 黄色成品网站| 欧美日韩少妇色情| 欧美九一精品久久久熟妇| 中文字幕一区二区无码成人| 久久青青草在线视频| 激情另类激情| 免费网站观看www在线观| 亚拍在线| 久久久免费高清中文视频| 精品九九| 新久久AV| 天天天天操| 密桃99999| 欧美性生活内射| 欧美日韩精品青青| 成人国产二区三区在线,男女精品。|