日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線(xiàn)實(shí)戰(zhàn)洞察。

DolphinDB單元測(cè)試實(shí)戰(zhàn):從斷言到CI集成,打造穩(wěn)健的時(shí)序數(shù)據(jù)計(jì)算

DolphinDB單元測(cè)試實(shí)戰(zhàn):從斷言到CI集成,打造穩(wěn)健的時(shí)序數(shù)據(jù)計(jì)算 1. 為什么數(shù)據(jù)庫(kù)腳本也要寫(xiě)單元測(cè)試聊聊DolphinDB開(kāi)發(fā)的真實(shí)痛點(diǎn)先說(shuō)一個(gè)我自己的經(jīng)歷。前兩年在做一套基于DolphinDB的量化因子計(jì)算平臺(tái)核心邏輯全寫(xiě)在存儲(chǔ)函數(shù)里。當(dāng)時(shí)大家約定俗成的做法是寫(xiě)完函數(shù)直接跑一遍歷史數(shù)據(jù)看看結(jié)果大概對(duì)就行。結(jié)果有一次修改了一個(gè)公共因子函數(shù)加了兩個(gè)參數(shù)進(jìn)去改完當(dāng)天所有策略的結(jié)果曲線(xiàn)都正常但到了第二周做歸因分析時(shí)才發(fā)現(xiàn)因子權(quán)重在某個(gè)邊界場(chǎng)景下算錯(cuò)了——原因很簡(jiǎn)單參數(shù)默認(rèn)值在重構(gòu)時(shí)悄悄變了而所有下游調(diào)用都用了默認(rèn)參數(shù)等于整個(gè)平臺(tái)跑在一套錯(cuò)誤的計(jì)算邏輯上。那次事故之后我開(kāi)始認(rèn)真研究DolphinDB的單元測(cè)試方案。和Java、Python生態(tài)里JUnit、pytest這種開(kāi)箱即用的測(cè)試框架不同DolphinDB作為一個(gè)時(shí)序數(shù)據(jù)庫(kù)加計(jì)算引擎官方雖然提供了test相關(guān)的函數(shù)和方法但整個(gè)社區(qū)的實(shí)踐案例非常少文檔也比較零散。更麻煩的是數(shù)據(jù)庫(kù)腳本測(cè)試有個(gè)天然的心理門(mén)檻大多數(shù)人覺(jué)得SQL寫(xiě)對(duì)了就是對(duì)了沒(méi)必要再套一層測(cè)試代碼。但恰恰是這種心態(tài)讓數(shù)據(jù)計(jì)算邏輯里的隱性Bug成了最大的風(fēng)險(xiǎn)源。這篇文章不會(huì)去復(fù)述官方文檔里那點(diǎn)函數(shù)簽名而是把我實(shí)際搭建一套DolphinDB單元測(cè)試體系的過(guò)程完整寫(xiě)出來(lái)。從最基礎(chǔ)的斷言怎么寫(xiě)到怎么組織測(cè)試文件、怎么集成到CI流程再到那些不踩一次坑根本不會(huì)注意到的細(xì)節(jié)。無(wú)論你是剛接觸DolphinDB還是已經(jīng)在生產(chǎn)環(huán)境跑了好幾個(gè)項(xiàng)目這篇文章應(yīng)該都能給你一些可以直接抄走的思路。和普通編程語(yǔ)言的單元測(cè)試相比DolphinDB的測(cè)試有幾個(gè)完全不同的問(wèn)題要處理。第一DolphinDB腳本通常強(qiáng)依賴(lài)數(shù)據(jù)庫(kù)環(huán)境很多函數(shù)直接讀寫(xiě)表對(duì)象不像Java可以隨便mock一個(gè)對(duì)象第二時(shí)序數(shù)據(jù)天然有順序和時(shí)間的敏感性測(cè)試數(shù)據(jù)構(gòu)造比普通業(yè)務(wù)數(shù)據(jù)復(fù)雜第三DolphinDB腳本是解釋執(zhí)行運(yùn)行時(shí)的錯(cuò)誤信息往往不如編譯型語(yǔ)言直觀定位問(wèn)題需要額外的手段。這些痛點(diǎn)不解決測(cè)試寫(xiě)得再多也只是自欺欺人。下面我就按自己搭建這套測(cè)試體系的實(shí)際順序一層層講清楚。2. 測(cè)試前的關(guān)鍵設(shè)計(jì)測(cè)試庫(kù)與測(cè)試數(shù)據(jù)的隔離策略2.1 為什么必須用獨(dú)立的測(cè)試庫(kù)而不是直接連生產(chǎn)庫(kù)這個(gè)問(wèn)題聽(tīng)起來(lái)像廢話(huà)但實(shí)際項(xiàng)目里真有人圖省事直接連開(kāi)發(fā)庫(kù)跑測(cè)試。我自己第一次寫(xiě)DolphinDB測(cè)試時(shí)也干過(guò)這種事測(cè)試用例里直接讀取線(xiàn)上正在用的因子表點(diǎn)運(yùn)行看著結(jié)果通過(guò)就覺(jué)得萬(wàn)事大吉。這么做的后果是災(zāi)難性的。第一測(cè)試結(jié)果受數(shù)據(jù)變化影響同樣的用例今天跑過(guò)明天可能就掛了但你根本分不清是代碼邏輯變了還是底層數(shù)據(jù)變了第二測(cè)試用例里如果涉及寫(xiě)入、更新、刪除操作會(huì)對(duì)開(kāi)發(fā)庫(kù)的真實(shí)數(shù)據(jù)造成污染一旦測(cè)試邏輯有Bug誤刪數(shù)據(jù)連恢復(fù)都很麻煩第三如果你跑的是性能測(cè)試高頻讀寫(xiě)還會(huì)拖慢其他同事的查詢(xún)。正確做法是在DolphinDB里單獨(dú)建一個(gè)測(cè)試庫(kù)。我常用的建庫(kù)邏輯是這樣// 測(cè)試庫(kù)路徑dfs://test_unit login(admin, 123456) if (!existsDatabase(dfs://test_unit)) { db database(dfs://test_unit, VALUE, 2020.01.01..2023.12.31) }注意這里的分區(qū)方式。對(duì)于測(cè)試庫(kù)來(lái)說(shuō)時(shí)間分區(qū)不一定是最優(yōu)選完全取決于你測(cè)試的代碼邏輯。如果是針對(duì)某個(gè)特定業(yè)務(wù)場(chǎng)景的測(cè)試建議按照業(yè)務(wù)ID做HASH分區(qū)這樣構(gòu)造數(shù)據(jù)時(shí)更靈活如果測(cè)試的代碼本身就涉及時(shí)間序列處理那就用時(shí)間分區(qū)但分區(qū)粒度要小一點(diǎn)避免每次測(cè)試都要跨全部分區(qū)掃描。我自己的經(jīng)驗(yàn)是測(cè)試庫(kù)盡量只用一張主表所有測(cè)試用例都往這張表里灌數(shù)據(jù)。好處是字段結(jié)構(gòu)統(tǒng)一構(gòu)造測(cè)試數(shù)據(jù)的helper函數(shù)不用反復(fù)重寫(xiě)壞處是不同用例之間可能互相干擾。這個(gè)問(wèn)題后面講用例隔離時(shí)再細(xì)說(shuō)。2.2 測(cè)試數(shù)據(jù)的構(gòu)造方法手工寫(xiě)死 vs 腳本生成構(gòu)造測(cè)試數(shù)據(jù)是整個(gè)DolphinDB單元測(cè)試?yán)镒钊菀妆坏凸赖囊徊?。很多人在測(cè)試庫(kù)建完后就直接手寫(xiě)數(shù)據(jù)data table( 1..10 as id, rand(100.0, 10) as val, take(buy, 10) as side )這種寫(xiě)法在Demo里沒(méi)問(wèn)題但真實(shí)項(xiàng)目里幾類(lèi)數(shù)據(jù)是不能靠rand的邊界值比如極小的數(shù)、極大的數(shù)、空值、NULL、NaN時(shí)間類(lèi)數(shù)據(jù)跨月、跨年、閏年、時(shí)區(qū)邊界、時(shí)間戳精度邊界字符串類(lèi)數(shù)據(jù)空字符串、超長(zhǎng)字符串、特殊字符、中文編碼正確的做法是把測(cè)試數(shù)據(jù)構(gòu)造封裝成helper函數(shù)按場(chǎng)景批量生成。舉個(gè)例子如果你要測(cè)試一個(gè)因子計(jì)算的函數(shù)它的輸入是某只股票過(guò)去N天的分鐘K線(xiàn)那么你的數(shù)據(jù)構(gòu)造函數(shù)大概長(zhǎng)這樣def prepareKLineData(code, startDate, endDate, barCount) { // 基于日期區(qū)間生成分鐘級(jí)時(shí)間戳 ts interval(2023.01.04 09:30:00.000, 2023.01.04 15:00:00.000, 1000) // 再搭配隨機(jī)價(jià)格、成交量等字段 ... }這樣的好處是測(cè)試用例里只需要指定股票代碼和時(shí)間范圍就能得到一套可預(yù)期的、穩(wěn)定的輸入數(shù)據(jù)不用每個(gè)用例都寫(xiě)一大段table(...)。2.3 測(cè)試用例之間的數(shù)據(jù)隔離事務(wù)和表級(jí)清理DolphinDB腳本執(zhí)行時(shí)如果沒(méi)有顯式開(kāi)啟事務(wù)一條語(yǔ)句的失敗可能會(huì)導(dǎo)致部分寫(xiě)入生效。這就引出一個(gè)非常惡心的現(xiàn)實(shí)問(wèn)題測(cè)試A往主表里插了10條數(shù)據(jù)測(cè)試B跑的時(shí)候發(fā)現(xiàn)數(shù)據(jù)多了10條結(jié)果不對(duì)。我的解決思路是分層處理。簡(jiǎn)單場(chǎng)景下每個(gè)測(cè)試用例跑完后強(qiáng)制清理自己寫(xiě)入的數(shù)據(jù)def cleanupData(code) { t loadTable(dfs://test_unit, mainTable) t.delete!(sql(, t, code code )) }復(fù)雜場(chǎng)景下直接把表drop掉重建。雖然慢一點(diǎn)但絕對(duì)干凈而且測(cè)試用例之間徹底互不影響。考慮到DolphinDB的建表速度其實(shí)不慢我后來(lái)更多采用這種做法。提示對(duì)于涉及分布式表的測(cè)試data的可見(jiàn)性還受DolphinDB事務(wù)提交時(shí)機(jī)的影響。如果你在存儲(chǔ)過(guò)程里寫(xiě)數(shù)據(jù)但不主動(dòng)commit測(cè)試?yán)镒x到的可能是舊快照。遇到這種詭異問(wèn)題時(shí)先確認(rèn)數(shù)據(jù)和讀取是否在同一個(gè)會(huì)話(huà)里。3. DolphinDB單元測(cè)試的函數(shù)選型assert家族與自定義斷言3.1 官方assert函數(shù)的用法和局限性DolphinDB內(nèi)置的斷言函數(shù)主要有assert、eqObj、eqFloat這幾個(gè)。它們的用法很簡(jiǎn)單assert condition, error message如果condition為false會(huì)拋出異常并打印error message。eqObj用來(lái)比較兩個(gè)對(duì)象是否相等eqFloat用來(lái)比較浮點(diǎn)數(shù)。但直接用這些函數(shù)寫(xiě)測(cè)試有兩個(gè)尷尬的地方。第一錯(cuò)誤信息不夠友好。比如eqObj比較兩個(gè)表內(nèi)容時(shí)它只會(huì)告訴你兩個(gè)對(duì)象不相等不會(huì)告訴你具體是哪一行哪一列不一樣第二斷言失敗時(shí)缺少上下文信息你看到一個(gè)錯(cuò)誤堆棧時(shí)根本不知道是哪個(gè)測(cè)試用例掛的。所以我在實(shí)際項(xiàng)目中會(huì)對(duì)這些內(nèi)置函數(shù)再做一層包裝。包裝后的斷言函數(shù)至少要達(dá)到三個(gè)標(biāo)準(zhǔn)失敗時(shí)能輸出用例名稱(chēng)和預(yù)期值/實(shí)際值對(duì)表對(duì)象的比較能定位到具體行列對(duì)浮點(diǎn)數(shù)的比較支持自定義精度3.2 自定義斷言讓測(cè)試失敗信息不再像天書(shū)下面是我實(shí)際在用的一個(gè)簡(jiǎn)化版斷言包裝函數(shù)def assertEq(expected, actual, msg) { if (expected ! actual) { errorMsg msg \n Expected: expected.str() \n Actual: actual.str() throw error(errorMsg) } true }別小看這個(gè)簡(jiǎn)單的包裝它解決了一個(gè)非常實(shí)際的問(wèn)題——報(bào)錯(cuò)信息可讀性。DolphinDB的原生assert拋出異常時(shí)如果表達(dá)式比較長(zhǎng)錯(cuò)誤信息會(huì)顯示一堆語(yǔ)法上下文真正的邏輯差異反而被淹沒(méi)。包裝之后一眼就能定位問(wèn)題。對(duì)于浮點(diǎn)數(shù)比較我再加一個(gè)精度參數(shù)def assertEqFloat(expected, actual, epsilon 0.0001, msg Float mismatch) { if (abs(expected - actual) epsilon) { errorMsg msg \n Expected: expected.str() \n Actual: actual.str() \n Diff: (abs(expected - actual)).str() throw error(errorMsg) } true }這里要特別說(shuō)明一下為什么浮點(diǎn)數(shù)比較需要epsilon。DolphinDB的浮點(diǎn)數(shù)計(jì)算和其他語(yǔ)言一樣存在精度損失問(wèn)題。你算一個(gè)理論值可能是0.333333但實(shí)際計(jì)算結(jié)果是0.3333329999如果直接用比較測(cè)試必掛。設(shè)一個(gè)合理的epsilon是所有數(shù)值計(jì)算類(lèi)測(cè)試的共識(shí)具體閾值取決于你的業(yè)務(wù)精度要求。做量化因子計(jì)算時(shí)我一般取1e-6做偏底層的高精度統(tǒng)計(jì)時(shí)可能需要更小。3.3 表對(duì)象的深度比較逐行逐列定位差異DolphinDB里最常見(jiàn)的測(cè)試對(duì)象是表。兩個(gè)表是否相等在不同語(yǔ)義下判斷標(biāo)準(zhǔn)完全不同——字段順序要不要管行順序重不重要時(shí)間精度算不算差異這些都需要在斷言里明確。我封裝的表比較函數(shù)核心邏輯如下def assertTableEqual(expectedTb, actualTb, msg, sortByCol ) { // 1. 檢查行數(shù)列數(shù)是否一致 if (expectedTb.rows() ! actualTb.rows()) { throw error(msg : Row count mismatch. Expected expectedTb.rows().str() , got actualTb.rows().str()) } // 2. 檢查列集合是否一致 expCols expectedTb.columnNames().sort() actCols actualTb.columnNames().sort() if (expCols ! actCols) { throw error(msg : Column set mismatch.) } // 3. 如果指定了排序列先排序再逐行比較 if (sortByCol ! ) { expectedTb select * from expectedTb order by sortByCol actualTb select * from actualTb order by sortByCol } // 4. 逐行比較 for (i in 0:expectedTb.rows()) { for (c in expCols) { if (expectedTb[i][c] ! actualTb[i][c]) { throw error(msg : Row i.str() col c mismatch. Expected expectedTb[i][c].str() , got actualTb[i][c].str()) } } } true }這個(gè)函數(shù)看起來(lái)長(zhǎng)但實(shí)際用起來(lái)非常順手。尤其是第3步的排序參數(shù)在實(shí)際項(xiàng)目中幾乎是必須的——因?yàn)閿?shù)據(jù)庫(kù)查詢(xún)結(jié)果的行順序通常沒(méi)有嚴(yán)格保證兩個(gè)表內(nèi)容一致但順序不同不能算測(cè)試失敗。如果對(duì)這一點(diǎn)沒(méi)有清醒認(rèn)識(shí)你會(huì)在測(cè)試?yán)锉桓鞣N順序不一致的假失敗搞到崩潰。4. 測(cè)試用例的組織方式從單個(gè)腳本到分級(jí)測(cè)試集4.1 一個(gè)測(cè)試文件只測(cè)一個(gè)功能模塊DolphinDB的腳本文件組織比較自由可以在gui里直接運(yùn)行也可以用dolphindb控制臺(tái)加參數(shù)執(zhí)行。這種自由既是優(yōu)點(diǎn)也是缺點(diǎn)——自由過(guò)了頭測(cè)試文件就會(huì)變成一團(tuán)亂麻。我建議按模塊來(lái)分文件。比如一個(gè)完整的量化因子平臺(tái)測(cè)試目錄大概長(zhǎng)這樣tests/ common/ assertUtils.dos dataUtils.dos factor/ test_momentumFactor.dos test_volatilityFactor.dos test_liquidityFactor.dos dataProcess/ test_klineClean.dos test_adjustFactor.dos validation/ test_portfolioCalc.dos每個(gè)測(cè)試文件里針對(duì)一個(gè)功能函數(shù)寫(xiě)一組相關(guān)用例。比如test_momentumFactor.dos里測(cè)試的就是動(dòng)量因子計(jì)算函數(shù)在不同輸入下的表現(xiàn)。這樣當(dāng)某個(gè)用例失敗時(shí)你能第一時(shí)間縮小排查范圍不用在一堆亂七八糟的用例里大海撈針。4.2 測(cè)試用例命名規(guī)范和輸出效果DolphinDB沒(méi)有像JUnit那樣Test注解來(lái)標(biāo)記測(cè)試方法所以測(cè)試用例的組織要靠規(guī)范和約定。我的做法是在main函數(shù)里逐個(gè)調(diào)用測(cè)試用例函數(shù)并用print輸出每個(gè)用例的執(zhí)行狀態(tài)def test_momentum_basic() { // 基本場(chǎng)景 ... print(PASS: momentum basic case) true } def test_momentum_emptyInput() { // 空輸入場(chǎng)景 ... print(PASS: momentum empty input case) true } def main() { test_momentum_basic() test_momentum_emptyInput() // ... }運(yùn)行結(jié)果大致長(zhǎng)這樣PASS: momentum basic case PASS: momentum empty input case FAIL: momentum NaN case配合assertEq里自定義的報(bào)錯(cuò)信息測(cè)試失敗時(shí)能迅速定位到具體用例和具體斷言。4.3 如何做測(cè)試分組冒煙測(cè)試、回歸測(cè)試、全量測(cè)試測(cè)試用例數(shù)量多了之后一個(gè)很實(shí)際的問(wèn)題是每次代碼改動(dòng)都跑全量測(cè)試時(shí)間成本太高只跑冒煙測(cè)試又怕漏掉回歸問(wèn)題。我在自己的項(xiàng)目里將測(cè)試集分了三級(jí)冒煙級(jí)只跑主流程和核心邊界大概幾分鐘內(nèi)結(jié)束每次提交代碼前必跑回歸級(jí)覆蓋一個(gè)模塊內(nèi)所有關(guān)鍵函數(shù)和主要邊界條件代碼合并前跑全量級(jí)所有測(cè)試文件的所有用例發(fā)布新版本前跑實(shí)現(xiàn)方式也很樸素每個(gè)測(cè)試文件都單獨(dú)定義main()再寫(xiě)一個(gè)總?cè)肟谀_本用include引入所有測(cè)試文件然后按需執(zhí)行include tests/factor/test_momentumFactor.dos include tests/factor/test_volatilityFactor.dos // 冒煙測(cè)試只執(zhí)行特定的幾個(gè)函數(shù) test_momentum_basic() test_volatility_basic() // 回歸測(cè)試執(zhí)行文件里所有main這種手動(dòng)控制的方式雖然不如JUnit的注解靈活但在DolphinDB的生態(tài)里已經(jīng)是足夠清晰可靠的做法了。5. 從零跑通一個(gè)完整測(cè)試用例以因子計(jì)算函數(shù)為例5.1 被測(cè)函數(shù)一個(gè)簡(jiǎn)單的動(dòng)量因子計(jì)算器為了把整個(gè)流程串起來(lái)我寫(xiě)一個(gè)極簡(jiǎn)的動(dòng)量因子計(jì)算函數(shù)作為被測(cè)對(duì)象。它的邏輯很簡(jiǎn)單輸入某股票過(guò)去N天的收盤(pán)價(jià)計(jì)算當(dāng)前價(jià)格相對(duì)N天前的漲跌幅def momentumFactor(closePrices, n) { if (closePrices.size() n) { return NULL } pastPrice closePrices[n] currentPrice closePrices[closePrices.size() - 1] return (currentPrice - pastPrice) / pastPrice }這個(gè)函數(shù)雖然業(yè)務(wù)簡(jiǎn)單但非常適合演示測(cè)試要覆蓋的各種場(chǎng)景。5.2 手寫(xiě)測(cè)試用例覆蓋正常、邊界、異常三類(lèi)輸入針對(duì)這個(gè)函數(shù)我會(huì)設(shè)計(jì)如下測(cè)試用例def test_momentum_normal() { prices [10.0, 10.5, 10.8, 11.0, 11.5, 12.0] result momentumFactor(prices, 3) assertEqFloat((12.0 - 10.8) / 10.8, result, 0.0001, Normal case failed) print(PASS: momentum normal case) true } def test_momentum_nLessThanLength() { prices [10.0, 10.5, 10.8] result momentumFactor(prices, 5) assertEq(NULL, result, n larger than length should return NULL) print(PASS: momentum nlength case) true } def test_momentum_zeroDivision() { prices [0.0, 0.0, 0.0, 0.0, 1.0, 1.0] result momentumFactor(prices, 3) // 分母為0應(yīng)該返回NULL或者拋異常取決于函數(shù)定義 ... }第三個(gè)用例其實(shí)暴露了被測(cè)函數(shù)的一個(gè)設(shè)計(jì)缺陷當(dāng)過(guò)去價(jià)格是0時(shí)做除法直接得到無(wú)窮大這在量化計(jì)算里是應(yīng)該被提前攔截的。所以這個(gè)測(cè)試用例會(huì)倒逼你去修改被測(cè)函數(shù)——這就是單元測(cè)試驅(qū)動(dòng)代碼改進(jìn)的真實(shí)過(guò)程。5.3 完整測(cè)試腳本的運(yùn)行方式和結(jié)果解讀把這些用例組織到一個(gè)文件里后在DolphinDB GUI里運(yùn)行該文件或在命令行用dolphindb -script test_momentum.dos執(zhí)行。輸出大致如下PASS: momentum normal case PASS: momentum nlength case FAIL: momentum zeroDivision case Error message: Division by zero ...堆棧信息...看到Fail時(shí)第一件事不是去改測(cè)試而是先判斷是測(cè)試用例的預(yù)期設(shè)置錯(cuò)了還是被測(cè)函數(shù)確實(shí)有bug。在這個(gè)例子里顯然是被測(cè)函數(shù)該加一個(gè)空值和零值檢查。這也是單元測(cè)試黃金法則測(cè)試失敗時(shí)代碼和測(cè)試都有嫌疑不能默認(rèn)代碼是錯(cuò)的或者測(cè)試是錯(cuò)的要去看具體斷言信息來(lái)定位。6. 面向?qū)嶋H項(xiàng)目的測(cè)試框架搭建目錄、入口腳本與DolphinDB腳本執(zhí)行的CI集成6.1 一套可直接復(fù)用的測(cè)試目錄結(jié)構(gòu)和入口設(shè)計(jì)在項(xiàng)目里形成一套固定的目錄和入口約定后團(tuán)隊(duì)里每個(gè)人寫(xiě)測(cè)試時(shí)不需要思考放哪怎么跑而是直接照模板寫(xiě)效率和規(guī)范性都會(huì)有明顯提升。我的標(biāo)準(zhǔn)結(jié)構(gòu)如下projectRoot/ code/ # DolphinDB腳本主目錄 factors/ momentum.dos volatility.dos dataProcess/ klineClean.dos tests/ # 測(cè)試腳本目錄 common/ assertUtils.dos dataUtils.dos factors/ test_momentum.dos test_volatility.dos runAllTests.dos # 總?cè)肟谀_本在runAllTests.dos中按依賴(lài)順序引入測(cè)試文件最后統(tǒng)一執(zhí)行。這里有個(gè)在DolphinDB中容易踩的坑include的路徑問(wèn)題。如果你的測(cè)試腳本使用了相對(duì)路徑那么執(zhí)行時(shí)的工作目錄不同include會(huì)失敗。穩(wěn)妥的做法是把測(cè)試根目錄設(shè)為一個(gè)全局變量所有include基于這個(gè)變量拼接testRoot /home/user/project/tests/ include testRoot common/assertUtils.dos include testRoot factors/test_momentum.dos // ...6.2 如何嵌入CI流程命令行運(yùn)行DolphinDB腳本CI集成這塊DolphinDB其實(shí)比很多數(shù)據(jù)庫(kù)產(chǎn)品要方便因?yàn)樗峁┟钚袌?zhí)行方式dolphindb -home ./server -script ./tests/runAllTests.dos -localExec 1在Jenkins或GitLab CI里可以直接把這個(gè)命令包裝成一個(gè)構(gòu)建步驟。關(guān)鍵是怎么判斷測(cè)試通過(guò)還是失敗。DolphinDB腳本執(zhí)行時(shí)如果腳本拋出未捕獲的異常進(jìn)程會(huì)以非零狀態(tài)碼退出。所以我們的runAllTests.dos必須保證只要有一個(gè)測(cè)試用例失敗就一定拋異常不能吞掉錯(cuò)誤。我在runAllTests.dos末尾會(huì)加一個(gè)總判斷allPassed true // 執(zhí)行用例時(shí)把結(jié)果累加到allPassed if (!allPassed) { throw error(Unit test suite FAILED) } print(Unit test suite PASSED)這樣CI腳本才能拿到正確的退出碼。6.3 我對(duì)官方測(cè)試工具的補(bǔ)充日志輸出和并行執(zhí)行思路DolphinDB的test模塊里也提供了類(lèi)似測(cè)試框架的函數(shù)可以自動(dòng)發(fā)現(xiàn)測(cè)試用例并執(zhí)行但我在生產(chǎn)項(xiàng)目里用得不多主要是它在錯(cuò)誤信息展示、批量執(zhí)行順序控制上還不夠靈活。除非只是寫(xiě)幾個(gè)最基礎(chǔ)的冒煙腳本否則我都會(huì)用自建框架。日志輸出上我會(huì)把每次測(cè)試運(yùn)行的輸出同時(shí)寫(xiě)到CSV文件里方便和上次運(yùn)行做diff。命令很簡(jiǎn)單output exec result from resultsTable saveText(output, /data/test_logs/run_ now().format(yyyyMMdd_HHmmss) .csv)并行執(zhí)行方面DolphinDB支持submitJob來(lái)并行跑任務(wù)。但單元測(cè)試的場(chǎng)景我不建議一開(kāi)始就并行——先有序跑通等到用例量實(shí)在太多、單次執(zhí)行時(shí)間過(guò)長(zhǎng)時(shí)再考慮把互相獨(dú)立的測(cè)試文件拆到不同的worker里執(zhí)行。7. 踩坑實(shí)錄我在DolphinDB單元測(cè)試中遇到過(guò)的四個(gè)典型問(wèn)題7.1 事務(wù)可見(jiàn)性存儲(chǔ)過(guò)程里寫(xiě)的數(shù)據(jù)外面讀不到有一次我在測(cè)試一個(gè)K線(xiàn)清洗函數(shù)函數(shù)內(nèi)部會(huì)對(duì)分布式表做update操作。測(cè)試?yán)镎{(diào)用完函數(shù)后立即去讀表結(jié)果讀出來(lái)的還是舊數(shù)據(jù)。排查了大半天最后發(fā)現(xiàn)是DolphinDB的事務(wù)模型問(wèn)題——寫(xiě)入未提交時(shí)其他會(huì)話(huà)或后續(xù)查詢(xún)看不到變化。解決方案有兩種一種是在被測(cè)函數(shù)內(nèi)部顯式commit或endTransaction另一種是在測(cè)試用例里等待事務(wù)提交完成后再讀。對(duì)于單元測(cè)試來(lái)說(shuō)我推薦后者因?yàn)榍罢邥?huì)改變被測(cè)函數(shù)的生產(chǎn)行為風(fēng)險(xiǎn)太大。7.2 NULL值和空表的斷言陷阱DolphinDB的空表、NULL值和空字符串在不同API和上下文中的表現(xiàn)非常不一致。比如從一個(gè)沒(méi)有數(shù)據(jù)的表里select count(*)結(jié)果可能是0但如果你select * from tbl limit 10再用rows()取行數(shù)可能返回的又是一個(gè)特殊的空對(duì)象。這些細(xì)節(jié)你寫(xiě)測(cè)試時(shí)幾乎必踩。我的建議是對(duì)NULL和空表的比較不要直接拿返回值做而是用isNull()、size()這類(lèi)顯式函數(shù)來(lái)判斷避免各種隱式轉(zhuǎn)換的坑。7.3 分布式表的局部數(shù)據(jù)一致性DolphinDB的分布式表是按分區(qū)存儲(chǔ)的如果測(cè)試數(shù)據(jù)橫跨多個(gè)分區(qū)讀取時(shí)的順序可能和你插入時(shí)的順序不一致。前面提到的assertTableEqual之所以要加sort參數(shù)主要就是為了應(yīng)對(duì)這個(gè)問(wèn)題。另外如果你在測(cè)試?yán)飫h除了分布式表的某些記錄要注意刪除操作可能存在異步性緊接著的查詢(xún)不一定立刻反映結(jié)果。7.4 include順序的循環(huán)依賴(lài)問(wèn)題當(dāng)測(cè)試腳本依賴(lài)多個(gè)工具文件時(shí)很容易出現(xiàn)A include BB include CC又反向include A的情況。DolphinDB對(duì)循環(huán)include的報(bào)錯(cuò)提示比較隱晦有時(shí)表現(xiàn)為找不到函數(shù)而不是循環(huán)依賴(lài)。實(shí)踐中我會(huì)把工具函數(shù)斷言、數(shù)據(jù)構(gòu)造嚴(yán)格和測(cè)試用例文件分離工具文件之間互不依賴(lài)從根上避免這個(gè)問(wèn)題。8. 把單元測(cè)試變成團(tuán)隊(duì)習(xí)慣一些切實(shí)可行的管理建議技術(shù)方案講完最后聊一點(diǎn)軟性的東西。單元測(cè)試這件事難點(diǎn)從來(lái)不在寫(xiě)代碼而在讓整個(gè)團(tuán)隊(duì)持續(xù)地、規(guī)范地執(zhí)行。我的經(jīng)驗(yàn)是三個(gè)必須第一測(cè)試必須和業(yè)務(wù)代碼同時(shí)提交。如果約定提交業(yè)務(wù)代碼時(shí)可以不帶測(cè)試那測(cè)試的覆蓋率只會(huì)越來(lái)越低。我在團(tuán)隊(duì)的PR模板里直接加了一欄本次變更的測(cè)試用例沒(méi)填就cherry-pick提交被打回。強(qiáng)制兩三次后大家就習(xí)慣了。第二CI里跑測(cè)試結(jié)果必須實(shí)時(shí)反饋。測(cè)試失敗的信息要直接發(fā)到群里否則就算CI里掛了也沒(méi)人會(huì)去看。反饋鏈路越長(zhǎng)修復(fù)的成本越高。第三測(cè)試用例的維護(hù)必須納入日常迭代。業(yè)務(wù)邏輯變了被測(cè)函數(shù)的預(yù)期結(jié)果也會(huì)變這時(shí)候測(cè)試代碼不是要?jiǎng)h掉而是要同步更新。如果團(tuán)隊(duì)里出現(xiàn)為了讓測(cè)試通過(guò)而改測(cè)試的風(fēng)氣必須立刻糾正——這種情況通常意味著測(cè)試本身就失去了價(jià)值。根據(jù)我個(gè)人這段時(shí)間在DolphinDB上推廣單元測(cè)試的體會(huì)最大的收益反而不是抓住多少Bug而是讓整個(gè)團(tuán)隊(duì)養(yǎng)成了寫(xiě)代碼前先想清楚輸入輸出的習(xí)慣。當(dāng)你習(xí)慣性地為每個(gè)函數(shù)搭配幾個(gè)邊界用例時(shí)很多設(shè)計(jì)上的含糊之處在開(kāi)發(fā)階段就暴露了根本不需要等到測(cè)試階段。如果你所在的項(xiàng)目也正在用DolphinDB做復(fù)雜的計(jì)算邏輯我強(qiáng)烈建議你別嫌麻煩盡早把這套東西搭起來(lái)。數(shù)據(jù)腳本的錯(cuò)誤往往不是報(bào)錯(cuò)而是算得不對(duì)而單元測(cè)試是唯一能在不看盤(pán)、不看策略結(jié)果的情況下幫你判斷算得對(duì)不對(duì)的可靠手段。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久污| 91人妻最真实刺激绿帽| 五码视频在线观看| 欧美日韩m| 天天操天天日天天干| 在线亚洲 欧美 日本专区| 91强热人妻| 超碰人妻中文在线| AA级电影三区| 97久精品| 91殴美| 91一起操| 大香蕉一人| 人人操人人干网页| 久草精品国产蜜臀| 懂色aV一区二区天美传媒| 人妻一区二区三区视频| 五月婷婷五月天| 国产精品97视频| 26uuu国产成人综合| 久久中文色图| 香蕉欧美| 天天插天天操| 中韩中文字幕在线观看| 久久 国产精品 一区| 精品无码产区一区二| 久久国产AⅤ| 91在线|亚| 97国产超碰| 久99热| 阿姨一区二区免费视频-高清正片西瓜视频下载app-T450AV | 校园春色亚洲欧洲| 国产精品麻豆成人av| 一道本东京热加勒比一区二区三区| 四虎 精品 WWW| 夫妻日逼| 91久青| 婷婷午夜清品久久久久久久性色视频观| 国产九九九九九九| 偷窥自拍A片| 亚洲日本大香蕉1| 一级啊性爱在线视频| 丝袜视频网国产90| 丝袜美腿诱惑亚洲欧美视频在线观看| 日韩噜噜69| 国产h小视频在线观看免费| 另类图片五月天| 屌妞视频久久久久久久久久久久| 国外91| 国产www色在线观看| 60秒免费小视频| 欧美日韩另类在线播放| 国产精品一区二区后入| 婷婷伊人綜合中文字幕| 欧美综合自拍| 亚洲欧美日韩电影网站一区 | 日日干日日操五月天伦理视频| 亚洲精品久久久久久久久豆丁网| 亚洲综合色图欧美| 大香蕉AV丝袜| 伊人网综合在线视频| 少妇精品久久久八区九区| 丰满人妻大屁一区二区| 久操免费在线| 天天日美女的B| 香蕉久久国产AV一区二区| 久久男人天堂| av天堂影视中文在字幕在线中文| 99re69| 亚洲不卡三级手机播放| 啊啊啊啊啊在线视频| 国产欧美精选自拍一区| 婷婷激情四射| 欧美亚洲成人在线一区二区三区| 成人小说视频在线精品欧美| 欧美色色人| 色五91| www亚洲免费| 狠操91,com| www色色色com| 大香网站| 立川理惠被中出无码| 久久久国产精品亚洲精品| 日日狠狠久久偷偷色综合免费| 欧美三级偷拍| 亚洲限制级| 欧美性爱视频免费一区一A| 东京热男人天堂| 99re只有精品| 99在线精品观看99| 久久久精品网| 欧美亚洲清纯| 资源在线观一 二| 国产操逼视频在线观看| 亚洲人精品久久久| 日韩99神马视频播放| 免费中文在线| 日韩免费看在线黄色片| 91欧| 久久综合久久综合人久久夜精品| 亚洲精品国产日韩无码AV永久免| 丝袜无码a片| 激情五月天视频| 先锋激情∨在线视频播放| 亚洲天堂2020| 人妻丰满熟妇av无码区蜜桃| 精品无码一区二区人妻久久蜜桃| 亚卅熟女乱色| 亚av顶级裸体一区二区三区四区五区| 国产精品色片一区二区| 无码人妻精品一区二区三区99不卡| 极品白嫩福利在线| 成人夜夜爽| 大香蕉专区| 91天天综合网| 九九九九九精品| 91亚洲欧美综合高清在线| 裸体女人草逼视频播放一区,二区,三区,四区,五区 | 97精品网站| 日日A∨| 亚洲操操| 人人操 欧美| 国产九九九九九九| 综合色拍| 手机久操欧美综合色码| 熟女高潮合集-永久久久-成人AV| 国产精品99久久久www| 久久久久久电影| 97亚洲在线| 欧美96交| 中文字幕在线2| 日韩影片中文字幕一区二区三区| 欧美日韩操逼动图| 亚洲欧洲国产综合av| 亚洲色图欧美色图日韩色图| 亚洲第一免费视频| 国产中文字幕曰本毛片| 在线强奷到舒服的无码视频| 爱av免费| 亚洲色欲天天人妻无码系列专区| 97这里只有精品| 97精品国产| 男人在线天堂| 日韩性爱1级片视频| 性暴力欧美猛交在线直播| 一道α片欧美| 偷拍亚洲| 亚洲AV麻豆Aⅴ无码电影一| 中文AV制服乱伦| 九九综合九九综合| 正在播放国产精品一区| 人妻人人做人人澡人人爽欧美一区| 欧美性爱一区二区三区| 91中出| 亚洲天堂精品日韩电影| 3PAV乱伦视频| 久综合国内精品自在自线| 成人日韩3| 8x福利精品第一福利视频导航| 97在线公开视频| 91爱啪| 午夜精品久久久| 91啪啪| 激情黄色片在线观看| 超碰97护士| 日韩中文字墓| 18禁免费视频| 婷婷久久五月| 天天综合网久久ww| 欧美色一二三| WWW美腿丝袜香蕉中文| 精品久久久一本一道| 91老妇女| 偷拍 欧美 日韩| 亚洲一曲日韩精品| 男人a天堂手机在线版| 五月天婷婷基地| 神马视频久久久久久| 人妻精品一区二区全免费| 小骚逼被操的爽不爽| 亚洲校园激情| 在线不欧美| 超碰98综合网| 麻豆亚洲AV成人无码久久精品| 91 亚洲情侣偷拍 久久| 日日骚网站| 国产乱伦搜索结果91P| 久久精品国产AV一区二区三区| 国产女人视频三四五区| av在线不卡一区二区三区| 久99久视频| 国产白嫩精品久久| 亚洲狠狠入| 亚洲综合另类| AV 少妇 人妻 偷拍| 欧美色图私拍91| 丝袜高跟澳门91视频| 欧美综合色图片| 国产97色在线| 人人看黄色视频| 欧美日韩国内不卡| 中文字幕加勒比海高清无码免费视频| 日韩紧密久久| 欧美玖玖爱免费玖玖| 九久9精品| 3D污黄视频在线观看| 国产人妻精品久久久一区二区三区 | 乱伦日本色图AⅤ| 91 丝袜在线| 九久久精品| 国产精品探花色| 色五月激情综合网| 九九九九九用不成了| 欧洲亚洲人妻无码高清久久三区四区| 97chaopengongkai| www.色婷婷色综合| 天堂精品一区| 人妻系列无码专区中文有码| 麻豆福利视频导航| CCYY草草影院地址入口| 婷婷五月天成人网| 综合情欲网| 国产高清26uuu| 视频在线观看一二三区| 日韩大香蕉AV影片| 神马久久久久久伦理片| 夜夜狠狠躁日日躁色视频| 67914在线兔费成人视频| 久综合国内精品自在自线| 美女诱惑爱爱| 少妇三p| 国产亚洲综合欧美一区| 制服丝袜第二页| 91人妻精华帖| 成熟熟女国产精品一区二区 | 蜜桃久久一区二区三区| 亚洲综合骚逼| 在线观看成人性爱免费小视频| 不卡一区二区日本视频| 91欧美巨乳| 亚洲 欧美 偷拍 唯美| 日韩有码一区三区| 亚洲天堂男| 五月丁香狠狠爱| 国产精品在线一区二区| 国产一区二区欧美日本| 91欧美少妇| www网站黄| 久久中久文96| 欧美色五月| 人妻熟女一区二区三区视频| 操少妇很爽av| 黄色视频60分钟| 久久久久久久久久久久久久久久9| 淫穴高潮色图| 99成人| 天天射日日干| 亚洲综合99999| 国产精品久久久久亚洲av| 青青草日韩免费观看高清在线| 欧色网址| 久久9久9久99久9久9| 天天干天天舔| 亚洲激情欧美色图 | 欧美韩国你懂得在线| 12一15性XXXX粉嫩国产| 性色国产东北露脸精品视频| 日逼国产| 蜜臀99久| 人妻社区男人天堂| 丁香五月婷婷基地| 91天天看| 日日骚精品视频| 性色AV蜜色av色欲av| 午夜精品99久久久久传媒| 秋霞 色色| 亚洲熟久久| 凹凸视频特色日本特黄| 4虎在线观看| 亚洲色图大香| 亚洲欧美首页| 99色婷婷中文字幕乱色| 亚洲性爱电影| 国产精品农村妇女| 久久久不卡区一区二区三区久久久| 久久精品熟妇丰满人妻99| 天天综合精品| 亚洲精品成人激情在线| 人妻精品视频一区二区三区| 大乔未久88一区| 激情五月丁香五月| 97欧美综合网| 人妻无码视频一区二区三区久久| 一级黄色性爱A级片| 国产suv一区二区三区6| 久久久久久性爱片| 夜夜影视四色| 日本精品五区| 青青青草原| 大香交伊人网| 久久久国产成人一区二区三区在线| 国产女同性恋视频| 亚洲欧美日韩夜夜| 国产AV色黄看到爽| 欧日韩一二三f区| 美女淫穴| 性无码专区2020| 后入式福利| 成人老鸭窝人人在线视频| 717影院理论午夜伦八戒| 亚洲高清欧美总合| 综合97久久| 91 丝袜在线| 免费看日本操逼视频| 国产辣妈在线视频福利| 国产久久久久影院老熟女| 少妇蜜汁| 亚洲综合五月天婷婷丁香| 操逼www.| 天天上日日上日韩精品| 天综合网欧美| 97在线欧洲| 99热精品免费| 欧美成人性爱视频大全| 天天操天天干一区二区| 日产操逼| 大香蕉一级黄色片久久| 中文字幕乱妇免费视频| 女人天堂网| 欧美韩国你懂得在线| 九九视品黄色| 欧美v日韩欧亚洲电影天堂色诱,国产传媒| 丰满人妻-区二区三区免费看| 999久久久精品国产| 久久一级无码精品毛片6| 久久久四区| 日产成人久久| 日韩电影天堂视频二区三区| laoshunv91| 亚洲色婷婷| 国产亚洲国产超碰| 日韩九区| 9久精品| 亚洲一卡2卡3卡4卡乱码网站| 欧美激情精品久久久久久| 久久6热精品99视频| 久久久久久91香蕉国产| 91精品国产综合久久久蜜臀| 91精品成人www| 天堂中文资源在线bt| 999亚洲国产视频| 日韩伦理视频| 九九热超碰97亚洲最新香蕉 | 亚洲日韩东京热一区| 蜜臀久久99精品久久久久免费观| 日韩国产欧美伦理在线| 无码一区二区精品视频久久久春药| 我爱操| 少妇久久久免费| 死我十八禁| 欧美综合自拍亚洲综合图| 啊啊啊啊啊舒服| AV男人天堂网| 人妻少妇精品视频一区二区三区| 激情四射五月天| 大香蕉在线86| 日韩精品人妻中文字幕有码午| 欧美激情中文字幕另类小说| 国内自拍 日韩激情 99| 亚洲久热| 极品五月天噜噜| 猛交交| 久久色激情一区二区三区| 嗯嗯啊啊亚欧精品| 91真人天天在线| 久久人人爽av亚洲精品天堂桃色 | 色九区| 青娱乐日韩无码| 探花激情视频| 欧美日韩成人在线| 丁香色五月 97干| 无码高清国产AV| 亚洲古典另类欧美在线| 久久五月综合| 嫩草伊人久久精品| 日本不卡免费二区| 亚洲双插| 免费在线看黄片av| 日韩一区二区高清在线观看的| 欧美色涩| 色婷婷激一区二区三区| 丁香五月激情婷婷| 国产日韩精品一区二区三区| 999 久久久| 60秒免费小视频| 亚洲影视高清第一页| 一本久道久久综合狠狠爱一密臀精| 久久中文字幕女同性恋一区| 亚洲深夜福利| 欧美亚洲中文字幕| 国产后入| 女人被男人桶爽视频网站| 欧美黄片视频在线观看免费| 大鸡吧尹人在线| 性色乱AV一区二区| 欧美日韩小说| 韩日色费| 综合五月天| 成人热久久精品| 蜜臀中文无码午夜| 久久久久久亚洲Av无码| 探花一区在线| 欧洲精品在线播放| 78精品| 特级特黄一级毛片免费| 国产又粗又又黄又猛| 好屌色综合| 色逼综合| 综合影视国产无码| 啊啊啊好湿国产一二| 九九九九97| 免费国产视频| 自慰白浆在线观看| 色九九九综合| 久久综合97| 浪人综合网| 99久久久无码| 欧美伊人电影| 九九九九免费| 国产精品一区二区三区,亚洲综合 性开放中文AV高清无码免费看 | 国产野战露脸在线播放| 人妻夜夜爽天天爽麻豆三区网站| 久久综合18p| 无码九九| 九九热在线精品视频| 久久久久白虎| 99热这里只有精品地址| 91超碰在线播放| 欧美18 在线观看| 九九色色| 亚洲色图欧洲| 婷婷久久五月天| 色综合 加勒比| 国产乱色国产精品免费视| 成人草草视频| 国产97色在线| 亚洲中文字幕精品一区| 国产精品青青草| 91情色在线| 亚州AV无码国产精品| 欧美国产有色电影| 绯色一区二区三区不卡少妇| 亚洲综合网电影91| 夜夜欢天天干| 色婷婷视频| 日本一二三免费久久| 国产精品人妻无码久久久互動交流| 久久久月天| 日本Xx性爱| 999熟女精品| 在线岛| 国产天天骚| 亚洲av青草久久一区二区| 超碰av人人人| 欧美第五页| 另类小色呦| 天天综合网AV91| 久久riav中文精品| 在线情色电影 91大 | 一级特级aaaa毛片免费观看| 亚洲涩涩| 黄页视频网站野外| 99www.bibizy香蕉资源国产一区二区三区高清 | 啊啊啊在线观看| 亚洲综合97中文网| 久久线上视频免费看| AV九九| 亚州性色| 久久9亚洲| a片 xxxx受爽视频| 国产家庭乱伦表演| 伊人一区二区三区| 人人摸人人摸人人干| 亚洲精品黑丝| 欧美精品第3页| 激情五月天中文字幕色| 婷婷情色五月天| 久久久亚洲高清不打码| 3级毛片一二| 99这里有精品视频| 国产精品一区二区手机看片| 国产久久日| 麻豆啪啪啪视频| 九九九成人| 色婷婷五月综合激情中文字幕| 久99久视频精选| 中文字幕蜜乳av| 天天天天做夜夜夜夜做| 激情接吻视频久久久久久| 亚洲人妻精品一区二区| 嗯嗯嗯,草死我| AAAAAAAAA黄片| 蜜区区视频79| 超碰97在线 欧美 国产| 26UUU欧美激情一区二区| 国产精品午夜精品| 精品久久久久久亚洲| 三级日韩一区二区三区| 国产精品视频在线播放 | 天天享受天天看| 国产午夜无码片在线观看影视| 日韩欧美被操黄免费观看| 国岛片视频| 97在线免费| 九九亚洲精品| 青娱乐亚洲自拍| 91丝袜| 大乔未久88一区| 天天插天天干| 亚洲国产尤物yw在线观看| 久久久女人| 美女AV一区二区| 农村妇女一级二级三级视频| 亚洲国产av中文字幕久久| 中文精品少妇天堂| 鸥美插入视频| 99熟女| 精品成人无码| 欧美天天综合网| 欧美日日人人天天| 麻豆精品A片免费观看| 久久久久9999| 综合久久六月久久婷婷| 色激情综合网站| 嗯嗯啊好大| 插入综合网| 日本护士高潮| 国产成人午夜视频网址| 秋霞 色色| 果冻传媒一区二区三区| 啊操爽品善一区二区三区| 久久久蜜桃一区二区三区| 秋霞Av理论一级在线| 亚洲深夜福利| 亚洲极品| 久久久久斤小| 国产乱弄免费在线视频。| 亚洲欧洲综合视频在线| 亚洲天堂人妻熟妇视频| 精品久久久久久AV无码| sewuyueav| 天天日天天舔东京热| 日本人体九九九九九九| 国产这里只有精品| 无码精品蜜桃一区二区三区ww| 精品乱码久久久久| 综合日韩激情另类图片| 大鸡巴久久久| 97亚洲综合电影| 激情综合五月天| 97久久久| 国产日逼视频| 欧美性生活男人的天堂| 亚洲人久久久久日| 精品在线78| 懂色av中文字幕| 日韩久草| 亚洲激情深爱文学小说网站| 99re6在线视频精品免费完整版安卓版| 99精品在线| 大香蕉久| 欧美一区二区观看在线| 成人性爱高清视频免费看| 欧美精品23| 欧美福利视频啊啊啊啊| ji熟女.com| 亚洲中文字幕一区二区| 欧美日韩人妻少妇 一区二区三区| 激情视屏国产乱伦强奸| 91爆操视频| 天天色天天干天天爱| 亚洲成人精品在线一区| 精品九九九九九九| 狠日欧美| 偷拍综合网| 亚洲图片欧美色| 天天操妹子| 91性网| 不卡在线观看视频| 国产精品人妻无码久久久老鸭窝| 久肏视频字幕| 人妻激情视频| 久久内射| jizz啪啪| 综合久久少妇中文字幕| 精品无人区麻豆乱码1区2区图片| 三上制服丝AV| 天天超级碰碰碰| 中文字幕诱惑制服人妻丝袜美丝袜美 | 一区久久久二区| 中文字幕丝袜美腿| 日韩精品操少妇| 亚洲激情色片 | 日韩三级在线观看网站| 操屄日韩| 日日操丁香五月天| 亚洲砖码砖专无区2023| 激情六月婷婷| 欧美72网页| 97操综合| 精品无码产区一区二| 亚洲天堂一二| 五月丁香黄色网| 免费福利视频中文字幕| 2019久久久久久久久福利| 亚洲国产日韩欧美熟妇在线| 精品四五区| 黑操B| 另类视频在线| 精品国产a∨一区天美传媒| 秋霞福利网| 一本久道久久综合狠狠爱一密臀精 | 色吧五月| A啊啊在线观看| 久久久一区二区| 七月丁香婷婷| 国产在线播放成人免费| 午夜精品久久久久久久久久蜜桃| WWW操逼| 人人操我人人干| 黄色小视频日本txt| 综合色图区| 黄网站黄视频网站进入口| 国产精品一二三| 日本操逼视频在线| 午夜一区二区三区国产| 成片免费播放| AV在线资源| 久夜视频| 熟女六十路| 91jk色拍| 久草新在线| 亚洲日韩美女中文字幕乱| 淫色网综合| 校园春色欧美| 视频二区美腿制服人妻欧美| 国产精品久久久| 亚洲欧洲无码bt精品合集| 婷婷伊人网| 精品九九九九九九九九九| 欧美性少妇| 欲香欲色| 91人妻Pr| 老色69| 97资源站国产精品| 国产AV无码AV| 啊操爽品善一区二区三区| 中文字幕在线观| 欧美日本国产日韩激情视频| A V少妇特黄三级| 97在线观看免费| 黄片免费久久久久久久| 人人综合| 免费精品国偷自产在线在线 | 国产精品一区二区 尿失禁| 99久久精品无码一区二区| 大香蕉综合| 好属操| 日韩免费福利在线观看| 久久九九99| 97精品全部| 岛国在线免费视频| 这里是精品| 精品九九| 91精品国产综合久久久蜜臀| 极品少妇久久久久| 在线v中文字幕一区二区三区| 九九成人| 91bbbbbb| 日韩欧美字幕亚洲一区二区 | 亚洲国产天堂| 欧美日韩操操操| 人妻少妇精品久久久| 午夜乱轮操逼视频免费看| 日韩国产乱子伦App| 欧色性第一页| 黄色AAAAAAAAAAA大片| 99热日本| 玖玖爱综合| 俞拍久久国应视频| 中文字幕五区| 东京热天堂网| 天天日日舔舔| 在线日韩日本亚洲国产| 国产视频三区四区| 青娱乐淫乱1314| 91色久| 成人开心网在线视频| 5月婷婷6月六月丁香| 综合少妇网| 九九九九九九九精品视频| 91狠狠综合久久| 欧美极品少妇交| 一二三区操逼国产91| 欧美狠狠操| 波多野42部无码喷潮在线观看| 久热伊人| 日夜精品| 一级久久性爱视频| 色欲天香天天综合网-成年人三级片网站-欧美乱妇狂野-日韩国产专区-久久久久久 | 亚洲骚男同com| 性爱av网站| 国产精品白丝www| 亚洲中文字幕97久久精品少妇| 亚洲欧美性生活| 亚洲精品国产熟女| 中文字幕第95页| 色色99| www.亚洲黄色| 97超碰这里只有精品| 国产人妖视频一区在线观看| 无码欧美有限公司| 日本 色 导航| 中文字幕欧洲有码| 97超碰超碰| 91九九九逼| 婷婷视频在线免费观看| 黑人精品欧美一区二区蜜桃| 丁香六月啪| 日韩中文字墓| 91视频综合在线| 天天拍天天操| 亚洲春色一区二区三区| 91精品人妻一区二区-全集完整版免费正片国语-B02AV | 日韩亚洲国产视频| 香蕉免费一区二区三区不读| 99热99色| 嗯嗯不要视频| 好爽,再快点啊哈嗯嗯嗯嗯| 久久毛卡| 天美传媒精品一区二区| 亚洲黄色网址| 夜夜爽爽爽| 天天懆天天日| 亚洲图片偷拍欧美| 亚洲五区熟女| 色综合久| 美国一区二区三区视频| 亚洲国产精品无石码久久 | 搡老女人老91妇女老熟女| 天天看高清麻豆| 欧美男人一区| AA特级绝黄| 91日韩网站| 亚洲美女精品| 青青久久手机线视频| 国产91 丝袜在线播放00-百度| 91碰碰| 成人麻豆av电影网站| 男人的天堂一区| 美女91色黄18| 日本三级久| 日韩午夜精品一区二区三区电影| 亚洲资源网| 亚州操操穴网| 啪啪资源网| 视频一区二区免费在线| 久久久亚洲精品中文字幕人妻| 激情五月丁香五月| 水多多映视AV| 91亚洲欧美综合高清在线| 欧美十八禁在线看| 欧美成人A天堂片在线观看| 九九操久久国产免费视频| 精品成人女人久久| 91视频成人福利网站在线一区| 一本精品日本在线视频精品 | 亚洲欧美国产其他二区| 26uuu久久| 97欧美综合网| 久久久少妇诱惑精品视频| 四虎视频在线观看| 91色婷婷综合久久中文字幕二区| 亚洲综合另类色图| 欧美 青青草| 夜夜夜久久| 天天操夜夜操| 欧美顶级黄片AAAAA在线免费看| 久久女女| 后入式五六区| 亚洲综合 欧美| 不卡一区视频| 亚洲日韩一区电影| 免費黃色視頻觀看一| 男人高清无码一区二区| 一级做a爰片性色毛片久久| 欧美性第一页| 九九九热| 日产操逼| 亚洲资源站| www久久精品| 黑人粗大V S日韩女优视频| 欧美中字二区| 欧美性爱一区二区三区四区| 加勒比综合九九99视频在线播放| 美女黄频a美女大全免费皮| 视频在线观看免费一区二区三区| 亚洲三级。日韩三级| 欧美日韩制服| 友优传媒精品在线一区二区| 日韩99999| 蜜臀久久99精品久久久久久酒店| 麻豆国产第一| 麻豆久久久久久久久丝袜| 九九九九久久久| 黄色高清无码无码破解免费暗网| 日韩性爱小视频| 久夜操| 老女人综合| 亚洲狠狠入| 人妻天堂三区| 91亚洲综合| 91精品人妻偷情| 99re热有精品视频国产| 大香蕉强奸乱伦| 国产激情在线观看| 日日干夜夜干| 无码免费一区二区三区啪啪| 日本天天操| 91久青| 啊啊啊在线观看免费视频| 精品人妻一区二区三区夜夜| 嫩草 我啊~嗯~在线| 99在线精品观看视频中文| 乱操9999| 国产精品国产精品国产| 免费看黄片现成| 午夜福利1区2区3区| 日韩人妻一区二区| 成人性爱av.com| 中文字幕 国产区| 激情小说五月天| 夜夜高潮夜夜爽| 综合 青草 伊久久 影院 综合 | 日韩97超碰中文字幕| 五月丁香成人网| 五月大香蕉| 欧美综合色站| 加勒比久久av| 东北女人性交| 国产强奸乱伦欧美| 91爆操视频| 亚洲成人av色网| 日韩钢筋无码高清啾啾啾| 任你干在线视频| 欧美加勒比| 欧美不卡在线一区二区| 国产日韩欧美亚洲精品95| 亚洲综合激情五月久久| 亚洲高清视频在线观看| 美女网站黄页| 日韩肏逼视频| aaaa少妇高潮大片| 美女露胸露尿口| 99蜜桃臀亚洲成人在线观看| 啊啊啊 在线| 日本操逼视频在线| 自拍偷拍2025在线观看| 啊灬啊灬啊灬好深灬快高潮了动漫-国产字幕国产在线观看-B049AV | 久久草草亚洲蜜桃臀| 亚洲黄色a级片| 欧美男女午夜啪啪| 日本熟妇自慰性高潮一区二区三区| 天天影视射综合网| 97网站在线观看| 女同女同恋久久级三级| 亚洲婷婷五月天| 日本久久999| 精品无码秘 人妻一区二区| 日韩不卡a级视频专区| 午夜免费视频1000| 日韩精品一区,二区 九九...老司机| 粉嫩AV输入| 国产乱子伦久久精品综合一区二区三| 九九九九九九精品| 日韩精品资源专区二区| 狠狠干综合| 欧美亚洲宗合色性图| 热99这里有精品综合久久 | 国产福利第一视频| 中文幕97| 亚洲一区二区 麻豆传媒| 97免费在线视频| 美女自卫慰黄网站免费| 操b网站亚洲无码| 性色A∨91| 久久这里是精品| 欧美性战999| 91五十路| 亚洲精品啪视频| 久久综合女优| 亚洲97| 婷婷中文网| 熟妇视频一区二区三区在线观看| 高潮嗯啊性感美女久久久| 欧美综合网A| 熟女字幕| 亚洲欧美日韩电影网站一区 | 久久亚洲av成人无码国产| 欧美综合第一| 97色网| 天天综合91在线| 另类老少妇| 中文字幕一区二区免费在线| 婷婷久久久| 新91视频.cmp| 国产成人无码网站在线视频| 99热色这里只有精品| 99re黄| 九九Av| 综合五月天| 久久久国产三级黄色片| 日本精品九九九| 欧美经典一区二区三区| 欧美91网站| 日本精品网站在线中文| 五月婷婷基地| 97人人夜| 国产超碰在线| 男人的天堂com| 国产精选三级在线观看| 大香蕉色欲AV| 2019精品国产无码成人| 96AV久久久| 成年无码动漫av片无尽在线 | 亚洲熟妇丝袜在线观看| 欧美人妻少妇| 操人妻少妇中文| 久久九九热| 亚洲欧美综合区自拍另类| 精国久久一区二区三区98| 国产AV久久野战精品| 久9爱经典视频| 99久久婷婷丁香| 久草热制服丝袜在线观看| 国产AV久久野战精品| 久久精品人妻一区二区三区| 丝袜剧情| 亚洲欧美综合网| 噜噜吧,噜噜色,噜噜| juliaann丝袜| 蜜臀精品1区2区| 人人摸.人人色| 风骚少妇视频中文字幕| 91粉嫩萝控精品福利网站_精品影音先锋国 | 久久久久国色αv免费观看| 大香蕉免费乱伦视频| 操淫穴亚洲五月丁香 | 久操操AV电影| 亚洲精品国产精品乱码不卡| 91视频伊人| 25国产精品免费观看| 久久午夜色播影院免费高清| 人人人人人人少妇| 最近2018中文字幕在线高清第一页| 一级岛国大片| 精人妻无码一区二区三区伊人直播 | 亚洲。日韩。欧美| 亚洲图片色图欧美另类| 亚洲淫乱骚妇AV| 26uuu国产免费观看| 天天久久| 九九九九日本 | 91av天美性媒精品视频| 操逼不卡中文字幕| 中文字幕乱妇免费视频| 欧美日本久久精品一区 | 日韩人妻免费精品| 我爱操| 啊啊啊啊啊操我视频| 中文字幕亚洲永久精品| 91白嫩| 国产盗摄美女如厕大神作品在线观看| 97av在线观看| 婷婷美人网| 五月丁香大香蕉| 天天干天天燥| 欧美性爱一区二区三区| 激情自拍 校园春色| 欧美成人A天堂片在线观看| 一本色道久久综合精品婷婷| 97精品国产97久久久久久免费| 蜜屁av| 中文字幕十五区| 国产超碰人人操| 在线观看不卡一区二区三区| 欧美,日韩,中文,另类| 动漫片子网站3黄| 亚洲国产一区二区三区四区国产| 超碰偷拍| 精品人妻一区二区免费蜜桃| 国产亚洲精品农村妇女| 影音资源男人日韩| 久久一二三四五六七八九区区区 | 香蕉99秘 一区精品蜜桃臀| 久久久久久久久久久久久久久乱码 | 青草精品视频一日本久久久久网站| 日本午夜久久电影| 俞拍久久国应视频| 淫骚熟女一区二区三区| 日韩在线76| 亚洲国产一级精品毛一级精品看免费视频 | 一区,二区,三区视频| 丝袜熟女一区二区三区| 日韩免费福利在线观看| 91网站18+| 97自拍一区| 亚州操操穴网| 亚洲精品毛片在线观看| 天天噜| 国产精品伦理| 台湾大香蕉99热| 99国产精品人妻人伦| 长长久久88视频| 日韩不卡在线一区二区| 免费人成在线观看网站品爱网| 乱色老一区二区三区的观看方式| 国产精品三级视频网站| 中文字幕乱在线伦视频中文字幕乱码在线 | 国产老熟女| 欧美色偷拍| 爱爱60秒免费视频| 91足交| 国产东北女人在线视频| 久久久国产av美女私房| 欧美黄页| 女人综合网| 男人精品区| 精品日韩| 国产精品禁久久久精品| 天天天堂影视日韩亚洲91| 亚洲熟女偷拍在线观看| 天天综合网久久ww| 欧美日韩人人精品| 丰满人妻-区二区三区免费| 亚洲激情在线| 99综合网| 五月丁香啪| 日美免费黄片| 男女激情黄色网址| 日韩免费簧片| 美日韩男女操屄视频| 欧美综合国产精品久久丁香| 日韩熟女无码| 摸奶性爱视频网站在线免费播放| 欧美,亚洲,日韩,v,天堂,手机在线观看| 久久久97| 91日韩在线| 国产 亚洲 丝袜 制服| 亚洲精品国产无码高清| 丰满熟女一区二区三区在线播放| 欧美97在线观看| 亚洲综合图文| 岛国人妻少妇av在线观看| 夜夜嗷嗷一区二区| 97色欧州| 色老牛| 欧洲精品欧洲精品| 国产精品69久久久久孕妇欧美 | 欧美72网页| 上床不卡网站| 免费成人在线熟妇网| 久久视频少妇美女| www.acm成人黄色毛片| 国产999精品久久久| 97ai亚洲| 午夜超碰| 亚洲精品一二牛牛| 亚州性9| 绯色一区二区三区不卡少妇| 秋霞免费无码视频日韩A片| 日韩成人性日韩成人性爱视频在线免费观看| 91日日夜夜| 日本天堂在线播放| 青青五月天| A级片日韩欧美国产欧美视频精选观看| 操老熟女AV| 蜜桃传媒视频第一区入口在线看| 色九九九| 亚洲精品 欧美精品| 中文一区二区| 国产精品农村妇女| 在线日韩精品一区二区三区| 极品国产内射| 操逼片国产| 色综合色色| 91 丝袜在线| AV丝袜东京热| 美女黄色91| 午夜男女爽爽大片免费观看| 中文字幕丝袜国产第一页不卡| 亚洲国产成人7777| 国产一区在线观看无码AV| 欧洲一级性爱视频在线观看| 97精品国产97久久久久久| 成人综合视频久久| 色婷婷A V一二三四区麻豆综合| 9997se| 91啪啪| 久久人人舔人人爽舔人人av片| 草草电影院| 亚洲黄色a级片| 欧美|91色综合| 超碰在线974| 十八禁电影伊人网| 成人线上超碰| 亚洲图片欧洲图片aⅴ| 91无人区卡一卡二卡三乱码入口最新版:能让用户有更多选择的选择-经典说说-爱 | 日产精品久久久一区二区| 日产123区精品免费观看| 国产精品成人午夜福利| 青青草好吊色| 国产毛片久久久久久久| 亚洲九月丁香| 国产怡红院| 一本一道久久综合久久| 久操免费电影| 2017人人操,人人摸| 狠狠综合网| 日本好吊色视频| 精品一级毛片在线观看| 国产无码精品无码| 337p大胆噜噜噜噜噜91Av| 中文字幕88av在线| 丰满少妇精品一区二区| 9国产超碰| 思思热在线视频精品| 久草精品国产蜜臀| 男人天堂东京热| 久草网站免费在线观看| 99久久无色码| 夜夜久久久| 风流老熟女一区二区三区l| 亚洲丝袜色图| 91熟女在线| 日韩精品黄片免费观看| 日夜久久久九九九久| 老熟女阿 国产91| 不卡一区二区日本视频| 污到发麻的视频 国产| 99国产精品自在自在| 韩三级a视频在线观看| 97中文超碰| 中文不卡视频| 少妇干B| 精品97久久综合| 亚洲在线a| 国产一级片| 97超碰人操| 亚洲天堂中文字|