日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

從裸用Flowable到統(tǒng)一流程平臺:工作流引擎治理實踐

從裸用Flowable到統(tǒng)一流程平臺:工作流引擎治理實踐 Flowable這個開源工作流引擎在我們系統(tǒng)里躺了大半年之后我終于決定在它上面再蓋一層統(tǒng)一流程平臺。說實話這一步不是一開始就想好的而是被現(xiàn)實逼出來的最初只是想找一個能畫BPMN流程圖、能跑審批的引擎結(jié)果半年后十幾個業(yè)務(wù)系統(tǒng)都在各自調(diào)Flowable的API每個項目組自己部署一套流程模型散落各處待辦任務(wù)互相看不見。寫這篇文章是想把我們從“裸用Flowable”到“建設(shè)統(tǒng)一流程平臺”的完整過程、關(guān)鍵設(shè)計和踩過的坑整理出來給正在用工作流引擎、或者正準(zhǔn)備做流程中臺的團(tuán)隊一個參考。這篇文章適合三類人一是已經(jīng)用上Flowable、但覺得有點失控的開發(fā)者二是正在做流程平臺選型或架構(gòu)設(shè)計的技術(shù)負(fù)責(zé)人三是對BPM、工作流領(lǐng)域感興趣、想了解這套東西落地長什么樣的同學(xué)。我會從為什么選Flowable開始講然后說清楚Flowable直接使用會遇到的典型問題再重點展開統(tǒng)一流程平臺的整體設(shè)計、核心實操細(xì)節(jié)、以及我在真實業(yè)務(wù)里踩過的坑和排查思路。內(nèi)容會以實際可落地的方案為主不是泛泛的架構(gòu)概念。1. 為什么拿Flowable當(dāng)起點先說一個很多人會問的問題既然最終要做統(tǒng)一流程平臺為什么不一開始就自己寫一套流程引擎說實話工作流引擎這件事看起來不難無非就是“節(jié)點流轉(zhuǎn)、條件判斷、任務(wù)分配”但真要把BPMN 2.0的網(wǎng)關(guān)、子流程、事件、多實例、定時器都做穩(wěn)定沒有一兩年持續(xù)投入是做不出來的。所以當(dāng)時我們很務(wù)實地選擇了先站在Flowable的肩膀上。1.1 Flowable到底是什么Flowable是基于BPMN 2.0標(biāo)準(zhǔn)的開源工作流引擎它起源于更早的Activiti 5/6分支后來獨立發(fā)展目前社區(qū)版和企業(yè)版并行。核心能力包括解析和執(zhí)行BPMN 2.0流程定義、維護(hù)流程實例和任務(wù)、記錄歷史數(shù)據(jù)、支持定時器、消息事件、信號事件以及比較完整的表單集成方案。Java生態(tài)里用得非常廣這也是我們當(dāng)時選它的一個重要原因——團(tuán)隊都是Java背景排查問題、二次開發(fā)都比較順手。在Flowable里幾個核心對象要心里有數(shù)流程定義ProcessDefinition相當(dāng)于“圖紙”部署好之后不可變流程實例ProcessInstance是按圖紙創(chuàng)建的一次具體流轉(zhuǎn)相當(dāng)于“一棟按圖建出來的樓”任務(wù)Task是流轉(zhuǎn)過程中待辦的一個節(jié)點執(zhí)行實例Execution則更細(xì)代表當(dāng)前運行到哪條分支。理解這幾個概念的層級關(guān)系后面做平臺封裝才會心里有底。1.2 選Flowable而不是自己造輪子的三個理由第一BPMN 2.0的覆蓋面很全。會簽、或簽、并行網(wǎng)關(guān)、排他網(wǎng)關(guān)、子流程、邊界事件、補(bǔ)償事件這些都是業(yè)務(wù)上非常高頻的需求自己從零寫一個能讓模型穩(wěn)定跑在生產(chǎn)環(huán)境的引擎工作量遠(yuǎn)超想象。第二Flowable的表結(jié)構(gòu)公開、數(shù)據(jù)模型清晰運行實例、任務(wù)、歷史都分開存放對于做監(jiān)控和二次開發(fā)非常友好。第三它的API設(shè)計相對穩(wěn)定RuntimeService、TaskService、HistoryService、RepositoryService這些核心服務(wù)接口多年沒有大變動意味著平臺層可以相對穩(wěn)定地建立在它之上。當(dāng)時我們是拿一個請假審批的Demo做了驗證部署流程圖、發(fā)起流程、查待辦、審批通過、查詢歷史半天時間全部跑通。這個速度讓我們很確定流程引擎本身不需要自己寫精力應(yīng)該放在業(yè)務(wù)能力的抽象上。但也是從這個時候開始隱患已經(jīng)埋下了。2. Flowable直接裸用用著用著就疼了流程引擎跑起來之后業(yè)務(wù)團(tuán)隊很快發(fā)現(xiàn)這東西好用于是“請假審批”剛上線緊接著就有報銷、合同、采購、出入庫等各種流程需求找過來。每個系統(tǒng)各接各的Flowable看著熱鬧實際是問題的集中爆發(fā)期。2.1 最直接的問題業(yè)務(wù)代碼和流程代碼糾纏不清在裸用階段每個業(yè)務(wù)系統(tǒng)都要自己維護(hù)一套啟動流程、處理任務(wù)的代碼。比如一個業(yè)務(wù)系統(tǒng)要發(fā)起審批它要做的事包括往自己的業(yè)務(wù)表里插一條單據(jù)數(shù)據(jù)再調(diào)flowable的RuntimeService.startProcessInstanceByKey發(fā)起流程還要準(zhǔn)備一個業(yè)務(wù)表主鍵和流程實例ID的映射關(guān)系審批回調(diào)時再根據(jù)流程實例ID去反查業(yè)務(wù)數(shù)據(jù)。這套代碼寫一次兩次沒問題寫了十幾個系統(tǒng)之后問題就來了每個系統(tǒng)的映射方式不一樣有的用businessKey有的用流程變量有的自己在擴(kuò)展表里存關(guān)聯(lián)后續(xù)做統(tǒng)一查詢、統(tǒng)一待辦的時候數(shù)據(jù)根本對不齊。更麻煩的是沒經(jīng)過平臺約束的流程模型寫起來很隨意。有的流程把所有審批邏輯塞進(jìn)一個ServiceTask里有的把業(yè)務(wù)規(guī)則寫在網(wǎng)關(guān)條件表達(dá)式里有的干脆用排他網(wǎng)關(guān)模擬一切。流程圖最后淪為了擺設(shè)真真正正的邏輯都藏在Java delegate里流程定義換代時根本不敢動。2.2 重復(fù)建設(shè)與權(quán)限割裂審批意見、加簽、轉(zhuǎn)辦、撤回、催辦、待辦提醒這些跟流程強(qiáng)相關(guān)但又非常通用的功能我們當(dāng)時在每個系統(tǒng)里都重復(fù)實現(xiàn)了一遍。A系統(tǒng)寫了一套加簽邏輯B系統(tǒng)又寫了一套實現(xiàn)方式還不一樣——有的用Flowable的ADD_AND_APPROVE變更任務(wù)辦理人有的直接在任務(wù)變量里存了一個加簽人列表由應(yīng)用層自己判斷處理。這套東西的時間成本和維護(hù)成本都很高。還有一個讓人頭疼的問題是權(quán)限割裂。崗位A的管理者在系統(tǒng)1里能看到待辦在系統(tǒng)2里又得重新配置一遍權(quán)限才能看到那套流程的待辦同一個人的待辦任務(wù)散落在多個系統(tǒng)里沒有一個匯總視圖。用戶每天都得去各個系統(tǒng)里翻一遍有沒有需要自己審批的單子。這種體驗很差而這其實是流程平臺治理缺失的典型表現(xiàn)——流程引擎只是提供了“流轉(zhuǎn)”的技術(shù)能力并沒有把“人的視角”統(tǒng)一起來。2.3 運維與治理基本是空白Flowable裸用階段運維基本是靠“流程沒跑掛就沒人管”。某次有一個定時器任務(wù)因為執(zhí)行節(jié)點所在服務(wù)重啟一批定時器全部錯過觸發(fā)時間要不是業(yè)務(wù)人員反饋“單子卡住了”我們根本發(fā)現(xiàn)不了。再比如流程模型更新當(dāng)時直接覆蓋部署結(jié)果因為新版本的流程圖里刪了一個節(jié)點導(dǎo)致還在途的舊流程實例在查詢?nèi)蝿?wù)時出現(xiàn)空指針最后只能手工改數(shù)據(jù)庫才把流程救回來。還有一個隱藏問題歷史數(shù)據(jù)無限膨脹。Flowable默認(rèn)會往歷史表里寫大量數(shù)據(jù)ACT_HI_ACTINST這張表幾乎記錄了流程實例的每一個執(zhí)行節(jié)點動作高并發(fā)流程跑上幾個月這張表就是千萬級起步。我們沒有做歸檔策略數(shù)據(jù)庫越來越慢最后拖累了正常的流程任務(wù)查詢。到這一步我們基本意識到Flowable解決的是“單個流程怎么跑”的問題而公司需要的其實是“所有流程怎么被管起來、被統(tǒng)一使用”的問題。這二者之間有巨大的工程缺口。3. 統(tǒng)一流程平臺設(shè)計的關(guān)鍵決策統(tǒng)一流程平臺這個東西說起來容易做起來需要非常清醒地想清楚一個問題我們做的到底是一個給開發(fā)者調(diào)用的SDK還是一個給全公司業(yè)務(wù)系統(tǒng)使用的平臺。這兩者的設(shè)計思路完全不同。我們最后明確平臺必須成為一個獨立的、可獨立部署的中間層Flowable只是這個平臺內(nèi)部的一個引擎組件對外完全屏蔽。3.1 平臺定位流程資產(chǎn)的統(tǒng)一管理入口統(tǒng)一流程平臺的本質(zhì)是把自己定位成所有流程資產(chǎn)的統(tǒng)一管理入口。所有流程模型都必須在平臺上注冊所有流程的發(fā)起、審批、查詢、歸檔都通過平臺進(jìn)行業(yè)務(wù)系統(tǒng)不允許繞過平臺直接操作引擎底層API。聽起來像是一刀切的規(guī)定但實際上這是避免失控最有效的手段。平臺化之后各個業(yè)務(wù)系統(tǒng)的角色從“自己管流程”變成了“向平臺申請流程能力”。比如業(yè)務(wù)系統(tǒng)需要一個新的審批流程開發(fā)同學(xué)只需要在平臺上設(shè)計BPMN模型、配置好表單地址和權(quán)限策略、申請一個唯一的流程Key然后通過統(tǒng)一的API發(fā)起流程、接收回調(diào)即可。流程模型、運行數(shù)據(jù)、歷史數(shù)據(jù)、待辦權(quán)限全部沉淀在平臺側(cè)方便統(tǒng)一治理。3.2 兩個決定性架構(gòu)決策第一個決策統(tǒng)一入口。所有流程發(fā)起統(tǒng)一走平臺的“發(fā)起流程”開放接口而不是允許業(yè)務(wù)系統(tǒng)直接new一個ProcessEngine然后調(diào)用startProcessInstanceByKey。這樣做的好處非常實際平臺可以在發(fā)起的必經(jīng)之路上做權(quán)限校驗、參數(shù)規(guī)整、冪等控制、數(shù)據(jù)埋點。第二個決策統(tǒng)一運行時。Platform模式即平臺內(nèi)部只維護(hù)一個Flowable引擎實例所有流程跑在同一個引擎上。而不是每個業(yè)務(wù)域獨立部署引擎實例來跑自己的流程。統(tǒng)一運行時的好處是待辦任務(wù)天然就匯合在一起查詢所有系統(tǒng)流程的待辦只需要對ACT_RU_TASK表做一次查詢不需要跨庫聯(lián)表。這兩個決策做下來后面很多模塊就順理成章了。3.3 整體架構(gòu)分層我們的平臺架構(gòu)大致是四層最上層是接入層也叫Open API層面向業(yè)務(wù)系統(tǒng)提供發(fā)起流程、審批、查詢、撤回等統(tǒng)一接口。接入層負(fù)責(zé)身份鑒權(quán)、參數(shù)校驗、數(shù)據(jù)權(quán)限過濾業(yè)務(wù)系統(tǒng)通過這些接口與平臺交互不感知底層引擎。往下一層是流程編排層負(fù)責(zé)流程模型的注冊、流程分類管理、表單配置、權(quán)限策略配置、流程擴(kuò)展點配置。這一層做的是“建模與業(yè)務(wù)策略的綁定”比如某個流程發(fā)起前要校驗什么、審批通過后要回調(diào)哪個系統(tǒng)都在這一層配置。第三層是引擎適配層這是對Flowable的二次封裝。把RuntimeService、TaskService、HistoryService等原生API包裝成平臺內(nèi)部的服務(wù)并補(bǔ)充了流程實例與業(yè)務(wù)單據(jù)的關(guān)聯(lián)映射、統(tǒng)一任務(wù)模型、事件監(jiān)聽分發(fā)等能力。最底層是數(shù)據(jù)層包括Flowable自身的ACT_*表以及我們自己補(bǔ)充的業(yè)務(wù)關(guān)聯(lián)表、平臺配置表、擴(kuò)展字段表。數(shù)據(jù)層做的事情很簡單讓平臺的數(shù)據(jù)模型能自洽地支撐上層業(yè)務(wù)。3.4 平臺的核心模塊統(tǒng)一流程平臺從功能上可以拆成幾個核心模塊。流程模型管理模塊負(fù)責(zé)BPMN文件的上傳、校驗、部署、版本管理、下線處理。這個模塊把“流程模型”從開發(fā)者的本地文件變成平臺的可管理資產(chǎn)。流程運行模塊負(fù)責(zé)發(fā)起流程、驅(qū)動任務(wù)流轉(zhuǎn)、處理各類事件。這個模塊封裝了Flowable最核心的運行時操作是業(yè)務(wù)系統(tǒng)調(diào)用最頻繁的地方。任務(wù)中心模塊負(fù)責(zé)統(tǒng)一展示所有待辦、已辦、抄送、我發(fā)起的任務(wù)。它不只從Flowable取任務(wù)數(shù)據(jù)還要聚合業(yè)務(wù)摘要、表單地址、優(yōu)先級、超時信息等讓用戶在一個頁面處理所有系統(tǒng)的審批。權(quán)限與策略模塊負(fù)責(zé)流程發(fā)起權(quán)限、任務(wù)操作權(quán)限、數(shù)據(jù)權(quán)限的集中控制。這塊是平臺能否落地的關(guān)鍵后面實操章節(jié)我會細(xì)說。監(jiān)控運維模塊負(fù)責(zé)流程積壓、超時、異常實例、歷史數(shù)據(jù)歸檔等運維能力。沒有這個模塊平臺就只是個能跑的引擎而不是一個能長期穩(wěn)定服務(wù)的平臺。4. 核心實操從裸用Flowable到平臺化改造平臺化的改造不是重新寫一套系統(tǒng)而是一個個把能力收攏到平臺側(cè)的過程。下面按實操順序講每一步都是我們能直接復(fù)用的經(jīng)驗。4.1 流程定義統(tǒng)一注冊與管理第一步把所有存量流程模型收攏到平臺統(tǒng)一管理。我們建了一張流程模型注冊表我們叫PROC_MODEL_REG字段包括流程Key、流程名稱、所屬分類、版本號、部署ID、狀態(tài)草稿/已發(fā)布/已下線、負(fù)責(zé)人、表單標(biāo)識、回調(diào)地址。這張表是流程資產(chǎn)的“戶口本”所有模型在平臺里都有一個正式檔案。一個容易出錯的地方是Flowable自身的流程定義版本機(jī)制。同一個流程Key每次部署會生成一個新的流程定義ID帶有版本號。如果業(yè)務(wù)系統(tǒng)用老的部署方式直接按Key發(fā)起流程Flowable默認(rèn)會使用最新版本。這在流程在途的情況下容易出問題明明A流程實例是上個月發(fā)起的中間的邏輯應(yīng)該按舊版本來但新發(fā)起的流程已經(jīng)使用了新版本。我們的做法是在注冊表里維護(hù)每個流程當(dāng)前允許發(fā)起的最小版本和默認(rèn)版本發(fā)起流程前明確指定要使用的部署版本避免模糊匹配。BPMN文件的來源也要管好。我們從一開始就確定了“模型入庫 Git備份”雙保險BPMN文件上傳到平臺后既存一份到數(shù)據(jù)庫用來部署和展示也同步提交一份到Git倉庫用來追溯和Diff。上線一段時間后回頭看這個習(xí)慣救了我們好幾次——某次模型誤覆蓋我們就是靠Git歷史版本還原的。4.2 發(fā)起流程的統(tǒng)一入口發(fā)起流程是業(yè)務(wù)系統(tǒng)使用頻率最高、也最容易出問題的一個動作。平臺提供的“發(fā)起流程”接口我們定義為platform.startProcess(procKey, businessId, operatorId, variables)。其中businessId是業(yè)務(wù)系統(tǒng)里的單據(jù)主鍵operatorId是發(fā)起人variables是這次流程攜帶的業(yè)務(wù)變量。這里重點說businessId的用法。我們要求業(yè)務(wù)系統(tǒng)必須以業(yè)務(wù)單據(jù)主鍵作為業(yè)務(wù)關(guān)聯(lián)標(biāo)識平臺內(nèi)部會維護(hù)一張流程實例與業(yè)務(wù)單號的關(guān)聯(lián)表PROC_BIZ_REL。這個設(shè)計解決了之前在途流程單和流程實例映射混亂的問題。后續(xù)所有“根據(jù)單據(jù)查流程狀態(tài)”“根據(jù)流程實例查業(yè)務(wù)單號”的操作都只查這一張表性能非常好邏輯也干凈。發(fā)起流程前平臺要做三件事一是校驗這個業(yè)務(wù)系統(tǒng)是否有權(quán)發(fā)起該流程Key二是校驗該流程Key當(dāng)前是否在可發(fā)起狀態(tài)而不是已下線三是做冪等控制。冪等控制這點特別容易被忽略但實際很重要。比如前端按鈕被雙擊或者消息隊列重復(fù)投遞如果同一個businessId重復(fù)發(fā)起流程就會產(chǎn)生多條重復(fù)的流程實例業(yè)務(wù)上很難處理。我們的方案是在PROC_BIZ_REL里給businessId和procKey建唯一索引重復(fù)發(fā)起時直接攔截并返回原流程實例ID而不是新建。4.3 統(tǒng)一任務(wù)中心與任務(wù)操作統(tǒng)一任務(wù)中心是平臺讓用戶“有感”的關(guān)鍵模塊。它要做的事情是把Flowable的待辦任務(wù)加上業(yè)務(wù)摘要、表單地址、優(yōu)先級、截止時間等維度后統(tǒng)一展示給用戶。TaskService.createTaskQuery()直接用起來很快會發(fā)現(xiàn)幾個問題。第一待辦任務(wù)查詢條件復(fù)雜后SQL不好優(yōu)化第二Flowable返回的任務(wù)對象上沒法直接關(guān)聯(lián)業(yè)務(wù)摘要比如“采購申請單號PO20250801”這種信息需要二次回業(yè)務(wù)表查詢第三權(quán)限過濾如果靠Flowable的taskCandidateUser表達(dá)式配置起來非常繁瑣且不靈活。所以我們沒有直接讓前端查詢Flowable而是做了一層任務(wù)視圖平臺定時任務(wù)把待辦數(shù)據(jù)從Flowable同步到自己的任務(wù)寬表里寬表冗余了Flowable任務(wù)ID、任務(wù)Key、流程實例ID、業(yè)務(wù)單號、表單標(biāo)識、業(yè)務(wù)摘要、當(dāng)前節(jié)點名、接收人、創(chuàng)建時間、優(yōu)先級等字段。業(yè)務(wù)系統(tǒng)統(tǒng)一查這個寬表體驗和性能都遠(yuǎn)超直查Flowable。任務(wù)操作方面除了基礎(chǔ)的審批同意、駁回我們重點實現(xiàn)了加簽、轉(zhuǎn)辦、委派、撤回。這四個操作本質(zhì)都是修改Flowable任務(wù)辦理人但細(xì)節(jié)差異很大。加簽ADD_AND_APPROVE是當(dāng)前任務(wù)繼續(xù)保留、同時新增一個會簽任務(wù)轉(zhuǎn)辦是把任務(wù)直接交給另一個人處理當(dāng)前人不再是辦理人委派是當(dāng)前人把任務(wù)委派給另一個人被委派人處理后任務(wù)還會回到當(dāng)前人撤回一般是發(fā)起人在流程還在第一個節(jié)點時主動把整個流程結(jié)束起來。這些操作我們都封裝成平臺接口業(yè)務(wù)系統(tǒng)不需要再自己調(diào)用TaskService去改辦理人也就不容易出現(xiàn)辦完任務(wù)后歷史里看不到是誰處理的這種問題。4.4 權(quán)限模型從流程級到任務(wù)級權(quán)限設(shè)計直接決定平臺能否被業(yè)務(wù)方接受。我們經(jīng)過幾輪調(diào)整最后沉淀了一套比較務(wù)實的權(quán)限模型分兩層流程發(fā)起權(quán)限和任務(wù)處理權(quán)限。流程發(fā)起權(quán)限比較簡單就是“誰能發(fā)起某類流程”的策略配置可以按部門、崗位、角色、用戶甚至可以按業(yè)務(wù)數(shù)據(jù)規(guī)則來限制。我們把這部分做成了頁面配置而不是寫死在代碼里。這樣業(yè)務(wù)調(diào)整發(fā)起范圍時不需要發(fā)版。任務(wù)處理權(quán)限復(fù)雜一些核心是解決“誰能看到這個待辦、誰能處理這個待辦”。之前裸用Flowable時有人通過候選組的方式配置待辦候選人的判斷邏輯分散在各處。平臺的做法是統(tǒng)一在任務(wù)分配策略里管理任務(wù)創(chuàng)建時根據(jù)流程模型里預(yù)先配置的分單規(guī)則把任務(wù)分配給具體用戶或候選組并在任務(wù)數(shù)據(jù)里寫入允許操作的用戶列表。后面做待辦查詢時直接按“處理人當(dāng)前用戶”或“當(dāng)前用戶在候選組列表里”過濾簡單直接也方便做數(shù)據(jù)權(quán)限控制。4.5 事件擴(kuò)展點讓流程和業(yè)務(wù)系統(tǒng)解耦一個審批流程“審批通過后自動更新單據(jù)狀態(tài)”這件事如果寫在Flowable的監(jiān)聽器里那Flowable就和你業(yè)務(wù)系統(tǒng)強(qiáng)耦合了。平臺的處理方式是提供標(biāo)準(zhǔn)的事件回調(diào)機(jī)制。我們在Flowable的監(jiān)聽器里只做一件事把事件拋到平臺的消息管道里。比如任務(wù)創(chuàng)建、任務(wù)完成、流程結(jié)束、流程取消這些事件統(tǒng)一封裝成標(biāo)準(zhǔn)消息體包含事件類型、流程實例ID、流程Key、任務(wù)ID、業(yè)務(wù)單號、操作人等字段然后推送給在平臺上訂閱了這個流程事件的回調(diào)地址。業(yè)務(wù)系統(tǒng)側(cè)只需要提供一個接收回調(diào)的HTTP接口在配置中心里登記一下即可。這個設(shè)計把流程引擎和業(yè)務(wù)系統(tǒng)徹底解耦了。后面新的業(yè)務(wù)系統(tǒng)接入時不需要去改平臺代碼不需要再往Flowable里塞業(yè)務(wù)邏輯只需要注冊回調(diào)就行。哪怕是改業(yè)務(wù)邏輯也不會造成流程實例運行中途找不到監(jiān)聽類的問題。4.6 監(jiān)控與歷史歸檔平臺上線后的第一件事是把積壓任務(wù)監(jiān)控做起來。我們寫了一個定時任務(wù)每隔5分鐘統(tǒng)計ACT_RU_TASK里各流程節(jié)點的任務(wù)數(shù)量、停留時長超過閾值的就推送告警。這個告警此前救過一次緊急事故某個系統(tǒng)調(diào)用回調(diào)接口一直失敗任務(wù)在“已辦結(jié)但回調(diào)失敗”的狀態(tài)下堆積了幾百條正是停留時長告警幫我們第一時間發(fā)現(xiàn)的。歷史數(shù)據(jù)歸檔策略也得盡早訂。我們按月份分區(qū)管理ACT_HI_ACTINST和ACT_HI_TASKINST這兩張大表每個月定時把三個月前的明細(xì)數(shù)據(jù)遷移到歷史庫。同時借助Flowable自帶的歷史數(shù)據(jù)自動清理機(jī)制把不需要保留的流程定義級數(shù)據(jù)、已有歸檔副本的流程實例數(shù)據(jù)做異步清理。這塊做好了數(shù)據(jù)庫規(guī)模才能穩(wěn)定住不會跑著跑著突然因為磁盤和慢查詢出事。5. 關(guān)鍵設(shè)計細(xì)節(jié)與踩坑實錄平臺建設(shè)過程中有大量看似不起眼、但影響巨大的細(xì)節(jié)。這一節(jié)我把印象最深的幾個單獨拿出來講都是實際踩過的坑希望能幫大家繞開。5.1 流程定義ID還是KEY一定要分清Flowable里有兩個標(biāo)識容易搞混流程定義Key和流程定義ID。Key是BPMN文件里process元素的id屬性比如leaveProcess部署之后Flowable會生成一個帶版本號的流程定義ID形如leaveProcess:1:25031004。很多調(diào)用場景要傳流程定義ID比如按版本發(fā)布、按版本查詢模型如果混用輕則查不到數(shù)據(jù)重則把流程部署到了錯誤版本。我們的統(tǒng)一策略是平臺內(nèi)部所有操作都以“流程Key 版本號”作為邏輯標(biāo)識部署ID只在需要調(diào)用Flowable原生API時臨時獲取不落庫、不傳遞。這樣業(yè)務(wù)系統(tǒng)只跟平臺的Key體系打交道版本歧義在平臺層就消化掉了。5.2 業(yè)務(wù)單號與流程實例綁定必須用獨立關(guān)聯(lián)表很多教程里推薦用Flowable的businessKey來關(guān)聯(lián)業(yè)務(wù)單號我們在早期也這么干過后來發(fā)現(xiàn)不行。原因是businessKey只能在發(fā)起時設(shè)置一次后續(xù)如果業(yè)務(wù)單號因為某種原因需要改變或者一個流程實例要關(guān)聯(lián)多個業(yè)務(wù)單據(jù)businessKey就不夠用了。我們最終采用了獨立關(guān)聯(lián)表方案。PROC_BIZ_REL表記錄了流程實例ID、流程Key、業(yè)務(wù)主單據(jù)ID、業(yè)務(wù)擴(kuò)展單據(jù)ID列表、創(chuàng)建時間。查詢流程狀態(tài)時先根據(jù)業(yè)務(wù)單號反查流程實例ID再查流程狀態(tài)反過來的需求也同理。這張表是我們整個平臺數(shù)據(jù)模型里承擔(dān)壓力最大的一張表一定要做好索引和分表規(guī)劃。5.3 歷史表膨脹不是等到慢了才處理Flowable的歷史數(shù)據(jù)寫入非常積極尤其ACT_HI_ACTINST幾乎每個活動進(jìn)出都記一條。高并發(fā)場景下這張表的增長速度超出很多人預(yù)期。我們曾經(jīng)在生產(chǎn)上出現(xiàn)過ACT_HI_ACTINST達(dá)幾千萬行的情況導(dǎo)致所有帶歷史表查詢的接口響應(yīng)時間從幾十毫秒變成幾秒。兩條處置經(jīng)驗分享一是從平臺上線第一天就把歸檔任務(wù)寫好不要等出了問題再補(bǔ)二是歷史數(shù)據(jù)查詢接口不要總是直查Flowable歷史表可以定期把需要長期保留的流程快照數(shù)據(jù)冗余到自己的歷史寬表里查詢走寬表Flowable歷史表只作為原始數(shù)據(jù)留存。這樣既保留了數(shù)據(jù)完整性又保證了查詢性能。5.4 上傳BPMN文件的校驗不能省我們對外開放模型上傳功能后業(yè)務(wù)方經(jīng)常從各種建模工具里導(dǎo)BPMN文件上來。有些文件的命名空間不規(guī)范有些引用了一些Flowable不支持的擴(kuò)展屬性甚至還有的XML在其他工具里能打開、Flowable解析就報錯。平臺做的校驗包括三層一是XML格式的解析校驗確保文件能被正常解析成文檔對象二是BPMN語義校驗檢查是否存在孤立節(jié)點、未閉合網(wǎng)關(guān)等基礎(chǔ)問題三是Flowable部署前的集成校驗直接調(diào)用引擎的部署接口試部署一下部署成功才允許發(fā)布。雖然這個校驗會多花幾秒鐘但省掉了大量上線后才發(fā)現(xiàn)模型錯誤的尷尬。5.5 任務(wù)查詢的索引與緩存設(shè)計Flowable的ACT_RU_TASK在生產(chǎn)環(huán)境數(shù)據(jù)量不小待辦查詢?nèi)绻蛔咚饕頀呙璺浅V旅?。我們觀察下來以下三個查詢場景必須建好索引按任務(wù)辦理人查詢、按流程實例ID查詢、按任務(wù)Key和流程定義Key組合查詢。Flowable的ACT_RU_TASK表默認(rèn)有一些索引但不同數(shù)據(jù)庫版本上的索引覆蓋并不完全一致所以建好表之后最好由DBA結(jié)合真實慢查詢?nèi)罩景阉饕a(bǔ)一輪。另外流程定義本身是只讀資產(chǎn)非常適合做JVM級緩存。我們把流程Key對應(yīng)的最新部署ID、模型元數(shù)據(jù)都要緩存在平臺進(jìn)程內(nèi)熱流程發(fā)起時不再反復(fù)查詢數(shù)據(jù)庫。這個緩存命中率高、失效時機(jī)清晰只在流程部署新版本時刷新效果非常好。6. 常見問題排查速查表平臺在線上跑了這段時間有幾類問題反復(fù)出現(xiàn)。我整理了一個排查速查表按“現(xiàn)象、可能原因、排查思路、預(yù)防建議”的格式列出來方便團(tuán)隊各位直接參照?,F(xiàn)象可能原因排查思路預(yù)防建議發(fā)起流程后待辦里看不到任務(wù)任務(wù)創(chuàng)建后又被代碼主動刪掉或者任務(wù)分配給了候選組而當(dāng)前用戶不是候選成員查ACT_RU_TASK確認(rèn)該流程實例是否有任務(wù)查平臺事件流里任務(wù)創(chuàng)建事件是否正常發(fā)出任務(wù)分配統(tǒng)一走平臺策略不裸調(diào)Flowable流程實例執(zhí)行到某節(jié)點后不再往下走網(wǎng)關(guān)條件表達(dá)式?jīng)]有分支命中或JavaServiceTask執(zhí)行拋異常被吞掉查ACT_RU_EXECUTION當(dāng)前停留的節(jié)點看平臺異常日志是否有引擎執(zhí)行錯誤網(wǎng)關(guān)條件要寫兜底分支ServiceTask異常要拋出來并告警會簽任務(wù)只產(chǎn)生了一個人的任務(wù)多實例的collection表達(dá)式寫錯或者輸入變量沒傳對查流程發(fā)起時variables集合是否正確檢查節(jié)點多實例配置多實例輸入集合統(tǒng)一由平臺注入不靠業(yè)務(wù)系統(tǒng)傳菜名定時器事件不觸發(fā)引擎時鐘沒有開啟或執(zhí)行節(jié)點上的服務(wù)實例沒有運行查Flowable時鐘配置查看定時節(jié)點所在服務(wù)是否存活定時任務(wù)單獨跑在獨立服務(wù)并配置進(jìn)程守護(hù)流程審批完結(jié)但業(yè)務(wù)系統(tǒng)沒有收到回調(diào)監(jiān)聽器拋異常被忽略或回調(diào)接口網(wǎng)絡(luò)超時查平臺事件表和回調(diào)重試記錄確認(rèn)回調(diào)地址可達(dá)回調(diào)必須配置重試機(jī)制和失敗告警歷史數(shù)據(jù)查詢特別慢ACT_HI_ACTINST表過大索引缺失看慢SQL是否都命中歷史表確認(rèn)歸檔任務(wù)是否正常運行從上線第一天就啟動歸檔查詢走自定義歷史寬表同一個單據(jù)被重復(fù)發(fā)起了流程前端重復(fù)點擊或MQ重復(fù)投遞查PROC_BIZ_REL是否同一businessId對應(yīng)多個流程實例發(fā)起接口做冪等校驗businessIdprocKey建唯一索引新發(fā)布流程模型后老流程實例跑掛老實例走到已刪除的節(jié)點或引用了不存在的bean查老流程實例當(dāng)前停在哪一步和分析新老模型差異發(fā)布新模型前做兼容性檢查不允許刪除仍有在途實例的節(jié)點這個表基本覆蓋了我們?nèi)粘_\維中需要處理的80%問題。排查時記得先看現(xiàn)象發(fā)生在運行期還是流程定義期能少走很多彎路。7. 結(jié)合實際運維再說幾點真心話寫到最后我想分享一些個人在推進(jìn)這件事時形成的體會。第一做統(tǒng)一流程平臺最難的往往不是技術(shù)而是推動業(yè)務(wù)系統(tǒng)按規(guī)范接入。我們給業(yè)務(wù)方定的規(guī)矩是“平臺提供能力但禁止繞過平臺動引擎”。聽起來像是對業(yè)務(wù)方的限制實際上反而幫他們省了很多事——不用自己維護(hù)流程代碼、不用自己處理流程歷史和權(quán)限只需對接平臺的標(biāo)準(zhǔn)API。但前期的溝通量確實很大建議從簡單增量的流程開始試點做出示范案例之后再推全量。第二流程平臺的價值要在“運行三個月后”才能真正體現(xiàn)。初期業(yè)務(wù)系統(tǒng)會感覺平臺多了一層聯(lián)調(diào)多了一些成本看不到明顯收益。真正跑起來之后統(tǒng)一待辦、統(tǒng)一監(jiān)控、權(quán)限集中、模型管理這些能力才逐步顯現(xiàn)出價值。所以如果你們也在推進(jìn)類似的事情給自己和團(tuán)隊多一點耐心關(guān)鍵節(jié)點放在上線后第一次大促或月度結(jié)算峰值時那時候平臺的承壓能力一目了然。第三擴(kuò)展性要給后面留好口子。我們平臺建設(shè)時最擔(dān)心的是“Flowable有一天不能滿足需求怎么辦”。為此我們在引擎適配層做了模塊化封裝核心接口都定義在平臺自己的服務(wù)里底層是Flowable還是其他引擎只影響適配層實現(xiàn)不影響上層業(yè)務(wù)。目前還沒發(fā)生引擎替換但這個設(shè)計給了團(tuán)隊很大的安全感。第四平臺化之后那些“清理歷史數(shù)據(jù)”“監(jiān)控積壓任務(wù)”“巡檢流程執(zhí)行異常”之類的事情就不再是某個業(yè)務(wù)系統(tǒng)自己的事了而是平臺團(tuán)隊的日常職責(zé)。這其實是一件好事當(dāng)你從“把流程跑通”上升到“管理流程資產(chǎn)”時才能發(fā)現(xiàn)哪些流程長期沒人用、哪些流程頻繁超時、哪些流程的模型寫得亂七八糟。流程本身也變成了需要治理的數(shù)字資產(chǎn)。這套方案做到現(xiàn)在平臺已經(jīng)穩(wěn)定支撐了公司內(nèi)部多個業(yè)務(wù)域的上百個流程每天承載數(shù)萬次任務(wù)操作統(tǒng)一待辦入口成為了大家日常工作必不可少的部分。如果你也正在從單點使用Flowable走向流程平臺化的路上希望這篇總結(jié)能幫你對整體規(guī)劃和細(xì)節(jié)設(shè)計有一個清晰的參考。別想著一步到位先圈定邊界、統(tǒng)一入口、做好模型和權(quán)限的治理再從運行中逐步補(bǔ)齊監(jiān)控、歸檔和擴(kuò)展能力這條路走下來是踏實的。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
日韩99999| 北条麻妃性愛视频| 中文字幕91页| 国产精品久久伊人| 91精品国产综合久久久蜜臀| 四虎AV无码| 成人综合网 欧美| 精品一二三区四视频| 91亚洲丝袜| 外国免费性情大片| 国产精品蜜乳AV| 丁香五月激情五月| 亚洲一二三四区机械| 99九九久久| 97在线欧| 综合激情二| 超碰偷拍| 蜜臀久久99精品久久久电影| 日韩欧美亚洲一区二区三区影院| 97人人中文网| 搡老女人911熟妇老熟女| 99精品欧美一区二区三区桃色| 欧美激情综合| 欧美久久久| 97在线观看免费视频| 五月婷婷无码| 97精品网| 久久99久久99久久99人受| 老女人91| 中文字幕在线免费观看视频| 天天爽入口| 大香蕉啪啪啪| 偷拍精品一区二区三区| 色综合网1| 日本大香蕉综合网| 欧美黄色片AAAAA| 超碰69| 97天天综合| 大香蕉黄色一区| 欧美日韩人妻精品系列一区二区三区| 青青操综合网| 2017,超碰| 丁香五月成人| 亚洲麻豆av一区二区| 99色综合| 99亚洲国产精品色一区二区三区| 超碰97精品在线| 超碰欧美COM| www.91逼逼.com| 精彩久久中文| 日韩另类色图| 蜜臀久久99精品久久久| 亚洲日韩少妇一道本视频| 日本高清_区二区三区| 天天影视激情欧美| 亚洲中文字母在线播放| 乱伦强奸区日韩| 搞中出视频在线观看| 国产 日韩,欧美 自拍| 亚洲国产一区二区三区在线| 日本不卡二区| 久久熟女久| 色五月婷婷色| 日韩无码专区| 99久久婷婷丁香| 啊啊啊啊免费视频| 中文字幕78| 黄色av一区二区在线| 一区二区三区视频| 夜夜爽夜夜操| 东北夫妻性偷拍| 强奸乱伦大香蕉| 少妇淫妇久久久久久久| 超碰这里只有精品| 黄色大片一区二区密桃丝袜| 久久午夜鲁丝片| 精品人妻久久久久一区二区三区| 青青欧洲黑| 亚洲天堂无码| 欧美一区二区三区另类精品| 天天做天天爱夜夜爽毛片试看| 伊人嫩草| 亚洲一本色码中文字幕| 色五月婷婷网| 粉嫩绯色AV一区二区在线| 中文字幕蜜乳av| 台湾佬中文娱乐网久久久久久久久久com| 口爆吞精在线观看| 色97欧美| 长久操视频| 99久久久| 人、人、摸,人、人、草| 97超碰护士| 33044男人的天堂深夜备| 午夜男人一级A片7777| 高精欧美色| 国产久9| 色欧美天天| 亚洲国产成人精品999| 中文字幕一区二区三区人妻不卡| 天堂综合| 欧美激情在线观看视频| 1024精品在线| 欧美性性性| 激情综合 婷婷五月 红杏| 久久一本大香蕉 | 亚洲情欲| 久久78| 久夜视频| 欧美与日韩97| a人欧美综合天堂麻豆| 人人摸人人摸人人干| 日韩精品色呦呦| 91在线观看,天天综合| 国产久久久久影院老熟女| 91九色丨国产丨爆乳| 91在线精品| 伊人一区二区在线播放| 日本操逼aaaaa| 久久中出| 免费视频在线一区二区不卡| 日韩熟女无码| 午夜αv| 九九热三级片| 欧美偷拍| 日本熟女不卡视频| 国产精品一区午夜福利| 四色永久成人网站| 男人的天堂啪啪啪啪啪蜜桃不卡| 另类小色呦| 亚洲国产一级精品毛一级精品看免费视频| 性爱1区| 亚洲精品一区二区精品| 久久久一区二区三区三州| 99久久久无码精品国产人| 午夜精品久久一区二区| 欧美成人A√在线一区二区| 中文字幕精品码亚洲| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区 | 少妇熟女1区2区3区| 干我久操| 久草五月| 成人短视频在线观看| 香蕉久久国产AV一区二区| 韩国久久97| 亚洲城人男人的天堂| 日韩不卡码| 精品9区| 久久久久深夜无码| 囯产精品久久久久久久久久梁医生 | 插老姨肥穴| 日本三级韩国三级美三级91| 99999re| 蜜乳AV一区| 99爱爱| 小草精彩毛片| 四虎精品一区| 久久午夜色播影院免费高清| 乳欲人妻办公室奶水| 91热爆在线| AV色天香在线| 少妇人妻在线| 青草草免费网站av| 亚洲av无线观看| 亚洲 欧美日韩 另类| 天天添天天干电影| 青青草在线视频欧美| 热久久无毒不卡| 久久永久无码人妻视频| 丁香婷婷大香蕉| 宗合情欲网| 日韩少妇丰满亚洲| 青青草在线视频播放器| 日韩精品国产一区二区| 亚洲操人| 熟妇人妻一区二区三在线| 欧美综合色图网| www.91逼逼.com| 97久久精品亚洲| 少妇高潮喷水无套久久久久久| 丁香九月婷婷| 色欧美天天| 欧美激情黑人| 欧美少妇性爱网站| 人妻 制服 日韩 中文 在线| 国产精品久久| 91人妻视频在线| 中文字幕国产| 黄色一级视| 大香蕉综合久久| 青娱乐国产剧情av一区| 97人肏| 欧美色图99| 啪一啪免费视频| 日韩电影天堂视频二区三区| 国产 亚洲 丝袜 制服| 欧美性,色九九| 99国产女人| 久久婷婷综合国际产色怕| 综合网欧| 性在久久久久久| 屌妞视频久久久久久久| 日韩日本欧美在线观看| 欧美成人亚洲精品| 一级性爱视频免费在线| 涩爱AV在线| 老女人综合网| 欧美永久激情一区二区| 黄片色区软件| 国产剧情一区在线观看| 色五天伊人| 亚洲综合夜色| 婷婷综合五月| 日本精品高清一二区一本到| 亚洲密乳AV| 国产精品人妻无码久久久互動交流| 拍拍拍拍大尺度黄色三级片拍拍拍拍拍照| 亚洲自拍小说| 亚洲欧美在线丝袜| 欧美天天射| 精品久久97观看在线视频| 亚洲丝袜二区在线| 91n处女在线观看| 玖玖无码超碰| 成人性生活高清视频在线播放| 久热这里| 特污精品女优骚货黄色视频在线免费观看| 亚洲综合首页| 精品人体无圣光凹凸| 亚洲精品成人动漫在线| 人人看人人摸人人色| 久久香蕉综合一本到3atv| 超碰在线观看av不卡| 户外裸露刺激视频第一区| 久久免费99精品久久久久久| 欧亚成人| 久久久成人国产精品无码| 欧美成人午夜免费福利785| 国产亚州日韩欧美看片| 最新加勒比丝袜在线| 99热这里只有精| 久久天天躁日日躁狠狠躁| 久久久九九九九| 久久网亚洲| 日韩欧美女求操每天更新| 亚洲欧美首页| 第四色奇米影视777| 自拍偷拍 日韩无码| 国产成人自拍视频在线| 久久色人体 | 五月天婷婷综合| 福利风月五月天影院| 亚洲情色一区二区三区| 综合网亚洲在线| 天天激色| 欧美草草高清日韩视频| 高潮毛片无遮挡高清免费| 国产精品制服丝袜清纯唯美| 国产精品2020| 少妇色欲综合网2| 91精品人| 久久男人的天堂国产| 伊人国产视频| 好吊色综合| 91久久精品中文字幕| 曰韩欧美国产传媒麻豆第一区| 超碰97最新人妻| 熟女精品日韩一区二区三区| 日韩无码a片| 国产又粗又又黄又猛| 嗯嗯啊好大| JuliaAnn丝袜熟女系列| 日韩av影片在线观看| 大香蕉碰碰| 99热国产精品| 日韩大香蕉AV影片| 亚洲国产麻豆一区二区三区| 情色av电影| 神马麻豆福利院| 午夜久久无码1000合集| 亚洲污一污二| 成人无码在线超碰网| 综合日本女人伊人| 国产精品国产精品国产| 天天天天操| 白嫩妹子国产骚| 国产中文大片资源中文字幕| 在线视频五十市| 校园春色五月天| 韩国黄色片精品久久久| 中文字幕文字幕无码一区二区三区电影99| 天天操夜夜操狠很操| 亚州操操穴网| 一级AV性爱| 亚洲。日韩。欧美| a片 xxxx受爽视频| 懂色综合久久久| 亚洲色图久久成人| 国产精品成人蜜臀AV在线| 色色五月丁香| 二三四区精品| 91操人| 日本人妻天堂网站在线播放| 国产精品成人久久一区二区三区 | 国产第11页| 久久精品午夜国产亚洲AV无码| 久久免费老司机精品| 久久大黄片| oumeisetu综合| 电家庭影院午夜69久久夜色精品国产69乱 | 91快色色色色色| 久久久专区| 国产精品激情久久久久久久| 五十路三区在线| 中文高清一区二区的| 国产内射爽爽大片| 天天摸天天舔天天操| 欧美性爱第一区| 精品九九九九九九九九九| 中文精品一区二去| 中文字幕欧美日本乱码一线二线| 综合一区中亚洲国产成人综合精品 | 久操精品网| 美女性91| 亚洲情色一区三区| 国产综合网站在线播放| 日韩无码第3页| 日韩三级久久久| 色综合一区二区三区| 欧美色网| 精品国产久久乱码| 久久国产99精品72福利| 亚洲图片欧洲图片aⅴ| 欧美 日韩第一性色| 黑丝内射一区二区三区| 色综合V| 91男人天堂网| 大香蕉伊人色偷偷在线| 草草影院日本第一页| 尤物AV免费网站| 91oumei| 欧美伊人久久综合网| 国产自啪精品视频网站黑丝| 五月花婷婷| 九九九九88| 欧美 牲| 操一对老熟妇爽上天视频| 尹人免费观看视频在线| 欧美少妇高潮视频| 18禁久极品美女久久哦哟呀!| 久久香蕉综合一本到3atv| 搡老女人911熟妇老熟女| 青草园大香蕉| 国产91精品久久久久久久网曝门| 免费观看的av| 五月天黄色激情视频| 欧美性xxxxx狂欢| 亚洲天天精品| 亚洲色图第四色| 97色欧州| 青娱乐导航AV| 综合色99| 日韩不卡a级视频专区| 豆花视频操逼网址| 日韩一级二级三级免费看完整版| 精品久久久一本一道| 东北女人的毛片| 91国产精品在线看| 精品精品精品| 啪啪综合网| 成人三一级一片aaa| 黄片免费视频2019| 一起草三级AV电影在线观看 | 级做a爱无码性色永久免费| 国产sv美女内射| 国产精品3| 国产精品。| 久久亚洲天天做| 欧美v日韩欧亚洲电影天堂色诱,国产传媒| 久久99操天天日| 色五月综合| 女人双腿搬开让男人桶| 国产 无码 一区二区| 黄色片,com| 秋霞网—男女啪啪亚洲免费体验区| 91综合中文字幕| 欧美情色亚洲| 九九热精品| 欧美综合天堂| 亚州综合色| 亚洲97在线观看| 国产精品网址| 神马久久久久久| 欧美天天综合网| 亚洲图片欧美| 91精品微拍福利| 性爱视频无打码在线观看| 国产人妖的免费的视频| 中文字幕一区二区三区高清| 淫荡少妇免费| 亚洲精品国产精品乱码不99| 操91| 亚洲AV免费在线观看| 91欧美偷拍| 久草精品国产蜜臀 | 亚洲欧美自拍偷拍| 免费中文在线| 亚洲宅男天堂| 日本999精品视频| 久久这里| 91久久国产精品| 神马麻豆福利院| a男人的天堂久久一级A毛片| 亚洲av综合色| www.色婷婷.com| 啊好大好舒服| 超碰欧美在线欧美| 国产精品扒开腿做爽爽爽视频| 日本操逼视频免费| 丝袜美腿制服人妻二区中文字幕| 韩国黄色片精品久久久 | 97精品在线视频| 2024黄色视频| 亚洲黄色网址视频| 久操99| 人人搡人人肉久久精品| 欧美色交| 色欲av一区二区三区蜜芽| 國產尤物AV尤物在線觀看| 色婷婷丁香五月| 91网亚洲| 91精品丝袜久久久久久| 亚洲精品尤物yw在线影院| 岛国精品视频在线观看| 老汉网| 亚洲精品国产拍免费91在线| 国产日韩区| 久久久九九网站| 2019AV天堂| 麻豆一区二区三区在线看| 91被操| 国产精品香蕉热久久新品| 久久久一热在线播放| 91处女在线视频| www.av家庭乱伦| 最新日韩黄片| 强奸熟女一区二区三区| 久久精品国产Aⅴ| av片在线观看免费播放| 美女诱惑在线一区| 97视频在线看| 亚洲天堂中文字幕无码男同| julia ann久久| 亚洲国产av中文字幕久久| 开心五月天激情网| 91精品国产长腿丝袜美女| 成人无码电影在线观看网| 日韩人妻精品久久久久| 熟人人妻少妇精品久久| 成人乱码一区二区三少妇| 图色综合网| 亚洲天堂2020| 综合色图区| 高清无码91| 乱伦熟女区| 久久久久久久久国产| 岛国福利在线精品播放| 久久久久久性爱视频| 中文字幕片| 日本操逼视频导航| 97资源视频| 日本视频在线中文字幕| 日韩熟女精一区二区三区不卡| 无码逼| 日韩97超碰中文字幕| 强乱老妇中文字幕| 九九色热| 女优大全 - 91n| 97色色视频| 中文 人妻 制服| 五月天成人综合| 嗯嗯啊啊啊好爽| 亚洲色五月| 欧美色图亚洲色| 欧美亚洲综合色| 亚洲图片第一页| 天天综合色电影| 秋霞色色影院| 欲射影视| 91黑人无码激情在线| 国产91丝袜在线播放蜜月| 色爱三区| 大鸡巴久久| 久久国产精品一级二级三级| aaa亚无码专区| 熟女色图在线| 午夜影美女日鸡鸡天天视频国产| 天堂精品一区| 人妻激情偷乱视频一区二区三区 | 超碰色老头| 亚洲免费精品一区| 超碰在线香蕉| 大香蕉淫人| 四虎影库国产精品免费| 日本一级婬片试看三分钟| 天天操天天7| 久久小视频| 欧美亚洲素人制服精品| 99精品无码| 亚洲色图在线视频| 老司机深夜影院18未满| 久草成人| 91少妇通奸网站| 97资源制服丝袜| 少妇人妻好深太紧了vr91| 日韩欧美天堂| 免费农村成人少妇人妻Aa一区二区视频 | 国产高清自拍视频| 色97国产69香蕉| 青青青操| 国产成人无码久久精品| 国产女同视频在线播放| 五月天婷婷社区| 人妻在线臀日韩| 欧美劲爆视频一区二区| 日本精品一级二级三级| 91 亚欧| 国产久久一区二区三区野外在线| 91狠狠综合久久| 国产对白刺激视频| 日本影视久久免费| 偷拍导航视频网站| 欧美成人一区二区| 久插不卡| 欧美久久九九| 亚洲激情四射| 美女一区二区国产精品| 尤物视频一区| 久久久久9999| 综合一区二区影视| 大鸡巴久久| 亚洲av综合色区无码一| 国产91亚洲精品一区二区三区| 大香蕉2017| 2019亚洲男人天堂| 久久美国毛片| 狠色婷婷久久一区二区三区_| 亚码激情| 久久五月份| 韩国一级婬片A片AAAAA| 午夜精品久久久久久久99蜜桃一| 无码人妻精品一区二区中文| 老外又粗又长一晚做五次| 97超碰护士| 97免费在线观看视频| 国产精品97视频| 精品少妇人妻一区二区三区| 天天日熟妇| 成人黄页| 超碰69| 欧美大战久久久伊人| 色五月天AV| 久久成年精品| 蜜屁Av| 亚洲日韩东京热一区| 精品亚州18| 最新精品久久蜜桃 | 五月综合视频| 日韩性色b| 大香蕉伊利av| 男人的天堂.com| 偷拍亚洲高清图片| 欧美大片天天看| 欧美少妇高潮久久91| 欧美97视频| 亚洲鸥美色图| 成人区人妻精品一| 久久69| 国产精品不卡av免费在线观看| 久操精品| 色综合久久av| 日韩精品一区的| 五月天综合| 国产天天骚| 国产人妻一区二区三区欧美毛片| 99久在线精品99re8热视频在线| 鸥美极品| 欧美激情区| 亚洲视频中文一区| 污污汅18禁网站在线永久免费观看 | 99亚洲天堂| 蜜臀久久久久久999| 超碰97色色| 国产高清在线自在拍69| 啊啊啊爽爽| 日韩免费看在线黄色片| 日韩激情啪啪| 亚洲天堂女优在线| 吊色| 精品视频一区二区| 高跟丝袜AV专区国产| 99婷婷| 97久久精品国产| 四虎免费在线播放| 人人看黄色视频| 国产激情av女片自拍| 亚州情色j区| 亚州欧美一区| 密乳视频在线| JULIA一区二区三区在线播放| 亚洲性综合9| 激情小说亚洲视频| 亚洲欧美成人网站AAA| 草莓精品视频| 粉嫩AV一区夜夜嗨| 亚洲精品九九九| 成年人一级黄色毛片大全在线观看| 猛交交| 国产精品69久久久久久久| 天天射天天| wwwss在线观看| 风骚少妇视频中文字幕| 国产亚洲精品一区二区三区| 操逼日韩无码| 人妻五十路在线| 综合伊人激情| 久热色情精品| 清纯唯美综合| 十八禁啪啦拍视频无遮挡| 天天影视射综合网| 12一15性XXXX粉嫩国产| 欧美激情五月天| 久久久久久裸体| 国产多人在线观看视频| 久久久久骚| 国产视频第二页| 你懂得91| 欧美女同在线| 黄片aaaaa一区| 久久久久密臀一区二区| 超碰在线人妻中文字幕| 啊a一区在线| 蜜桃久久一区二区| 夂久色| 乱人乱色一区二区三区免费| 免费看久久久性性| 夜色97| 欧美色性爱| 成人欧美日超碰| 综合操逼| 曰韩少妇无码| 强奸乱伦av电影| 超碰午夜| 亚洲性爱无码乱伦av| 天天干1区2区在线| 日韩人妻免费精品| 99日韩| 中文字幕AV片| 情趣丝袜无码操逼视频| 六月激情婷婷| 超碰视97中文| 三级激情网站| AV在线资源| 国产精品人人爽人人做可爱福利| laoshunv91| 性色av大全| 色天欧美| 色综合91| 国产宅男宅女在线观看| 丝袜美腿操av| 嗯嗯,啊啊,国产精品| 久久性爱精品一区| 欧美 日韩第一性色| 韩国轻伦国内自拍一区| 精品久久久久久中文| 青青草大香蕉视频| 97超碰逼| 操少妇很爽av| 久久久久国产一区二| 久久久精品中文字幕爱豆| 97久久久久久久久久| 久久蜜色情在线视频xxx免费观看| 丝袜剧情| 欧美一区二区一级岛国大片| 中文字幕一二三av| 欧美亚洲激情一二三| 香蕉一区二区三区在线视频| 久久婷婷视频| 国产亚州高清国产拍精| 亚洲精品天堂久久A∨51成人漫| 亚洲天堂男人天堂网| 蜜臀一二三区| 一二三四视频在线社区中文字幕| 国产精品久久发布| 激情自拍 校园春色| 围产精品一区二区三区视频播放| 成人小说另类在线| 国产日本一区二区三区蜜臀在线观看| 亚欧操逼片在线观看 | 91中文字幕制服丝袜免费视频| 国产精品91ai| 国产性爱欧美性爱在线| 玖玖久久久| 国语对白露脸XXXXXX| 国产91福利小视频在线观看| 国产夫妻性生活视频| 亚洲无992tv| 超碰91在线| 91美女视频在线免费观看| 亚洲一二三四区| 欧美人妻精品一区二区| 久久亚洲天天做| 国内伊人久久久久久网站视频| 日韩9999| 欧美很很操视频| 91欧美长吊| 欧美夜色| 99r九九| 久久久久久久一级黄色打同平台| 美国人人操人人操| 久久五月天婷婷丁香中文字幕| 日韩一级性爱无码| 日韩啊V| 强奸乱伦αv片| 精品一区二区三区四区女| 男人午夜天堂| 1禁看欧美黄片免费看| 97香蕉人人乳| 国产激情视频一区区三区| 天天干美少妇一区| 97超色| 青娱乐欧美激情一区二区| 色爽爽文学| 亚洲图片欧美色图| 丁香激情网| 午夜在线播放| 一品道视频一区二区三区| 夜夜躁狠狠躁日日躁av| 桃花色涩综合影院| 亚洲做性| 五月丁香影院| 成人怡红院| 天天日天天爽| 欧美78P| 精品超碰中文在线| 国产精品午夜AV完会免费| 五月天激情小说| 日日骚一区二区三区| 久99热| 亚洲人妻在线精品| 91殴美大片| 国产免a费看黄片在线| 97欧美久久久久久久| 99操逼| 超碰97人妻免费在线| 成人热久久精品| 97国产成人精品免费视频| 深爱伊人影院| 97欧美精品综合| 日韩精品在线观看观看| 麻豆区久久久久亚| 人妻天天夜夜爽一区二区| 在线观看成人性爱免费小视频| 日本欧美m v精品网站加| 丁香五月电影| 人人操人人摸avav| 综合亚洲欧美| 97久久免费| 国产一级片| 强奸乱伦大香蕉| 中国AAAAAA黄色片| 久久r精品| 亚洲综合99999| 丁香六月婷| 麻花传媒免费网站在线观看| 日日爱99| 天天综合网亚洲综合网| 后入人妻一区| 人人爱操| 欧美在线播放aaaa| 亚洲日韩美国人妻| 国产拍偷精品网站| 伊人九九九| 久久男人| 色香91| 大香蕉伊人在线成人AV在线观看 | 国产一级黄色片在线观看| 51久久夜色精品国产麻豆| 亚洲高清色综合| 久久亚洲一区女同性恋中文字幕| 骚逼自拍99| 亚洲欧洲激情| 白丝少妇一区二区| 熟女一区二区三区| 欧美亚洲美少妇一区二区| 99999久久久久9国产精品| 婷婷久久五月| 久久9视频| 色色激情| 欧洲无码一区二区| 日韩国产十八禁| 欧美少妇第一页| 一区二区三区蜜桃成人撸久久东京热 | 欧美A片中文字幕| 超碰97亚洲| 麻豆美女丝袜人妻中文| 立川理惠被中出无码| 成年女人黄网站| 日韩av一级黄片| 色久综合| 综合网~91综合网| 久久超碰av在线| 69一区二区三区 | 婷婷丁香久久| 天天操女人| 91久久堂| 亚洲资源吧| 一级黄色性爱裸体视频| 亚洲阿v天堂无码z2018| 日韩Va亚洲va欧美Ⅴa久久| 少妇超碰在线| aaa淫乱视频| 国产后入式在线观看| 欧美亚洲高清| 熟女六十路| 欧美亚州综合图片| 欧美丝袜中文字幕07在线| 岛国黄片网站| 婷婷色在线| 欧美成人色| 天天噜| 国产又操| 久久亚洲人妻| 又粗又长又大国产不卡| www.狠狠操| 欧美成人综合| 国产老太乱伦一区| 免费精品99| 久热99999| 黄色毛片A片| 夜草欧美| 亚洲一二三四区| 婷婷久热| 四虎影视国产精品| 精品久久久久av影院| 三上制服丝AV| 操逼无码操逼| 一区麻豆 高清中文字幕| 老司机福利青青草| 九九热在线精品视频| 美女黄色91| 天天干天天插| 97伊人| 亚洲男人天堂Av| 午夜在线播放| 亚洲91极品| 日本潮催一卡操| 国产精品高潮久久AV| 色一色综合网| 999熟女精品| 日韩性爱网址| 国产9熟妇视频网站| 天天射,天天操,天天爽-国内精品一区二区三区-成人AV | 青草av在线| 欧美日韩制服| 五月丁香| 人人搞人人插人人操| 精品一久久久| 99热只有这里有精品| 日本欧美不卡| 97视频在线免费看| 综合 欧美 亚洲 日本| 97草草| 女优免费一区二区永久| 一本久道在线综合视频| 欧美激色| 美女露胸露屁股| 美女尤物人人操| 麻豆天美在线| 韩日精品福利视频一区不卡在线免| 國產尤物AV尤物在線觀看| 先锋女优在线观看视频| 99国产精品免费| 91色久| 综合 欧美 亚洲 日本| 色综九九九一区| 欧美老妇综合网| 伊人色综合网电影| 91丨豆花丨熟女| 亚洲欧美电影| 欧美综合自拍亚洲综合图| 天天看天天综合成人网| 亚洲中文字幕av| 精品人妻一区二区视频| 美女被啪到深处抽搐视频| 91久久久老司机| 亚洲色欲一区二区三区| 九月婷婷久久| 一级久久性爱视频| 人人操人人搞人人草| 日本性感人妻91| 中文字幕第2页| 新怡红院| 老司机福利社视频在线观看| 久久女同性恋一二区| 久久久久性熟视频| 亚洲精品丝袜-不卡成人免费……| 日韩女模中文造逼| 三级片网站在线播放| 久久久免费一级黄片| 337p大胆噜噜噜噜噜91Av| 国产AV激情无码久久无码| 国产高清在线观看欧美| 国产亚洲精品美女久久久久久2021| 91丨九色丨国产丨人妻在线| 国产中文精品一区二区在线观看| 999久久久免费精品国产牛牛| 啊啊啊啊网站| 欧美精品三区| 俄罗斯一区二区视频在线观看| 伊人黄色片| 日本丝袜人妻内射| 色香色欲天天综合网天天来吧| 欧美色综合影院| 丝袜熟女2P| 亚州色国| 91精品国产91熟女| 精品无码久久久久久久久果冻糖心| 手机在线中文字幕国产| 久9精品| 精品久久久不卡一区二区| 97看操| 国产精品亚洲日韩骚欢乐谷最新地址发布页huanieguty性屋娱乐妖精视频 | 久久久亚洲| 亚洲日韩美女丝袜美腿人妻视频| 91热| 亚洲久久久久| 精品三级在线专区| 日本人妻中文字幕精品| 天天插夜夜操| 国产第25页在线观看| 一区二区影院| 国产67194| 蜜色网色哟哟| 亚洲色图欧美色图制服丝袜| 亚洲网自拍| 98福利在线视频| 91精品国产长腿丝袜美女| 亚洲丝袜在线观看| 亚州熟女乱伦| 中文字幕在线免费观看视频| 亚洲色五月| 97在线青| 欧成人精品H无码| 26uuu性| 九月婷婷| 久久綜合很很很| 97超色| 超清福利精品视频在线| 欧美综合区| 精精夜夜| 日韩BBN| 少妇啪啪自拍| 91久久久久免| 伊人在线大香蕉视频久久| 狠狠婷婷亚洲中文综合久久| 国产精品一级毛片不卡视| 色欧美天天| 午夜九九| 亚洲国产婷婷在线播放| 任你草| 大香蕉啪啪啪啪在线| 成人性爱免费播放| 五月天激情小说| 少妇色综合| 欧美成熟性爱精品| 五月丁香| 天天亚洲| 久久国产三区| 丰满少妇一区二区三区免费看| 秋霞一级视频在线观看免费| 日本最新1区2区3区| 91人精品妻入口| 麻豆国产原创AV色哟哟| 天天日天天干天天摸天天操| 国产欧美精选自拍一区| 日本97久久久精品| 国产精品久久久久久久久久梁医生| 欧美在线伊人色| 亚洲黄色视频在线观看视频| 日韩精彩免费| 超碰97人妻免费在线| 91九九九逼| 国产精品一级毛片不卡视| 99re在线视频国产| 男人的天堂一区三区| 我爱搞逼综合网| 大香蕉乱伦视频网| 亚洲91在线| 蜜奶av| 人人操我人人干| 国产精品高朝久久久久久久| 国产亚洲精品美女久久久m| 欧美综合色,www| 久久天天躁日日躁狠狠躁| 午夜福利国产欧美日韩夜夜| 欧美人妻色| 中文字幕一区二区三区视频播放| 亚洲国产综合图区中文字幕| 亚洲一区中文字幕久久,果冻传媒一区二区天美传媒 | 日本顶级天天操狠狠操夜夜操中文字幕| www.av在线视频| 激情小说亚洲图片| 国产精品久久久久综合| 国产精品无码av| 入口操逼网站| 精品国产精品一区二区| 91超级碰| 天天看综合网| 精品乱子一区二区三区99| 青久操| 欧美熟女丝袜| 中文字幕乱妇免费视频| 丝袜美腿亚洲| 中文人妻av高清一区| 青娱乐亚洲自拍| 国产在线精品偷| 日夜啪电影| 亚洲一级性爱视频免费看| 中文字幕一二三区| 在线欧美69V免费观看视频| 天天网综合| 日日爱99| 成·人免费午夜在线观看| 亚洲交性| 91欧美亚洲| 日韩一性一交一A片俄罗斯| 天天激情干| 中国操逼无码| 青青欧美| 9999九九九久久久| 爆乳免费黄网站| 青青草日韩无码| 午夜精品久久久久久久男人的天堂 | 日韩人妻无码不卡网站| 欧美爱国产综合、| 欧美劲爆第一页| 啊啊啊草死我| 强奸抽插av| 2020中文在线一区二区三区| 亚洲熟女性高潮久久久| 日韩欧美一级特黄大片| 91操人| 99久久综合| 男人的天堂kva| 欧美成人免费在线观看| 欧美操逼熟女| 精品久久一区二区三区四区五区| av72网| 欧美美逼| 嗯~啊~轻一点 视频| 亚洲色图 欧美热图 清纯唯美 另类自拍 | 午夜福利成人免费视频| 欧差乱伦二三| 99热在线观看| 亚洲国产中文字幕| 97在线观| 日韩不卡在线一区二区| 26uuu国产| 天天天干977| 99国产精品视频尤物| 日本操嫩b网| 国产懂色精品国产av| 日本岛国黄色网址| 日韩有码一区三区| 亭亭在线资源| 欧美日韩小说| 一级A片女人高潮叫床| 天天干天天日天天射黄色| 亚洲一区二区专区-国产丝袜精品丝袜-成人AV | 丁香五月天堂网| 美女天天干| 欧美网站免费| 色踪合AV| 人、人、摸,人、人、草| 传媒免费一区二区三区| 内射小黄片| 91挑色欧美| 欧美αv.com| 亚洲欧美日韩电影网站一区 | 亚洲一区二区在线观看91| 嗯嗯啊啊视频在线看| 91亚州| 日韩在线AB| 人妻偷拍一区二区三区| 精品免费国产二区三区| 久久天天艹| 久久久久久少妇| 久久男女激情视频网站| 熟女熟妇一区二区三四区| 婷婷五月天福利| 成年无码动漫av片无尽在线| 成人综合视频久久| 国产麻豆福利av在线播放| 日韩中文9| 亚洲性综合9| 中国国产精品一区视频| 中文字幕av片| 午夜天天碰综合视频| 大黄片做爱的大的| 校园春色 亚洲| 日韩影片中文字幕一区二区三区| 中文字幕一区二区三区四区在线视频| 裸体美女久久久| 开心五月天激情网| 国产视频一区二区三区在线免费观看 | 国产日韩在线播放av| 欧美啪啪天堂| 91性生活久久久| 偷窥自拍A片| 人妻中文字幕精品无码| 日韩精品午夜操呦呦不卡影院| 久久久久久久国产| 色色无码| 欧美性爱系列| 精品成人无码| 97国产亚洲中文在线| 日韩综合成人免费视频| 中文字幕女同在线| 天啪| 18啪啪手机免费性爱| 中文字幕黑人大片| 国产精品久久久久久照片| 亚洲成人ab| 午夜综合在线| 久久久久久久久久久久黄色 | 成 人 影视 一区 二区 三区 四区| 欧美黑人熟妇精品91| 亚洲伊人久久精品狠狠在线| 亚洲精品第一| 欧美视频一| 肥佬影院91| 91色s| 1024亚洲中文字幕久在线看片你懂的| 乱伦1色页| 成人小说另类在线| 久久精品国产亚洲AV先锋| 九九操久久国产免费视频| 制服中出中文人人精品| 亚洲综合影片| 久久极品一区二区| 大香蕉九九| 国产激情片在线观看| 口爆吞精在线观看| 凹凸久久人人| 欧美成人AⅤ大片在线观看| 欧美gv在线观看| a片自拍直播视频| 欧美成人A√在线一区二区| 中国AV美女|