日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

Java線程池ThreadPoolExecutor源碼級拆解:原理、參數(shù)與線上排查

Java線程池ThreadPoolExecutor源碼級拆解:原理、參數(shù)與線上排查 聊到 Java 并發(fā)線程池是繞不開的高頻考點。生產(chǎn)環(huán)境的每個高并發(fā)接口、每一條異步消息消費鏈路背后幾乎都是 ThreadPoolExecutor 在撐著。很多人背得出核心參數(shù)、能默寫出四種拒絕策略可一旦遇上詭異問題——比如線程數(shù)漲到最大卻沒人干活、shutdown 后進程卡住不退出、任務明明提交了卻石沉大?!褪譄o策。原因只有一個只記住了 API 表面沒吃透它的實現(xiàn)原理。這篇文章我就帶你把 ThreadPoolExecutor 從源碼層面完整拆一遍。從 ctl 那個“一個變量管兩件事”的設計到 execute 的三次機會、Worker 的任務循環(huán)、五個狀態(tài)的生命周期遷移再到線上排查的真實坑全部講透。適合剛學完 Java 并發(fā)的同學建立完整認知也適合工作了幾年的開發(fā)者排查線程池問題時回來翻一翻搞懂原理之后很多現(xiàn)象其實一眼就能看出根因。1. 從構造參數(shù)看線程池的核心設計1.1 七個參數(shù)如何配合線程才不會“白養(yǎng)”也不會“爆倉”先看最常用的構造函數(shù)public ThreadPoolExecutor(int corePoolSize, int maximumPoolSize, long keepAliveTime, TimeUnit unit, BlockingQueueRunnable workQueue, ThreadFactory threadFactory, RejectedExecutionHandler handler)七個參數(shù)各管一塊理解它們是入門的第一道坎。corePoolSize核心線程數(shù)。這些線程是線程池的“常住人口”即使空閑也不會被回收除非你把 allowCoreThreadTimeOut 設為 true。任務還沒來的時候默認不會提前創(chuàng)建只有提交第一個任務時才逐步創(chuàng)建。maximumPoolSize最大線程數(shù)。線程池允許同時存在的線程數(shù)量上限超出這個數(shù)新任務只能走拒絕策略。keepAliveTime unit非核心線程的空閑存活時間。當線程數(shù)超過 corePoolSize多出來的“臨時工”空閑超過這個時間就會被回收。這個參數(shù)很容易踩坑因為默認情況下核心線程不受 keepAliveTime 控制。workQueue任務緩沖隊列。核心線程全忙時新任務先進隊列等待而不是立刻建新線程。threadFactory線程工廠??刂凭€程命名、是否守護、優(yōu)先級等。生產(chǎn)環(huán)境強烈建議自定義否則日志里全是 pool-1-thread-1排查問題非常痛苦。handler拒絕策略。隊列滿了且線程數(shù)也達到上限時新任務觸發(fā)拒絕策略。這七個參數(shù)內(nèi)部是有明確的協(xié)作順序的很多人在這里記反了一個關鍵點——核心線程滿后不是“立刻膨脹到最大線程數(shù)”而是先排隊。只有隊列也滿了才會去創(chuàng)建非核心線程。如果非核心線程也達到上限才會觸發(fā)拒絕策略。我常用一個營業(yè)廳模型來理解核心線程是固定柜臺隊列是等候區(qū)非核心線程是臨時加開的柜臺。固定柜臺全在辦業(yè)務客戶先去等候區(qū)排隊等候區(qū)滿了才加開臨時柜臺臨時柜臺也滿了再有客戶進門就只能拒絕服務。這個模型對應代碼邏輯幾乎一一匹配后面第 2 章會看到 execute 方法本身就是按這個順序寫的。1.2 看懂 ctl 這個魔法變量一個值同時保存狀態(tài)和線程數(shù)在進入 execute 之前必須先認識線程池里最核心的字段ctl。它是個 AtomicInteger但只用了一個 int 就同時保存了兩個信息——線程池運行狀態(tài)runState和工作線程數(shù)workerCount。private final AtomicInteger ctl new AtomicInteger(ctlOf(RUNNING, 0)); private static final int COUNT_BITS Integer.SIZE - 3; // 29 private static final int CAPACITY (1 COUNT_BITS) - 1; // 2^29 - 1 private static int runStateOf(int c) { return c ~CAPACITY; } private static int workerCountOf(int c) { return c CAPACITY; } private static int ctlOf(int rs, int wc) { return rs | wc; }設計是這樣的高 3 位存 runState低 29 位存 workerCount。所以 workerCount 的理論上限是(1 29) - 1約 5 億實際開發(fā)中幾乎不可能觸頂addWorker 里的 CAPACITY 判斷只是留個安全邊界。為什么這么設計核心原因是“原子性”。線程池的狀態(tài)和線程數(shù)經(jīng)常需要同時變化比如 shutdown 時把狀態(tài)從 RUNNING 改成 SHUTDOWN同時希望線程數(shù)不被干擾。如果分兩個字段就得加鎖保證一致性合成一個 int 放進 AtomicInteger一次 CAS 就能同時修改兩部分性能和安全兼顧。五個狀態(tài)的具體值也很講究狀態(tài)數(shù)值行為說明RUNNING-1 29負數(shù)接收新任務處理隊列任務SHUTDOWN0不接收新任務但繼續(xù)處理隊列任務STOP1 29不接收新任務不處理隊列任務中斷所有線程TIDYING2 29所有任務已結束workerCount 為 0即將執(zhí)行 terminated()TERMINATED3 29terminated() 執(zhí)行完畢徹底結束注意一個反直覺的細節(jié)RUNNING 是負數(shù)所以狀態(tài)之間的數(shù)值比較是RUNNING SHUTDOWN STOP TIDYING TERMINATED。源碼里大量使用runStateLessThan(c, STOP)或runStateAtLeast(c, STOP)這類判斷本質上就是利用這個單調(diào)遞增的數(shù)值鏈來做范圍判斷??炊@個后面讀源碼就能順下來。2. 任務提交的完整鏈路execute 的三次機會2.1 源碼級拆解 execute核心線程、隊列、非核心線程的優(yōu)先級任務提交的入口是 execute 方法submit 底層也會轉到這里。JDK 1.8 的源碼非常緊湊邏輯全部濃縮在幾行里public void execute(Runnable command) { if (command null) throw new NullPointerException(); int c ctl.get(); // 第一次機會核心線程未滿 if (workerCountOf(c) corePoolSize) { if (addWorker(command, true)) return; c ctl.get(); } // 第二次機會線程池還在運行嘗試入隊 if (isRunning(c) workQueue.offer(command)) { int recheck ctl.get(); if (!isRunning(recheck) remove(command)) reject(command); else if (workerCountOf(recheck) 0) addWorker(null, false); } // 第三次機會隊列滿了嘗試創(chuàng)建非核心線程 else if (!addWorker(command, false)) reject(command); }逐個拆開看。第一次機會只要當前工作線程數(shù)小于 corePoolSize就直接 addWorker(command, true)創(chuàng)建核心線程并立刻執(zhí)行任務。這里有個細節(jié)如果 addWorker 失敗比如線程池剛好被 shutdown需要重新讀取 ctl因為剛才的 c 已經(jīng)過期了。第二次機會核心線程滿了進入隊列。入隊前要判斷線程池是否還在 RUNNING 狀態(tài)只有運行中才允許入隊。入隊成功不等于萬事大吉緊接著有一個 recheck雙重檢查。這個 recheck 非常關鍵因為入隊和 recheck 之間線程池可能被另一個線程調(diào)用了 shutdown此時池狀態(tài)變了但任務已經(jīng)進了隊列如果不做處理這個任務可能永遠等不到執(zhí)行。所以發(fā)現(xiàn)狀態(tài)已經(jīng)不是 RUNNING就調(diào)用 remove(command) 把任務從隊列移除然后走拒絕策略。recheck 里還有個隱藏邏輯如果 recheck 時發(fā)現(xiàn) workerCount 為 0需要 addWorker(null, false) 補一個非核心線程。為什么因為可能出現(xiàn)了“共享池但核心線程全部退出”的極端情況比如啟用了 allowCoreThreadTimeOut如果不補線程隊列里的任務就永遠沒人消費了。第三次機會入隊失敗說明隊列滿了此時嘗試 addWorker(command, false) 創(chuàng)建非核心線程。如果這也失敗說明線程數(shù)已經(jīng)達到 maximumPoolSize只能 reject。整個流程非常清晰地體現(xiàn)了線程池的哲學能復用核心線程就復用復用不了就緩沖緩沖不下才擴編擴編還不行就拒絕。我建議讀者把 execute 這段源碼背下來面試手撕題和實際排查都會用到。2.2 addWorker 的雙重校驗與線程啟動細節(jié)addWorker 是真正干活的地方。這個方法做了兩件事先通過 CAS 把 workerCount 加上去再創(chuàng)建 Worker 對象、啟動線程。源碼較長核心骨架如下private boolean addWorker(Runnable firstTask, boolean core) { retry: for (;;) { int c ctl.get(); int rs runStateOf(c); // 第一道攔截狀態(tài)不允許 if (rs SHUTDOWN !(rs SHUTDOWN firstTask null)) return false; for (;;) { int wc workerCountOf(c); if (wc CAPACITY || wc (core ? corePoolSize : maximumPoolSize)) return false; if (compareAndIncrementWorkerCount(c)) break retry; c ctl.get(); if (runStateOf(c) ! rs) continue retry; } } // 之后是創(chuàng)建 Worker、加鎖、再次檢查、啟動線程 ... }第一道攔截判斷池狀態(tài)如果已經(jīng) SHUTDOWN 以上通常不允許再創(chuàng)建線程。但保留了一個特例——rs SHUTDOWN firstTask null也就是允許在 SHUTDOWN 狀態(tài)下創(chuàng)建一個“空轉線程”。這是為了處理 2.1 里那種 workerCount 為 0 但隊列還有任務的情況線程池必須允許補一個線程去把剩余任務消費完。第二道攔截判斷線程數(shù)不能超過 CAPACITY也不能超過 corePoolSize 或 maximumPoolSize根據(jù) core 參數(shù)選擇。CAS 失敗就重試如果期間線程池狀態(tài)變了就跳回 retry 重新做狀態(tài)檢查避免用舊狀態(tài)做出錯誤判斷。創(chuàng)建 Worker 并啟動線程的部分也很講究。拿到 Worker 和 thread 之后需要加 mainLock 鎖。這個鎖的作用是保護 workers 集合同時保證與 shutdown 的 interruptIdleWorkers 操作互斥。加鎖后還要再檢查一次池狀態(tài)確認沒有在創(chuàng)建期間被 shutdown 或 stop確認安全才 t.start() 啟動線程。這里有個小細節(jié)如果 t.start() 因為 ThreadFactory 返回的線程為 null 或啟動異常addWorker 會把已經(jīng)加上的 workerCount 回滾并把 Worker 從集合移除。所以 addWorker 失敗時線程池的線程數(shù)不會虛高。提示很多人以為 addWorker 只是“new 一個線程然后 start”其實它做了狀態(tài)校驗、CAS 計數(shù)、加鎖、二次校驗、啟動、異?;貪L六件事。只記住一個“創(chuàng)建線程”是遠遠不夠的。3. Worker 線程的運作模型用任務循環(huán)理解整個生命周期3.1 為什么 Worker 要繼承 AQS不可重入鎖的設計意圖Worker 是 ThreadPoolExecutor 的內(nèi)部類同時也是線程池真正“干活”的單元。它本身實現(xiàn)了 Runnable又繼承了 AbstractQueuedSynchronizerprivate final class Worker extends AbstractQueuedSynchronizer implements Runnable { final Thread thread; Runnable firstTask; volatile long completedTasks; }一個很自然的疑問是為什么不直接 new Thread 跑任務非要套一個 Worker 類答案在于 Worker 給它自己裝了一把鎖。這把鎖是不可重入的互斥鎖它和任務執(zhí)行狀態(tài)嚴格綁定執(zhí)行任務前 lock執(zhí)行完 unlock。外部代碼通過 tryLock 就能判斷這個 worker 是否空閑。這個判斷是 shutdown 機制的核心???interruptIdleWorkers 的實現(xiàn)邏輯for (Worker w : workers) { Thread t w.thread; if (!t.isInterrupted() w.tryLock()) { try { t.interrupt(); } finally { w.unlock(); } } }tryLock 成功說明 worker 當前沒有在跑任務鎖是空閑的可以安全中斷tryLock 失敗說明它正在執(zhí)行任務不能中斷否則會把一個正在跑的業(yè)務邏輯打斷。為什么不用 ReentrantLock關鍵在于“不可重入”。如果換成可重入鎖同一個線程在持有鎖的過程中再次獲取鎖也能成功那 tryLock 就無法準確反映“該 worker 是否正在執(zhí)行任務”。ThreadPoolExecutor 需要的是“已鎖 執(zhí)行中”這個強等價關系所以 JDK 特意用 AQS 實現(xiàn)了一個非重入鎖而不是直接復用 ReentrantLock。Worker 還有一個很隱蔽的初始化細節(jié)構造函數(shù)里會 setState(-1)而不是 0。這是為了讓 worker 在真正進入 runWorker 之前不會被 interruptIdleWorkers 誤判為空閑線程給中斷掉。runWorker 一開頭會執(zhí)行 unlock() 把狀態(tài)恢復為 0從此才允許被外部中斷。這個防“搶跑中斷”的設計許多人看源碼都不會注意到但正是它保證了線程初始化期的安全。3.2 runWorker 主循環(huán)與 getTask 的四個出口Worker 啟動后線程就跑進了 runWorker 方法這是線程池工作的主循環(huán)final void runWorker(Worker w) { Thread wt Thread.currentThread(); Runnable task w.firstTask; w.firstTask null; w.unlock(); // 恢復可中斷狀態(tài) boolean completedAbruptly true; try { while (task ! null || (task getTask()) ! null) { w.lock(); // 池處于 STOP 及以上狀態(tài)需要設置中斷標志 if ((runStateAtLeast(ctl.get(), STOP) || (Thread.interrupted() runStateAtLeast(ctl.get(), STOP))) !wt.isInterrupted()) wt.interrupt(); try { beforeExecute(wt, task); Throwable thrown null; try { task.run(); } catch (RuntimeException x) { thrown x; throw x; } catch (Error x) { thrown x; throw x; } catch (Throwable x) { thrown x; throw new Error(x); } finally { afterExecute(task, thrown); } } finally { task null; w.completedTasks; w.unlock(); } } completedAbruptly false; } finally { processWorkerExit(w, completedAbruptly); } }主循環(huán)的邏輯是先拿 firstTask拿不到就阻塞等待 getTask() 從隊列取任務。拿到任務后 lock設置中斷狀態(tài)如果池已 STOP執(zhí)行任務前后調(diào)用 beforeExecute / afterExecute 鉤子任務結束后統(tǒng)計 completedTasks 并 unlock。循環(huán)直到 getTask 返回 null最后進入 processWorkerExit 收尾。如果任務執(zhí)行拋出了 RuntimeException 或 Error會直接向上拋導致線程退出。這看起來可怕但線程池有補救機制processWorkerExit 會在 finally 中檢測到 completedAbruptly 為 true然后補充一個新 Worker。所以單次任務的異常不會把線程池打到“沒人可用”的狀態(tài)反而會自動換一個線程繼續(xù)扛活。getTask 是決定 worker 生死的取任務邏輯它一共有四個出口。第一個出口池狀態(tài)已經(jīng) SHUTDOWN 且隊列為空或者池狀態(tài)已經(jīng)達到 STOPgetTask 直接返回 null。此時線程退出線程池進入“收拾尾聲”的階段。第二個出口workerCount 大于 maximumPoolSize。這個情況通常發(fā)生在運行時調(diào)用 setMaximumPoolSize 把上限調(diào)小了多出來的線程需要盡快退出。第三個出口超時未取到任務。timed allowCoreThreadTimeOut || wc corePoolSize當線程數(shù)超過核心數(shù)、或允許核心線程超時時用workQueue.poll(keepAliveTime)等待超時拿不到任務就返回 null。這里有一個安全條件wc 1 || workQueue.isEmpty()也就是說池里最后一個線程在隊列非空時不能因為超時退出否則隊列里剩下的任務就沒人處理了。第四個出口被中斷。線程在 take 或 poll 時被 interrupt 后會回到循環(huán)頂部重新檢查狀態(tài)如果碰上池已經(jīng) SHUTDOWN就會走第一個出口退出。這也是 shutdown 后所有線程能陸續(xù)結束的原理。核心線程能不能被回收就藏在這個 getTask 里。默認情況下allowCoreThreadTimeOut false核心線程走workQueue.take()無限期阻塞永遠等待任務所以不會被回收。只有顯式開啟 allowCoreThreadTimeOut核心線程才會變成“臨時工”享受同樣的超時回收待遇。這個參數(shù)要謹慎開啟它改變了線程池“保持核心線程常駐”的語義但也避免了低峰期線程白白占內(nèi)存。4. 線程池狀態(tài)機從 RUNNING 到 TERMINATED 的完整遷徙4.1 五種狀態(tài)各自的權限與遷移路徑前面列了五個狀態(tài)的數(shù)值這里再從行為角度梳理一遍它們在“接收新任務、處理隊列任務、中斷線程”三個維度上的權限差異狀態(tài)接收新任務處理隊列任務中斷工作線程RUNNING允許允許否SHUTDOWN拒絕允許只中斷空閑線程STOP拒絕拒絕中斷所有線程TIDYING拒絕拒絕已無線程TERMINATED拒絕拒絕已結束狀態(tài)遷移路徑只有五條RUNNING - SHUTDOWN調(diào)用 shutdown()RUNNING 或 SHUTDOWN - STOP調(diào)用 shutdownNow()SHUTDOWN - TIDYING隊列已空workerCount 為 0STOP - TIDYINGworkerCount 為 0TIDYING - TERMINATEDterminated() 鉤子執(zhí)行完畢真正推動狀態(tài)從 SHUTDOWN/STOP 走到 TIDYING 的核心方法是 tryTerminate。它的判斷邏輯很精巧for (;;) { int c ctl.get(); // 運行中直接返回已終止也返回 // SHUTDOWN 且隊列非空說明任務還沒消費完不能終止 if (isRunning(c) || runStateAtLeast(c, TIDYING) || (runStateOf(c) SHUTDOWN !workQueue.isEmpty())) return; // 還有存活線程中斷一個空閑線程推動其退出 if (workerCountOf(c) ! 0) { interruptIdleWorkers(true); return; } // 線程數(shù)為 0CAS 到 TIDYING執(zhí)行 terminated()然后置 TERMINATED ... }注意 workerCount 不為 0 時它不會傻等而是中斷一個空閑線程讓這個線程在 getTask 的下一次循環(huán)里發(fā)現(xiàn)狀態(tài)變化而退出從而逐步收斂到 0。這就是“中斷一個空閑線程”代替“阻塞等待所有線程結束”的推進策略避免 tryTerminate 被卡死。4.2 shutdown 與 shutdownNow優(yōu)雅關閉和強制關閉的區(qū)別這兩個方法名字像語義差別非常大實際使用中經(jīng)常被搞混。shutdown 走的是 SHUTDOWN 狀態(tài)它只做三件事狀態(tài)改為 SHUTDOWN、中斷所有空閑線程、執(zhí)行 onShutdown 鉤子。注意它不會中斷正在執(zhí)行任務的線程也不會清除隊列里尚未執(zhí)行的任務。也就是說調(diào)用 shutdown 之后線程池會像一個已經(jīng)下班但還留在工位上把手頭活兒干完的同事把隊列里的任務全部處理干凈才進入終止流程。shutdownNow 則完全不同。它把狀態(tài)直接推到 STOP然后中斷所有線程最后把隊列中還沒執(zhí)行的任務 drain 出來作為 List 返回。調(diào)用方拿到這個 List就能知道哪些任務“還沒干成”可以自行處置。維度shutdownshutdownNow移入的狀態(tài)SHUTDOWNSTOP未開始的任務繼續(xù)處理返回未執(zhí)行列表不再處理正在執(zhí)行的任務不中斷讓它跑完發(fā)送中斷信號是否能強制終止任務否否任務需響應中斷最后一點值得強調(diào)shutdownNow 的“中斷所有線程”只是給線程發(fā)送中斷標志。如果任務代碼不檢查中斷標志、不響應 InterruptedException正在執(zhí)行的 run 方法照樣會跑完。很多“shutdownNow 之后池子還在跑”的疑問根因就在這里——任務本身不配合中斷。4.3 鉤子方法、awaitTermination 與監(jiān)控擴展ThreadPoolExecutor 留了三個擴展點beforeExecute、afterExecute、terminated。默認它們都是空實現(xiàn)子類重寫后可以實現(xiàn)很多實用功能。beforeExecute 在任務執(zhí)行前調(diào)用可以記錄任務開始時間、往 ThreadLocal 寫入交易號afterExecute 在任務執(zhí)行后調(diào)用哪怕任務拋了異常也會進入這里異常信息放在第二個參數(shù) thrown 里是最可靠的“任務異常觀測點”。terminated 則在池走完 TIDYING 后、變成 TERMINATED 前執(zhí)行適合做資源清理、記錄最終統(tǒng)計指標。awaitTermination 是等待池終止的利器。調(diào)用 shutdown 之后如果想確認線程池真的結束了再去做后續(xù)操作可以用它做超時等待返回 true 表示池已經(jīng)進入 TERMINATED返回 false 表示超時仍未結束。生產(chǎn)環(huán)境的應用關閉流程基本標配就是 shutdown awaitTermination 超時后的強制兜底。提示重寫 beforeExecute/afterExecute 時不要拋異常。尤其是 beforeExecute 一旦拋異常任務本身不會執(zhí)行而且 worker 會直接退出處理起來異常麻煩。5. 參數(shù)調(diào)優(yōu)與實戰(zhàn)推演隊列、拒絕策略和線程數(shù)怎么配5.1 核心線程數(shù)到底該設多少從公式到壓測線程數(shù)設多少是 ThreadPoolExecutor 配置里最玄學的問題。網(wǎng)上流傳兩個通用公式CPU 密集型設 N1N 是 CPU 核數(shù)IO 密集型設 N * (1 等待時間 / 計算時間)。這兩個公式能用但只能作為起點。原因很簡單真實業(yè)務很少是純 CPU 或純 IO中間還有鎖競爭、GC、網(wǎng)絡抖動公式算出的數(shù)大概率不是最優(yōu)值。我更建議按這個思路落地先估算單任務的平均計算耗時和平均等待耗時代入 IO 密集型公式得出一個初始線程數(shù)然后把隊列長度設為“在目標響應時長內(nèi)最多能積壓的任務數(shù)”最后用壓測工具逐步加壓觀察三個核心指標——activeCount 是否穩(wěn)定、queueSize 是否持續(xù)上漲、有沒有拒絕異常。如果 activeCount 還沒到 max 就開始拒絕說明隊列太短或線程數(shù)偏低如果 queueSize 一直漲但 activeCount 很低說明任務在等鎖或者線程在空轉。還有一個很容易被忽視的維度線程不是越多越好。超過一定數(shù)量后CPU 上下文切換開銷會吃掉并發(fā)紅利線程內(nèi)存占用每個線程默認棧約 1MB也會成為隱性成本。生產(chǎn)環(huán)境寧可把線程數(shù)調(diào)得保守一點靠有界隊列和拒絕策略做防護也不要一次性把 maximumPoolSize 拉滿。5.2 隊列選型與四種拒絕策略的本質隊列決定了線程池的“緩沖能力”選錯隊列參數(shù)調(diào)得再合理都可能失效。四種常見隊列各有脾性隊列特性適用場景ArrayBlockingQueue有界固定容量底層數(shù)組生產(chǎn)環(huán)境默認首選能兜底限流LinkedBlockingQueue默認容量無限可指定容量無界時吞吐穩(wěn)定但任務積壓會占滿內(nèi)存SynchronousQueue不存任務直接交接給線程配合 CachedThreadPool線程按需飆升PriorityBlockingQueue無界按優(yōu)先級出隊需要任務優(yōu)先級時使用但仍要防堆積一個重要的認知如果隊列是無界的maximumPoolSize 其實形同虛設。因為隊列永遠不會滿execute 的第三次機會永遠走不到非核心線程也就不會被創(chuàng)建任務只會越積越多直到內(nèi)存撐爆。所以生產(chǎn)環(huán)境一定要優(yōu)先有界隊列給線程池一個明確的“承載力邊界”。拒絕策略有四種內(nèi)置實現(xiàn)外加自定義方案AbortPolicy默認策略直接拋 RejectedExecutionException。好處是錯誤明顯壞處是調(diào)用方?jīng)]有心理準備容易崩。CallerRunsPolicy誰提交誰執(zhí)行。提交任務的線程親自把任務跑掉等于把壓力傳導回去天然形成背壓而且不丟任務。我比較偏愛這個策略。DiscardPolicy靜默丟棄。適合日志、打點這類允許丟的任務但丟之前最好在自定義 handler 里記一條告警。DiscardOldestPolicy丟棄隊列里最早的任務再嘗試提交新任務。適合不介意丟舊任務、只要新任務的場景。實際項目中重要業(yè)務任務我一般用 CallerRunsPolicy防止高峰直接拋異常導致接口 5xx非核心的埋點、日志用 DiscardPolicy 并配告警對賬、訂單這類絕對不能丟的任務則自定義 handler把失敗任務寫入本地緩沖由補償任務重放。5.3 提交20個任務推出的完整走向理論講再多不如推演一遍。假設 corePoolSize2maximumPoolSize5workQueue 容量為 10連續(xù)提交 20 個任務逐條跟蹤提交序號線程池行為當前線程數(shù)隊列長度1創(chuàng)建核心線程執(zhí)行102創(chuàng)建核心線程執(zhí)行203入隊等待214~12繼續(xù)入隊22~1013隊列滿創(chuàng)建非核心線程執(zhí)行31014繼續(xù)創(chuàng)建非核心線程41015~17繼續(xù)創(chuàng)建非核心線程51018~20線程數(shù)已達 5隊列已滿觸發(fā)拒絕策略510這個推演暴露了一個容易混淆的點任務 3 到任務 12 這 10 個任務并沒有立刻執(zhí)行而是全部進了隊列等待。只有當隊列滿到第 11 個任務塞不進去時線程池才開始把線程數(shù)從 2 往 5 擴。所以觀察線上線程池的 activeCount 時如果看到它長期小于 corePoolSize說明任務量根本沒打滿如果等于 corePoolSize 且 queueSize 在漲說明隊列在承擔緩沖壓力只有 queueSize 頂滿activeCount 才開始往 max 漲。如果隊列換成無界 LinkedBlockingQueue那整個推演在任務 3~20 都會停在“入隊等待”線程數(shù)永遠是 2。這就是無界隊列掩蓋 maximumPoolSize 的原因。理解這個推演配置參數(shù)時就能少走很多彎路。6. 線上排查實錄高頻問題與避坑指南6.1 線程數(shù)漲滿但隊列為空先看是不是 SynchronousQueue我見過一個很典型的案例某服務配置了 SynchronousQueue 和很大的 maximumPoolSize高峰期線程數(shù)直接沖到幾百CPU 被打滿接口超時率飆升。排查時先看隊列發(fā)現(xiàn) queueSize 永遠是 0——這不是“沒有任務排隊”而是 SynchronousQueue 本身就不排隊。SynchronousQueue 的語義是“生產(chǎn)者直接把任務交給消費者線程”沒有中間緩沖。任何提交進來的任務都會立刻觸發(fā) addWorker 創(chuàng)建線程線程數(shù)自然容易一路頂?shù)?maximumPoolSize。它非常適合線程可快速創(chuàng)建銷毀、任務量波動大的場景但要求 maximumPoolSize 必須設得克制同時做好限流。如果業(yè)務需要穩(wěn)定的緩沖和削峰SynchronousQueue 就是錯誤選擇。遇到線程數(shù)異常上漲第一反應應該是去看線程池用的是哪種隊列、max 設多大再配合線程棧確認線程都在干什么。別一上來就猜業(yè)務問題很多“并發(fā)異?!逼鋵嵤蔷€程池配置與業(yè)務模型不匹配。6.2 execute 與 submit 的異常差異靜默失敗的高發(fā)區(qū)execute(Runnable) 和 submit(Callable/Runnable) 都能提交任務但異常處理路徑完全不同這是線上“任務靜默失敗”的高發(fā)原因。execute 提交的任務如果拋出 RuntimeException異常會直接冒出 runWorker導致當前 worker 線程退出。線程池感知到異常后processWorkerExit 會補一個新線程進來。這個異常會打印到 System.err但對業(yè)務代碼來說幾乎是透明的——你沒有辦法在提交方捕獲它唯一可靠的觀測點是重寫 afterExecute。submit 則不同。任務被包裝成 FutureTask異常會被 FutureTask 內(nèi)部捕獲并存起來提交方必須調(diào)用 future.get() 才能拿到 ExecutionException。如果沒人調(diào) get這個異常就被吞得干干凈凈日志里什么都看不到。所以我的建議是異步任務要么統(tǒng)一走自定義 handler afterExecute 記錄異常要么全部用 submit 并且及時處理 Future。不要混用 execute 和 submit否則排查問題時你不知道哪個任務在哪一層丟了異常。尤其是批量異步任務提交后一定要集中等待 Future 完成并對異常做分類處理。6.3 線程池關不上的兩個陷阱泄漏與退出卡住線程池“關不上”是另一個高頻問題常見原因有兩個。第一是線程池泄漏。比如在方法里每次請求都 new 一個 ThreadPoolExecutor執(zhí)行完既不 shutdown也沒有把實例放進容器管理。時間一長線程數(shù)不斷累積內(nèi)存和句柄都被耗盡。這種問題用 jstack 看線程名最明顯——大量同類前綴的線程堆在等待隊列的 take 上。解決方式是讓線程池全局單例由 Spring 容器或靜態(tài)字段管理生命周期而不是每次用都新建。第二是退出卡住。應用要關閉線程池調(diào)了 shutdown 但進程一直不退出。常見原因有兩種池里還有線程在跑長任務或者隊列里還有大量任務沒消費完。shutdown 本來就會等待這些任務完成如果業(yè)務本身沒有結束點進程就會一直掛著。正確做法是使用 shutdown awaitTermination 組合等待超時后對未完成任務做兜底比如取消、落庫再配合應用關閉鉤子統(tǒng)一處理。另外ThreadFactory 會把線程創(chuàng)建成非守護線程如果池不關閉JVM 也會因為存在非守護線程而拒絕退出。6.4 問題定位速查表把高頻問題整理成一張速查表排查時直接對著看能省不少時間現(xiàn)象可能原因檢查方法處理建議線程數(shù)漲到最大但隊列空使用了 SynchronousQueue打印隊列類型與 activeCount換有界隊列或調(diào)低 max任務被大量拒絕隊列滿 線程滿看拒絕策略異常次數(shù)增加隊列容量或調(diào)大 max否則換 CallerRunsPolicy核心線程不斷被回收allowCoreThreadTimeOut 被開啟檢查配置項按業(yè)務決定是否關閉此選項提交后長時間不執(zhí)行隊列積壓嚴重查看 queueSize縮短單任務耗時或拆分任務任務異常但沒有日志submit 后未調(diào) get檢查 afterExecute 是否有埋點統(tǒng)一 afterExecute 記錄異常進程退出卡住線程池未優(yōu)雅關閉jstack 看存活線程shutdown awaitTermination 兜底最后說點個人體會。線程池這種東西源碼讀三遍不如自己把狀態(tài)流轉圖畫一遍。我當初就是在紙上把 RUNNING 到 TERMINATED 的路徑、execute 的三次機會、getTask 的四個出口全部畫完才真正把“線程池”三個字從 API 變成模型。學完原理之后要做的第一件事就是去看看生產(chǎn)環(huán)境里線程池的監(jiān)控指標——activeCount、queueSize、completedTaskCount、拒絕次數(shù)這四個數(shù)字組合起來基本能解釋掉絕大多數(shù)線程池疑難雜癥。掌握這套底層邏輯再遇到詭異問題先別猜抓線程棧、看隊列深度、看拒絕計數(shù)根因通常就藏在組合的數(shù)據(jù)里。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
91少妇香蕉久久精品| 国产 码在线成人网站| 97人妻免费中文字幕| 操逼逼无码| av中文字幕在线熟女| 中文字幕-区二区三区四区视频中国| 自拍视频大全亚洲专媒视频/一区二区三区 | 国语精品内射在线观看| 亚州色图第三区| 日韩人人精品| 亚洲强奸乱伦影视网| 欧美熟女激情| 99热99色| 欧美色吧综合| 少妇高潮喷水无套久久久久久| 午夜舔阴达高潮视频免费看| 天天综合网入口~91| 静品嫩模一区二区| 狠狠操官网| 亚洲风情在线观看| 99re免费视频精品全部| 婷婷爽人人婷婷爽视频| 亚洲 无码 有码 中文字幕| 亚洲 欧美 中文 日韩超碰| 免费看A片毛毛片在线播| 96精品久久久久久久久久| 丰满熟妇大乳做爰| 亚洲密乳AV| 蜜臀Av一区二区三区| 韩日精品福利视频一区不卡在线免| 旡码电影特区| 精品久久久久9999| 久久久9品一区二区三区| 狠狠综合| 天美传媒国产原创中文字幕亚洲欧美另类 | www.久久最新地址| 草莓精品视频在线免费观看| 大屁股xxxxx| 99这里只有精品国产| 国产高潮AA片免费看| 欧美v亚洲v日韩v最新在线二区| 亚洲熟久久| 欧美综合色,www| 蜜桃网熟妇| 亚洲涩图欧美| 久久久久久久久久久久欧美日| 很黄很污的免费网站| 91久热这里只有精品| 五月天综合网| 久久久久久久久久久人妻| 男人的天堂啪啪啪啪啪蜜桃不卡| 老鸭窝亚洲毛片| 男人天堂日日夜夜| 色悠久久久av| 玖玖爱视频网站| 久久色一区二区| 亚洲国产精品成人综合| 性色高清..……| 网页导航五月天免费一二三区| 97超碰逼| 日韩中文9| 亚州色国| 亚洲成人AB| 欧美天天射| 成人小说另类在线| 一区操逼日比视频| 防屏蔽在线视频| 蜜臀人妻少妇久久在线观看| 国产后入清纯| 欧美精品69性爱| 免费一级黄色录像影片| 五月婷婷五月天| 性色中出| av影院十区| A 天堂| 老熟妇一区二区三区…| 激情综合五月丁香| 99久久9| 中文不卡视频| 日韩综合无码色欲vv| 伊人黄色片| 国产精品欧美日韩久久| 日韩啪啪啪啪啪| 韩国一级做A片免费的| 偷拍 亚洲| 欧美性爱一区| 久久精品免费| 欧美亚性天堂| 91人妻少妇| 午夜精品久久久久久久久久久久久 | 熟女激情综合网| 亚洲伊人久久综合97| 国产日韩手机视频在线| 天天操天天舔| 狠狠夜色午夜久久综合在线| 揉揉日日日日| 亚洲免费成人精品电影| 日韩成人精品中文字幕| 国产第二页| 一本色道熟妇| 最新日韩黄片| 国产av青草| 精品视频一区二区| 色五月婷婷色| 爱妻综合网| 人人妻人人澡人人爽久久av| 欧美一级A片在线看视频性色| 九色97| 99re在线视频国产| 国产精品网址| 亚洲天堂另类小说男人| 美女91AV| 97色碰| 欧美线天码中字| 性无码专区2020| 综合久久中文字幕综合日韩精品| 东京热不卡视频| 精品久久久久久AV无码| 97超碰免费人人性爱| 91人妻PORNY九色大屁股| 少妇三P| 乱伦Av网| 国产精品视频精品一二| 嗯嗯啊啊好疼| 欧美aaaaaaa| 亚洲精品天天影视综合网| 亚洲天天自拍| 亚洲欧美中文日韩视频中国语| 操东北女人| 国产精品九九九| 激情99| 亚洲综合草草| 超碰人人超在线观看| 亚洲伊人久久精品影院| 福利操逼| 日本中文字幕一区| 国产午夜激片Av毛片不卡| 国产不卡中文字幕免费avi| 久久久久亚洲Av无码专区老牛影视| 国产免费永久精品无码| 亚洲情色视频| 绑缚麻绳人妻寝取完整版| 色色香蕉| 日本不卡一区二区三区| 劲爆欧美人妖三区91| 少妇xx精品| 操淫穴亚洲五月丁香 | 天天日夜干| 超碰无码加勒比| 青娱乐手机日韩在线视频| 少妇无码av专区线| 高颜值美女口爆高潮浪叫| 久操大香蕉手机视频在线看| 国产路线专区| 69精品人人人人| 国产一级内射无挡观看| 四虎在线视频| 久操B网| 高清在线不卡一区二区 视频| 大香蕉伊人色偷偷在线| 欧美一级欧美三级在线观看| 国产免a费看黄片在线| 加勒比五月天| 天天爽天天| 五月亭亭六月丁香| 风月影院男女十八禁| 伦激情人妻另类人妻| 操亚州| 国产精品无码论坛| 欧美日本国产日韩激情视频| 一区二区三区高清 | 91精品操美女| 激情综合亚洲| 91干熟女| 四虎国产精品永久入口| 四季av一区二区凹凸精品小说| 色香蕉影院| 欧美色偷偷| 午夜福利一区二区三区四区五区色婷婷| 在线国产一区二区av| 亚洲骚逼少妇| 日日躁天天躁狠狠躁| 日韩精品三区四区| 二色av| 日韩中文字幕国产| 国产中出内射一区二区| 亚洲九九视频| 天堂综合| 亚洲熟女乱熟乱熟妇综合网二区| 日本啊啊啊啊啊视频| 狠狠操综合| 亚洲精品乱码线路中文字幕| 熟妇人妻精品一区二区| 亚洲最大的黄色电影网站。| 天天影视91看看| 久jiu久神马影院| 久热99| 国产精品一区二区三区,亚洲综合| 五月天婷婷社区| 97视频900| 太久视频| 日本黄 R色 成 人网站| 91操熟女| 激情五月天中文字幕色| 加勒比性爱成人在线| 亚洲精品丝袜-不卡成人免费……| 免费一级特黄特色大片在线观看看| 五月丁香激情综合网| 免费看污网站| 99热免费精品| 青青草自拍视频在线播放| 欧美性爱视频免费一区一A| 久久国产AⅤ| 99少妇内射| 蜜桃臀一区二区aV| 婷婷三区| 天天舔天天 | 午夜福利久久久噜久噜久久综合 | 日韩免费av片高清无码| dy888午夜老子影视达达兔| 成年在线视频日本亚洲在线视频区精品江靖宇公司 | 久久久久9| 99视频只有精品| 日本高清一区二区在线| 99热婷婷| 天天综合亚在线| 91美女丝袜诱惑视频| 婷婷五月影院| 亚欧精品久久久久久久久久久| www激情| 亚洲精品影视老司机| 99性爱在线观看| 日韩性爱电影一区| 91久久久久久| 日韩99神马视频播放片在线播放| 亚洲第一二区另类图| 亚洲情色一区二区三区| 久久久久久久久久久久久女过产乱-少妇高潮一区二区三区喷水-成人AV | 另类天堂| 18禁看网站一区| 青草草免费网站av| 亚洲福利中文字幕在线| 精品一区二区三区最新| 9 1超碰九色| 日韩无码服务区| 日日操夜夜操天天操免费观看麻豆| 国产精品美女视频诱惑| 无码最新| 一级黄色影片| 九九热这里只有在线精品视 伊人草 成人菠萝蜜视频在线观看 | 最新国产精品| 国产97视频免费观看| 中文字幕av亚洲在线| 五月香婷婷| 亚州宗合另类| 免费亚洲国产精品久久一区| 最新制服中文第一页| 在线a亚洲视频播放在线| 少妇精品久久| 最新中文字幕精品在线| 日本免费中文一区二区三区四区| 国产一区麻豆免费观看| 亚洲91射| 欧美成年人性爱视频免费观看| 久久久久久精品免费看A级| 69超碰综合| 久悠悠av| 天天干人人乐| 日韩免费看黄片| 床上啊啊啊一区二区三区| 麻豆福利视频导航| 青娱乐国产剧情av一区| 91在线精品| 色诱中文字幕| 天天舔日美女视频| 国产网红精品| 欧美日韩高潮喷水91| 九一性生活免费视频| 日韩在线观看三级电影| 91chinese在线| 熟女一区二区三区| 欧美性爱精品七区| 婷婷五月天成人| 密臀视频一区二区三区| 人人操人人干xxx| 婷婷久久五月| 天天天操天天天爱| 欧美的性爱网站免费| 啊啊啊不要好疼视频| 麻豆性爱视频在线播放| 探花精品 一区二区| 五月婷丁香| 97精品视频在线| 国产精品久久久久久久毛片1| 亚洲色图 欧美热图 清纯唯美 另类自拍| 欧美性五月| 免费看国产曰批40分钟怎么下载| 欧亚第一综合网| 一区二区不卡视| 女人高潮大叫一级毛片| 久久久久深夜无码| 综合操逼| 色九月综合| 免费福利视频中文字幕| 美女91色黄18| 国产一级操B视频| 午夜天堂网| 亚洲欧美色图小说| 色综合久久夜色精品国产天堂| 无码不卡亚洲成?人片| 丁香五月天激情综合| 蜜桃臀一区二区三区久久| 亚洲 日韩 丝袜 熟女 变态| 欧美激情精品久久久| 性爱免费视频成人| 91中出在线| 人妻少妇一区二区| 亚洲中文字幕熟女| 精品性爱久久视频| 国产久久久久久久久一区二区| 国产精品动态一区二区三区四四| 九九色逼| 女沟厕偷窥piss小便| caopeng97| 亚洲午夜未满十八勿入网站日本又色又爽又黄 | 蜜臀AV一区二区三区| 综合久久中文字幕综合日韩精品| 97操碰| 五月丁香大香蕉| 91bbb| 天天做天天爱天天爽AV| 五月激情视频| 91色综合| 国产精品对白自产拍| 操碰97| 免费中文综合精品| 亚洲极品| 97超碰美国| 国产高清精品一区二区三区毛片 | 亚洲成人美女无吗| 91少妇人妻| 久久av网| 丁香五月久久| 精品毛片av一区二区| 麻豆天美在线| 60秒免费小视频| 国产成人免费观看在线视频| 久久精品人妻一区| 国产久久久久影院老熟女| 国产a级午夜毛片| 日韩一级二级在线| 超碰97最新人妻| 麻豆综合一区av| 无码粉嫩白虎一线天b区| 啪啪啪男女亚洲中文字幕99| 午夜一区| 9丨久久九九九| 久操免费观看| 男女性无套 免费九一| 亚洲 小说 欧美 激情 另类| 国产对白刺激视频| 日韩中文字幕视频在线观看| 精品妇女一区二区三区| 亚洲情色一区二区三区| 美女好片色日本| 小说区 图片区色 综合区| 免费av高清无码| 五月天久久久| 欧美色日本| 久久99久久99精品天美传媒棢·纸:. | 日韩欧美综合激情| 日韩97超碰中文字幕| 9久精品视频在线观看| 亚洲熟女综合网| 久欲AV| 日本操大逼| 黄呦呦在线| 青青免费在线视频一区 | 久久精品国产99国产精品亚洲| 婷婷人妻激情| 一区二区激情国产熟女 | 素人伊尹大香蕉免费下载视频| 特级丰满少妇一级AAAA爱毛片| 欧美视频激情久久久久久| 色五月AV| 97超碰69| 国产精品午夜福利亚洲综合网| 亚洲AO在线| 日韩中文字幕人妻视频| 亚洲AV色图一区| 九色视频91| 亚洲国产精品久久AV| 欧美超碰96| 亚洲国产欧美中日韩成人综合视频| 色吊丝 日日骚 清纯唯美| 大香网伊人久久综合| 日韩人妻丝袜中文字幕| 精品一区二区麻豆| 亚洲五月婷婷| 萌白酱自拍视频| 玖玖资源视频一区二区三区| 国产真乱mangent| 韩日巨乳美女免费视频在线观看| 爽 好舒服 无码刺激久久| 中文字幕-区二区三区四区视频中国| 粉嫩不卡一区二区性爱| 婷婷爽人人婷婷爽视频| 国产热av| 天天享受天天看| · —级AA伦aa坐爱午夜极速ⅴA一区天天噪天天噪天天噪 | 国产精品高清2021在线| 97久久天天综合色天天综合色电影| 婷婷激情五月综合| 可以免费观看的日韩av毛片| 啊啊啊好多水| 国内毛片四区| 97久久天天综合色天天综合色电影| 国产欧美一区二区| 日韩操人| 色吧五月| www.人人cao| 人人操,操人人| 欧美强奸乱能| 国产自产一区视频在线| 免费啪啪av| 国产白嫩精品久久| 久久综合精品一区二区三区| 性影在线视频| 国产一区在线看| 超碰在线第一页| 波多野42部激情无码喷潮| 人妻少妇久久中文字幕一区二区 麻豆| 91视频伊人| 欧美一级国产一级| 色yeye成人免费视频| 人人看黄色视频| 亚洲AV在线资源| 手机在线观看不卡无码av| 100啪啪视频大全| 国产精品香蕉| 后入综合久久| 亚洲春色一区二区三区| 色哟哟国产精品免费网址| 智利AV在线网| 强奸乱伦av电影| 一牛影视成人片免费| 亚洲第一视频 欧美风情 日韩| 国产熟女无套内射| 精品中文字幕第一页| 欧美色图在线视频少妇| 亚洲老熟妇xxx| 园内精品自拍视频在线播放| 久久久久9| 校园春色家庭伦理欧美激情| 久久超碰天天| AV天堂因数| 限制级中的三级片中的黑粗大屌屌日人妻熟女| 伊人伊人LD| 91国产精品在线看| 成人一二| 操逼视频色| 婷婷伊人五月| 国产精品视频内谢女人| 亚洲无992tv| 九九热AV| 欧美一区二区三区另类精品| 久久精品国产亚洲AV无码电影| 操逼视频免费日韩无码| 大香蕉av在线| 校园春色综合色| 国产不卡的视频 | 日本精品第一视频在'| 欧美日韩性爱精品| www.色五月| 超碰 另类 欧美 | 99无码视频| 国产剧情在线| 亚洲强奸乱伦影视网| 欧美色图天堂在线| 国产9 9在线 | 亚洲| 另类小说欧美激情校园春色| 五月婷婷丁香六月| 伊人四虎综合| 淫荡熟女乱伦网| surenchaopeng| 国产传媒操逼视频| 狠狠做深爱婷婷久久二区| 影音先锋每日最新资源在线观看 | 日本五区不卡| 成人精品一区二区91毛片不卡| 青青草视频久久久久| 囯产精品久久久久久久久久梁医生 | 九九热最新| 91激情国产| 秋霞一级视频在线观看免费| 99热精品在线观看| 顶级少妇BT天堂| 久久这里只精品免费福利| 欧美性生活内射| 手机看片1024你懂的国产| 欧美人妖内射| 综合国产97| 国产成人99久久亚洲综合| 男人的天堂久久狠| 国产女人高潮视频| Aa东京男人的天堂| 日韩欧美中文字| 国产在线综合网| 日本黄 R色 成 人网站| 久久久久久无码人妻中文字幕| 97亚洲自在精品在线观看| 91扒丝袜综合在线| 丁香婷婷激情五月天无毒不卡 | 亚洲 欧美都市激情| 亚洲色9| 粉嫩av在线| 国产又大又粗又色生活片亚洲国产精品成人久久久综合免费 | 91人妻Pr| 男人天堂2017| 色路综合| nuu12国产麻豆精品| 亚洲国产综合久久久性感熟妇| 国产精品人妻无码久久久老鸭窝| 国产原创精品| 综合色图区| 操逼网免费无码视频| 俺去啦俺来也久久综合 | 欧美 熟女 日韩| 十八禁网站在线| 中出91| 免费观看的黄色的网站| 国产1024在线播放| 97资源久久| 久久欧美激情| 久9爱经典视频| 好屌色综合| 北条麻妃性愛视频| 啊啊啊不要啊啊受不了了视频在线 | 人人操肉肉| 超碰人人操97碰| 中文字幕日韩精品久久| 水滴偷拍| www.色婷婷.com| 国产乱伦视频污| 日本九九久久99| 丰满人妻无码一区二区三区| 欧美专利1区2区3区4区5区免费| 殴美综合色88| 大香蕉手机在线| 国产精品一区二区手机看片| 亚洲色图激情小说| 色色五月天婷婷| 香港澳门日本三级网站| 搡老女人老91妇女老熟女| 色色99| 亚洲综合九| 日本高清一区二区在线| 综合影院永久入口国产| 大香网伊人久久综合网eew| 怡红院亚洲怡春院av| 日本最新1区2区3区| 日日骚av| 欧 美 自 拍 偷 拍| 日韩欧美俄罗斯A片| 久久久噜噜噜久久久| 欧美美女后入| 91AV入口| 天天操夜夜操| 女人18精品一区二区三区| 97在线免费| JULIA一区二区三区在线播放| 91人妻尻屄视频| 熟女人妇一区二区三区| 性爱av网站| 久久97资源 网| …亚洲黄色厕厕女女在线播…| 欧美极品性爱天天射| 插入综合网| 人妻夜爽夜夜爽| 精品一区二区成人动漫| 婷婷另类小说| www.acm成人黄色毛片| 久久久久久久久一区二区三区| 日本十八禁免费看污网站| A V少妇特黄三级| 亚洲春色欧美| 中国探花熟女| 色噜噜人妻av中文字幕| 日本无码1| 国产成人主播| 伊人久久综合精品欧美| 一起草日韩| 国产后入式在线观看| 亚洲有码视频二区| 老司机福利青青草| 色成人Www精品永久观看| 18禁美女裸体无遮挡啪啪| 国产女主播视频在线观看| 99久久网站| 人妻81p| 人妻素股| 黑丝日韩av丝袜av| 亚洲AV成人无码一二三久久| 五月婷婷性爱| 久久亚洲婷婷| 澳门人妻久久| 97超碰国产亚洲精品| 久久小视频| 红桃视频高潮| 国产精品高清2021在线| 国产性爱强奸乱伦大全| 亚州一区二区| 久久精品店| 国模私拍一区二区三区神乳| 激情五月天社区| 水澄无码AV| 午夜男女爽爽爽在线视频| 偷拍 亚洲| 欧美 综合 亚洲| 日骚逼视频| 久久精品国产99精品亚洲蜜... | 久久色激情一区二区三区| 欧美视频激情久久久久久| 老鸭窝成人| 久久欲| 久久久亚洲高清不打码| 精品一区二区三区蜜桃臀赵总 | 学生妹天天看| 大肥女高潮bbwbbwhd视频| 中文字幕精品区先锋资源| 人人澡人人爽人人精品| 视频在线观看青青99国产| 成人午夜高潮av猛片| 噜噜噜无码AV一级一级久久影院| 欧洲亚洲人妻无码中字久久三区四区 | 日本高清一区二区在线| 热久久91婷婷| 亚洲十八禁止| 夜夜夜爽www精品视频| 中文久久久| 欧美精品自慰系列寂寞少妇| 91激情网| 中文字幕美女91| 欧美综合自拍成人自拍第二十页| 乱老熟女一区二区三区| 在线观看午夜婷婷久久久久清性观看| 午夜国产成人精品视频| 婷婷五月在线视频| 久久男人| 18禁精品网站在线看| 五月天激情婷婷| 国产精品天干天干综合网麻豆| 九九综合九九综合| 久久国产精品一级二级三级| 99精品九九九九九九| 日韩九区| 日日摸日日弄日日拍| 色综合国产在线观看| 99热色精品| 91 偷| 99色在线视频| 97超碰资源网| 亚洲一级性爱视频免费看| 欧美久久久15P| 无码精品久久久久久亚洲| 麻豆亚洲Av成人无码一区精品| 中国熟妇| 天天摸天天插天天日| 国产中文字幕在线观看| 无遮挡一级毛片视频免费的| 加勒比综合九九99视频在线播放| 国产日韩精品suv| 9九九九九视频在线观看| 精品福利| 97超碰美国| 中国AAAAAA黄色片| 欧美日韩黄色片一区二区三区四区人与兽做爱| 久久精品人妻一区| 青青操少妇| 日本性爰一道本| 亚洲精品久久一区二区三区蜜桃臀| xxx0国产在线播放| surenchaopeng| 8050无码八戒| 国产精品一区二区三区在线| 欧美色图天堂在线| 狠狠婷婷亚洲中文综合久久| 亚洲色图美腿丝袜| 人妻精品一区二区在线| 天堂伊人久久| 中文字幕一区二区三区视频播放| 亚洲男人天堂网站| 天天日日本| 国产亚洲色婷婷久久99精品91 - 百度| 黄色污污污污污污网站| 国产强奸乱伦xd| 黄站在线免费观看| 日本久操视频| 激情网色| 黄页av| 超碰98综合网| 五月婷婷六月色| 91福利网在线观看| 91n.欧美| 色眯眯射| 丁香五月影院| 少妇特黄一区二区三区| 国产综合网站在线播放| 清纯唯美激情| 97超视频在线观看| 伊人亚洲国产一成人久久精品,久久| 午夜性生活av免费在线看| 台湾佬中文娱乐网久久久久久久久久com | 国产精品日日摸夜夜添骚逼| 日韩有码免费视频| 欧美性生活免费网| 60秒不遮不挡| 国产一区二区精品在线视频| 日韩偷拍色图| 亚洲性爱无码乱伦av| 亚洲国产丝袜熟女av| 熟女AV一区| 日本91白丝| 超碰成人国产| 无码丰满熟妇一区二区浪潮AV| 久热最新在线杭州| 懂色影视久久| 欧美72网页| 日本久久久久久久久| 国产强奸超碰AV| 国产三级资源在线观看| 97久久网| 亚洲欧美伦综合| 福利五区| 久久综合久色欧美综合狠狠 | 青青操97| 久久免费精彩视频| 大香蕉黄色一区| a级免费在线观看| 91美女小视频| 久久久极品| 日韩成人人妻网站| Aa东京男人的天堂| 97天天操天天干| 97干色天堂| 炮色五月| 色性荡荡荡荡视频| 亚洲人妻一区二区三区| 91人人爽人人爽| 中文字幕天堂在线| 97色碰| 97色综合中文网| 久久精9| xxx亚洲午夜天堂| 蜜桃成人1区2区3区| 色五月激情综合网| 综合激情五月天| 大香蕉黄色一区| 中文字幕日本久久| 亚洲福利中文字幕在线| 亚洲一本大道中文字幕无码在线| 美女被啪到深处抽搐视频| 国产真实子伦对白| 久久久久女教师免费一区| 色97欧美| 最近二区三区视频大全| 亚洲色图 91| 精品97久久| 国产精品剧情| 性欧美| 97中文字幕九区| 亚洲精品人体| 国产家庭乱伦表演| 久久透逼视频| 日本免费中文字幕在线| 白嫩国模丰满一二三区| 女人爽到高潮潮喷18禁网站| 加勒比大香蕉视频在线| 97精品国产97久久久久久| 超碰97精品在线| 秋霞男人网| 嗯嗯啊啊操死我| 天天综合香 ld视频| 久久m| 国产2.3.4区| 9丨久久九九九| 亚洲欧美校园| 我要色综合网| 国产又黄又爽| 无码WWW免费视频网站| 欧美麻豆成人同性GⅤ在线| 立川理惠无码一区二区| 骚逼高潮久久精品| 狠狠夜色午夜久久综合在线| 蜜臀久久99'精品久久久| 91精品人妻一品二品三品| 国产 日韩,欧美 自拍| 嗯啊抽插大香蕉网页| 成人av在线播放| 国产 日韩 另类 视频一区爱| 日本五十路熟女一区二区| 色噜噜婷婷| 欧美狠狠弄| 色欧美色交综合| 在线免费观看高清无码视频| 强奸乱伦资源| 亚洲AV无码天美传媒一区| 色哟哟av网址| 久久精品国产97欧美精品亚洲| 亚洲国产精品无码AV久久| 屁屁影院一区二区三区国产| 亚洲av无码成人精品国产| 狠狠五月天| 亚热日本熟女| 翔田千里AV无码秘 三区| 青娱乐国产精品| 亚洲中文字幕妇伦久久| 人妻蜜桃臀| 青青草国产欧美非洲黑人| 在线中文字幕极品av| 免费A V在线| 天天摸夜夜操视频| 日本大香蕉综合网红本杳社区| 91亚洲欧洲| 欧美性爱在线无码| 久久发布国产伦子伦精品| 亚洲男人的天堂AV| 欧美性91| 超碰人人超在线观看| 白丝jkav| 97色碰| 久久婷婷视频| 国产精品suv一区| 国产精品久久久啊| 五月婷丁香| 精品无码人妻一区二区免费蜜桃| 污色区网站| 天美国产三级传媒| 亚洲熟女人妻中文字幕一区二区 | 懂色中文一区二区三区| 精品超碰国产| 亚州大图综合色图 | 青青操青娱乐| 日韩9999| 伊人久久亚洲中文字幕不卡| 亚洲国产第一页综合视频| 婷婷久久久精品| 无码操逼视频一下| 欧美熟妇操操视频| www色日本| 舔舔啊| 麻豆乱码久久精| 成人国产视频在线观看| 91精品人妻一区二区-全集完整版免费正片国语-B02AV | 精品免费1| 精品在线观看视频在线| 精品视频在线观看| 在线二区不卡| 嗯嗯嗯啊啊在线观看| 欧美后入视频| 91欧洲入口| 精品中文字幕一区二区| 日韩成人性日韩成人性爱视频在线免费观看 | 色综合久久av| 岛国色情视频在线观看| 禁十八久久| 男人高清无码一区二区| 国产女人9999| 天天摸夜夜摸| 亚洲中字幕日本一区二区三区| 殴美牲| 欧美色狠| 99re69| 国产99热| 西西美女视频网| 日本操逼视频导航| 天天综合网视频91| 蜜臀久久一区二区| aaa亚无码专区| 熟女自慰久久久| 亚洲成人无码影院| 欧美图片校园春色| 天天操av懂色| heyZO天然素人无码AⅤ专区| 中文字幕一区二区三四五区日日骚| 日韩精品免费高清视频在线| 拍拍拍拍大尺度黄色三级片拍拍拍拍拍照| 免费一级欧美片片线观看| 91综合网在线| 60秒试看最爽10分钟网站| 激情网色| 97在线免费视频观看| 91嫩草欧美| 天天谢天天干| 欧美综合传媒| 91婷婷伊人狠人| 啪啪视频亚洲第一| 人妻熟女一区二区在线视频| 欧美 亚洲 制服 精品| 三级AV入口| 欧美性高潮| 国产999精品久久久久久| 欧美美女视频| 99在线视频播放| 激情网五月天| 草莓精品视频在线免费观看| 91日韩网站| 影音综合网| 啊v视频在线观看| 看免费一级在线播放毛片| 国产嫩草精品A88AV| 97在线免费看| 婷婷在线视频| 亚洲国产ⅴ高清在线观看| 中文字幕在线免费观看| 国产av热热色| 东北女人的毛片| 五月丁香六月| 99精品热| 国产精品蜜乳AV| 在线观看不卡一区二区三区| 青青在线视频免费| 国产丸一视频| 91狠| 激情天天视频| 日韩欧美中文字| 日韩人妻大香蕉| 色牛牛AV| 亚洲精品天堂久久A∨51成人漫 | 伊人久久亚洲色欲综合网站 | 色色九区| 俺去啦自拍| 久久国模av| 97国伦国色| 亚洲丝袜色| 你懂得91| 激情干在线| 伊人影院综合是一个与深夜成人在线| 成人午夜高潮av猛片| 欧美宗合色| 麻豆 亚洲 97| 东京成人一区| 超碰久热| 凹凸视频特色日本特黄| 国产九九九九九九九九| 精品国产Av无码久久久亚洲| 欧美资源| 曰韩中文人妻视频| 久久久一区二区三区四区五区| 婷婷人妻激情| 成人AV在线网站| 天天天操天天天爱| 狠插 制服 自拍| 二对二中文字幕。| 97香蕉人人乳| 伊人久久大香线蕉亚洲五月天,青草青草欧美日本一区二区,欧美日产欧美日产国产 | 日韩乱中文 | 色情五月综合婷婷| 婷婷久月| 亚洲情色电影网| 国产精品视频电影| 日韩精品操少妇| 国产超碰| 日韩成年人性爱视频| 精品人妻视频一区二区在线播放 | 日韩人妻播放| 国产黄色在线播放观看| 久久精品欧美一区二区三区不卡| 欧亚性爱在线视频| 国产精品免费日韩| 丁香五月性| 亚州色交| 婷婷15月天青娱乐| AV色五月天| 色九久| 亚洲色图综合| 久久av成人无码免费| 狠狠干婷婷| 午夜精品一区二区三区三上悠亚| 大香蕉国产中文自拍| 91日产欧美| 久久久偷拍| 亚洲第一页第二页激情| 伊人影院综合是一个与深夜成人在线 | 日本精品一区二区中文字幕| 色色婷| 极品久久久久久久久久久久久久| 亚洲色欲一区二区三区| 香蕉大久久久| 天天看精品动漫视频一区| 国产A v无码专区| 99无码| 久草资源欧美在线视频| 91青青| 日韩成人精品| 九九热最新| 久久精品国产精品| 久久超碰网| 人人干人人操人人..com| 人妻激情偷乱视频一区二区三区 | 怡红院成人av| 国内精品久9| 国产操逼视频在线观看| 丁香六月啪| 97在线观视频免费观看| 国产日本顶级一区二区三区| 人人看人人爰人人操 | 精品人妻伦一区二区三区久久| 大色综合| 中国一区二区亚洲人妻| 精品美女在线视频| www.成人无码| 伊人久久大香线蕉无码| 免费毛片在线播放| 亚洲精品国产av天美传媒| 99re免费| 乱色视频中文字幕| 国产深夜福利| 九七人妻在线| 亚洲欧美国产中文视频| 嗯啊抽插大香蕉网页| 熟妇高潮一区二区免费视频| 97ai亚洲| 国内自拍 日韩激情 99| 久久夜夜夜夜| 国产一级高清免费观看| 日本熟女中文| 色色色色色色色色综合| 啊啊啊啊啊啊在线观看| 丁香六月婷婷久久综合| 夜夜嗨一区二区三区三州加勒比| 日韩亚洲中文有码视频| 狠狠躁AV| 97欧美视频| 超碰97起碰| 综合色91| 婷婷色综合| 青青草原成人| 强奸乱伦动态污图免费 | 青青操青娱乐| 日韩欧美久久婷婷网站| 成人免费不卡在线视频| 久热99999| 黄片免费久久久久久久| 欧美日韩国第一区| 亚洲天堂男人天堂网| 久久五月份| 极品销魂美女一区二区 | 久久久一区二区三区四曲免费听 | 国产精品高清2021在线| 日本不卡码黄色| 国产色图乱伦| 老熟女熟妇| 俄罗斯一区二区视频在线观看| 91爰爱欧美| 亚洲免费在线探花| 日日妻色网| 91人妻Pr| 屁股久久久久久| 色综合久| 99re免费| 都市激情人妻一区二区青青操视频 | 日本精品无码三级网站| 国模久久在线| 五月综合视频| 色吧5亚洲| 91真人天天在线| 全球成人中文在线| 成人性交午夜免费片| 日韩AV片| 一级片视频啪啪| AV99热18这里只有精品| 日韩AV一起草| 久久久9999| 中文字幕一区二区三区人妻少妇在线| 亚洲欧洲无码bt精品合集| 做爱福利视频一区二区| 午夜色婷婷| 中日韩免费看男女操逼大全| 日本大香蕉| 91九色首页| 老熟女搡BBBB搡BBBB视频| 蜜臀久久精品久久久久视频| 亚洲乱码国产乱码精网站| 精品国产99999| 欧美一区二区情色| 婷婷中文网| 精品九九| 99精品高潮| 婷婷成人久久久精品| 亚洲无码一二三区| 亚洲综合97| 日本精品一区二区三| 日本熟妇熟色97一本在线观看| 日韩欧美成人性爱在线| 78超碰| AV在线播放网址| 亚洲码和欧洲精品激情系列| 成人三级片无码| 18禁在线视频| 一卡二卡三卡| 亚洲美女 晚间男人天堂| 国产亚洲日韩在线三区黑人| 色欧美在线| 9丨亚洲一区二区在线| 亚洲综合网91| 九九这里只有精品| 亚洲欧美日韩二区视频| 欧美人妻少妇| 美国三级日本三级久久99| 用力操死我| 日韩午夜啪啪视频| 天天操人人操狠狠插| 亚洲天堂男人天堂网| 丰满少妇精品一区二区| 四虎视频在线观看| 九九内射在线| 婷婷亚洲五月***久久| 性爱乱伦视频免费| 天美精品原创av片国产| 小骚逼被操的爽不爽| 超碰亚洲97| 97色色视频| 日韩激情啪啪| 草草网站影院白丝内射| 欧美草草高清日韩视频| 99热日| 99热精品国产| 涩爱AV在线| 91爱综合| 亚洲欧洲综合视频在线| 精品中文字幕一区二区l - 百度| 亚川综合视频| 久久久精品中文字幕爱豆| 78久久| 青青草综合在线| 青青三级视频| 久久久111| 人妻久久久久久| 久操视频资源站公开| 欧美性爱无码一区二区三区| 久久九九97| 亚洲AV色图一区| 天天操天天谢| 婷婷五月天无码 | 亚洲风情综合网| 香蕉免费一区二区三区不读| 日韩不卡码| 九九热精彩视频| 成人欧美日超碰| 日韩欧美天天爽爽爽天天爽爽| 91xingse| 天天干一区二区| 一区二区三区日韩欧美| 亚洲精品国产AV天美传媒| 91精品人妻一区二区-全集完整版免费正片国语-B02AV | 少妇与黑人高潮在线| 久久超碰亚洲人| 极品久久久久久久久久久久久久| 日韩精品人妻中文字有码在线|