日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

Logstash性能排查實戰(zhàn):JVM調(diào)優(yōu)解決Kafka積壓

Logstash性能排查實戰(zhàn):JVM調(diào)優(yōu)解決Kafka積壓 說句實話以前看到“JVM調(diào)優(yōu)”這四個字我腦子里第一時間蹦出來的也是“八股文”內(nèi)存模型、GC算法、類加載機制、雙親委派……背得滾瓜爛熟但真正到了線上面對一個“瘋了一樣吞CPU卻不吐結果”的Java進程還是會有點手足無措。這次Logstash性能問題排查記錄就是一次把“面試題”重新拆成“排查工具”的完整過程——我打算把它原原本本寫出來如果你也在維護ELK這套日志管道或者正在被Kafka消費延遲、日志積壓這類問題折磨這篇應該能給你省下不少彎路。這篇文章不會講太多花哨的理論重點是一臺Logstash在高峰期卡死之后我如何通過JVM自帶工具、GC日志分析、啟動參數(shù)調(diào)整一步步找到根因并最終恢復吞吐量的全過程。中間會穿插我踩過的坑、查過的資料、以及最終沉淀下來的一套參數(shù)配置。不管你是剛接觸Logstash的運維新手還是后端Java開發(fā)想借實例真正理解JVM調(diào)優(yōu)這篇文章都按“現(xiàn)象 → 分析 → 操作 → 復盤”的順序來寫可以直接照著做。1. 問題是怎么發(fā)生的Kafka Lag 突然翹了上來先說下當時的架構線上日志通過Filebeat采集發(fā)到Kafka再由Logstash消費并清洗最后寫入Elasticsearch做檢索。這套鏈路跑了大半年一直很穩(wěn)直到某一天流量高峰監(jiān)控面板上的Kafka消費延遲Consumer Lag曲線突然像坐了火箭一樣往上竄。一開始我以為是Elasticsearch寫入變慢了因為Logstash的寫入端和數(shù)據(jù)量直接掛鉤但查了一圈ES的bulk隊列、線程池、慢日志都正常索引速率也沒掉那問題大概率就出在Logstash本身。1.1 現(xiàn)象描述進程活著但就是不吐數(shù)據(jù)登錄服務器敲幾條命令CPU占用直接飆到百分之八九百但看一眼Logstash的監(jiān)控指標事件處理速率卻不升反降Kafka里積壓的消息越來越多。最氣人的是進程沒有掛日志里也沒有明顯異??雌饋怼耙磺姓!睂嶋H上數(shù)據(jù)就是卡在里面出不去。這是最典型的“假死”狀態(tài)——進程活著線程也占著但真正的處理能力已經(jīng)崩潰了。我當時的第一個反應是檢查Logstash的管道配置懷疑是不是filter里的grok正則寫得太復雜或者某個插件在高峰時段出現(xiàn)了阻塞。但把pipeline的worker數(shù)和batch size隨便改了幾下重啟之后問題并沒有實質(zhì)改善。這時候我才意識到問題的根源可能不在Logstash的業(yè)務處理邏輯上而是承載它的JVM環(huán)境已經(jīng)處于“亞健康”狀態(tài)了。1.2 初步判斷Logstash性能問題先別急著懷疑管道很多人有一個誤區(qū)Logstash處理性能慢了第一反應就是加filter、調(diào)grok、換插件很少有人會去想JVM本身是不是已經(jīng)不行了。但Logstash的本質(zhì)是一個跑在JRuby上的Java應用它的所有事件處理、隊列緩沖、內(nèi)存分配全部依賴底層JVM的健康程度。JVM堆內(nèi)存、垃圾回收、JIT編譯這些“聽起來像八股文”的東西在高壓場景下會直接決定Logstash是每秒處理一萬條還是每秒處理一千條。所以排查思路從這一步開始轉變不再盯著Logstash的管道配置看而是把它當成一個普通的Java進程先用JVM的視角去體檢。這里也順帶說明一下網(wǎng)上經(jīng)常有人問“JDK、JVM、JRE有什么區(qū)別”——簡單來說JRE是Java運行環(huán)境JVM是JRE核心里真正負責執(zhí)行字節(jié)碼的虛擬機JDK則是開發(fā)工具包。Logstash自帶JRuby和Java運行時所以它本質(zhì)上就是一個“套了Ruby皮的Java程序”所有Java系的JVM調(diào)優(yōu)知識在它身上完全適用。2. 把Logstash當Java應用來查先看懂JVM在干什么既然決定按Java應用的思路排查那第一步就是把JVM的內(nèi)存模型、GC機制這些“八股文基礎”重新?lián)炱饋硪驗楹竺嫠蟹治龆冀⒃谶@上面。很多情況下不懂原理的人拿到jstat輸出只會看數(shù)字而懂原理的人能從數(shù)字倒推出一整套現(xiàn)場還原。2.1 JVM內(nèi)存模型快速復習堆、元空間、線程棧和直接內(nèi)存JVM運行時數(shù)據(jù)區(qū)可以粗略分成四塊堆內(nèi)存Heap用來存放對象實例是GC回收的主戰(zhàn)場元空間Metaspace存放類元數(shù)據(jù)在Java 8之后替代了永久代默認情況下只受本機內(nèi)存限制但類加載過多也可能撐爆虛擬機棧Stack是線程私有的每個線程執(zhí)行方法時都會創(chuàng)建棧幀棧深度過大就會拋StackOverflowError還有一塊是直接內(nèi)存Direct MemoryNIO和Netty用得最多不在堆內(nèi)但在物理內(nèi)存里如果做網(wǎng)絡傳輸時分配太多同樣可能觸發(fā)OOM。Logstash這種數(shù)據(jù)處理型應用最敏感的就是堆內(nèi)存。因為每條日志進來都會被包裝成Logstash::Event對象還有中間的各種String、Hash全都住在堆上。堆如果設置得不對垃圾回收就會頻繁發(fā)生輕則吞吐下降重則進程假死。2.2 排查工具組合拳top、jstat、jmap、jstack怎么配合登錄到Logstash所在機器我會按以下順序操作先用top -Hp查看進程的CPU和內(nèi)存占用確認是不是某個線程在瘋狂自旋。Logstash啟動后會有一個獨立的JRuby運行時很多線程名都帶jruby關鍵字如果發(fā)現(xiàn)某個線程CPU占用異常高說明它正在反復執(zhí)行代碼或頻繁觸發(fā)GC。用jps -l確認Logstash進程的PID然后jstat -gcutil 1000觀察每秒的GC情況。這一步能立刻判斷出當前GC頻率、單次GC耗時、老年代使用率等關鍵指標。用jmap -heap 看當前堆的分配情況和各分代使用率特別是Eden區(qū)和老年代的比例是否合理。如果懷疑線程卡住用jstack 抓線程快照看看JRuby的工作線程是不是阻塞在某個地方。這里我想重點說一下gcutil輸出里的幾個字段E代表Eden區(qū)使用率O代表老年代使用率FGC是Full GC發(fā)生次數(shù)FGCT是Full GC累計耗時。如果FGC在短時間內(nèi)快速增長FGCT占比很高基本就能斷定系統(tǒng)正在被垃圾回收拖死。GC本身是為了騰出空間但Full GC觸發(fā)時會“停止整個世界”Stop The World簡稱STW應用線程全部暫停這期間Logstash完全無法處理數(shù)據(jù)。2.3 現(xiàn)場抓到的證據(jù)GC日志不會騙人當時我連續(xù)觀察了差不多五分鐘jstat的輸出大致是下面這個樣子S0 S1 E O M CCS YGC YGCT FGC FGCT GCT 0.00 0.00 92.34 95.67 98.12 96.45 1123 18.23 47 23.81 42.04 0.00 0.00 94.12 96.02 98.20 96.50 1124 18.25 48 24.95 43.20 0.00 0.00 95.78 96.89 98.25 96.52 1125 18.28 49 26.03 44.31看得出什么Eden區(qū)使用率一直維持在90%以上老年代也一直在95%左右徘徊Full GC幾乎每10秒就會來一次而且每次FGCT都在1秒以上。翻譯成人話就是堆內(nèi)存不夠用了JVM疲于奔命地做垃圾回收但回收完了馬上又填滿根本沒有足夠的空間讓數(shù)據(jù)處理線程順暢跑。這就像一個人一邊工作一邊不停地打掃房間房間卻永遠堆滿東西工作效率能高才怪。3. 根因分析為什么默認配置撐不住高峰日志量拿到這些數(shù)據(jù)之后我心里基本有數(shù)了但還是要搞清楚一個最關鍵的問題為什么之前一直沒事偏偏這段時間出問題這就得從頭檢查Logstash的默認JVM配置和數(shù)據(jù)量增長情況。3.1 堆內(nèi)存太小默認1GB根本只夠“自家日用”Logstash的默認JVM堆大小是1GB這個數(shù)值在官方文檔里寫得很清楚除非你通過LS_HEAP_SIZE或jvm.options里的-Xmx參數(shù)顯式指定否則它就老老實實用1GB。對很多小規(guī)模日志場景來說1GB確實夠用因為日志量小事件在高頻GC完成之前就被消費掉了??梢坏I(yè)務量漲上去比如高峰期每秒涌入幾千上萬條日志這1GB的堆就會變成瓶頸。為什么會這樣我們簡單估算一下假設一條日志原始文本平均2KB經(jīng)過系統(tǒng)解析后會變成Logstash::Event對象除了message字段還有host、path、timestamp等一堆元數(shù)據(jù)。JRuby環(huán)境下每個Ruby對象在Java層的開銷都比較大換算下來一條日志在堆里實際占用的空間差不多是原始文本的3到5倍也就是6到10KB。如果配置的批處理大小是默認的125條一批數(shù)據(jù)在堆里也就1MB左右看起來不多但架不住Logstash是持續(xù)不斷地消費和寫入在1GB堆里同時存在幾十批數(shù)據(jù)在排隊、在轉換、在等待寫入ES內(nèi)存壓力一下就上來了。3.2 G1收集器默認參數(shù)不一定適合你的場景大多數(shù)現(xiàn)代JVM默認的垃圾收集器是G1Logstash也不例外。G1的設計目標是“可預測的停頓時間”它把堆分成一個個Region然后根據(jù)各Region垃圾比例來優(yōu)先回收垃圾最多的區(qū)域理論上很優(yōu)雅。但G1對參數(shù)的敏感度也很高默認的MaxGCPauseMillis是200ms意思是JVM會盡量把每次GC停頓時長控制在200毫秒左右但這只是一個“目標”如果堆太小、對象分配太快G1為了追上分配速度依然會觸發(fā)Full GC。更麻煩的是當老年代占滿之后G1會退化到Serial Old式的Full GC這種回收是單線程執(zhí)行大范圍全堆掃描的停頓時間可能是好幾秒。這個過程對Logstash來說是毀滅性的一次幾秒鐘的STW管道里堆積的數(shù)據(jù)會成倍增長等到GC結束后瞬間把內(nèi)存又填滿然后再次觸發(fā)FGC形成惡性循環(huán)。我當時從jstat里看到FGC之后老年代使用率幾乎沒降多少就猜到已經(jīng)進入這種退化狀態(tài)了。3.3 JRuby執(zhí)行模型與批量參數(shù)Logstash性能的“命門”Logstash的pipeline配置里有幾個非常重要的參數(shù)pipeline.batch.size默認125代表每次從隊列里取多少個事件交給filter和output處理pipeline.batch.delay默認50ms代表即使沒有湊夠batch.size最多等多久也要把現(xiàn)有事件送出去pipeline.workers默認是CPU核數(shù)代表并行處理管道的線程數(shù)。這三個參數(shù)加在一起決定了Logstash處理數(shù)據(jù)的“節(jié)奏”。批處理的好處是減少JRuby和JVM之間的交互次數(shù)讓一批事件一次性完成filter和output提升吞吐。但batch.size調(diào)大的同時內(nèi)存占用也會線性上漲如果堆空間跟不上就會誘發(fā)更頻繁的GC。這就像把一個餐廳的翻臺率公式里加了一個“每桌人數(shù)”的變量每桌人越多廚房備菜的效率越高但倉庫如果不夠大食材堆不下了就只能扔掉重買——扔食材就是垃圾回收買食材就是重新加載成本全在這上面。所以批量調(diào)整和JVM堆配置必須同步考慮不能只看一頭。3.4 順帶說下-XX:CompileThreshold這類JIT參數(shù)在排查過程中我也重新研究了一個常見的面試參數(shù)-XX:CompileThreshold。它的作用是控制熱點代碼被JIT編譯為本地代碼的觸發(fā)閾值默認值在C1編譯器下是1500次方法調(diào)用在C2編譯器下是10000次左右。JRuby本身是Ruby代碼JVM對JRuby的調(diào)用棧進行C2編譯時也需要時間如果CompileThreshold設置得過高熱點方法會長時間停留在解釋執(zhí)行階段性能自然上不去。反過來如果把這個閾值調(diào)低可以讓高頻執(zhí)行的方法盡早編譯成機器碼減少解釋執(zhí)行的CPU開銷。不過說實話在實際排查過程中這個參數(shù)不是主要矛盾屬于“錦上添花”的優(yōu)化項。如果GC問題不解決把CompileThreshold調(diào)到天上也沒有意義。但了解它的存在是很重要的因為很多面試題里都會問“JVM是如何判斷熱點代碼的”這個問題放到Logstash這種解釋型語言套殼應用上有完全不同的解讀——JRuby代碼在JVM里到底算不算“熱點”取決于這段Ruby邏輯被調(diào)用的頻率以及是否觸發(fā)了編譯閾值。4. 調(diào)優(yōu)落地一套我正在用的Logstash JVM配置確定了問題是JVM堆內(nèi)存和GC、批量參數(shù)配置不匹配之后我重新整理了整個Logstash環(huán)境。這里要特別注明以下配置是從實際場景出發(fā)做的調(diào)整不一定適合所有人但思路可復現(xiàn)先根據(jù)業(yè)務量估算內(nèi)存需求再反推JVM參數(shù)最后通過監(jiān)控驗證。4.1 堆內(nèi)存怎么定不能拍腦袋要看數(shù)據(jù)量和物理機器這臺機器是32GB內(nèi)存Elasticsearch部署在另一臺機器上所以Logstash可以安心地使用這臺機器的內(nèi)存。我第一反應是直接把堆調(diào)到16GB但冷靜下來想了想不妥。為什么因為JVM堆之外還有Metaspace、JRuby本身的原生內(nèi)存、線程棧、網(wǎng)絡緩沖區(qū)等非堆內(nèi)存如果堆占了16GB整個進程實際占用可能輕松超過20GB。萬一物理機器還有其他任務在跑就容易觸發(fā)系統(tǒng)級別的內(nèi)存壓力甚至被內(nèi)核OOM Killer直接殺掉。Logstash官方建議堆大小不要超過系統(tǒng)內(nèi)存的50%這個建議是合理的。我最后選擇把-Xmx和-Xms都設為8GB理由也很簡單高峰期Logstash單批事件batch_size2000在堆里占用的空間大約幾十MB8GB堆可以容納足夠多的批次在隊列里排隊同時給JRuby解釋器、Metaspace、線程棧留出充足余地。Xms和Xmx設置為相同值是為了避免JVM在運行期動態(tài)擴容堆時產(chǎn)生額外開銷。對追求穩(wěn)定吞吐的在線服務來說啟動時就把堆分配好比運行中頻繁擴縮容要靠譜得多。4.2 批量參數(shù)和worker數(shù)量怎么配合關鍵是找到平衡點調(diào)整JVM參數(shù)的同時我把pipeline配置中的batch.size從125調(diào)到了2000batch.delay保持默認的50mspipeline.workers從默認值當時機器是16核所以默認16調(diào)到了8。為什么worker要減半因為數(shù)據(jù)管道不是無腦并行就能提升性能的當batch.size變大之后單個worker在一輪處理中的數(shù)據(jù)量已經(jīng)很大了如果還開16個worker并行對堆內(nèi)存的壓力和對下游ES的沖擊都會成倍增加。尤其在filter階段跑的是grok、dissect這類CPU密集型插件時線程過多反而會導致上下文切換開銷和頻繁GC。我建議一個比較穩(wěn)妥的起步點是pipeline.workers設置為CPU核數(shù)的一半到三分之二batch.size從500開始壓測逐步往上調(diào)到1000、1500、2000同時盯著GC監(jiān)控。如果發(fā)現(xiàn)FGC頻率上升就說明batch.size調(diào)得太激進需要回退一點。批量調(diào)優(yōu)不是越大越好這句話需要寫在墻上。4.3 完整配置參考jvm.options和pipelines.yml這是我這套環(huán)境最終使用的配置供參考# jvm.options -Xms8g -Xmx8g -XX:UseG1GC -XX:MaxGCPauseMillis200 -XX:UseStringDeduplication -XX:ParallelRefProcEnabled -XX:DisableExplicitGC -Xlog:gc*info,gcheapdebug,gcergodebug:file/usr/share/logstash/logs/gc.log:utctime,uptimemillis,level,tags:filecount5,filesize50m這里解釋幾個關鍵參數(shù)-XX:UseG1GC顯式指定G1作為垃圾回收器避免不同JDK版本默認GC行為不一致的坑。-XX:MaxGCPauseMillis200把目標停頓時間設為200ms這是Logstash默認值但顯式寫出來便于后續(xù)審計。-XX:UseStringDeduplication日志處理場景會產(chǎn)生大量重復字符串開啟去重可以降低堆占用。-XX:ParallelRefProcEnabled并行處理引用對象減少GC停頓時間。-XX:DisableExplicitGC防止第三方庫調(diào)用System.gc()觸發(fā)不必要的Full GC。Xlog參數(shù)把GC日志輸出到文件方便事后追溯這是整個調(diào)優(yōu)過程中我最后悔沒有早點做的事——日志是最好的老師。然后在pipelines.yml里核心配置如下pipeline: batch: size: 2000 delay: 50 workers: 8 max_inflight: 8192max_inflight代表管道內(nèi)允許同時存在的最大事件數(shù)默認值為batch.size * workers的兩倍我顯式設置成8192是為了給突發(fā)流量留緩沖同時避免內(nèi)存無限增長。4.4 調(diào)優(yōu)效果前后數(shù)據(jù)對比調(diào)整完并重啟Logstash之后我盯著監(jiān)控面板觀察了好久數(shù)據(jù)變化非常明顯指標調(diào)優(yōu)前調(diào)優(yōu)后Full GC頻率每10秒一次左右基本為0偶發(fā)一次Full GC平均耗時3秒以上無事件處理速率約2000 events/s波動大穩(wěn)定在10000 events/sKafka消費延遲持續(xù)增長達到分鐘級穩(wěn)定歸零CPU使用率800%以上空轉明顯300%左右各線程干實事這里我想特別提醒CPU使用率從800%降到300%看起來像是“占用變低了效率變低了”但其實恰恰相反。之前的高CPU有很大一部分是垃圾回收線程和內(nèi)存分配的消耗真正處理數(shù)據(jù)的線程一直在被STW打斷屬于“忙但不出活”。調(diào)優(yōu)后CPU降下來了但事件處理速率反而提升了五倍這才是健康的CPU占用。5. 常見報錯與避坑指南調(diào)優(yōu)過程中我還順手解決了一些Logstash運行中的經(jīng)典報錯這里整理成速查省得大家再走彎路。5.1 “stopped processing because of an error: (SystemExit) exit org.jruby”這個報錯在Logstash社區(qū)里出現(xiàn)頻率很高很多人一看到就慌了以為是管道崩潰。其實它翻譯過來的意思就是“JRuby進程主動退出了”SystemExit是一種JRuby主動拋出的退出信號。最常見的原因有三個一是進程被系統(tǒng)的OOM Killer殺掉JVM被迫退出二是Logstash啟動腳本在執(zhí)行過程中檢測到配置錯誤主動調(diào)用了System.exit三是堆內(nèi)存設置不合理導致OutOfMemoryErrorJRuby捕獲后以SystemExit的形式退出。排查思路分三步先看dmesg | tail確認有沒有Out of memory: Kill process的記錄再看Logstash日志里有沒有Java heap space相關的異常最后檢查jvm.options里有沒有寫錯參數(shù)。我遇到過有人把-Xmx寫成-Xms然后進程一啟動就報錯退出很隱蔽。5.2 Docker容器部署時怎么定位JVM異常重啟和GC日志現(xiàn)在很多人用Docker部署Logstash如果容器異常重啟第一反應是docker logs看標準輸出但JVM的GC日志默認不會打到stdout而是輸出到文件或丟棄。針對這類問題我建議啟動時通過LS_JAVA_OPTS環(huán)境變量顯式指定GC日志路徑然后把對應目錄掛載為Volume這樣即使容器重建日志也能保存下來。docker run -d \ -e LS_JAVA_OPTS-Xlog:gc*:file/usr/share/logstash/logs/gc.log:time,uptime,level,tags:filecount2,filesize20m \ -v /data/logstash/logs:/usr/share/logstash/logs \ docker.elastic.co/logstash/logstash:8.11.0另外容器里的jmap、jstack這類JDK工具可能沒有打包進鏡像。遇到這種情況可以先用docker exec -it bash看看有沒有如果沒有就只能在啟動時掛載宿主機JDK目錄進去或者用docker cp把JVM自帶的工具拷進容器。更簡單的辦法是讓Logstash開啟JMX遠程監(jiān)控從本機用jconsole或VisualVM遠程連接查看。但JMX端口暴露在公網(wǎng)有安全風險生產(chǎn)環(huán)境建議走內(nèi)網(wǎng)。5.3 集成自定義插件時容易忽略的JVM因素如果你像很多團隊一樣給Logstash集成了自定義插件那還要注意JVM層面對插件代碼的影響。JRuby調(diào)用Java API時會頻繁發(fā)生Ruby對象和Java對象的互轉這個轉換過程是有內(nèi)存開銷的。如果插件內(nèi)部創(chuàng)建了大量臨時數(shù)組或列表沒有及時釋放引用就會造成堆內(nèi)存泄漏。調(diào)優(yōu)時可以用jmap -histo:live 查看當前堆里哪些對象占用了最大空間如果發(fā)現(xiàn)自己的插件類名列前茅那基本可以斷定插件存在內(nèi)存管理問題。這在Logstash集成自定義插件時是特別容易踩的暗坑——插件功能沒毛病但內(nèi)存損耗拖垮了整個管道。5.4 調(diào)優(yōu)誤區(qū)速查表面試常見參數(shù) vs 線上實際操作最后整理一個我個人的對照表很多概念在面試題里是“考記憶”在真實場景里則要“看語境”千萬別混淆面試常見問題八股文標準回答線上真實操作JVM默認堆大小是多少物理內(nèi)存1/4要根據(jù)進程實際數(shù)據(jù)量重設別信默認值G1和CMS哪個好低停頓選G1高吞吐選Parallel先看你的停頓敏感性和內(nèi)存大小G1不是銀彈-XX:CompileThreshold有什么用控制JIT編譯觸發(fā)次數(shù)對JRuby型應用有點幫助但優(yōu)先級靠后Full GC為什么慢要掃描整個堆實際上更可能是堆太小導致G1退化成了Serial OldJDK、JVM、JRE啥區(qū)別一個是開發(fā)包一個是虛擬機一個是運行環(huán)境排查時你只需要關心JVM的運行時參數(shù)和GC狀態(tài)順帶提一句網(wǎng)上經(jīng)??吹健癕axKB知識庫如何調(diào)優(yōu)”這類問題雖然MaxKB不是Logstash但它同樣是Java系服務底層邏輯一樣先看GC再看堆匹配再看線程池和批量配置。核心方法論是通用的。6. 寫在最后的個人體會這次排查前后花了大半天時間其中最浪費時間的一環(huán)恰恰是最開始“不想去碰JVM配置”的心理——總覺得Logstash日志不報錯就等于沒問題結果監(jiān)控數(shù)據(jù)狠狠打了臉。JVM調(diào)優(yōu)在面試里是八股文在線上就是保命技能差別只在于你有沒有真的拿著jstat輸出逐行分析過。調(diào)優(yōu)完成之后我痛定思痛做了一件事給所有Java系服務統(tǒng)一開啟了GC日志并且用腳本定時掃描FGCT增長率只要Full GC累計耗時在短時間內(nèi)翻倍就立刻告警。這樣一來再遇到類似問題我不用再從零開始抓現(xiàn)場直接從監(jiān)控面板和GC日志里就能把病根揪出來。我也建議大家排查性能問題時盡量“每次只改一個變量”改完給足觀察時間不要同時動堆大小、GC算法、batch size和worker數(shù)——不然你根本不知道是哪個調(diào)整起了作用又回到了猜謎游戲。最后分享一個小技巧調(diào)優(yōu)JVM參數(shù)后別急著馬上看吞吐量先看GC曲線穩(wěn)不穩(wěn)定再看Kafka Lag有沒有下降趨勢。如果GC穩(wěn)定了但吞吐還沒上來那再考慮是filter邏輯還是下游ES的問題如果GC還是像過山車一樣那堆內(nèi)存設置就還沒到位繼續(xù)調(diào)。這套判斷順序是我這次踩過坑之后總結出來的最可靠的節(jié)奏。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
曰韩精品九九无码| 婷婷久草| 国产美女高潮视频| 中文字幕一区二区在线日韩精品| 亚洲情色婷婷五月天| 蜜臀th| 超碰精品日韩欧美国产| 欧州色图区| 男人天堂久久精品不卡| 国产美女自拍视频| 九九成人视频| 伊香蕉综合久久久久久久噜噜噜 | 91视频女生| 午夜视频久久久久一区| 少妇蹲下买菜露大唇0| 日本羞羞的视频在线播放| 97婷婷色| 91岛国动作片| 亚州五月| 思思热免费视频观看| 欧美 熟女 日韩| 日本熟女不卡视频| AV天堂电影网| 最新av网站在线观看| 丰满少妇人妻久久久久久| 超碰在线1234区| 强奸乱伦大香蕉| 亚洲中文字幕日产无码久久| 国产探花精品在线| 九九九九欧美| 欧美麻豆成人同性GⅤ在线| 97AV在线免费观看| 三级片网站在线播放| 欧美高清在线| 欧色性第一页| 亚洲国产奇米影视久久| 天天躁狠狠躁av| 久久国产性爱| 人妻人久久精品中文字幕| 综合久久欧美| 欧美综合第一页| 午夜精品久久久久久久男人的天堂 | 人人妻人人爽一区二区三区| 三级三级三级日本99| 天美传媒麻豆一区二区三区国产精| 国产欧美日韩在线不卡第一页| 玖色av| 久久久精品一区二区| 日本性爱少妇| julia国产在线 | 日韩啊V| 欧美日韩大陆黑人少妇99| 岛国激情视频在线观看| 夜夜做夜夜爽精品视频| 91校园春色长篇| 啊啊啊啊网站| 亚洲人久久久网| 免费精品中文字幕| 欧美色涩| 老熟女91av| 无码人妻一区二区三区色欲aⅴ| 天天影视色香欲综合网小说| Aa东京男人的天堂| 麻豆av一区二区三区| 18禁网站在线播放| 亚洲国产丝袜熟女av| 佐山爱中文字幕| 超碰成人最新最好看| 亚洲自拍97| 91欧美偷拍| 99re公开精品免费视频 | 啊啊啊啊好疼| 国产精品制服丝袜中文字幕日韩一区二区三区 | 99视频自拍| 欧美碰碰综合色| 免费农村成人少妇人妻Aa一区二区视频| 天天操人人操狠狠插| 大香蕉99re| 日本九九久久99播| 色啪网| 国产精品免费1区2区视频| 九九九九九九九| 日韩偷拍色图| 综合欧美日韩在线观看| 岛国1区2区3区在线观看| 久久久女人| 亚洲最大的黄色电影网站。| 色97| 欧美性天天影视| 不卡av在线中文字幕| 日夜精品| 密臀在线视频| 亚洲日韩XXX| 久久大香蕉手机高清| 蜜乳AV一区二区三区四| 国产高清在线观看欧美| 久草精品国产99| av天堂电影网| 91亚洲黄色网| 久久成人精品| 超碰在线91| 亚洲日韩黑丝| 91美女高潮| 亚洲美女色图| 青青草中文-久久青草精品一区二区三| 久久高清欧美国产| 久久中文字幕不卡人妻| 78精品| 欲色啪| 熟女精品一区二区在线观看| 午夜精品久久久久| 91亚洲欧美综合高清在线| 夜夜夜夜夜夜夜夜夜狠狠狠狠狠狠狠| 久热99| 手机看片1024你懂的国产| 日韩精品碰碰| 91成人精品在线播放| 国产婷婷综合在线观看| 黑人操一区二区| 丰满人妻一区二区三区性色| 日韩性爱小视频| 亚洲国产97| 中文字幕成人乱码熟女精品国50 | 熟女五十路一区二区三| 午夜超爽| 久久精品中文字幕无码l| 久久成人午夜精品影院| 3d成人精品一区二区| 18禁在线视频| 国产精品黄色三级av| 中文字幕精品一区欧美| 国产亚洲精品美女久久久久久2021| 黑人精品一区二区在线播放| 天天艹天天日| 不卡av在线中文字幕| J?P?NESEHD熟女熟妇伦| 午夜AV人气不卡| 亚洲 一区二区 自拍| 百度百度日本操逼| 国产精品视频91久久| 黄色香蕉视频网站一区| 欧美极度丰满熟妇hd| 国产免费一区在线观看| 伊人97超碰| 久久9亚洲| 蜜臀亚洲中文| 久久久久久久综合,国产| 亚洲欧洲日韩中文字幕一区| 日韩在线电影| 免费福利视频中文字幕| 国产精品电影| 国产性感在线观看| 免费亚洲国产精品久久一区| 91亚洲综合在线| 啊啊啊啊啊啊在线观看| 日韩中文字幕在线视频观看| 综合久欧洲| 超碰在线1234区| 九九九九热只有精品| 亚洲国产成人精品久久久国产成人一区二区| 蜜乳视频网站| 性色av婷婷久久一区二区点复制| 少妇毛片久久| 国产蜜臀在线| 草草草视频在线免费看| 男人天堂2012| 91性情| 91大神精品长腿在线观看网站| 日韩操逼HD| 中文字幕日本久久| 抽插爽| 91中出在线| 天美91| 日本东京热加勒比久久| 人妻久久久| 日本新免费二区三区| 91美女视频直播| 性饥渴少妇av无码毛片| 丁香久久| 美女骚尻视频| 亚洲 小说 欧美 激情 另类| 欧美亚洲| 老熟妇综合| 日韩精品一区二区人人人| 日韩熟女操逼| 九九热这里只有在线精品视 伊人草 成人菠萝蜜视频在线观看 | 翔田千里Av在线| 久久曰曰| 人妻素股| 伦伦成年午夜免费视频| 久久久久久久久久久97| 9997se| heyZO天然素人无码AⅤ专区| 伊人AAA| 国外91| 久久69精品久久久久久久| 综合久久婷婷| 亚洲丝袜二区在线| 久久精品色欧美aⅴ一区二区| 青春草A| 成人午夜高潮av猛片| 激情久久久| 在线小说视频一区| 亚洲四虎熟女精品| 97天天插| www.av在线观看| 四虎视频在线观看| 国产精品国产亚洲区艳妇糸列| 欧美性爱系列| 操B在线观看| 女人妻一区| 十八禁啪啪视频| 色性欧美| 性影在线视频| 综合久久99亚洲人妻中文在线| av影片在线观看不卡| 人人色97| 亚洲欧洲自拍图片专区满春格| 91爽啪| 九九九九九精品| 男人兔费天堂| 日本一级特级毛片视频| 九九这里只有精品| 一区二区乱码福利| 97视频620| 日本αv| 91亚州欧美| 日日操免费视频| 亚洲熟女综合| 人妻精品一区二区在线| 久九九九九九九九热| a在线视频免费观看| 另类图片五月天| 高清无码国产亚洲| 91AV入口| 夜夜免费视频| 五月天激情婷婷| 另类图片天天影视| 欧美天天综| 欧美成人A天堂片在线观看| 久9爱经典视频| 日本欧美国内在线| 很很操在线| 自拍视频大全亚洲专媒视频/一区二区三区| 日本操逼aaaaa| 天天综合香 ld视频| 日本三级一区二区 在线| 天天超级碰碰碰| 色色99| 欧美性爽xyxOOOO| 91久久国产综合精品| aaa一级黄片| 凹凸视频在线一区二区| 青青草黑寡妇男人天堂| 亚洲AV无码成人精品久久| 大香蕉99999| 色九九九| 亚洲色鬼| 国产精品一区二区三区,亚洲综合| 国产精品一区二区麻豆| 97自拍一区| 大香蕉丝袜一级片| 少妇被c 黄 免费观看| 青青草乱入乱欲视频在线观看| aⅴ日韩成人电影av在线免费看av大全 | 啪啪啪精品| 老司机香蕉| 国产传媒美日韩av| 熟妇人妻精品一区二区视频色欲| 93人人操人人| 亚洲综合九九| www亚洲欧美| 操美女人妻| 欧美一级色| 久久人妻| 78操B| 大香蕉琪琪日本女优不卡| 色噜噜综合在线| 国产日韩在线播放| 国产在线视频二区| 国产深夜福利| 夜夜欧美| 麻豆色99999| 中文字幕精品久久久久人妻红杏ⅰ| 97色色网| 五月婷婷综合激情| 国产精品99久久久www| 色色毛片| 精品女同一区二区三区| 91成人国产综合久久精品蜜月| 色色婷婷五月| 五月天综合在线| 日韩欧美俄罗斯A片| 日韩欧美成人综合在线| 欧美亚洲自拍另类人妻| 四虎在线视频| 亚州性色| 天天综合网在线观看| 亚洲狠狠入| 人人爽夜夜玩视频| 97精选久久| 99视频精品| 亚洲成?V人片在线观看福利| 可能人人看人人摸| 伊人久久在线视频观看| 国产一级不卡在线观看| 成人国产视频在线观看| 久久久日本电影| 91美女视频在线| 亚洲黑丝在线| 国产原创自拍| 天天摸夜夜摸| 97se综合网| 午夜精品久久久久久久99热影院 | 一区二区精品日韩欧美在线观看| 天天谢天天干| 亚洲精品无码成人久久久99| 中文字幕aⅴ在线视频| 在线一道啪| 风流老熟女一区二区三区l| 蜜乳AV免费观看| 激情小说图片亚洲首页| 亚洲中文字幕在现观看| 日韩精品一区二区日韩| 午夜a成v人电影| 天天操人人操狠狠插| 国产精品毛片?v一区二区三区| 亚洲欧美色图小说| 少妇高潮对白在线观看| 五月天偷拍| 97超碰色五月| 欧美亚洲涩涩| 精品玖九九久| 国产日韩精品suv| 密乳AV免费观看| 色操逼网| 五月香婷婷| 一本一道人妻久久一区二区三区| 欧美乱妇狂野欧美在线视频| 玖玖超碰熟| www男人天堂| 久久久久久久强迫| 亚洲强奸乱伦影视网| 色五月av| 日韩人妻无码精品系列| 东北女人性交| 日韩一级性爱无码| 日韩AV熟女乱伦| 无码高清专| 国产精品一区二区黄片| 美女人妻色网站| 熟妇精品juliaannAV| 一区二区亚州激情久婷婷欧美| 亚洲美女高潮喷水视频| 人人操,人人插| 精品性爱无码在线播放| 中文字幕加勒比海高清无码免费视频| 韩国嫰模上门援交视频| 青春草莓视频在线观看网址| 秋霞成人做爱| 欧美乱色| 国产AV天美传媒一区二区三区 | 一区二区三区一亚洲中文字幕、综合区灬 | 1024香蕉视频| 免费精品AB| 91性高朝久久久久久久久| 久思思热视频在线观看| 粉嫩在线一区二区懂色| 欧美色日本| 超碰欧美97资源| 变态综合色| 亚州操逼图| 天天综合精品| 青青青青草av在线观看| 久久精品久| 亚洲制服aⅴ中文字幕| 久久久人体| 亚洲综合另类色图| 精品美女久久久久| 久久久久国产亚洲一区欧美色图日韩| 亚洲999综合| 欧美熟妇成人一区二区| 99久久com免费视频′| 91麻豆天美国产欧美高潮| 九九热久久99精品re| 在线观看AV不卡| 亚洲性综合11| 粉嫩粉嫩一区性色AV片| 欧美少妇性乱| 久久精品国产AV一区二区三区| 久久精品国产亚洲AV片多多| 人人天天欧洲| 亚洲清纯综合| 一级性爱aaaa| 久久久精品九| 5月婷婷6月六月丁香| 91精品免费| 免费公开人人操| 91夜色chaopeng| V A在线| 极品色社| 婷婷婷婷婷婷久久久久| 欧美一级做a爰片免费视频| 亚洲熟久久| 成人免费看吃奶视频网站| 亚洲 欧美 另类 综合 偷拍| 无码一区免费在线不卡| 色爱欲亚洲| 一级性爱视频免费在线| 高树玛利亚无码流出| 在线日韩精品一区二区三区| 91美腿丝袜在线观看| 99人妻| 国产精品对白内射| 欧美性爱18观看| 伊人国产视频| 浪人综合网| 碰人碰碰人人开房人肉| 日韩人妻无码专区| 综合熟妇一区二区三区| 超碰av在线| 天天看片青娱乐| 亚洲精品819| 精品久久久av无码免费| 91超碰碰在线| 日本午夜久久电影| 97在线免费视频| 欧美美女在线高潮999| 国产中文字幕在线点播| 99精品久久久久久| 色色婷婷丁香| 精品国产三级av韩国在线| 午夜福利久久久噜久噜久久综合 | 久久亚洲天天做| 国产精品亚洲一级av第二区| 国产激情在线| 欧美大香蕉97| 极品尤物女神在线观看| 香蕉99秘 一区精品蜜桃臀| 久久9精品视频| 午夜视频好爽啊| 久久婷婷一区| 欧美性爱一区二区三区四区| 国产激情综合五月久久| 久久国产在线一区二区| 黄色一区三区| 熟女啪啪视频| 国产精品婬乱一级毛片彝族| 日日日日做夜夜夜夜做无码97| 五月婷婷六月色| 欧美十八禁视频| 蜜桃AV天堂| 欧美亚男人的天堂| 久久这里只精品99re66图| 蜜臀视频网站| 少妇熟女视频一区二区三区| 情色av电影| 综合色色婷婷| 大黄片做爱的大的| 97精品视频| 嫩草91| 欧美色图亚州激情| 性站 | 亚洲人综合| 久视频在线观看| 国产亚洲中文不卡二区| 色激情综合网站| 搞中出视频在线观看| 国产人妖视频一区在线观看| 97在线观看| 人人操人人精品影片| 欧美激情片一区二区| 五月香婷婷| 波多野结衣先锋影音| 风月影院十八禁| 亚洲情色无码一区二区三区| 色好看av| 日本亚洲vr欧美不卡高清专区| 黄aaaaaaaaaaaaaaaaaa色网站| 欧美日韩*字幕一区| 日本色日夜干| 麻豆精品.欧美精品.日韩精品.| 北条麻妃性愛视频| 97日视频| 秋霞男人网| 欧美日韩情色一区二区| www成人啪啪18秘 免费| 欧美福利视频啊啊啊啊| 久久免费少妇| 老熟乱一区二区三区四区| 亚洲熟女乱色一区二区三区久久久| 校园春色亚洲欧洲| 又摸又舔在线观看网站| 99操| 欧美日韩精品国产91| 美女在线H91| 久久久草成人网站久久久草成人久久久草久久久 | 无码色| 香蕉综合网| 色婷婷成人| 超碰人人干| 中文字幕狠狠玩| 国产精品成人无码a v毛片| 超碰97色| 免费的黄片有限公司| 秋霞网无码| 亚欧高清| 久久久久久久97| 少妇天堂| 黄站在线免费观看| 伊人嫩草| 欧在线一二区| 色欧美综合| 综合 亚洲 欧美| dy888午夜老子影视达达兔| 热99这里有精品综合久久| 97干色| v91av| 国产粉嫩蜜臀av一区二区三区| 国产1024在线播放| 波多野结衣一级视频| 中文字幕精品一区二区精| 91人妻做a观看视频| 青青草丝袜在线视频| 国产成人无码久久精品| 人妻啊啊人妻啊| 粉嫩国产精品久久粉嫩| 亚洲 欧美都市激情| 亚洲色图 欧美热图 清纯唯美 另类自拍| 久久久久久久久久久久久久久乱码| 99热精品国产| 婷婷五月天色网| 欧美综合网在线| 国产丝袜欧美在线视频| 一区二区三区四区免费视频| 美中日韩无码| 97人人操人人干| 男人的天堂激情| 中国探花熟女| 久久 久久国内精品亚洲| 久久久国产护士丝袜美腿一| 国产精品视屏| 久久久久国产精品喷潮免费观看臀| 国语对白露脸XXXXXX| 天天插夜夜操| 国产精品 久久久精品一牛| 日少妇亚洲版| 精品久一区免费| 无码人妻系列少妇| 国产精品午夜福利| 精品国产国产AV| 97视频在线免费| 91啪啪| 欧美日韩国产成人高清| 网页导航五月天免费一二三区| 另类天堂| 中文字幕在线观看AV| 超碰在线974| 久久9免费视频| 免费观看日本操逼视频| 人妻偷拍一区二区三区| 无码乱人伦中文视频| 综合色啪| 亚热日本熟女| 超碰到97情色| 热99re69精品8在线播放| 家庭乱伦性爱av| 激情图片伦理国产一区二区日韩| 99蜜桃臀久久久欧美精品网站| 超碰99re| 99热在线观看| 青久久| 美国一区二区三区视频| 久久综合久久综合人久久夜精品| 91欧美www| 芊芊操逼视频无码| 97内射偷拍| 久久久青青草| 中文字幕丝袜国产第一页不卡| 午夜丁香婷婷| 亚洲精品国产熟女久久久| 老外又粗又长一晚做五次| 涩五月婷婷| 台湾佬中文娱乐网久久久久久久久久com| 亚洲**2021在线观看| 国模少妇一区二区三区| 污电影在线观看| AAAA级日本片免费视频| 人干人人人操人人摸| 精品九九九九九九九| av激情亚洲五月天| 国产精品久久久亚洲一区| 999色欧美中文字幕| 国产高清26uuu| 先锋音影AV| 波多野42部激情无码喷潮| 久7色| 日韩精品资源| 岛国精品视频在线观看| 欧美淫乱视频| 日欧操屄视频| 一区二区三区一亚洲中文字幕、综合区灬| 日本色婷婷| 亚洲第二页| 久久五月丁香| 丝袜足交视频| 九九综合久久| 日日摸日日碰夜夜爽视频| 久久久一区二区三区四曲免费听| 午夜毛片亚洲精品片国产久久久| 免费人成?大片在线播放| 色超碰综合| 人妻81p| 麻豆区久久久久亚| 97自拍视频在线| 殴美性天天| 人妻夜夜爽天天爽麻豆三区网站 | 成人开心网在线视频| 中文字幕av亚洲在线| 色偷综合| 九九碰九九爱97超碰| 日本一区不卡| 青青草五月天| 天天干天天狼在线视频| 天啪| 亚洲成人色情五月天丁香花| 国产精品人人爽人人做可爱福利| 国产诱惑| 熟妇熟女亚洲天堂网| 99久久亚洲精品无码毛片潘甜甜| 伊人伊人LD| 国产日韩欧美三级片| 免费观看一区| 成人精品欧洲亚洲| 熟女六十路| 人妻人久久精品中文字幕| 少妇超碰在线| 370p日韩欧美亚洲精品| 婷婷10月天青娱乐| 婷婷99狠狠| 黄色大片免费在线| 本道在线| 欧洲乱码视频| 五月丁香六月婷综合成人综合| 五月亭亭六月丁香| 国产精品毛片| 麻豆九九九| 色情五月综合婷婷| 好涩综合| 高树玛利亚无码流出| 亚洲欧美一区二区三区一猛片| 九九九九9999| 91中文精品日韩欧美在线| 国产精品视频精品一二| 精品久久无码午夜福利| 少妇天堂| 加勒比av网| a人欧美综合天堂麻豆| 激情综合久久| 操逼操逼逼操操逼91 | 骚女高跟AV在线| 久久,精品一二三| 精品欧美А∨无码黑人大荫蒂| 竹菊一区二区三区AV线| 97超碰免费人人性爱| 中文字幕第页| 在线国产探花| 性影在线视频| 在线观看不卡一区二区三区| 一二三区精品视频| 熟女熟妇伦久久影院毛片一区二区 | 亚州综| 精品二区三四区五电影 | 天天插夜夜爽| 中文字幕在在线观看网站| 91婷婷| 亚洲精品美女久久久久久久久| 日韩国产不卡在线视频| 老司机午夜精品视频| 超碰97综合| 色狠狠一区二区三区香蕉| 欧美一区二区三区成人性生活| 国产精品色哟哟| 欧美美女自慰一区二区三区| 一区二区三区四区色图| 日韩av在线播放不卡| 嫩草影院性色| 国产第25页在线观看| 性爱视频无打码在线观看| 精品日韩人妻精品一二三区| 欧美精品精品一区二区| 成年无码动漫av片无尽在线| 91亚洲综合在线| 午夜传煤十二区精品| 竹菊一区二区三区AV线| 91精品国| 久久久久久久久一区二区三区| 67914在线兔费成人视频| 夜夜爽夜夜摸夜夜操免费视频| 久久超碰、| 亚洲一区中文字幕久久,果冻传媒一区二区天美传媒 | 激情露脸爱| 97干色天堂| 狠插 制服 自拍| 久久水蜜臀亚洲AV无码精品| 极品内射| 亚洲情色91| 天堂九九九九九九九九九| 理论久久婷婷网 8| 天美av在线观看| 91一区二区| 日逼国产| 国产伦精品一区二区三区在线观| 色999亚洲人成色| 在线黄页看毛片| 国产天天骚| 撸撸成人在线视频| 91精品久久久久久久久久| 91日日夜夜| 激情小说激情视频| 日产操逼| 岛国片国产成人亚洲播放| 久久人人爽人人爽人人片Ⅴ| 丁香五月天激情综合| 91亚洲青青草原精品1区| 欧美亚综合色图| 亚洲伊人久久精品影院| 久操免费视频| 久久亚州精品成人Av无| 日韩激情电影中文字幕| 亚洲高清无码在线桃色| 久久曰曰| 四虎视频在线观看| 九九这里只有精品| yiqicaoav| 久久午夜鲁丝片| 天堂8在线新版官网| 亚洲超碰在线| 97超碰色屌| 老鸭窝成人| 亚洲资源站| 国产传媒午夜理伦精品| 国产探花精品在线| 亚洲国男人的天堂| 97一区二区三区视频| 欧美在线大香999| 超碰在线人妻中文字幕| 麻豆这里只有精品| 久久国99999| 欧美丝袜中文字幕07在线| 精品午夜福利| 草莓精品视频| 亚州综合电影| 欧美日韩人妻精品系列一区二区三区| 黄色AV免费| 啪啪一区| 在线情色电影 91大| 久久免费少妇| 久久99亚洲精品久久99果| 丁香五月色情| 97碰碰日本乱偷人妻中文的| 久久久久成人网| 欧美少妇性爱网站| 顶级少妇BT天堂| 色九九久九九| 日本三级一区二区 在线| 18禁的网站在线| 精品v1区| 91色狼| 99操视频| 青青草中出视频| 曰韩精品视频一区二区| 情侣开房子拍 日韩无码 女的很漂亮| 99日视频在线免费| 婷婷去俺也去六月色| 手机不卡视频不卡在线一二三区| 国产一区二区在线看| 超碰在线观看av不卡| 一区二区三区网站日日骚| 不卡视频一区蜜桃视频| 十八禁视频网站| 九九九九九九九| av网站在线看| 一二三四日本视频高清| 蜜臀网 一区| 思思热免费视频观看| 色阁阁AV综合网| 操逼天美3区| 欧美日韩国产男人| AV天堂国产| 久久天天躁日日躁狠狠躁| 欧美性xxxxx狂欢| 久操B网| 亚州一区二区| 蜜臀久久99精品久久久久久久久| 青青五月天| 国产精品久久久无码AV网站| 欧洲亚洲人人爽爽视频| 一区操逼日比视频| 日产123区精品免费观看| 一级黄色视频网| 夜夜嗨绯色| www.久久最新地址| 中文字幕、久久精品国产2020、久久综合久久自在自线精品自、亚洲 | 97天堂| 日本大香蕉综合网| 超碰人人乐97| 26uuu最新| 日韩二级| 成年人黄色小视频网站| 欧美激情一区二区| 欧美日韩操逼动图| 久久久久婷婷精品av电影| 一级性爱aaaa| 中文字幕丝袜| 久久99国产综合精品女同| 午夜舔阴达高潮视频免费看| 中文字幕版| 国产传媒操逼视频| 亚洲激情欧美色图 | 测评在线观看AV| 蜜桃久久久久久久| 日产操逼| 亚洲综合一| 日本视频一区二区三区| 美女上床网站| 电影69乱码96| 亚洲性爱电影| 日日嗷| 欧美亚洲玖玖玖| 精品人妻1区| 久久是精品| 女优免费一区二区永久| 精品无码欧美三级| 男女性扦B| 中文字幕 码 自拍 视频 区| 三男一女不戴套的A片| 91性| 国产成人亚洲精品自产在线| 欧美亚洲素人制服精品| 精品国产乱码久久久影院| 欧美男人一区| 少妇啪啪自拍| 日本大香蕉综合网红本杳社区| 台欧久久精品视频| av中亚| 一区,二区,三区网站| 波多野结衣之双飞调教在线播放| 校园春色欧美| 强奸少妇AV导航网| 日本五十路熟女一区二区| 亚欧成人一级片在线播放| 久久久111| 成人资源中文字幕在线观看天天| 草草影院最新网址| 91色婷婷综合久久中文字幕二区| 精品97精品97| 婷婷五月天成人| 91色拍| 日韩高清一二三| 中文字幕 av v| 伊人黄色视频免费观看| 偷拍盗拍亚洲色图图片 | 午夜福利在线合集| 男人天堂电影院| 屁股久久久久久久久| 炮色五月| 色色色999| 亚洲天堂人妻熟妇视频| 久久精品国产亚洲AV先锋| 欧美极品少妇| 五月天久久婷婷亚洲| 精品一区二区三区蜜桃臀赵总 | 欧美精品91| 嫖老熟女A片一二三区| 伊人在线大香蕉二。| 天天色粽合合合合合合合| 天天爽入口| www久久久| 日韩精品-原创伙伴| 色婷婷视频| 天天综合91入口| 嫩草 人人网精品| 日本九九久久99播| 91天堂| 九七人妻在线| 伦在线97| 97 国产一区| 91久久久久久| 国产成人免费观看在线视频| 美日韩男女操屄视频| 东京热,男人的天堂| 99热99re6国产在线播放| 欧美精品 - 91爱爱| 欧美性战999| 久久9 9 9精品| 久久久草成人网站久久久草成人久久久草久久久 | 国产不卡免费在线视频| 人人妻人人爽人人精品| 久草在| 一区中文字幕二区日韩| 国产精品制服丝袜中文字幕日韩一区二区三区 | 日本中文字幕一区| 美女干逼2| 人妻少妇精品久久久| baiduhicn.com。| 美国久久一二三四| 色综和网| 亚州男人的天堂| 亚洲熟女乱综合一区二区三区 | 九月婷婷| 人妻嗯啊啊在线播放| 五月天婷婷色| 欧苏综合色综合| 日韩另类色图| 开心五月深爱五月| 欧美亚洲中文字幕| 婷婷综合激情| 91在线色综合| 午夜天堂网| 老熟女熟妇| 欧美一区二区成人一卡| 色婷婷淫色网| 久久精品91| 91模特在线观看| 91天天爽| www亚洲欧美| 免费观看一区| 日本黄色精品专区网站| 亚洲成人日韩小说| 性做久久久久久免费观看软件| 九九精品热| 久操高青| 日韩资源网| 亚洲图片视频小说| 亚洲色图日韩丝袜制服一区二区五月在线| 色九九久九九| 熟女91网站| 99e久久国产精品| 操逼操逼逼操操逼91| 国产精品国产拍高清AV| 99999无码| 青青草字幕AV| 99热婷婷一区二区三| 国产一区二区二区按摩精品啪视频| 少妇熟女1区2区3区| 91成人高清在线观看| blacked精品一区国产| 日韩精品亚洲专区在线影视| 九九这里只有精品| 久久久久久久久九九久孕交| 蜜桃臀一区二区aV| 在线不欧美| 五月婷网站| 乱伦熟女区| 99爱久久视频频| 五月天欧美色图| 国产强奸乱伦欧美| 国产中文字幕曰本毛片| 后X久久| 91超碰在线播放| 97精品全部| 91看黄片| 婷婷五月天成人网| 欧洲精品一区二区三区| 亚洲男人天堂网站| 樱花蜜乳av| 国产丝袜视频| 色香欲天天天天综合色| 91综合网| 熟女突然公开看18禁影片| 亚州操操穴网| 91欧美偷拍| 天天搞欧美| 黄色免费一级在线毛片| 强奸乱伦αv片| 97超碰逼| 91色综合| 五月婷视频| 99re在线视频国产| 99亚洲国产精品色一区二区三区| 在线播放成人网站| 9999久久久久| 黄色大片免费在线| 综合网,亚洲,欧美| 亚洲激情天堂网| 亚洲综合影院| 五月天婷婷综合| 亚洲午夜蜜臀| 在线无码网站| 99re这里只有精品3| 蜜臀99久| 久久丁香五月天| 五月开心久久AV官网| AV一起草在线| 91扒丝袜综合在线| 色欧美综合| 99在线免费观看| 色偷偷2020免费视频播放| 中文字幕一区二区在线日韩精品| 韩国轻伦国内自拍一区| 国产综合久久久麻桃个| 色婷婷狠狠| 亚洲丝袜二区在线| 欧美v亚洲v日韩v最新在线二区| 人妻爽爽啪视频| 日本一区二区三区午夜观看| 日韩激情中文字幕有码| 香蕉99秘 精品一区丁香| 東南亚性呦成人伦理资源在线视频| 黄色欧美性爱视频| 青青草日韩免费观看高清在线| 草草影院最新网址| 麻豆伊人网| 婷婷丁香九月| 91AV天堂| 95自拍视频在线观看| 成人五月天色网| 国产精品原创巨作?v网站| 青青草吊丝| 内射夫妻三片| 天天天乱色综合全| 亚洲网站一区二区在线| 综合色图亚洲欧美| 99热| 禁十八久久| 亚洲h片在线免费观看| 国产av热热色| 91强热人妻| 自拍第一页| 亚洲五月天激情| 亚洲欧美情色| 熟妇一区二区三区| 国产精品网址| 欧美色图 人妻| 911av网站免费观看| 啊啊啊啊啊啊啊啊啊在线观看| 在线观看国产黄色| 加勒比海人人操超碰在线| 久久极品一区二区| 91丨人妻丨国产丨丝袜| 淫色网综合| 亚洲第一精品在线视频| 爱丝福利| 野狼激情网| 国产成人精品必看| 久久久国产护士丝袜美腿一| 久久精品国产亚洲AV片多多 | 九色97| 国产亚洲日韩欧| 欧美九一精品久久久熟妇| 色吧综合网| 日本熟妇浓毛hdsex| 91/欧美| 色婷婷99| 岛国福利在线精品播放| 亚洲欧美综合网站| 蜜桃视频精品一区二区| 操逼逼一区视频| 亚洲综合夜色| www.婷婷| 国产美女自拍AV| 国产视频97| 夜夜操天天肏| 东亚亚洲无码高清| 九九九九9999| 伊人色综合欧美| 精品区9| 色伊人91| 欧美色亚洲| 日本黄色XXX| 欧美五区| 性爱视频久久| 欧美日韩操逼动图| 色欧洲| 亚洲s色图| 欧美久久婷| 日本九九九九| 国产av波波国产精品| 久久久999国产精品| 欧美曰韩国产精品| 五月丁香婷婷综合| 亚洲日韩美国人妻| 久久久精精精| 精品国产国产AV| 亚洲欧洲小说图片视频 | V A在线| 高清孕妇孕交 交孕妇| 97色爱| 日韩精品一区二区三区四虎影视| 日韩欧美国产一区二区三区四区| 国产传媒日韩欧美| 校园春色美腿丝袜| 欧美97在线观看| 99色| 午夜偷拍久久熟女| www.亚洲黄色| 超清中文乱码字幕| 男人的天堂Va| 大屁股熟女一区二区三区| 久草资源欧美在线视频| 久久精精区一区二区一蜜桃一区二区| 久草免费在线一区二区| 久久久久亚洲| 老熟女91视频| 69久久| 天天搞欧美| 国产一区二区在线播放,久久亚洲精品中文字幕第一区,亚洲精品在线中文字幕视频 | 欧美视频一区二区三区| 加勒比av官网在线| baiduhicn.com。| 久久超碰免费的| 国模限制级电影| 蜜桃臀av在线观看| 91一起操| 欧美黄色大片在线观看| 制度丝袜99| 大香蕉www.超碰| 超碰色男人操熟女| 自拍偷拍 日韩欧美| 国产高清自拍视频| 天天综合网日韩| 国产精品诱惑| 综合网欧美| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师黑人潮喷一 | 美女91色黄18| 日韩有码免费视频| 国产野战露脸在线播放| 欧美高清18A片| 综合久久久久久久久91| 日本不卡一区| 1769成人国产精品视频| 国产精品操| 91美女在线观看| 97精品视频| 欧美综合自拍| 久久大黄片| 日韩av无码网站| 中文字幕日韩专区精品系列| 精品午夜福利| 搡老女人911熟妇老熟女| 人人弄人人摸| 曰韩精品视频一区二区| 99精品视频在线观看免费| 性色av蜜臀av色欲aV| 亚洲国产成人精品无码专区| 91精品久久久久五月天精品| 国产精品女生av| 在线观看亚洲专区| 欧美性生活综合| 九九综合| 麻豆黄四叶草网站| silk lablo在线观看一区二区| 啊啊啊啊啊啊啊在线| 在线播放欧洲免费av| 天美传媒av在线| 欧美A√综合网| 亚洲骚男同com| 91天天综合日韩欧美| 欧美性爱日韩高清|