日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

內(nèi)存排查實(shí)戰(zhàn):從JVM OOM到Native崩潰的系統(tǒng)化思路

內(nèi)存排查實(shí)戰(zhàn):從JVM OOM到Native崩潰的系統(tǒng)化思路 如果程序是一輛行駛在道路上的車內(nèi)存就是它腳下的路面。路況好時(shí)你感覺不到它的存在一旦前方出現(xiàn)坑洞、裂縫或者突然收窄的車道車的性能再強(qiáng)也會(huì)瞬間失控。過去幾年里越來越多服務(wù)端應(yīng)用和嵌入式系統(tǒng)面臨的恰恰是這種“路況失控”問題Java 進(jìn)程冷不丁拋出OutOfMemoryError: Java heap spaceC 進(jìn)程在 Windows 上以0xc0000005也就是十進(jìn)制的3221225477退出或者 JVM 直接報(bào)出Native memory allocation (malloc) failed to allocate ... bytes。很多開發(fā)者的第一反應(yīng)是“加內(nèi)存”“重啟試試”“讓運(yùn)維擴(kuò)容”。但真正讓人頭疼的并不是單次崩潰而是這些問題的復(fù)現(xiàn)沒有規(guī)律業(yè)務(wù)高峰期出現(xiàn)、低峰期消失換了機(jī)器就復(fù)現(xiàn)不了升級(jí)一個(gè)小版本后突然頻發(fā)。這個(gè)問題的本質(zhì)是我們只看到了“內(nèi)存不夠”的表象卻沒有建立起一套系統(tǒng)化的內(nèi)存掌控能力。這就是我把這篇文章的主題概括為“Driving on Memory”的原因——不是介紹某一個(gè)具體工具的 API而是要幫你在內(nèi)存這條高速公路上把住方向盤。這篇文章會(huì)從底層概念講起但不做枯燥的教科書式鋪陳接著會(huì)帶你識(shí)別三類最常見的崩潰現(xiàn)場(chǎng)再分別給出 JVM 堆內(nèi)與系統(tǒng)級(jí) native 內(nèi)存的排查方法最后會(huì)聊到車載、嵌入式這類“駕駛”場(chǎng)景里更苛刻的內(nèi)存治理要求并給出一份能直接落地到團(tuán)隊(duì)工程實(shí)踐的檢查清單。如果你已經(jīng)不止一次被 OOM、內(nèi)存泄漏或訪問違例折磨過這篇內(nèi)容會(huì)很適合你。1. 為什么內(nèi)存問題像一顆“延遲炸彈”普通 Bug 的特點(diǎn)是“只要觸發(fā)很快就暴露”。比如接口參數(shù)傳錯(cuò)了跑一次測(cè)試就能發(fā)現(xiàn)數(shù)組越界在大多數(shù)語言里也比較容易定位。內(nèi)存問題卻相反它的爆發(fā)點(diǎn)往往離根因點(diǎn)非常遠(yuǎn)這也是它最難排查的原因。舉個(gè)常見的例子某個(gè)服務(wù)在啟動(dòng)階段申請(qǐng)了一塊緩存正常情況下只占 200MB但緩存中的鍵沒有設(shè)計(jì)過期策略數(shù)據(jù)只增不減。第一天運(yùn)行很正常第二天內(nèi)存漲了 5%第三天又漲了 5%。由于總內(nèi)存還夠用GC 也還“撐得住”服務(wù)并不會(huì)立刻出問題。直到一周后的業(yè)務(wù)高峰期Old Gen被打滿GC 線程接近失控接口延遲從 30ms 變成 3 秒緊接著進(jìn)程 OOM 重啟。等你登錄服務(wù)器排查時(shí)進(jìn)程已經(jīng)重啟現(xiàn)場(chǎng)已經(jīng)沒了大半而根因竟然藏在一周前的某段代碼里。這就是內(nèi)存“延遲炸彈”的典型特征故障現(xiàn)象和故障根源在時(shí)間上被拉得很遠(yuǎn)。更麻煩的是內(nèi)存問題往往不會(huì)孤零零地出現(xiàn)。當(dāng)一個(gè) JVM 進(jìn)程把系統(tǒng)內(nèi)存吃光同機(jī)器上的另一個(gè) Java 進(jìn)程也會(huì)跟著遭殃最后看起來像多個(gè)應(yīng)用同時(shí)出故障很容易誤判成“網(wǎng)絡(luò)問題”或“數(shù)據(jù)庫問題”。要拆掉這顆炸彈靠“重啟”是沒有用的。你需要知道三個(gè)層面的信息第一內(nèi)存到底去哪了第二是誰在哪個(gè)階段申請(qǐng)的第三這種申請(qǐng)是否超出了可控范圍。下面我們從底層概念開始把這三件事講清楚。2. 內(nèi)存管理核心概念先搞懂程序向誰要內(nèi)存我們常說“程序占了多少內(nèi)存”但“內(nèi)存”這個(gè)詞在不同語境下含義完全不同。2.1 物理內(nèi)存與虛擬內(nèi)存CPU 真正直接訪問的是物理內(nèi)存條上的地址但現(xiàn)代操作系統(tǒng)并不會(huì)讓應(yīng)用程序直接接觸物理內(nèi)存而是給每個(gè)進(jìn)程提供一份獨(dú)立的虛擬地址空間。進(jìn)程看到的是從0x0開始的連續(xù)地址實(shí)際上這些地址要通過頁表轉(zhuǎn)換成物理地址。頁表由操作系統(tǒng)和硬件 MMUMemory Management Unit共同維護(hù)因此程序分配了一塊內(nèi)存不代表它立刻占用了同等大小的物理內(nèi)存。這個(gè)設(shè)計(jì)帶來的好處是隔離性A 進(jìn)程寫壞了自己的內(nèi)存不會(huì)直接改寫 B 進(jìn)程的數(shù)據(jù)。代價(jià)是一旦程序訪問了“沒有映射到物理內(nèi)存”的虛擬地址硬件就會(huì)觸發(fā)缺頁異?;蚨五e(cuò)誤在 Windows 上這類錯(cuò)誤通常會(huì)以0xc0000005呈現(xiàn)含義是訪問違例Access Violation。2.2 堆、棧、元數(shù)據(jù)區(qū)、native 內(nèi)存程序運(yùn)行時(shí)并不是只在一個(gè)地方申請(qǐng)內(nèi)存。按主流語言和運(yùn)行時(shí)劃分大致可以分為幾類區(qū)域主要用途典型管理方式溢出時(shí)常見表現(xiàn)棧函數(shù)調(diào)用、局部變量、返回地址編譯器自動(dòng)分配和釋放棧溢出 StackOverflow堆動(dòng)態(tài)創(chuàng)建的對(duì)象、集合、緩存運(yùn)行時(shí) GC 或手動(dòng)分配OOM、內(nèi)存泄漏元數(shù)據(jù)區(qū)/方法區(qū)類信息、常量、JIT 編譯產(chǎn)物GC 按需卸載Metaspace OOMnative 內(nèi)存JIT、GC 數(shù)據(jù)結(jié)構(gòu)、線程棧、DirectBuffer、JNI由運(yùn)行時(shí)向操作系統(tǒng)申請(qǐng)malloc 失敗、進(jìn)程崩潰很多 Java 開發(fā)者以為 OOM 就等于堆不夠大這是誤解。JVM 除了堆還會(huì)向操作系統(tǒng)申請(qǐng)大量 native 內(nèi)存。Metaspace、線程棧、JIT 編譯器代碼緩存以及 Java NIO 的 DirectBuffer 都不在堆內(nèi)。當(dāng)你使用-Xmx設(shè)置了 2GB 堆但 1000 個(gè)線程每個(gè)默認(rèn)棧大小 1MB線程棧就要占約 1GB如果再加上堆外緩存進(jìn)程實(shí)際占用的內(nèi)存可能遠(yuǎn)超-Xmx。因此排查進(jìn)程崩潰時(shí)不能只看堆還要看 RSS常駐內(nèi)存集。2.3 垃圾回收不是萬能的CPP 程序員需要手動(dòng)管理內(nèi)存Java、Go 等語言引入了 GC看起來不用管內(nèi)存了但 GC 只能回收“運(yùn)行時(shí)認(rèn)為不再可達(dá)”的對(duì)象。如果業(yè)務(wù)代碼里某個(gè)集合一直被全局引用持有GC 永遠(yuǎn)不會(huì)回收它。表面上是 GC 不給力實(shí)際上是“內(nèi)存泄漏”在源頭不斷積累。理解這一點(diǎn)才能建立一個(gè)重要判斷內(nèi)存問題不是只有“分配太多”這一種成因還可能來自“該回收的沒有回收”和“運(yùn)行時(shí)申請(qǐng)方式不當(dāng)”。排查的時(shí)候先分清是哪一種再動(dòng)手看代碼和工具。3. 識(shí)別崩潰現(xiàn)場(chǎng)從錯(cuò)誤信息反推故障類型內(nèi)存故障的排查最好從第一現(xiàn)場(chǎng)的報(bào)錯(cuò)信息入手。不要一看到OutOfMemoryError就去看堆大小也不要一看到進(jìn)程退出就懷疑是代碼 Bug。不同類型的信息對(duì)應(yīng)完全不同的排查路徑。3.1 JVM 進(jìn)程內(nèi) OOM第一種是 Java 應(yīng)用打印出的異常堆棧例如Exception in thread main java.lang.OutOfMemoryError: Java heap space at com.example.memory.OomDemo.main(OomDemo.java:12)這個(gè)錯(cuò)誤的直接含義是 JVM 堆無法再分配新對(duì)象??赡艿挠|發(fā)因素包括堆設(shè)置過小、某個(gè)集合異常增長、存在內(nèi)存泄漏。如果要定位重點(diǎn)看的是“發(fā)生分配的位置”和“堆里占著內(nèi)存不放的對(duì)象是誰”而不是去猜-Xmx該設(shè)多大。此外還有Metaspace、GC overhead limit exceeded、Unable to create new native thread等變體。它們雖然都頂著OutOfMemoryError的名字實(shí)際成因并不相同。比如Unable to create new native thread往往是操作系統(tǒng)線程數(shù)限制或進(jìn)程地址空間不足導(dǎo)致的和 Java 堆幾乎沒有關(guān)系。3.2 Windows 上的 0xc0000005 / 3221225477很多開發(fā)者在 Windows 上跑程序時(shí)會(huì)看到類似提示Process finished with exit code 3221225477或者0xC0000005: Access violation reading location 0x00000000000000003221225477換算成十六進(jìn)制就是0xC0000005它對(duì)應(yīng) Windows 的STATUS_ACCESS_VIOLATION。這類錯(cuò)誤通常不是 Java 堆溢出而是進(jìn)程嘗試訪問了沒有權(quán)限的地址。常見場(chǎng)景包括C/C 里對(duì)空指針或野指針解引用、JNI 調(diào)用的本地庫寫壞了內(nèi)存、JVM 自身在 native 層崩潰。遇到0xC0000005時(shí)首先要找崩潰現(xiàn)場(chǎng)日志。如果是 JVM 崩潰進(jìn)程的工作目錄下會(huì)生成hs_err_pidPID.log里面記錄了觸發(fā)崩潰的指令和線程棧。不要拿著這個(gè)退出碼去調(diào)整 JVM 堆大小那很可能跑偏。3.3 JVM 向操作系統(tǒng)申請(qǐng)內(nèi)存失敗第三種崩潰信息在服務(wù)端更常見它的報(bào)錯(cuò)長這樣There is insufficient memory for the Java Runtime Environment to continue. Native memory allocation (malloc) failed to allocate 2046256 bytes for chunk注意這里的 2MB 左右分配聽起來很小卻失敗了。這說明問題大概率不在“某一次分配的量太大”而是操作系統(tǒng)層面已經(jīng)無法滿足內(nèi)存申請(qǐng)??赡茉虬ㄟM(jìn)程可用的虛擬地址空間耗盡、系統(tǒng)內(nèi)存被其他進(jìn)程占滿、容器 cgroup 內(nèi)存限制被觸發(fā)或者進(jìn)程間接導(dǎo)致的vm.max_map_count超過上限。這時(shí)候如果還在糾結(jié)“為什么 2MB 都分配不出來”方向就錯(cuò)了。正確做法是先看整個(gè)機(jī)器的內(nèi)存水位再看進(jìn)程的 RSS 大小和線程數(shù)然后檢查是否被容器限制。4. 掌握觀測(cè)手段內(nèi)存排查不是靠猜內(nèi)存分析不能靠“我感覺內(nèi)存漲了”。沒有度量就沒有定位。關(guān)鍵要掌握三層觀察系統(tǒng)層、進(jìn)程層、運(yùn)行時(shí)層。4.1 系統(tǒng)層先看整機(jī)內(nèi)存水位在 Linux 上排查時(shí)我習(xí)慣按下面的順序看數(shù)據(jù)# 查看系統(tǒng)總內(nèi)存、已用內(nèi)存、可用內(nèi)存 free -h # 查看內(nèi)存詳細(xì)指標(biāo) cat /proc/meminfo | grep -E MemTotal|MemAvailable|CommitLimit|Committed_AS # 查看某個(gè)進(jìn)程的常駐內(nèi)存、虛擬內(nèi)存 ps -o pid,rss,vsz,%mem,cmd -p PID # 查看進(jìn)程的地址空間與物理內(nèi)存映射 pmap -x PIDfree -h輸出的available列比free列更接近真實(shí)可用內(nèi)存因?yàn)?Linux 的清緩存機(jī)制讓部分緩存內(nèi)存可以被迅速回收。如果available已經(jīng)很低就要進(jìn)一步找誰在占用。/proc/meminfo里的CommitLimit和Committed_AS值得單獨(dú)理解。它們對(duì)應(yīng)系統(tǒng)承諾給進(jìn)程的虛擬內(nèi)存總量。如果Committed_AS長期逼近CommitLimit即使物理內(nèi)存還有富余操作系統(tǒng)也可能拒絕新的內(nèi)存申請(qǐng)。4.2 JVM 進(jìn)程層堆和 native 都要監(jiān)控查看 Java 進(jìn)程的啟動(dòng)參數(shù)時(shí)可以通過jcmd查看 JVM 實(shí)際生效的配置# 查看指定 JVM 進(jìn)程的基本信息 jcmd PID VM.flags # 查看堆當(dāng)前使用量 jcmd PID GC.heap_info # 查看類加載數(shù)量和元數(shù)據(jù)區(qū)使用量 jcmd PID VM.metadata比較推薦的做法是接入帶 GC 日志的啟動(dòng)參數(shù)。GC 日志能明確告訴你堆是否頻繁 Full GC、每次 GC 后存活對(duì)象是否持續(xù)增長。如果存活對(duì)象一直增長內(nèi)存泄漏的概率非常高。4.3 容器環(huán)境小心只看 host 不看 cgroup容器化部署之后最常見的一個(gè)坑是在宿主機(jī)上執(zhí)行free -h發(fā)現(xiàn)內(nèi)存很充足但容器還是 OOM。原因在于容器使用的內(nèi)存上限由 cgroup 控制宿主機(jī)空閑不代表容器還有配額。排查容器內(nèi)存問題需要看容器自身的內(nèi)存統(tǒng)計(jì)# 在容器內(nèi)查看 cgroup 內(nèi)存限制與當(dāng)前用量 cat /sys/fs/cgroup/memory/memory.limit_in_bytes cat /sys/fs/cgroup/memory/memory.usage_in_bytes # 如果 cgroup v2 cat /sys/fs/cgroup/memory.max cat /sys/fs/cgroup/memory.current在 Kubernetes 中如果 Pod 頻繁被殺死kubectl describe pod的事件里會(huì)出現(xiàn)OOMKilled。這種問題先調(diào)整容器內(nèi)存上限再檢查 JVM 是否能感知到容器限制是常見的排查順序。5. 實(shí)戰(zhàn)從零定位一個(gè) JVM 堆內(nèi)存 OOM理論講完我們做一個(gè)能完整跑通的最小實(shí)驗(yàn)。這個(gè)實(shí)驗(yàn)不需要復(fù)雜業(yè)務(wù)只需要一個(gè)會(huì)不停往集合里塞對(duì)象的 Java 類。5.1 模擬程序文件路徑src/main/java/com/example/memory/OomDemo.javapackage com.example.memory; import java.util.ArrayList; import java.util.List; /** * 最小 OOM 復(fù)現(xiàn)程序。 * 每次分配 1MB 數(shù)組并持有引用避免被 GC 回收。 * 請(qǐng)勿在生產(chǎn)環(huán)境直接運(yùn)行。 */ public class OomDemo { public static void main(String[] args) throws Exception { Listbyte[] cache new ArrayList(); int index 0; while (true) { cache.add(new byte[1024 * 1024]); index; if (index % 50 0) { System.out.println(allocated index MB); Thread.sleep(100); } } } }這段代碼的邏輯非常簡單循環(huán)創(chuàng)建 1MB 大小的字節(jié)數(shù)組并添加到Listbyte[]中。只要List不釋放引用數(shù)組就不會(huì)被 GC 回收。5.2 用有限堆啟動(dòng)并自動(dòng)生成 Heap Dump文件路徑run-oom-demo.sh#!/usr/bin/env bash java -Xms256m -Xmx256m \ -XX:HeapDumpOnOutOfMemoryError \ -XX:HeapDumpPath/tmp/oom-demo.hprof \ -cp target/classes \ com.example.memory.OomDemo這里的兩個(gè)參數(shù)很關(guān)鍵HeapDumpOnOutOfMemoryError表示在 OOM 時(shí)自動(dòng)導(dǎo)出堆快照HeapDumpPath指定導(dǎo)出路徑。生產(chǎn)環(huán)境建議一開始就加上否則進(jìn)程重啟后很難找回現(xiàn)場(chǎng)。5.3 預(yù)期運(yùn)行結(jié)果程序運(yùn)行一小會(huì)兒后會(huì)看到類似這樣的輸出allocated 50 MB allocated 100 MB Exception in thread main java.lang.OutOfMemoryError: Java heap space at com.example.memory.OomDemo.main(OomDemo.java:14) java.lang.OutOfMemoryError: Java heap space Dumping heap to /tmp/oom-demo.hprof ... Heap dump file created [26572256 bytes in 0.051 secs]看到Heap dump file created說明堆快照已經(jīng)生成。接下來就可以用 MATEclipse Memory Analyzer或 VisualVM 打開/tmp/oom-demo.hprof按照“Dominator Tree”排序查看哪些對(duì)象占用了最大比例的內(nèi)存。最終看到的通常會(huì)是那個(gè)byte[]數(shù)組以及持有它的ArrayList。這個(gè)實(shí)驗(yàn)的價(jià)值在于幫你建立兩條排錯(cuò)直覺第一-Xmx設(shè)多大不解決“引用不釋放”的問題第二堆轉(zhuǎn)儲(chǔ)文件的導(dǎo)出是 OOM 排查里最值得優(yōu)先確保的一步。真實(shí)業(yè)務(wù)中代碼會(huì)比這段復(fù)雜得多但分析思路完全一致先找到一個(gè)明確的根對(duì)象再看是一張表、一個(gè)緩存還是一個(gè)全局集合在“抱住”大量內(nèi)存不放。6. native 內(nèi)存分配失敗的另類排查JVM 的 OOM 通常能拿到異常堆棧native 分配失敗卻常常只有一段 “There is insufficient memory” 的啟動(dòng)日志或崩潰日志。場(chǎng)景更接近“系統(tǒng)路況已經(jīng)堵死車還沒上高速就熄火了”。6.1 先把范圍縮小到三個(gè)方向遇到Native memory allocation (malloc) failed時(shí)第一件事不是加內(nèi)存而是快速判斷問題屬于哪一類。第一系統(tǒng)或容器真正沒有可分配內(nèi)存了。你會(huì)看到free -h中available極低或者 cgroup 的memory.max已經(jīng)被打滿進(jìn)程的 RSS 已經(jīng)接近限制值。此時(shí)要找的是進(jìn)程里誰占用了越多的 native 內(nèi)存。第二地址空間或內(nèi)核參數(shù)受限。有些系統(tǒng)默認(rèn)vm.max_map_count只有 65530如果進(jìn)程創(chuàng)建了大量線程、共享內(nèi)存或 JIT 代碼段可能導(dǎo)致映射數(shù)量超出限制后續(xù)小塊內(nèi)存分配都會(huì)失敗??梢杂孟旅娴拿畈榭春团R時(shí)調(diào)整# 查看當(dāng)前限制 sysctl vm.max_map_count # 臨時(shí)提高限制生產(chǎn)環(huán)境建議寫入 /etc/sysctl.conf 持久化 sysctl -w vm.max_map_count262144第三JVM 自身某些 region 設(shè)置不合理。比如 Metaspace 無上限但類加載異常、DirectBuffer 被不停申請(qǐng)而沒有釋放、線程數(shù)太多導(dǎo)致線程??臻g暴漲。這些雖然都以 native 內(nèi)存形式存在但根因在運(yùn)行時(shí)配置和代碼。6.2 一個(gè)典型的容器內(nèi)存踩坑場(chǎng)景假設(shè)一個(gè) Java 應(yīng)用啟動(dòng)命令是java -Xmx1024m -jar app.jar容器配置如下resources: requests: memory: 768Mi limits: memory: 768Mi這個(gè)配置繼續(xù)運(yùn)行的結(jié)局大概率是OOMKilled。原因很簡單JVM 以為可以堆外申請(qǐng)超過容器限制的內(nèi)存把-Xmx設(shè)置成 1GB容量上限卻被固定在 768MB。即使堆沒有打滿JIT、Metaspace、線程棧等額外內(nèi)存也可能讓總數(shù)越過 cgroup 限制。更穩(wěn)妥的做法是讓 JVM 感知容器限制并設(shè)置合理的堆外余量。以 JDK 10 以上的版本為例在容器內(nèi)啟用UseContainerSupport默認(rèn)開啟后JVM 會(huì)自動(dòng)讀取 cgroup 限制團(tuán)隊(duì)實(shí)際部署時(shí)仍然要為堆外內(nèi)存預(yù)留約 25% 的余量不要盲目把-Xmx頂?shù)浇咏萜魃舷?。這個(gè)比例并不是固定公式但“堆外一定要留余量”這條原則是確定的。7. “Driving on Memory”的現(xiàn)實(shí)版車載與嵌入式系統(tǒng)中的內(nèi)存挑戰(zhàn)讀完前面的 JVM 與服務(wù)器場(chǎng)景再回到“Driving on Memory”這個(gè)標(biāo)題。車載智能座艙、自動(dòng)駕駛域控制器這類嵌入式系統(tǒng)才是對(duì)內(nèi)存“駕駛”要求最苛刻的地方。這類系統(tǒng)有兩個(gè)突出特點(diǎn)。第一是資源受限內(nèi)存大小是硬件上早就定死的不可能像云端那樣靠“擴(kuò)容”解決第二是運(yùn)行周期極長車輛啟動(dòng)后系統(tǒng)可能連續(xù)運(yùn)行數(shù)天甚至數(shù)月一個(gè)每天泄漏幾 KB 內(nèi)存的模塊經(jīng)過數(shù)月積累也會(huì)拖垮整個(gè)系統(tǒng)。更關(guān)鍵的是嵌入式系統(tǒng)一旦因?yàn)?OOM 重啟影響的可能不只是用戶體驗(yàn)還涉及功能安全。所以在設(shè)計(jì)階段就對(duì)內(nèi)存治理想得非常嚴(yán)格。具體到工程實(shí)踐嵌入式場(chǎng)景里更看重這幾件事靜態(tài)分配優(yōu)先。在系統(tǒng)啟動(dòng)階段就確定主要內(nèi)存池的大小減少運(yùn)行期動(dòng)態(tài)分配避免長期運(yùn)行后產(chǎn)生內(nèi)存碎片。分模塊設(shè)置內(nèi)存預(yù)算。每個(gè)組件能申請(qǐng)多少內(nèi)存一開始就有量化指標(biāo)超預(yù)算報(bào)警而不是等到系統(tǒng)整體 OOM。重視碎片化。動(dòng)態(tài)分配和釋放頻繁后總剩余內(nèi)存可能還有但連續(xù)大塊內(nèi)存不足導(dǎo)致分配失敗。這和服務(wù)器上的 native malloc 失敗現(xiàn)象本質(zhì)一致。日志和狀態(tài)頁要設(shè)計(jì)好。車載設(shè)備無法隨時(shí)讓工程師連接調(diào)試器因此系統(tǒng)需要有內(nèi)存水位監(jiān)控、異??煺沼涗浐桶踩导?jí)機(jī)制。服務(wù)器場(chǎng)景里經(jīng)常被忽視的“長期運(yùn)行風(fēng)險(xiǎn)”在嵌入式場(chǎng)景里被放到了最高優(yōu)先級(jí)。這也是“Driving on Memory”的核心含義內(nèi)存管理不是上線前的臨時(shí)檢查而是貫穿整個(gè)產(chǎn)品生命周期的駕駛能力。你以為自己只是在寫業(yè)務(wù)代碼實(shí)際上你每創(chuàng)建一條線程、一個(gè)緩存、一次 IO 緩沖區(qū)都在影響著系統(tǒng)的內(nèi)存軌跡。8. 內(nèi)存異常信息速查表下面用一張表格匯總前文提到的典型報(bào)錯(cuò)方便你實(shí)際排查時(shí)對(duì)照。異常信息或退出碼直接含義常見根因第一排查方向OutOfMemoryError: Java heap spaceJava 堆無法分配對(duì)象堆過小、集合持有大量對(duì)象導(dǎo)出 Heap Dump查看大對(duì)象持有鏈OutOfMemoryError: Metaspace元數(shù)據(jù)區(qū)耗盡類加載器泄漏、動(dòng)態(tài)生成類過多查看類加載數(shù)與 Metaspace 配置OutOfMemoryError: GC overhead limit exceededGC 頻繁但回收效果差堆基本被占滿先看堆容量和 GC 日志再做 Heap DumpProcess exited with code 3221225477Windows 訪問違例0xC0000005野指針、JNI native 崩潰查找hs_err_pid*.log分析崩潰棧Native memory allocation (malloc) failed to allocate ...JVM 無法向系統(tǒng)申請(qǐng)內(nèi)存系統(tǒng)/容器內(nèi)存不足、映射數(shù)超限檢查整機(jī)與 cgroup 內(nèi)存水位容器被OOMKilled進(jìn)程超過容器內(nèi)存限制堆外內(nèi)存占用超預(yù)算檢查 JVM 容器感知與內(nèi)存 limit 設(shè)置這份表格并不能覆蓋所有內(nèi)存問題但可以作為一條快速分類線。先把錯(cuò)誤歸類再?zèng)Q定要不要看堆、看系統(tǒng)內(nèi)存還是看崩潰日志。很多排查卡殼往往是因?yàn)橐婚_始就進(jìn)錯(cuò)了方向。9. 長期可落地的內(nèi)存治理實(shí)踐與其每次都“救火”不如把內(nèi)存治理變成工程日常。結(jié)合服務(wù)端與嵌入式項(xiàng)目的共性建議從下面幾個(gè)方面建立機(jī)制。第一從源頭控制分配。寫代碼時(shí)要明確大對(duì)象的生命周期哪些是短生命周期的局部對(duì)象哪些是全局緩存哪些是運(yùn)行時(shí)決定的動(dòng)態(tài)集合。對(duì)緩存的引用一定要能清理否則遲早會(huì)變成“隱形的內(nèi)存泄漏”。接口返回大批量數(shù)據(jù)時(shí)優(yōu)先使用流式處理而不是一次性集合全量加載。第二建立內(nèi)存監(jiān)控的可觀測(cè)體系。Java 服務(wù)至少要有堆使用率、GC 次數(shù)與耗時(shí)、Metaspace、線程數(shù)、native 內(nèi)存估算和 RSS 指標(biāo)。接入 Prometheus 后可以給關(guān)鍵指標(biāo)配置告警。更重要的是留存歷史曲線否則內(nèi)存漲了 5% 時(shí)沒有人在意等漲到 90% 才發(fā)現(xiàn)排查難度會(huì)成倍上升。第三堅(jiān)持版本發(fā)布前做壓力測(cè)試。內(nèi)存問題有一個(gè)特點(diǎn)它在低負(fù)載下可能完全隱匿。只有在壓測(cè)中把請(qǐng)求量抬高到線上峰值的數(shù)倍才能暴露那些“請(qǐng)求量增長時(shí)內(nèi)存也線性增長”的代碼路徑。壓測(cè)時(shí)如果發(fā)現(xiàn)內(nèi)存曲線沒有回落不要繼續(xù)加負(fù)載先拉 Heap Dump 找根因。第四設(shè)計(jì)可回滾的配置與容量預(yù)案。無論怎么優(yōu)化線上環(huán)境仍可能出現(xiàn)突發(fā)流量或未知 Bug。發(fā)布前要考慮進(jìn)程內(nèi)存告警后能否快速摘流量、能否擴(kuò)容、能否回滾。提前設(shè)計(jì)好這三級(jí)預(yù)案遠(yuǎn)比崩潰后開會(huì)復(fù)盤更有效。第五新成員培訓(xùn)中加入“內(nèi)存基礎(chǔ)”。團(tuán)隊(duì)合作時(shí)代碼評(píng)審不只看業(yè)務(wù)邏輯還要看內(nèi)存邊界。新人最容易踩的坑是把無限增長的集合當(dāng)緩存、在定時(shí)任務(wù)里創(chuàng)建大對(duì)象卻不釋放、以及完全不理解容器內(nèi)存限制對(duì) JVM 的影響。如果團(tuán)隊(duì)里人人都能識(shí)別出一段代碼“可能產(chǎn)生內(nèi)存問題”很多故障在評(píng)審階段就會(huì)被攔下。10. 寫在最后回到開頭那個(gè)比喻程序跑在內(nèi)存上就像車跑在路上。你不能等爆胎了才去補(bǔ)路而應(yīng)該形成一套持續(xù)的駕駛習(xí)慣——知道儀表盤每個(gè)數(shù)字的含義知道前方什么路況容易失控知道剎車方向和避險(xiǎn)順序。Java 的 OOM、Windows 的0xc0000005、native malloc 失敗、容器 OOMKilled其實(shí)都是同一條路上不同的“事故形態(tài)”。真正能幫到你的不是某一個(gè)-Xmx參數(shù)也不是某一個(gè)分析工具而是你看到報(bào)錯(cuò)之后能夠快速判斷這是堆的問題、GC 的問題、操作系統(tǒng)的問題還是代碼設(shè)計(jì)的問題。判斷對(duì)了排查只是時(shí)間問題判斷錯(cuò)了加多少內(nèi)存都只是把事故推遲到下一次。建議你把文章里的速查表和排查步驟存下來下次再遇到內(nèi)存問題時(shí)先別急著改代碼把現(xiàn)場(chǎng)信息盡可能完整地收集起來GC 日志、堆轉(zhuǎn)儲(chǔ)、系統(tǒng)內(nèi)存快照、崩潰日志、最近發(fā)布記錄。掌握了這套方法論你才算真正在“Memory”這條路上穩(wěn)穩(wěn)開過車。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
欧 美 自 拍 偷 拍| 好爽免费视频,| 天天摸夜夜添无码小视频| 伊人午夜福利视频| 麻豆福利视频导航| 91色碰| 欧美99| 欧美1区二区三区公司| 91色欧美| 91 综合 色| 五月丁香六月激情综合| 日韩欧美俄罗斯A片| 久久男人的天堂| 热热色国产一二区AV| ,国产乱人伦精品一区二区三区| 日韩免费在线视频观看| 久久大黄片| 超碰在线1234区| 色女综合| 无码人妻一区二区一牛影视| 久久久久骚| 亚洲乱熟女一区二区三区大香蕉| 久久香蕉国产线看观看猫咪av | 开心激情站| 八人操人人摸人人看| 青娱乐老司机视频| 中文字幕日韩精品久久| 试看日韩黄片| 91亚洲综合| 亚洲天天更新| 亚欧美色| 欧美成人一级麻豆| 翔田千里AV无码秘 三区| 综合欧美亚洲| 思思热一热婷婷热一热| 久久人人舔人人爽舔人人av片| 国产精品白领在线观看| 97色在线视频| 亚洲日韩人妻中文字幕一区| 97久久精品| 一级毛片电影免费看| 一本色道综合久久欧美日韩精品| 18禁在线视频| 国产第12页| 青青操网| 精品国产一区二区三区av在线资源| 亚洲欧洲国产综合av| 亚洲精品第一| 91美女中出| 色综合美国| 超碰亚洲97| 蜜桃视频精品一区二区三区| 大香蕉欧美伊| 天天干人人看综合| 中文字幕,人妻,日韩| 国产v片在线免费观看| 一二三区操逼国产91| 神马久久久久久| 亚洲本色精品一区二区久久| 日逼视频日本| 国产农村一一级特黄毛片| 免费一级欧美片片线观看| 操婷婷逼| 三级片大波波| 蜜臀在线看片| 欧美大波激情xxxx| 亚洲五月婷| 久久色一区| 嗯嗯啊好大| 国产亚热在线久久| 久久久久夜夜夜夜| 永久免费发布性爱网| 国产成人无码久久精品| 丝袜天堂| 青草一区二区| 亚洲图片欧洲图片aⅴ| 久久美女福利是上海美女| 成人情色一区二区| 啪啪啪男女亚洲中文字幕99| 欧美精品日韩久久久九| 天天爱天天韩国日本牛牛牛牛| 有码人妻系列| 97久久精品| 影视综合无码少妇| 中文字幕 码 自拍 视频 区| 动漫av中文| 9l视频自拍9l九色成人| 欧美日韩操逼动图| 手机午夜电影神马久久| 香蕉99秘 一区精品蜜桃臀| 综合激情一一91| 91新在线欧美| 91精品电影18| 亚洲清纯综合| 丝袜亚洲91| 亚洲激情 欧美色图| 婷婷五月天激情网| 97干在线| 国产精品老熟女一区二区| 狠狠色综合网| 久久一二三四不卡| 久久精品国产久精国产| 欧美青青视频| 九九亚洲精品| 熟女AV一区| 亚洲少妇激情视频| 午夜毛片高清免费不卡| 日本蜜桃| 91碰碰| 久久爱超碰网| 亚洲天堂日本| 蜜乳av一区二区三区四区不卡| 久久夜夜夜| 国产精品分类在线观看| 99久久久久久亚洲精品不卡| 精品国产Av无码久久久亚洲| 国产精品免费视频人成| 再深点灬舒服灬太大了好硬好爽| 久久免费精彩视频| 天天综合网久久ww| 超碰欧美在线欧美| 综合五月天| 亚洲图片欧洲图片aⅴ| 欧美熟女少妇| 91美女视频在线观看| 91在线|亚| 国产极品馒头逼| 久久久无码国精品无码三区三区| 国产偷人伦激情在线观看| 天天操夜夜操| 亚洲性网| 大香蕉琪琪日本女优不卡| 久久久久久人妻一区精品色欧美| 欧美日韩亚洲高清不卡一区二区三区| 欧美综合第一页| 欧美激情总合网| 欧美牲| 久久25| 伊人黄色片| 亚洲黄a三级三级三级看三级| 精品人体无圣光凹凸| 青青草视频久久久久| 91精品久久久久| 9999免费精彩视频| 超碰综合97在线| 99九九久久| 中文字幕无码不卡啪啪| 97资源久久| 天天草天天日| 特级丰满少妇一级AAAA爱毛片| 精品亚洲国产成人av网站| 把腿张开老子CAO烂你| 五月丁香综合激情| 欧美日韩电影一区二区| 欧洲大香蕉| 91日韩网站| 色吧 综合| 欧美伊人久久综合网| 黄片在线免费在线观看| 91人妻视频在线| 久久中日麻豆| 婷婷深爱五月| xxx亚洲午夜天堂| 加勒比综合九九99视频在线播放| 一本大道青青| 日本日逼高清| 三级网站超变态精品| 啊啊啊在线看| 精品成人无码| 亚洲精品色| 久久妇| 天天影视色香欲综合网小说| 26uuu国产免费观看| 九九热免费国产视频婷婷伊人| 国产丰满熟夫69mpp| 91操熟女视频| 欧美性巨大╳╳╳╳╳高跟鞋| 欧美|91色综合| 一区二区首页| 日韩在线观看AV| 欧美黄色大片在线观看| 激情文学网伊人| 亚州高清色综合| 人人妻碰人人免费| 丁香五月天堂网| 嗯嗯啊好大| 五月天激情四射| 中文字幕十五区| 97干97色| 亚洲图片 91| 久草线上视频免费看| 曰韩中文人妻视频| 中文字幕乱码人妻一区二区三区,99精品 | 国产人妖视频一区在线观看| 97久久精品亚洲| 少好三P| 久久久久亚洲| 中国熟妇| 天天操夜夜操狠很操| 91粉嫩萝控精品福利网站_精品影音先锋国 | 亚洲的天堂网| 欧美自拍偷拍综合图片| 偷拍欧美综合| 丰满熟女一区二区三区在线播放| 婷婷爱五月| 天天干干天天干干| 丰满少妇高潮无码| 狠狠久久手机视频精品| 色穴精品| 成人精品无码| 97高清啪啪| 好吊色综合| 少妇一线天久久久久久| 超碰九7| 超碰人人妻| 综合亚洲网| 日本午夜福利影院| 97神马久久| 超碰人人在线| 日韩亚洲欧美中文字幕| 亚洲限制级在线| 伊人97色天使| 性无码专区2020| 精品久久視頻在线| 呦呦影院| 免费啊啊啊| 八人操人人摸人人看| 日韩 女同 综合| 日韩性爱电影一区| 清纯唯美亚洲综合| 夜夜久久| 国产无套粉嫩白浆在| 狠狠躁伊人中文字幕| 涩五月婷婷| 久久久无码精品人妻二区 | 国产精品第一区第一页| 大香蕉中文aV在线| 约操熟妇| 青青草在线视频播放器| 好属操| 久久黄色网址| 熟女五十路一区二区三| 亚洲97精品| 亚洲一区二区三区麻豆传媒| 国产女乱淫真高清免费视频| 久久精品无码熟妇一区二区三区视频导航 | 小电影欧美91| 天天综合网国产| 精品999999| av婷婷色网| 成人三级片无码| 唯美清纯 妖精视频| 欧美三级一级| 五月天黄色激情视频| 99热这里都是精品| 小明看看网址| 俺去也婷婷| 大香蕉色十月| 国产日韩欧美中文在线播放| 熟妇无码视频三区| 九九亚洲精品| 欧美大香蕉卡久久| 国产做?爰片久久毛片?片美国| 中文字幕蜜乳av| 1204av韩国| 欧美激情综合色综合啪啪五月| 日本成熟少妇A∨网站| 欧美极品色| 国产视频一区二区在线| 色综合尤物| 亚洲天堂在线怕怕视频| 久久久久幕乱码| 男人的天堂在线2| 精品久久久久久亚洲| 91伊人大香蕉| 色官网在线| 久久免费99精品久久久久久| 91丨人妻丨国产丨丝袜| 人妻精品一区二区| 亚洲加勒比色图| 素颜老阿姨乱情色| 视频在线观看一二三区| 五月婷婷色色| 91丨九色丨43老版熟女| 亚欧无码在线| 伦伦成年午夜免费视频| 一级性爱啪啪视频| 九九精品无码专区免费| 久久久亚洲熟妇熟女| 亚洲骚男同com| 91挑色欧美| 草草草视频在线免费看| 精品国产99999| 色69大色97香蕉| 97免费视频在线观看视频| 超碰国产情侣自拍网| 99ri视频| www.狠狠| http://qxhbdz.com| 国产大学生高潮在线播放| 国产精品无码论坛| 97伦综合| 亚洲日韩精品一区视频在线| 欧美日韩国产电影| 国产乱伦亚洲| 60秒免费小视频| 国产中文字幕在线点播| av72网| 性饥渴少妇av无码毛片| 成人欧美一区二区三区黑人一| 久久嫩草| 国产无码精品久久久久久| 极品销魂美女一区二区| av网站国产主播在线| 黄色大片视频在线免费看| 五十路三区在线| www.男人的天堂| 在线99热| 97最新在线播放视频| 日本3级一区二区免费| 无遮挡h肉动漫在线观看| 精品毛片久久久精品毛片| 香蕉人人操tv| 激情一区二区三区在线观看| 2025亚洲男人天堂| 亚洲日韩久久精品一区| 91美女精品| 人人妻人人澡人人爽久久av| 国产麻豆一级精品视频| 日韩视频小说在线观看| 国产大学生高潮在线播放| 快灬快灬 一下爽蜜桃在线观看| www.婷婷| 色y情视频免费看| 国内外色色色色色成人视频| 人妻三级在线中文字幕| 日日夜夜噜| 九九免费影片| 欧美日韩在线小说| 一个色导综合| 狠狠操狠狠爱| 色拍偷亚洲| 久久有码视频| 国产91福利小视频在线观看| 免费超碰97久久| 欧美日韩国产精品久久色婷婷| 天天欧美| 男人女人18禁片免费看网站| 熟女色综合久久| 发朗少妇买婬全视频中文| 男人天堂久久日韩| 精品少妇一区二区| 超碰97人妻免费在线| 中国国国产一级特黄毛片| 三级激情网站| 99国产精品久久久在线播放| 亚殴在线| 免费夜夜爱黄色视频毛片| 亚洲性爱电影| 黄色无码高清黄色无码网站| 欧美在线第五页| 国产乱婷婷精品二区三区| 97在线视频免费| 亚洲精品一区二区精品| 清柠毛片| 男人的天堂三级| 眼镜人妻101.com| 婷婷色导航| s片在线观看| 超碰色老头| 97爱b| 大香蕉人妻久久| 香蕉国产精品麻豆亚洲欧美日韩| 思思热在线| 欧美亚洲成人在线一区二区三区| 成人五月天丁香激情综合| 亚洲最大AV网| 性老妇一区二区三区| 91精品国产91久久久久久久久久久久| 九九精品99| 好吊色一区| 不卡视频一区蜜桃视频| 久久亚洲不卡| 亚洲一区二区性爱电影| www.国产高潮精品| 日韩不卡在线一区二区| 欧美v亚洲v综合v国产v妖精| 日韩性爱啪啪视频| 岛国爱情动作片在国产AV无码专区亚洲AV漫画| 91亚洲人| 亚洲图片欧美另类综合免费视频大大香| 日韩熟女操逼| 精品久久一区二区三区四区五区| 青青草导航在线视频| 日韩国产不卡在线视频| 日韩ab网 | 免看60秒涩涩视频| 亚洲九月丁香| 91劲爆| 啪啪AV导航| 亚州春色| 午夜精品探花| 玖玖爱视频网站| 岛国片在线观看视频亚洲| 高清无码学生妹高潮| 国产成人无码高清| AV男人天堂网| 欧美国产伊人久久久久| 日本不卡免费二区| 99热日本| 久久精品无码一区二区三区| 亚洲欧美一区二区三区一猛片| 欧洲精品一二三在线| 日本东京热加勒比久久| 亚洲欧洲无码一区夜| 男人天堂黄片| 91国产在线精品| 亚洲激情在线一区二区| 狠狠入| 情侣开房子拍 日韩无码 女的很漂亮| 一起草三级AV电影在线观看 | 999久久久九| 黑人免费福利视频| 亚洲情色一区二区三区| 国产精品久久久久久片| 久九九九九九九九热| 色播综合| 极品综合| avav青青草久久夜| 91亚洲不卡一区| 午夜视频久久久久一区| 51一区二区三区| 大香蕉在线视频15| 伊人精品久久网站| 成人AV在线网站| 91在线页| 郑州宾馆老熟女露脸啪啪| 久久9精品| 天天摸天天碰天天添青青| www亚洲免费| 一本一道久久综合久久| 欧美狠狠操| 99精品久久久久久久婷婷| 97超碰精品图片| 天天影视激情欧美| 国产强奸超碰AV| 600国产精品视频| 丁香五月天久久精品视频一区二区三区| 国产精品无码久久久久2025| 97久操| 一本正道久久熟女| 色香色欲天天综合网天天来吧| 久久久人妻| 熟女高潮合集-永久久久-成人AV| 密桃99999| 亚洲小电影免费涩涩成人在线高清| 东京热伊久| 欧美熟妇操操视频| 99亚洲天堂| 欧美 日韩 亚洲 春色| 大香蕉草草| 东北女人的毛片| 综合久久婷婷| 精品毛片久久久精品毛片| 日韩性爱免费观看视频| 亚洲丝袜诱惑| 亚州男人天堂| 久久久久国产精品人妻aⅴ天堂| 热天堂一区二区| 色色色999| 久久一级无码精品毛片6| 97爱| 国产精品96久久久久久| 精品9999| 91成人久久| 中文字幕久久精视频久久大全| 日韩国语字幕| 9久久精品| 秋霞影音一区二区三区| 九九精品99| 91欧洲国产成人久久精品网站| 人人操超碰在线| 91n免费处女| 日韩中文字幕2020| 啊啊啊啊在线观看网址| 日本人妻一区二区| 极品丝袜无码| 插老姨肥穴| 天天摸天天插天天日| 这里只有精品视频| 人人爱操| 亚洲无码99| 欧苏综合色综合| 性爱久久| 久久久久久午夜男人的天堂| 六月天婷婷| 天天爽夜夜操| 少妇高潮特黄A片| 亚洲AV无码AV吞精久久久久| 熟女人妇一区二区三区| 天天干夜夜一操| 欧美人妻一区| 99久久网站| 口爆综合网| 欧美综合自拍成人自拍第二十页| 久久国产三区| 欧美天天综| 国产精品国产自产拍高清AV| 天天看片麻豆| 亚洲 欧美 综合 91| 9长久久精品| 欧美日韩天堂| 亚洲春色欧美| 亚洲日韩av专区无码| 看免费一级在线播放毛片| 久久性生大片免费观看性| 高清有码一区二区| 久久久久免费看少妇A片特黄| 国产剧情AV不卡在线观看| 五月丁香啪啪| 性色高清在线| 91欧美性| 殴美性天天| 另类TS人妖一区二区三区 | 日韩无码第3页| 最新日本中文字幕| 亚洲欧美综合区自拍另类| 无色无码| 97舔舔| 另类av天堂| 深爱伊人影院| 久久亚洲AV无码白度| 久久成人国产精品| 成人片在线播放| 久久黄色网址| 97在线亚洲| 91综合色噜噜| 日韩一区二区三区四区五区| 黑操B| 青青草国产盗摄一二三区| 操一对老熟妇爽上天视频| 欧美人黑A片无码免视费| 国产性爱在线视频一区二区| 97干在线视频| 素颜老阿姨乱情色| 91社区伊人| 国产亚洲色婷婷久久99精品91葵花宝典| 久久大香蕉| 丝袜美腿校园春色| 久久人妻熟女一区二区| 强奸乱伦中文字幕AV| 亚洲另类综合欧美| 麻豆天美在线喷水AV| 69精品| 全球成人中文在线| 一级片在线观看高清无码| 亚洲四虎熟女精品| 亚洲成人精品久久久| 中文有码9| 人妻中文字幕日韩电影| 亚洲欧美性生活| 日日干日日摸| 亚洲乱码国产乱码精网站| ,国产乱人伦精品一区二区三区| 精品国产乱码久久久影院| 国产91会所女技师在线观看| 天天干少妇| 中出20p| 精品中文字幕第一页| 91 国产丝袜在线放观看| 91模特在线观看| 欧美黄色片在线播放| 插入综合网| 亚洲天在线| av凤凰久久久| 职场同事知名国产国产精品久久欧美日韩| 操操操五月天婷婷丁香影院| 黄页18禁| 深夜激情| av资源在线观看少妇| 亚洲精品乱码线路中文字幕| 六月婷婷综合| 国产成人五月天丁香花| 欧美中出1| 91在线一起| blacked精品一区国产| 久久精品老司| 97爱爱| 玖玖人人爱| 国产精品久久蜜乳av| 婷婷丁香在线| 亚洲熟妇A V黑人| 调教熟妇 久久久久久| 阿姨一区二区免费视频-高清正片西瓜视频下载app-T450AV | 天美久久久久| 一区二区三区机械有限公司| 黄页| 亚州精品一区二区三区香中文字幕在线| 亚洲少妇综合| 人妻少妇色综合| 天天92av| 夜夜嗨AV蜜臀av| 久久久工口| 亚洲福利影院一区久久| 少妇诱惑视频| 91精品国产日韩欧美综合| 婷婷美人网| 蜜乳AV一区二区三区四| 日韩精品人妻中文字幕不卡乱码| 婷婷亚洲五月***久久| 亚洲乱熟女一区二区| 激情久久av一区av二区av| 欧美色图99| 婷婷色一区| 久久人人爽爽人人爽人人片αV| 91麻豆一二三区| 99在线啪| 9 1果冻精品视频| 夜夜草天天| 国产亚洲综合欧美一区| 国产精品网站免费| 99国产女人| 在线岛国新天堂8| 青青草大香蕉在线视频| 午夜精品久久久久久久99蜜桃一| 中文字幕乱妇免费视频| 性色高清在线| 中文字幕 国产区| 九九碰九九爱97超| 性爱AV天堂| 婷婷久久综合| 精品亚洲国产成人av网站| 亚洲 欧美 手机在线观看| 91操熟女视频| 黑人天8A∨高清网站| 色色色色网站| 操国产逼| 蜜臀va69| 人妻精品4K4K4K4K4| AV一起草在线| 亚洲精品欧洲色| 屌妞视频久久久久久久久久久久| 我要看免费韩日黄片| 中文色综合| 色欲天香天天综合网-成年人三级片网站-欧美乱妇狂野-日韩国产专区-久久久久久 | 亚洲精品三区在线观看| 91啪9色| 快灬快灬 一下爽蜜桃在线观看| 欧亚乱色熟女一区二区| 韩国嫰模上门援交视频| 国产精品久久久久中文字幕| 大香蕉99热| 日韩国产精品人妻无码久久久| 大奶啊啊好爽| 91性情| 91成人久久| 亚洲色图亚洲| 91综合天天看| 品亲网欧美品亲网| 综合色图亚洲欧美| 欧美性爱另类综合| 久久无码电影| 精品成人亚洲午夜电影| 少妇久久久久久| 欧美亚洲首页| 蜜桃AV天堂| 国产又黄又爽又刺激久久久久久| 人人妻人人爱人人玩| 日本ZZ高免费A级视频| 综合色拍| 好看的91视频| 欧美日日夜夜| 欧美爆操91| 日韩 欧美 另类 人妻| 影音先锋新男人| 日韩啊V| 蜜桃久久一区二区| 久久中文字幕人妻熟av女蜜柚| 婷婷五月天成人网| 偷拍 亚洲 欧美| 一区二区三区男女操逼黄色小电影| 伊人丁香五月婷婷| 97精品在线| 欧美一级色| 亚洲欧美人妻| 久久精品高清无码一区| 日本中文字幕在线视频| 色香综合| 91成人国产综合久久精品蜜月| 日本一级二级三级网站| 亚洲女人91| 欧美久久毛片基地| 日韩激情中文字幕有码| 狠狠操使劲操| 久久精品国产精品| 色色国产| 亚洲av综合伊人久久| 999熟女精品| 天天日天天插| 男女性感激情网站| 亚洲国产精品无码AV久久| 大香蕉欧美国产日韩高潮| 亚欧性爱ab| 97超碰人妻| 亚洲加勒比色图| 天天操女人| 深夜国产一区二区三区在线看| 久久久久久加勒比| 亚洲色图欧美色图制服诱惑| 亚洲日韩一区电影| 日日操丁香五月天| 国产又粗又长的视频| 99色婷婷中文字幕乱色| 激情99| 国产探花精品在线| 级做a爱无码性色永久免费| 91热色| 97中文字幕色| av天堂影视中文在字幕在线中文| A片 AV一级在线播放观看免费| 超碰97精品| av橘色网站| 性爱AV天堂| 色九月综合| 色色色网站| 啪一啪免费视频| 蜜乳Av成人片网站| 热99这里有精品综合久久| 好爽要喷了| 久久久久久九九九九-美女久久久久久久-成人AV | 蜜臀久久久99久久久久| 97在线观看免费视频l| 亚洲精品视频二区| av凤凰久久久| 亚洲精品日日夜夜52| 少妇无码999| 97欧美久久久久久久| 亚洲永久永久永久永久一级一级一级精品 | 激情五月综合网| 国产亚洲精品农村妇女| 精品美女久久久久| 天天干人人看综合| 啊啊啊好想要| 日韩精品-原创伙伴| 久久久青草青青国产亚洲免观精品高清完整版_97久久综合区小说区图片区,国精品 | 在线人人人人人人精品超| 日本人妻中文字幕精品| 俄罗斯一区二区视频在线观看| 日本操逼无码| 97综合久久| 99热在线只有精品| 麻豆av一区二区| 日本一二三免费久久| 福利五区| 丰满人妻一区二区三区四区| 欧美激情 亚洲色图| 日本一卡二区在线| 蜜汁欧美| 七月丁香婷婷| 国产偷人伦激情在线观看| 男人天堂电影院| 尹人免费观看视频在线| 成人av性爱电影在线观看| 成人毛片免费| 欧美日韩啪啪电影| 日本一区二区成人在线| 女人午夜视频777| 女同性恋久久| 亚洲精品人妻吞精av| 天天操夜夜操| 日韩无码嘿咻黑热久| 老熟女91av| 欧洲精品久久| 欧美日韩人妻精品一区二区三区| 日本黄色精品| 一区二区三区一亚洲中文字幕、综合区灬| 欧美亚洲图片| 日韩黄片影院| 国产中文精品一区二区在线观看| 国产超碰人人操| 啊灬啊灬啊灬好深灬快高潮了动漫-国产字幕国产在线观看-B049AV | 蜜臀久久99精品久久久久久成人小说 | 狠狠操狠狠插| 亚洲少妇在线影音| 天天天干977| 在线播放成人高清免费视频| 日韩Va亚洲va欧美Ⅴa久久| 色五月激情综合网| 67194无码不卡| 黑人精品久久97| 色97欧美| 91精品国产91久久福利| 欧美性爱日韩性爱| 亚洲天堂区| 在线观看A啊啊啊| 天天性射网| CCYY草草影院地址入口| 久久性爱大全| 天天干天天日天天射黄色| 亚州综合电影| 九九热国产| 亚洲精品一二区| 天天插天天插| 欧美国产操逼| 欧美一级在线观看成人| 在线中文字幕极品av| 九一综合精品视品av| 91美女视频电影| 久久国产AⅤ| 日韩黄片视频试看| 97久久精品亚洲| 天天操天天日天天干| 亚洲欧美色图片| 性做久久久久久免费观看软件| 色月天AV导航| 天天伊人| 久热这里| 亚洲骚男同com| 国产精品黄色三级av| 男人天堂婷婷五月天校园春色| 在线中文AV| 十八禁av无码免费网站APP| 亚 欧 美 综合| 国产熟女自拍| 91足交| 99久久综合| 日本成人在线不卡一区二区三区| 色色五月婷婷| 人妻熟女一区二区| 另类TS人妖一区二区三区 | 少妇高潮喷水无套久久久久久| 久久亚洲中文字幕视频| 蜜桃久久一区二区三区| 亚洲欧洲综合| 亚洲欧美激情在线视频| 激情人妻另类| av黄图片在线观看| 超碰爽人妻熟女Av| 欧州91高潮| 成人av免费观看| 人人操超碰在线| 影音先锋乱| 91N综合网在线| wwwcaobibi| 亚洲一区制服诱惑| 日韩在线性爱免费视频| 少妇色综合| 琪琪精品免费一区二区三区| 日本精品人妻少妇一区二区| 国产1024在线播放| 国产高清1234区| 男人的天堂网页| 丰满欧美少妇| 亚洲电影中字一区二区| 蜜桃中文字日产乱幕4区| 亚洲色综合| 国产男女无套97| 日韩无码操逼片| 97超碰免费人人性爱| 亚洲天堂AV在线播放| 欧美伦乱爱| 男女激情黄色网址| 亚洲情色 自拍| 亚州国产精品乱| 欧美自拍网| 欧美成人都市人妻| 日韩欧美加勒比| 超碰97资源中文字幕| 亚欧美综合网| 日韩精品一区的| 国语精品对白| 嗯嗯,啊啊,国产精品| 69av一区二区三区| 色网综合网| 小视频玖玖| 日韩成人小视频| 亚洲国产欧美日韩人妻日中文| 中文字幕av亚洲精品| 欧美97视频| 伊人91| 曰韩人妻中文字幕在线 | 69XX一中文字幕人妻91| 亚州色国| 五月丁香色婷婷| 家庭乱伦国产| 9久9久9久9久视频网站| 超碰79人人乐| 欧美日韩精品一区二区三区高清| 久久亚州大香蕉| 欧美少妇熟女| 亚洲成人日韩小说| 亚洲AV成人无码久久精品播放| 三四中文字幕| 精品久久九| 欧美激情五月天| 伊人网免费视频| 色路综合| 伊人国产视频| 五月丁香六月激情| 懂色天天爱天天日天天射天天澡| 综合亚洲欧美| 91原创在线观看| 国产激情在线观看| 天天干人人看综合| 91丝袜在线视频| 欧美老熟另类| 久精品无码av一区二免费国产在线观看 | 啪啪啪综合网| 性感美女啊啊啊在线| 国产黄色动态精品| 久久久com| 欧美成年人性爱视频免费观看| 超碰4A| 蜜桃久久久久久久久久久久| 91久久婷婷| 老熟妇一区二区三区…| 97干色| 国产成人五月天丁香花| 久草精品一区| 蜜臀在线免费观看在线免费观看| 亚洲欧美在线丝袜| 亚洲熟久久| 亚洲AV乱码专区国产噜噜亚洲| 色婷婷亚洲婷婷| 日本操嫩b网| 另类欧美色| 青青草依人大香蕉| 亚洲系列欧美| 老女人91| 日韩丝袜高跟制服在线观看| 国产精品 亚洲情色| 亚洲一区二区三区久久 亚洲一区二区| 国产福利小视频高清在线观看| 亚洲 小说 欧美 激情 另类| 美女裸体无遮挡永久免费观看网站| 草草影院最新网址| 麻豆国产97在线| 国产真实子伦对白| 资源新线在线天堂| 九九九九九九九九九五码| 日本日日色视频| 久热伊人99re| 天堂资源欧美| 四月丁香婷婷| 91蜜臀在线久久久久| 天堂九九九九九九九九九| 五月婷婷性爱| 99在线观看| 日韩在线76| 超碰人人妻| 欧美日韩性爱精品| 日韩国产中文字幕| 国产亚洲精品自在线亚洲情侣| 久久亚洲婷婷| 九九在线精品| 人、人、摸,人、人、草| 国产又操| 操91| 色哟哟-国产专区| 91欧美成人色站| 男人天堂日日夜夜| 任你干在线视频| 四虎免费视频| 一二视频神马久久传媒| 欧美黑人91| 熟妇女伦乱视频视频| 日韩97在线| 日本女人久久久| 99久久久久久亚洲精品不卡| 在线观看无码三级少妇| 丰满少妇乱子伦精品无| 能直接看AV的网站| 亚洲欧美中文日韩视频中国语| 亚 欧 美 综合| 67194无码不卡| 国产性爱欧美性爱在线| 婷婷九月丁香| 亚洲欧洲自拍| 午夜操逼不卡| 日韩乱插| 99热久| 天天摸夜夜摸| 久草精品一区| 大香蕉日韩| 强奸乱伦 亚洲一区| 日逼国产| 亚洲欧美大香蕉| 台湾肥佬网一区二区三区| 久射吧| 99视频在线| 国产精品老熟女一区二区| 日日干夜夜操视频h| 智利AV在线网| 亚洲一区在线观看欧洲| 91强热人妻| 日本午夜久久电影| 久久综合精品一区二区三区| 天天爱综合网| 亚洲巨爆乳一区二区三区四季网| 国产精品嫩草影院免费| 欧美久热| 一区二区不卡| 人妻精品一区二区| 日韩亚洲国产视频| 91青视频| 久久超碰天天| 久操网址| 中文字幕 av v| 91大香蕉伊人| 91丨九色丨国产丨人妻在线 | 96超碰网| 欧美一级黄片视频在线| 欧美日韩国产中文精品字幕自在自线,| 日本999精品| 欧美日韩小说| 青娱乐国产盛宴视频| 欧洲综合视频| 超碰碰97资源站| 国产操操日韩三级黄| 91网站18在线观看| 综合大香蕉美。| 都市久久精品激情亚洲| 日产国产精品中文久久婷婷| 精品人妻高清麻豆av| 日韩精品1区2区中文字幕| 欧美精品在线观看| 国产9熟妇视频网站| 亚洲免费成人精品电影| 亚洲熟妇无码一区二区三区| 欧美亚洲情色| 99视频自拍| 久艹免费| 免费一级毛片在线视频观看| 狠狠爱AV| www..com操老师| 求求你操操我| 1级黄色夫妻对换性交免费看| 日韩精品 资源| 亚洲高清欧美总合| 日韩女模中文造逼| 骚熟女AV网| 国产一区在线免费播放| 91天美传媒精品| 日韩激情毛片一级久久久| 丰满少妇一区二区三区四区观看| 高清国产精品福利网站| 加勒比无码一区二区三区| 男人精品区| 欧美图片偷拍| 蜜臀Av一区二区三区| 久久综合九九| 久久久久成人网| 成人电影一区| 漂亮人妻被强中文字幕hd| 日韩中文欧美| 精品日韩产品在线,日韩在线不卡视频,欧美日韩免费专区/久, | 亚洲春色欧美激情自拍| 中文在线久久字幕| 日本孕妇一区二区视频操逼免费看| 国产自产91区13区| 国产精品一区二区久久精品| 日韩美女高潮喷水视频| 精品人妻一区二区视频| 青青草玖玖爱| 色综合久久88色综合久久天天| 国产精品久久久午夜夜伦鲁鲁| 99久久精品国产高潮| 久久久久久久久久久久97| 99色热| 97超碰精品图片| 欧美熟妇视频| 91久久九九精品国产综合| 情色五月天网| 久久九九国产精品| 成人三级片一区二区三区视频| 亚洲综合五月天婷婷丁香| 国产午夜精品理论片一二三区区| www.99热在线只有精品| 福利在线观看一区二区| 深夜激情| 日韩欧美视频青青| A 在线网址| 色偷偷综合91久久噜噜| 97精品一二区| 国产一区二区三区久久久精品| 欧美啪啪天堂| 久久欧美按摩999| 国产亚洲女v在线观看| 我要色综合网站| 91偷拍欧美亚洲| 岛国片国产成人亚洲播放| www亚洲欧美| 97在线欧洲| 精品国产精品一区二区| 国产成人在线观看网址| 999 久久久| 99啪啪| 日本一区二区中文字幕久久| 国产精品久久久久久久久久二区三区| 超碰99在线观看| 伊人久久综合影院精品久久久| 久久久一区二区| 青青草原人妻| 91高清无码下载| 久久久久久久性爱| 日韩美女高潮喷水视频| 五月天伊人| 国模艳艳啪啪一区| 色综合一区二区三区| 亚洲另类色综合网站| 午夜性| 天天综合91在线| 秋霞影音一区二区三区| 91视频伊人| 熟妇一区二区| 热久久无毒不卡| 91伊人影视综合| 天天操夜夜操| 探花在线免费观看视频国产一区| 亚洲 欧美 日韩 国产一区二区 | 韩国三级理论在线| 无码区蜜乳| 91爱网| 国产激情在线| 自拍亚洲综合| 精品然女一区二区| 91久精品| 亚洲欧美精品一区天堂久久 | 亚洲AV无码AV吞精久久久久| 日本人妻最新在线中| 老熟女综合| 久久一二三四五六七八九区| 囯产精品强| 东北女人| 2017大香蕉国产精品久久| 九九热男人天堂| 超91综合网| 99色在线视频| 免费AV播放| 亚洲二区精品在线观看| 美女天天干| 97精品综合| 国产精品秘 福利姬在线观看| 26uuu欧美日韩| 操操吧亚洲乱伦视频| 91在线免费精品视频| 加勒比综合网| 国产精品网址| 欧亚日韩一区在线| 日本欧美不卡| 91欧美综合| 久久精品电影在线| 热热色91| 风间由美日韩欧美久久| 人妻第一页| 992视频一区| 好色综合| 国产精品免费久久久久久久久久| 国产一级内射高清视频 | 狠狠色婷婷777|