日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

從“不知道Bug怎么發(fā)生的”到系統(tǒng)性排查:可觀測性與線程安全實(shí)踐

從“不知道Bug怎么發(fā)生的”到系統(tǒng)性排查:可觀測性與線程安全實(shí)踐 在開發(fā)和運(yùn)維工作中最讓人崩潰的不是那些有明確報(bào)錯(cuò)信息的問題而是你盯著日志看了很久最后只能說出那句話“I have no idea how that happened”。這句話幾乎每個(gè)程序員都說過。它的潛臺(tái)詞通常是我沒改過代碼、昨天還好好的、本地能正常跑、線上就是復(fù)現(xiàn)不出來。如果只是偶然一次那可以歸咎于運(yùn)氣但如果同一個(gè)問題反復(fù)出現(xiàn)那它就絕不只是“玄學(xué)”問題而是系統(tǒng)里某個(gè)環(huán)節(jié)的確定性偏差被你忽略了。這篇文章想聊的就是這種“不知道怎么發(fā)生的”問題。它不是什么高深理論而是一套可以反復(fù)使用的排查方法論把神秘問題拆解成環(huán)境差異、并發(fā)競態(tài)、緩存一致性、隱式狀態(tài)這些具體類別然后用日志、追蹤、監(jiān)控和可控的復(fù)現(xiàn)手段把問題從“巧合”變成“必然”。讀完之后你會(huì)獲得一套直接可以套用的排查流程以及幾個(gè)真實(shí)項(xiàng)目中常見的代碼級(jí)案例。下次再遇到“離奇 Bug”你至少知道第一步該查什么而不是原地焦慮。1. 為什么“I have no idea how that happened”值得認(rèn)真對(duì)待先下個(gè)判斷這句話出現(xiàn)得越頻繁說明團(tuán)隊(duì)的工程基礎(chǔ)越薄弱而不是你運(yùn)氣不好。原因很簡單。絕大多數(shù)“神秘問題”本質(zhì)上不是隨機(jī)事件而是信息不足導(dǎo)致的認(rèn)知盲區(qū)。你覺得沒有頭緒往往是因?yàn)槿鄙倌骋欢斡^測數(shù)據(jù)當(dāng)時(shí)的內(nèi)存狀態(tài)、某個(gè)線程的執(zhí)行順序、某個(gè)配置項(xiàng)在運(yùn)行時(shí)的實(shí)際值、某個(gè)緩存里的過期數(shù)據(jù)。這些問題一直都在只是沒有被記錄和暴露出來。從技術(shù)上看這類問題可以分為幾大類環(huán)境類本地環(huán)境、測試環(huán)境、生產(chǎn)環(huán)境存在軟件版本、依賴、配置、網(wǎng)絡(luò)拓?fù)涞牟町?。并發(fā)類多線程、分布式鎖、共享狀態(tài)、任務(wù)調(diào)度觸發(fā)了競態(tài)條件。狀態(tài)類緩存沒更新、本地內(nèi)存殘留、配置文件被覆蓋、全局變量被隱式修改。順序類事件處理順序、數(shù)據(jù)庫事務(wù)順序、消息消費(fèi)順序與設(shè)計(jì)預(yù)期不一致。資源類連接池耗盡、磁盤寫滿、內(nèi)存溢出、線程阻塞導(dǎo)致應(yīng)用“假死”。如果你帶著這張清單去復(fù)盤自己經(jīng)歷過的“詭異問題”大部分都能找到對(duì)應(yīng)分類。也就是說問題看起來是“不知道怎么發(fā)生的”實(shí)際上是可以被歸類和建模的。從個(gè)人成長角度看排查這類問題的能力是初級(jí)工程師和高級(jí)工程師之間最大的分水嶺之一。初級(jí)工程師通常依賴重啟、回滾、加日志后等下一次復(fù)現(xiàn)高級(jí)工程師則會(huì)主動(dòng)構(gòu)造條件、縮小范圍、驗(yàn)證假設(shè)在問題發(fā)生前就通過可觀測性手段把它暴露出來。這也是這篇文章希望幫你達(dá)到的狀態(tài)。2. 神秘問題背后的四類本質(zhì)原因我們繼續(xù)往深里說。所有“不知道怎么回事”的問題都可以歸因到四個(gè)層面信息缺失、狀態(tài)漂移、時(shí)序錯(cuò)亂、認(rèn)知偏差。2.1 信息缺失這是最常見的原因。事故發(fā)生時(shí)有足夠的信息暴露問題但你沒有采集??赡苋罩炯?jí)別設(shè)為 ERROR 導(dǎo)致重要上下文丟失可能異常被吞掉只打了一行空日志可能沒有鏈路追蹤導(dǎo)致無法串聯(lián)調(diào)用關(guān)系可能在問題發(fā)生的前一分鐘關(guān)鍵指標(biāo)就已經(jīng)開始異常但沒有告警。信息缺失意味著排查只能靠猜而靠猜的結(jié)論通常無法被驗(yàn)證。所以排查神秘問題的第一步永遠(yuǎn)不是改代碼而是補(bǔ)觀測。2.2 狀態(tài)漂移系統(tǒng)運(yùn)行中的某個(gè)狀態(tài)發(fā)生了變化但你不知道。這類問題往往和“昨天還好好的”綁定在一起。典型情況包括配置文件在發(fā)布時(shí)被默認(rèn)值覆蓋某個(gè)依賴庫在mvn dependency:resolve時(shí)被間接升級(jí)數(shù)據(jù)庫里有臟數(shù)據(jù)導(dǎo)致業(yè)務(wù)分支走到了從未到達(dá)的路徑服務(wù)器使用率達(dá)到閾值后系統(tǒng)自動(dòng)降級(jí)行為與之前完全不同。狀態(tài)漂移很難從代碼層面發(fā)現(xiàn)因?yàn)榇a本身沒有變變的是外部條件。2.3 時(shí)序錯(cuò)亂邏輯上“應(yīng)該先 A 后 B”但實(shí)際運(yùn)行中卻是先 B 后 A?;蛘?A 和 B 是并發(fā)的執(zhí)行結(jié)果取決于調(diào)度順序。這類問題在單機(jī)環(huán)境下很難復(fù)現(xiàn)一旦上了多線程、異步任務(wù)、消息隊(duì)列、分布式部署就會(huì)開始“時(shí)好時(shí)壞”。你看到的不是穩(wěn)定的報(bào)錯(cuò)而是概率性的行為差異有時(shí)成功有時(shí)失敗失敗時(shí)的表現(xiàn)還不一樣。2.4 認(rèn)知偏差沒錯(cuò)最后一種原因出在我們自己身上。你修改過什么、部署過什么、升級(jí)過什么可能只記得一部分。大量事故復(fù)盤到最后發(fā)現(xiàn)團(tuán)隊(duì)里某個(gè)人在某個(gè)時(shí)間點(diǎn)調(diào)整過一個(gè)“看起來無關(guān)緊要”的配置它就是根因。認(rèn)知偏差還包括對(duì)框架使用方式的誤解。比如你以為某個(gè)注解保證了并發(fā)安全實(shí)際上并沒有你以為某個(gè)工具類是無狀態(tài)的實(shí)際上它內(nèi)部使用了共享的靜態(tài)變量。潛在的錯(cuò)誤前提會(huì)把排查方向帶偏讓人在錯(cuò)誤的代碼區(qū)域里反復(fù)打轉(zhuǎn)。理解了這四類本質(zhì)原因再去看具體的技術(shù)場景就會(huì)清晰很多。3. 典型場景拆解那些“不可能”發(fā)生的問題其實(shí)都有規(guī)律神秘問題之所以讓人印象深刻是因?yàn)樗霈F(xiàn)在你最熟悉的場景里。下面拆解四個(gè)高頻現(xiàn)場你會(huì)發(fā)現(xiàn)它們并不神秘。3.1 環(huán)境差異在我機(jī)器上是好的這是“I have no idea how that happened”的經(jīng)典開頭。開發(fā)者本地跑得正常一上測試環(huán)境或者生產(chǎn)環(huán)境就報(bào)錯(cuò)。常見原因有Java 版本不同本地 JDK 17生產(chǎn) JDK 8某些 API 行為不一樣。操作系統(tǒng)差異路徑分隔符、換行符、文件編碼不同。依賴包版本不一致本地可能因?yàn)闅v史原因使用舊版本依賴而 CI 重新拉取了最新版本。環(huán)境變量和資源配置不同內(nèi)存大小、并發(fā)數(shù)、連接數(shù)上限都不一樣。數(shù)據(jù)庫數(shù)據(jù)差異本地只有少量測試數(shù)據(jù)生產(chǎn)有海量數(shù)據(jù)SQL 執(zhí)行計(jì)劃完全不同導(dǎo)致慢查詢和超時(shí)。解決方案不是“統(tǒng)一環(huán)境”這么簡單而是要用容器化、鏡像化、配置管理工具把環(huán)境差異顯性化和自動(dòng)化。同時(shí)CI/CD 流水線應(yīng)該盡量用干凈的構(gòu)建環(huán)境避免本地的鍋帶到線上。3.2 并發(fā)與競態(tài)時(shí)好時(shí)壞這類問題最折磨人因?yàn)閺?fù)現(xiàn)不穩(wěn)定。進(jìn)程一重啟就恢復(fù)正常過幾個(gè)小時(shí)又出問題壓測時(shí)頻繁報(bào)錯(cuò)手動(dòng)點(diǎn)擊時(shí)一切正常。并發(fā)競態(tài)的本質(zhì)是共享資源的操作順序不可控。比如SimpleDateFormat 不是線程安全的多個(gè)線程共用同一個(gè)實(shí)例時(shí)可能解析出錯(cuò)。HashMap 在多線程環(huán)境下擴(kuò)容可能形成循環(huán)鏈表。多個(gè)線程同時(shí)對(duì)一個(gè)變量做“讀-改-寫”存在丟失更新的風(fēng)險(xiǎn)。分布式鎖過期了但業(yè)務(wù)還沒執(zhí)行完另一個(gè)線程進(jìn)入了臨界區(qū)。判斷是否屬于并發(fā)問題有一個(gè)低成本方法將壓力降到單線程如果問題消失大概率是并發(fā)問題。然后通過線程轉(zhuǎn)儲(chǔ)thread dump、壓測、故障注入等方式進(jìn)一步定位競爭點(diǎn)。3.3 緩存與過期數(shù)據(jù)改了沒生效“我明明改了代碼為什么線上還是舊邏輯”這也是一句高頻臺(tái)詞。很多緩存問題本質(zhì)上不是緩存組件本身的問題而是緩存策略與業(yè)務(wù)變更節(jié)奏不匹配。代碼發(fā)布了緩存 key 沒變舊數(shù)據(jù)還能繼續(xù)被讀取一個(gè)配置文件被多個(gè)服務(wù)共享某一個(gè)服務(wù)修改了配置其他服務(wù)由于緩存了配置對(duì)象完全感知不到。對(duì)策也比較成熟代碼部署時(shí)帶上版本號(hào)或構(gòu)建號(hào)緩存 key 包含版本信息。配置變更后主動(dòng)通知服務(wù)刷新本地緩存。關(guān)鍵業(yè)務(wù)數(shù)據(jù)寫入緩存時(shí)設(shè)置合理的 TTL。在管理后臺(tái)提供緩存清空入口但要限制權(quán)限和操作留痕。3.4 隱式狀態(tài)誰動(dòng)了我的全局變量還有一種情況代碼邏輯看起來完全沒問題但運(yùn)行結(jié)果取決于某個(gè)“隱藏狀態(tài)”。它可能是 Spring 容器里的單例 Bean 持有了上一次請(qǐng)求的數(shù)據(jù)可能是靜態(tài)工具類里有一個(gè) Map 被無意間寫入可能是線程池的線程上下文被上一個(gè)任務(wù)污染。這類問題在 Java 的 ThreadLocal 場景下尤其典型。如果你在業(yè)務(wù)代碼里使用了 ThreadLocal 存儲(chǔ)用戶信息但線程池中的線程沒有在被復(fù)用前清理 ThreadLocal下一個(gè)任務(wù)就會(huì)讀到上一個(gè)任務(wù)的用戶數(shù)據(jù)。這在生產(chǎn)環(huán)境會(huì)造成嚴(yán)重的數(shù)據(jù)串號(hào)問題。排查隱式狀態(tài)問題的關(guān)鍵是建立“誰在讀、誰在寫”的狀態(tài)追蹤意識(shí)。反編譯、斷點(diǎn)、日志、代碼審查都能用上但更根本的做法是避免隱式的全局可變狀態(tài)。4. 系統(tǒng)性排查流程把“玄學(xué)”變成“科學(xué)”遇到神秘問題時(shí)最忌諱的是反復(fù)猜測和反復(fù)重啟。下面這套流程是我在多次事故復(fù)盤后沉淀下來的套進(jìn)去用就可以。4.1 第一步復(fù)現(xiàn)問題先別急著看日志先回答一個(gè)問題問題能穩(wěn)定復(fù)現(xiàn)嗎能穩(wěn)定復(fù)現(xiàn)就說明這是一條確定性路徑可以通過二分法直接定位。不能穩(wěn)定復(fù)現(xiàn)就說明存在非確定因素需要先系統(tǒng)地收集現(xiàn)場。復(fù)現(xiàn)的真實(shí)操作包括記錄發(fā)生時(shí)間、持續(xù)時(shí)間、影響范圍。確認(rèn)發(fā)生的版本是當(dāng)前發(fā)布版本還是歷史版本。確認(rèn)觸發(fā)條件有沒有特定用戶、特定數(shù)據(jù)、特定操作路徑。觀察是否與某種負(fù)載、定時(shí)任務(wù)、流量高峰相關(guān)。復(fù)現(xiàn)不是目的目的是把問題從一維的“出錯(cuò)了”擴(kuò)展成多維的現(xiàn)場描述。4.2 第二步縮小范圍復(fù)現(xiàn)出問題后用二分法把范圍縮小。局部出問題就檢查局部接口出問題就檢查接口整個(gè)服務(wù)down機(jī)就關(guān)注進(jìn)程層面。縮小范圍的核心思路是把系統(tǒng)分層客戶端層請(qǐng)求參數(shù)對(duì)不對(duì)用戶看到的錯(cuò)誤是什么。網(wǎng)關(guān)/接入層路由是否正常限流是否觸發(fā)。服務(wù)層業(yè)務(wù)邏輯、事務(wù)、異常處理是否正常。數(shù)據(jù)層數(shù)據(jù)是否準(zhǔn)確SQL 是否慢鎖是否等待?;A(chǔ)設(shè)施層網(wǎng)絡(luò)、磁盤、內(nèi)存、CPU、GC 是否異常。按層級(jí)逐個(gè)排查比在代碼里亂翻要高效得多。每一層都有對(duì)應(yīng)的排查工具鏈路追蹤看調(diào)用鏈監(jiān)控面板看資源日志平臺(tái)看業(yè)務(wù)信息慢查詢?nèi)罩究磾?shù)據(jù)庫瓶頸。4.3 第三步建立假設(shè)并驗(yàn)證有了現(xiàn)場有了范圍接下來建立假設(shè)。這里可以套用醫(yī)學(xué)診斷的思路列出所有可能的解釋按概率從高到低排序然后設(shè)計(jì)實(shí)驗(yàn)來驗(yàn)證最可能的那個(gè)假設(shè)。例如線上接口間歇性超時(shí)假設(shè)可能是數(shù)據(jù)庫連接池被占滿業(yè)務(wù)線程等待獲取連接。GC 暫停時(shí)間過長線程被長時(shí)間阻塞。下游依賴服務(wù)變慢導(dǎo)致調(diào)用超時(shí)。應(yīng)用服務(wù)器線程池被慢請(qǐng)求耗盡。網(wǎng)絡(luò)抖動(dòng)導(dǎo)致底層連接重連。驗(yàn)證方法分別是看連接池監(jiān)控統(tǒng)計(jì)等待獲取連接的時(shí)間???GC 日志和垃圾回收指標(biāo)??聪掠握{(diào)用的耗時(shí)分布和錯(cuò)誤率。看線程池活躍線程數(shù)是否接近上限???TCP 重傳率和連接建立耗時(shí)。不要憑感覺做結(jié)論。每驗(yàn)證一個(gè)假設(shè)都要有數(shù)據(jù)支撐。4.4 第四步修復(fù)、驗(yàn)證、復(fù)盤定位到根因后先做最小化修復(fù)不要順手重構(gòu)。修復(fù)上線前要把觸達(dá)根因的證據(jù)鏈整理出來現(xiàn)象、日志、指標(biāo)、代碼位置、修復(fù)方案、驗(yàn)證方式。上線后觀察一段時(shí)間確認(rèn)問題不再出現(xiàn)。最后做一次復(fù)盤寫出時(shí)間線、根因分析、觸發(fā)條件、修復(fù)內(nèi)容、改進(jìn)措施。復(fù)盤不是為了追責(zé)而是為了避免同一個(gè)坑被踩第二次。5. 代碼級(jí)的案例實(shí)戰(zhàn)理論講完了下面用三個(gè)真實(shí)的代碼場景走一遍這個(gè)流程。這幾個(gè)場景都在生產(chǎn)環(huán)境高頻出現(xiàn)看似“不知道怎么發(fā)生的”其實(shí)代碼層面有清晰的規(guī)律。5.1 案例一SimpleDateFormat 的線程安全問題問題現(xiàn)象某個(gè)日期格式化服務(wù)偶爾會(huì)拋出NumberFormatException或產(chǎn)生完全錯(cuò)誤的日期字符串比如把“2024-03-01”解析成“0002-03-01”。單線程測試時(shí)一切正常但并發(fā)壓測時(shí)必現(xiàn)。根因SimpleDateFormat內(nèi)部使用Calendar對(duì)象保存解析狀態(tài)它不是線程安全的。當(dāng)多個(gè)線程共享同一個(gè)實(shí)例并同時(shí)調(diào)用parse()或format()時(shí)內(nèi)部狀態(tài)互相干擾導(dǎo)致解析結(jié)果錯(cuò)亂。錯(cuò)誤代碼// 文件路徑com/example/demo/DateService.java public class DateService { // 錯(cuò)誤全局共享同一個(gè) SimpleDateFormat 實(shí)例 private static final SimpleDateFormat DATE_FORMAT new SimpleDateFormat(yyyy-MM-dd); public String formatDate(Date date) { return DATE_FORMAT.format(date); } public Date parseDate(String text) throws ParseException { return DATE_FORMAT.parse(text); } }正確寫法使用ThreadLocal為每個(gè)線程保存獨(dú)立實(shí)例或者直接使用 JDK 8 的DateTimeFormatter它是線程安全的。// 文件路徑com/example/demo/DateService.java import java.time.LocalDate; import java.time.format.DateTimeFormatter; public class DateService { private static final DateTimeFormatter DATE_FORMATTER DateTimeFormatter.ofPattern(yyyy-MM-dd); public String formatDate(LocalDate date) { return date.format(DATE_FORMATTER); } public LocalDate parseDate(String text) { return LocalDate.parse(text, DATE_FORMATTER); } }驗(yàn)證方法用多線程并發(fā)調(diào)用同一個(gè)DateService實(shí)例每次傳入不同的日期觀察是否有解析錯(cuò)誤或輸出錯(cuò)亂。修復(fù)后同樣跑一遍結(jié)果應(yīng)該完全正確。5.2 案例二HashMap 在并發(fā)場景下的異常行為問題現(xiàn)象應(yīng)用在高峰期出現(xiàn) CPU 使用率 100%線程轉(zhuǎn)儲(chǔ)顯示大量線程阻塞在 HashMap 的內(nèi)部方法上。代碼沒有直接使用鎖項(xiàng)目卻“莫名其妙”變慢。根因在 JDK 8 之前HashMap的并發(fā)擴(kuò)容可能導(dǎo)致循環(huán)鏈表get()操作陷入死循環(huán)。JDK 8 之后這個(gè)問題從“死循環(huán)”變成了“數(shù)據(jù)丟失”和“元素錯(cuò)亂”本質(zhì)仍然是并發(fā)寫入導(dǎo)致內(nèi)部結(jié)構(gòu)被破壞??雌饋怼皼]動(dòng)什么代碼”實(shí)際上你可能在某個(gè)工具類里使用了靜態(tài)的 HashMap并且有多個(gè)線程在寫入或者某個(gè)緩存組件內(nèi)部使用了 HashMap卻沒有做同步控制。問題示例// 文件路徑com/example/demo/CacheManager.java import java.util.HashMap; import java.util.Map; public class CacheManager { // 錯(cuò)誤HashMap 不是線程安全的多線程寫入會(huì)破壞內(nèi)部結(jié)構(gòu) private static final MapString, String CACHE new HashMap(); public static void put(String key, String value) { CACHE.put(key, value); } public static String get(String key) { return CACHE.get(key); } }推薦方案根據(jù)并發(fā)需求選擇正確的容器// 文件路徑com/example/demo/CacheManager.java import java.util.concurrent.ConcurrentHashMap; public class CacheManager { // ConcurrentHashMap 在并發(fā)場景下更安全 private static final MapString, String CACHE new ConcurrentHashMap(); public static void put(String key, String value) { CACHE.put(key, value); } public static String get(String key) { return CACHE.get(key); } }如果你需要更復(fù)雜的緩存淘汰策略應(yīng)該使用 Caffeine、Redis 等專門的緩存組件而不是手寫 HashMap 邏輯。驗(yàn)證方法用多線程并發(fā)調(diào)用put()和get()在完成后檢查數(shù)據(jù)總量是否等于寫入量并觀察是否有異常輸出。修復(fù)后同樣執(zhí)行壓測數(shù)據(jù)應(yīng)該保持一致。5.3 案例三數(shù)據(jù)庫連接池耗盡問題現(xiàn)象服務(wù)端偶爾出現(xiàn)超時(shí)錯(cuò)誤信息包含“Connection is not available, request timed out”或“HikariPool-1 - Connection is not available”。流量飆升之后服務(wù)看起來像卡死了。根因數(shù)據(jù)庫連接池大小是有限的。如果某些查詢變慢連接持有時(shí)間變長新增請(qǐng)求就會(huì)在池子上排隊(duì)等待連接最終導(dǎo)致超時(shí)。常見誘因包括SQL 缺少索引、數(shù)據(jù)量增長后執(zhí)行計(jì)劃變差、事務(wù)中執(zhí)行了慢查詢沒有及時(shí)釋放、某個(gè)連接持有后沒有歸還。如何用監(jiān)控判斷連接池耗盡時(shí)通常能看到這些指標(biāo)同時(shí)異常活躍連接數(shù)持續(xù)接近最大值。等待獲取連接的超時(shí)次數(shù)增加。SQL 查詢平均耗時(shí)上升。數(shù)據(jù)庫 CPU 使用率上升。配置示例即使暫時(shí)不知道具體是哪個(gè) SQL 慢也應(yīng)該先給連接池配置合理的超時(shí)和下界# application.yaml 中的 Hikari 配置示例 spring: datasource: hikari: maximum-pool-size: 20 minimum-idle: 5 connection-timeout: 3000 idle-timeout: 600000 max-lifetime: 1800000connection-timeout設(shè)為 3000 毫秒可以避免請(qǐng)求無限等待maximum-pool-size不能盲目調(diào)大因?yàn)閿?shù)據(jù)庫能承受的連接數(shù)是有限的調(diào)大連接池只是把問題往后推。下一步排查通過慢查詢?nèi)罩菊业胶臅r(shí)最長的 SQL用EXPLAIN分析執(zhí)行計(jì)劃確認(rèn)是否缺少索引或是否全表掃描。如果是事務(wù)問題審查事務(wù)邊界避免在事務(wù)中執(zhí)行遠(yuǎn)程調(diào)用、文件讀寫等耗時(shí)操作。6. 可觀測性建設(shè)讓問題在發(fā)生前“現(xiàn)形”很多神秘問題之所以難排查不是因?yàn)閱栴}有多復(fù)雜而是因?yàn)槿鄙儆^測手段??捎^測性建設(shè)是花錢少、回報(bào)高的一項(xiàng)工程它同時(shí)解決“信息缺失”和“狀態(tài)漂移”兩個(gè)問題。6.1 規(guī)范日志生產(chǎn)環(huán)境排查問題第一手資料就是日志。但很多項(xiàng)目的日志質(zhì)量非常低。一個(gè)超時(shí)接口可能只在 ERROR 級(jí)別打了一條timeout沒有請(qǐng)求參數(shù)、沒有耗時(shí)、沒有調(diào)用鏈 ID、沒有用戶 ID你完全不知道是哪個(gè)環(huán)節(jié)超時(shí)。所以日志至少要做到有唯一的 traceId能串聯(lián)一整條調(diào)用鏈。關(guān)鍵入口和出口打印請(qǐng)求參數(shù)和響應(yīng)狀態(tài)。異常日志包含堆棧、上下文數(shù)據(jù)和當(dāng)前業(yè)務(wù) ID。使用結(jié)構(gòu)化日志格式便于采集和檢索。6.2 接入鏈路追蹤微服務(wù)架構(gòu)下一次請(qǐng)求會(huì)跨多個(gè)服務(wù)。沒有鏈路追蹤的話你根本不知道耗時(shí)花在了哪個(gè)服務(wù)、哪個(gè)數(shù)據(jù)庫調(diào)用、哪個(gè)第三方接口上。SkyWalking、Zipkin、Jaeger 都屬于這一范疇配合 Spring Cloud、Dubbo 等框架可以低侵入接入。鏈路追蹤不只是“哪段慢”的問題它還能幫你定位時(shí)序錯(cuò)亂和調(diào)用異常。例如你可以通過 Trace 看到同一個(gè)用戶請(qǐng)求是否被重復(fù)發(fā)送、多個(gè)服務(wù)之間的調(diào)用順序是否與預(yù)期一致。6.3 配置監(jiān)控與告警持續(xù)采集服務(wù)的黃金指標(biāo)請(qǐng)求量、錯(cuò)誤率、耗時(shí)、飽和度。設(shè)置合理的告警閾值讓異常在影響用戶之前就能被發(fā)現(xiàn)而不是等用戶投訴了才去查。有一點(diǎn)要注意告警不是越多越好。如果每條異常都發(fā)告警運(yùn)維會(huì)疲憊最終真正的告警也會(huì)被忽略。告警要圍繞“對(duì)業(yè)務(wù)目標(biāo)有實(shí)際影響”的指標(biāo)來設(shè)計(jì)并制定值班響應(yīng)流程。6.4 提升操作可追溯性神秘問題還有一個(gè)常見來源線上變更。開發(fā)了一個(gè)新版本上線后出現(xiàn)詭異問題也不一定是新代碼的問題。解決辦法是給所有操作留痕發(fā)布系統(tǒng)記錄每次發(fā)布的版本號(hào)、代碼 diff、配置變更。配置中心記錄誰在什么時(shí)間修改了哪一項(xiàng)配置。數(shù)據(jù)庫變更腳本記錄執(zhí)行時(shí)間和執(zhí)行人。運(yùn)維操作通過堡壘機(jī)記錄命令。有了操作審計(jì)下次再出現(xiàn)“昨天還好好的”你可以快速定位“昨天到底改了什么”。7. 常見問題與排查思路速查表將多個(gè)高頻場景整理成速查表適合放在團(tuán)隊(duì) Wiki 或值班手冊(cè)里。問題現(xiàn)象可能原因排查方式解決方案本地正常線上報(bào)錯(cuò)環(huán)境版本或配置不一致對(duì)比 JDK、依賴、環(huán)境變量、配置項(xiàng)統(tǒng)一鏡像和配置管理CI 用干凈環(huán)境構(gòu)建接口間歇性超時(shí)數(shù)據(jù)庫連接池耗盡查看連接池指標(biāo)和慢查詢?nèi)罩緝?yōu)化慢 SQL調(diào)整連接池配置縮短事務(wù)時(shí)間并發(fā)高時(shí)數(shù)據(jù)錯(cuò)亂共享非線程安全對(duì)象多線程壓測檢查共享實(shí)例使用線程安全容器或 ThreadLocal明明改了代碼線上沒生效緩存未更新或部署版本不對(duì)核對(duì)發(fā)布版本檢查緩存 key清理緩存緩存 key 帶版本號(hào)某時(shí)間段 CPU 突然飆升定時(shí)任務(wù)、GC、死循環(huán)看 GC 日志、線程轉(zhuǎn)儲(chǔ)、定時(shí)任務(wù)情況優(yōu)化任務(wù)執(zhí)行時(shí)間排查線程阻塞請(qǐng)求 A 和 B 返回值串了ThreadLocal 未清理或隱式全局狀態(tài)檢查線程池復(fù)用和靜態(tài)變量在 finally 中清理 ThreadLocal避免共享可變狀態(tài)數(shù)據(jù)庫突然變慢數(shù)據(jù)量增長、索引失效、鎖等待EXPLAIN 分析執(zhí)行計(jì)劃看鎖等待加索引、優(yōu)化慢 SQL、拆分大事務(wù)重啟后恢復(fù)正常內(nèi)存泄漏或連接未釋放長時(shí)間觀察資源指標(biāo)做壓力測試定位資源持有點(diǎn)增加監(jiān)控和自動(dòng)回收錯(cuò)誤信息不完整無法定位日志級(jí)別過高或異常被吞查看日志配置檢查 catch 塊完善日志打印使用鏈路追蹤配置變更后服務(wù)行為異常配置項(xiàng)被其他服務(wù)覆蓋查看配置中心歷史和發(fā)布記錄配置變更走審核流程增加配置對(duì)比功能這張表不是標(biāo)準(zhǔn)的萬能答案但它能幫你快速確定最可能的排查方向避免遇到問題就從頭開始瞎猜。8. 排查工具的進(jìn)階用法除了常規(guī)的日志和監(jiān)控下面這些工具在排查神秘問題時(shí)往往能起到?jīng)Q定性作用。8.1 線程轉(zhuǎn)儲(chǔ)分析進(jìn)程卡住、CPU 飆升、接口不響應(yīng)時(shí)線程轉(zhuǎn)儲(chǔ)是最直接的現(xiàn)場信息。# 打印 Java 進(jìn)程的線程轉(zhuǎn)儲(chǔ) jstack -l pid thread_dump_$(date %Y%m%d%H%M%S).txt建議連續(xù)采樣 3 到 5 次每次間隔幾秒。對(duì)比多次線程轉(zhuǎn)儲(chǔ)可以判斷哪些線程長時(shí)間卡在同一狀態(tài)、哪些線程在等待鎖、哪些線程持續(xù)執(zhí)行 CPU 密集代碼。8.2 內(nèi)存堆轉(zhuǎn)儲(chǔ)與對(duì)象分析如果懷疑內(nèi)存泄漏可以使用# 生成堆轉(zhuǎn)儲(chǔ)文件 jmap -dump:live,formatb,fileheap_dump.hprof pid然后用 MAT、VisualVM 或 JProfiler 分析對(duì)象占用。重點(diǎn)看哪些對(duì)象數(shù)量異常增長、哪些實(shí)例遲遲沒有被 GC 回收。很多時(shí)候你通過代碼審查找不到的內(nèi)存問題在堆轉(zhuǎn)儲(chǔ)里一眼就能看到。8.3 接口耗時(shí)分析如果問題表現(xiàn)為“某個(gè)接口偶爾變慢”可以用 ARTHAS 這類在線診斷工具在不停機(jī)的情況下觀察方法級(jí)耗時(shí)# 觀察特定方法的耗時(shí)分布 trace com.example.service.OrderService createOrder它還能用來反編譯查看線上真實(shí)加載的類有時(shí)你會(huì)驚訝地發(fā)現(xiàn)線上運(yùn)行的代碼和本地 IDE 里的代碼根本不是一個(gè)版本。8.4 故障注入與壓力測試當(dāng)你推測某個(gè)問題是并發(fā)或資源耗盡導(dǎo)致時(shí)不要等著它自然發(fā)生而是主動(dòng)構(gòu)造條件。JMeter、wrk、GoReplay 都可以用來制造壓力ChaosBlade 這類工具可以模擬網(wǎng)絡(luò)延遲、磁盤故障、進(jìn)程被殺等異常情況。故障注入的目的不是證明系統(tǒng)“足夠強(qiáng)”而是驗(yàn)證你對(duì)問題機(jī)制的假設(shè)。假設(shè)對(duì)了故障就會(huì)按預(yù)期出現(xiàn)假設(shè)錯(cuò)了就能排除一個(gè)方向。9. 最佳實(shí)踐從源頭減少“神秘問題”排查方法能幫你解決問題但真正高級(jí)的工程能力是減少問題發(fā)生的機(jī)會(huì)。下面這些實(shí)踐每一項(xiàng)都是在給未來挖坑之前先把坑填平。9.1 盡量減少共享可變狀態(tài)并發(fā)問題的高發(fā)源頭就是共享可變狀態(tài)。設(shè)計(jì)代碼時(shí)優(yōu)先考慮不可變對(duì)象跨線程傳遞的數(shù)據(jù)盡量使用值拷貝不用可寫的全局集合。如果確實(shí)需要共享就使用并發(fā)容器并用明確的鎖來保護(hù)寫操作而不是依賴注釋約定。9.2 代碼 Review 與變更審計(jì)細(xì)碎的配置修改、依賴升級(jí)、環(huán)境變量調(diào)整單看每個(gè)都很小合在一起就是神秘問題的主要來源。團(tuán)隊(duì)層面應(yīng)形成變更審計(jì)的習(xí)慣發(fā)布前明確列出這次變更涉及的代碼、配置、依賴和數(shù)據(jù)庫腳本發(fā)布后關(guān)注黃金指標(biāo)。9.3 建立問題復(fù)盤模板復(fù)盤是處理“I have no idea how that happened”的最后一環(huán)。沒有復(fù)盤同一個(gè)問題會(huì)在半年后以另一種面貌再出現(xiàn)一次。一個(gè)可用的復(fù)盤模板包含事件時(shí)間線從首次出現(xiàn)到恢復(fù)的完整時(shí)間點(diǎn)。影響范圍受影響的服務(wù)、用戶、功能。根因分析直接原因和深層原因。觸發(fā)條件什么情況下問題才會(huì)發(fā)生。修復(fù)內(nèi)容代碼、配置還是流程變更。改進(jìn)措施是否需要補(bǔ)充監(jiān)控、日志、告警。責(zé)任分配誰負(fù)責(zé)什么周期多久。復(fù)盤結(jié)果應(yīng)沉淀為可檢索的文檔而不是在一次會(huì)議里走完流程就結(jié)束。9.4 建立安全操作意識(shí)排查系統(tǒng)問題時(shí)如果涉及生產(chǎn)環(huán)境一定要遵循最小操作原則不在生產(chǎn)環(huán)境直接修改配置文件后重啟除非有明確的回滾方案。不在生產(chǎn)環(huán)境執(zhí)行未經(jīng)驗(yàn)證的 SQL。不隨意刪除日志、緩存或臨時(shí)文件。復(fù)現(xiàn)問題和修復(fù)驗(yàn)證盡量在測試環(huán)境完成修復(fù)后再通過受控發(fā)布流程上線。每次操作前確認(rèn)自己的賬號(hào)權(quán)限不申請(qǐng)超出任務(wù)所需的管理員權(quán)限。這個(gè)意識(shí)不能等到事故發(fā)生時(shí)才有它應(yīng)該成為日常開發(fā)習(xí)慣的一部分。10. 結(jié)語回到標(biāo)題那句話“I have no idea how that happened”。你可以把它當(dāng)成一句吐槽也可以把它當(dāng)成一個(gè)信號(hào)。它說明你對(duì)系統(tǒng)的某個(gè)環(huán)節(jié)還沒有建立完整的認(rèn)知而你身邊的日志、監(jiān)控、工具、流程就是幫你補(bǔ)全認(rèn)知的最佳助手。我的建議很直接下次再遇到神秘問題先別急著說“不知道”而是按這套流程走一遍——描述現(xiàn)場、分層排查、建立假設(shè)、驗(yàn)證數(shù)據(jù)、修復(fù)復(fù)盤。當(dāng)你把第一個(gè)“不知道怎么回事”的問題真正定位到根因時(shí)你會(huì)發(fā)現(xiàn)自己對(duì)系統(tǒng)的理解上了一個(gè)臺(tái)階。這個(gè)過程比看十篇理論文章都有用。這篇文章里提到的代碼示例和排查命令都是實(shí)際項(xiàng)目中反復(fù)用到的。建議先寫一個(gè)測試用例把 SimpleDateFormat 和 HashMap 的多線程問題在你本地復(fù)現(xiàn)出來再體驗(yàn)一次用jstack看線程狀態(tài)、用jmap看堆內(nèi)存的過程。這些工具不一定每天用但真的出問題時(shí)它們能救命。希望這些經(jīng)驗(yàn)對(duì)你有幫助也歡迎在評(píng)論區(qū)聊聊你自己遇到過的“I have no idea”時(shí)刻看看最后是怎么定位的。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲精品天天影视综合网| 澳门人妻久久| 国产一级久久久| 清纯唯美综合亚洲| 干婷婷综合网| 色综九九九一区| 国产久久av| 一级免费啪啪片| 另类一区| 大香久久| 中日韩久久久免费看| 美女被啪到深处抽搐视频| 婷婷五月天成人网| 国产强奸乱伦无码视频| 99综合自拍| 色欲av一区二区三区蜜芽| 亚洲激情av| 一起草视频在线| 97久久超碰国产网站| 强奸国产精品视频| 91中出视频| 久久久久人妻| 自拍偷拍草一草| 欧美亚洲综合高清在线| 男人下部插入女人下部| 二男一女成人A片| 四虎精品永久在线观看| 97久久超碰| 男人的天堂 在线一区| 亚洲欧洲美腿丝袜| 久久免费精品视频免一| 熟女激情综合网| 午夜福利久久久噜久噜久久综合| 一区二区三区黄色片a| 男人成人黄色视频在线观看免费下载| 欧美一级做a爰片免费视频| 久久久久少妇| 69精品| 亚洲熟女中文字幕在线| 熟妇高潮二区三区| 你懂的在线观看区国产| 在线毛片片免费观看| 精品中文字幕一区二区| 五月婷婷AV| 人妻在线臀日韩| 看看日B真人视频| 日韩二三区| 精品一区二区三区四区外站| 在线人成亚洲视频免费观看| 97超碰中文字幕| 97Ai亚洲| 超碰九九| 日韩三级av片| 91亚洲综合| 香蕉婷婷| 天天操福利视频综合网站| 日韩亚洲欧美中文字幕| 大香蕉中文aV在线| 91av天美性媒精品视频| av大香蕉网站| 超碰性爱97| 日本午夜福利视频| 日韩精品熟妇| 99精品高潮| 超碰地址97| m欧洲一级午老| 91 综合 色| 欧美97日韩| 青青草乱入乱欲视频在线观看| 久草资源欧美在线视频| 亚洲黄色网址| 91中文字幕在线观看| 天天射,天天操,天天爽-国内精品一区二区三区-成人AV | henhen91| 99久久久久| 亚洲AV无码成人精品久久| 户外裸露刺激视频第一区| 1禁看欧美黄片免费看| 丰满人妻一区二区三区大胸懂色 | 日本成人A片网站| 精品久久久久av影院| a级理论午夜日本| 天天摸,夜夜摸| 国产av青草| 亚洲 欧美 制服 另类 自拍| 美欧老女人97| 91第一页| 欧美麻豆成人同性GⅤ在线| 99热这里都是精品| 人妻少妇久久中文字幕一区二区 麻豆| 中文字幕在线播放2中文字幕在线观看2 | 中国AAAAAA黄色片| 亚欧性爱ab| 久久久精品中文字幕麻豆| 亚洲女人毛茸茸91| 大香蕉乱级| 婷婷五月天影院| 日日干夜夜操视频h| 亚洲亚洲亚洲天堂天堂| 国产亚洲福利第一页丝袜| 9999免费精彩视频| 成人在线永久| 午夜啪| 色好看av| 天堂亚洲精品| 日韩二级| 69视频入口| 99re在线视频国产| 四虎 精品 WWW| 在线人人人人人人精品超| 91天天综合日韩欧美| 99国产精品久久久久久久成人热 | 激情四射五月天| 射久久| 久久一本大香蕉 | 精品v1区| 99热这里只有精品9| 色翁荡息又大又硬又粗又爽| 快灬快灬 一下爽蜜桃在线观看| 蘋果手機免費看成人Av| 欧美|91色综合| 97人妻碰碰中文无码久热丝袜| 色屁屁影院www国产| 欧美劲爆第一页| 91n.欧美| 天天性射网| 精品久久久av无码免费| 91GD.COM| 亚洲综合贴图91| 91高潮| 99re不伦| 91欧美少妇| 人人干黄色| 超碰79人人乐| 欧美色图在线视频少妇| 欧美一级AAAAAAA| 综合久久中文字幕综合日韩精品| 夜夜操美女| 精品一久久久| 偷拍欧美激情| 中国探花熟女| 十八禁的黄污污免费网站| 91无码精品| 蜜臀亚洲综合一二三四区| 五月婷丁香| 日本精品网站在线中文| 96精品久久| 曰韩香蕉97| 91丝袜在线观看视频在线观看| 欧美性爱另类综合| 国产高清精品福利| 久久av成人无码免费| 国产精品人妻无码久久久老鸭窝| 后入人妻无码| 欧美自拍网| 日日夜夜免费| 操日韩第| 亚洲成人碰碰| 大香蕉操久久| 97干日韩| 欧美激情欧美精品| 日韩精品99久久久久久中文字幕 | 亚洲人妻av| 大茄子熟女AV导航| 国产风韵犹存熟妇三区| 亚洲综合九| 青青草日本无码| 亚洲综合婷婷| 两性综合网| 无码91| 91亚洲最新在线| 九九精品网| 国产精品高清2021在线| 国产性爱强奸乱伦大全| 思思热久久成人| 综合色图区| 久草线上视频免费看| 日本欧美中文字幕| 国产精品九九九| 久久精品国产亚洲AV片多多| 狠狠躁天天躁日日躁97| 久操B网| 天天综合香 ld视频| 91熟女丨91老女人| 久久久国产精品人妻丝袜| 约操熟妇| 大象AV在线| 亚洲精品国产精品乱码不卡| 日韩av乱伦| 午夜性刺激视频免费观看| 97精品国产精品免费观看| 性色av网站| 国产蜜臀精品一区二区尤物| 亚洲色图 欧美热图 清纯唯美 另类自拍 | 伦激情人妻另类人妻| 韩国嫰模上门援交视频| 精品无吗久久| 色婷婷av在线观看| 日韩精品永久在线观看| 国产精品原创巨作?v网站| 97中文字幕一区| 欧美第38页| 亚洲无码99| 超碰国产精品久| 国产日韩怡红院| 91精品国久久久久久无码| 亚洲中文字幕网| 91操操操操| 欧美精品亚洲精品日韩传电影| 欧美色三级片91| 国产精品视频精品一二| 影音先锋视频在线| 成人av影院在线观看| 亚洲精品人妻吞精av| 亚洲性感丝袜诱惑在线观看| 丝袜内射| 少妇高潮99p| 狠狠色狠狠色狠狠五月| 久久精品国产亚洲AV高清演员表| 日韩无码极品| 色图综合网| 欧美成人精品欧美一级乱黄一区二…| 欧美图片校园春色| 人妻喷水| 天天拍夜夜| 日天天九九天堂666| 色偷偷男人的天堂麻豆| 超碰色美女| 色呦色呦色精品| 大香网伊人久久综合网eew| 色999五月色| 亚洲乱码尤物193YW| 国产熟女乱论| 欧美日韩成人在线| 国产毛片精品一区二区色欲黄A片| 激情综合亚洲| 欧插网站| 色偷偷超碰亚洲| 蜜桃AV天堂| 天久久久噜噜噜久久国产精品爽爽| 久热最新在线杭州| 大粗鳼巴久久久久| 亚洲精品国产日韩无码AV永久免 | 91东京热男人的天堂| 97免费视频在线| 熟妇综合一区二区三区| 思思热在线视频免费| 自拍偷拍第26| 伊人久久综合精品欧美| 麻豆精品久久久久久久| 天天搞欧美| 少妇综合| 91综合在线| 久久做97| 久久久久久久| 天天弄天天操| 九九天堂| 91亚洲狠狠色| 另类小说综合网| www…国产操逼| 久久精9| 亚州,欧美在线| 久久精品国产精品一区 | 国产成人亚洲精品无码最新在线| 人人看人人摸人人色| 亚洲欧美一区二区三区在钱蜜桃| 97色涩| 91骚熟女| 久操婷婷| 欧美色老汉| 欧美日韩电影成人在线| 成人女人国产| 日本506070| 性影在线视频| 久久精品夜色国产亚洲AV| 91亚洲情色| 五月丁香影视| 亚洲欧美校园| 亚洲激情综合| 日韩偷拍色图| 污电影在线观看| 亚洲无无码αⅴ每日更新| 大香樵伊人网| 日本三级久| 蜜臀久久久99久久久久 | 国产高清亚洲日韩一区| 97人人草| 日本爽爽爽爽爽爽免费视频| 伊人网青青| 久久综合中文国产| 天天弄天天操| 伊人久久亚洲色欲综合网站 | 久久免费中文字幕在线观看| 精品亚州18| 国产第二页| 久久草草亚洲蜜桃臀| 蜜臀久久99精品久久久久久久久| 91色射| 91精品国产高清久久久久久,亚洲成人 | 欧美亚洲另类在线蜜桃| 国产AV线| 天美AV片| 亚洲伊人a线观看视频| 亚洲中文sv| 97人人草| 岛国免费视频在线| 新精精品久久精品| 夜夜操中文字幕| 欧美性爱中文字幕无线码| 成人情色综合网| 综合网色| 天天日天天干天天色| 午夜精品久久久久久久| 中文一区二区婷婷视频| 日韩欧美国产一区二区三区四区| 欧美在线电影| 国产丝袜视频| 久久免费精品视频免一| 国产精品视频在线观看| 91日日夜夜| 嗯嗯嗯嗯啊啊啊好紧好大| 成人5码视频| 国产免费小视频| 999久久久久久久精| 夜夜操夜夜爽夜夜高潮| 九九热在线精品视频| 久久精品国产72国产精品福利| 亚洲熟妇AV日韩熟妇在线| 色蜜AV| 探花激情视频| 美欧色综合| 97色婷| 欧美五十路熟| 97色亚洲| 高颜值美女口爆高潮浪叫| 区一在线观看| 熟女在线视频| 亚洲精品丝袜-不卡成人免费……| 亚洲 日本 不卡| 性色A∨91| 天天爽夜夜欢视| 色情成人五月天| 亚洲综合另类小说色区亚洲成av人片在www | 福利偷拍视频-中文字幕2019国语完整视频大全-S91AV | 亚洲中文字幕精品久久久久久直播| 激情黄色片在线观看| 91视频综合在线| 大香蕉久操| 超碰人人超在线观看| 少妇一区二区三区精选| 天天视频网站黄| av影片在线观看不卡| 欧美综合天堂| 国产成人五月天丁香花| 国产精品69久久久久久久| 91av天美性媒精品视频| 国产肏屁眼视频| 欧美97爱| 最新国产精品| 曰韩中文人妻视频| 九九综合九九综合| 日韩在线观看中文字幕视频| 91精品无码人妻系列| 国产av又色又爽又黄| 免费AV中文网在线观看| 国模私拍一区二区三区神乳| 国产精品视频内谢女人| 欧美色欧美| 亚洲丝袜诱惑| 色哟哟综合| 青娱乐国产盛宴视频| 中字乱伦AV| 青草青青久久久久久国产| 欧洲Au麻豆| 天天内射| 中文字幕一区二区视频在线观看| 嫩草影院性色| 懂色AV中文| 久久久青草青青国产亚洲免观精品高清完整版_97久久综合区小说区图片区,国精品 | 强奸乱伦亚洲第一页| 色哟哟511老熟女| 情色AV电影| 凹凸精品熟女在线观看| www.狠狠操| 国产女s强制榨精视频| 亚洲中文字幕久久无码精品| 男人的天堂成人的社区| 国产精品2020| 男女香蕉一区二区| 人人性爱视频免费| 97WW精品| 大乔未久88一区| 人妻精品一区二区| 性爱视频无打码在线观看| 亚洲免费成人精品电影| 色色99| 东北操逼| 欧美日本国产日韩激情视频| 亚洲天天影视综合网| 亚洲性网| 五月天激情网图片| 久久有码视频| 中文字幕性感少妇av| 黑人精品欧美一区二区蜜桃| 欧美亚性天堂| 久久精品女同亚洲女同13| 免费观看性欧美一级| 五月天久久久| 竹菊一区二区三区AV线| 97人人模人人爽人人| 久久精品免视看国产成人﹣蜜臀av一区. 久久精品免视看国产成人,蜜臀av一区 | 国产激情在线| 99久久久无码精品国产人| 日本欧美成人片AAAA| 欧美线天码中字| AV不卡在线| 国产精品欧美激在线| 日韩成年人性爱视频| 日本性爱少妇| av草草在线电影| 嗯啊抽插大香蕉网页| 天天天天天超碰| 日韩不卡在线一区二区| 国产一区二区在线看| 国产av美女被艹的乱叫| 婷婷久草| 99久热| 天天欧美| 91色爽欧美| 精品天堂| 中文字幕神马久久| 色色综合网站| 91美| 精品一二三区四视频| 一区二区三区四区免费视频| 中出20p| 五月天色五月| 国产精品爆乳懂色蜜乳| 丝袜美女诱惑 91 视频| 操一区| 人人妻人人爽 97人人看碰人免费公开视频| 久久9亚洲| 99热只有这里有精品| 永久免费观看的毛片的网站| 精品九九淫乱男| 亚洲天堂电影精品一区| 青草青草久热| 国产精品自拍xxxx| 男女性无套 免费九一| 在线播放中文字幕| 欧洲Au麻豆| 色小视频蜜乳| 少妇色| 一级岛国大片| 亚洲女优有码无码高清| 精品国产72| 伊人网在线视频| 国产精品亚洲免费| 小视频玖玖| 搡老女人老熟女91| 男人天堂2030| 国产熟女一区二区| 亚州春色| 亚洲 欧美 91| 天天干天天干天天干| 大香蕉黄色一区| 人妻在线视频| 国产亚洲色婷婷久久99精品91葵花宝典| 9久久久久| 九九九九九九九九九国产精品| 久久精品中文| 抽插爽| 蜜臀精品1区2区| 最新日产中文在线麻豆| 日本免费一级AAA大片器| 国产偷人伦激情在线观看| 国产一区二区精品久久久不卡蜜臀| 精吧天堂| 中文字幕欧洲有码| 97国产天堂岛| 97超碰这里只有精品| 欧美天天综| 亚洲伊人久久精品狠狠在线| 亚洲综合春色| 久都青青视频 | 99这里只有精品国产| 欧美熟妇成人一区二区| 精品人妻一二三| 欧美色女人| 97天天综合| .精品人妻一区二区三| 狠狠操夜夜| 国产男人又猛又粗又爽| 啪啪91| 国产怡红院| 狠狠做深爱婷婷久久二区| 亚洲女优有码无码高清| 久操97| 国产精品毛片?v一区二区三区| 日韩,欧美,中文在线| 蜜桃成人1区2区3区| 亚洲三级网址久久最新| 国产乱子伦一区二区三区免看| 97超碰欧美手机在线| 久久999久| 欧美线天码中字| 国产捆绑一区| 精品久久久亚洲AV成人网站| 日韩三级视频一区二区三区| 伊人影院中文字幕| 中文字幕日韩精品一区二区三区| 淫骚熟女一区二区三区| 9久久久久久| 操操吧亚洲乱伦视频| 日韩一级成人毛片免费观看 | 久久精品三级影视| 欧美色图私拍91| 亚洲性刺激| 操逼日批| 97天天摸天天碰| 伊人久久大香线蕉亚洲五月天,青草青草欧美日本一区二区,欧美日产欧美日产国产 | 色性荡荡荡荡视频| 97天天在线| 国产精品永久免费10000| 欧美性爱日韩性爱| 亚洲综合113页| 一区二区高清视频| 91N欧美| 欧美色吧综合| 精品国产久热在线观看| 超碰碰小说97| 玖玖玖玖精品国产剧情| 少妇99成人麻豆| 亚洲日韩资源| 5278欧美一区二区三区| 夜夜骑日日| 欧美大香蕉同搞| 日日夜夜青青草母狗| 啊啊啊啊嗯嗯在线久久久| 日本视频在线观看污污污| 女人妻一区| 99久久精品欧美国产| 丰满少妇人妻久久久久久| 国产女主播视频在线观看| 福利在线黄片| 日本黄色精品| oumeisetu综合| 天天看天天日天天操| 啊啊啊好舒服好爽啊啊啊视频| 青青草依人大香蕉| 欧美在线干| 日韩免费a级毛片无码a∨| 蜜桃精久三区| 日韩午夜精品一区二区三区电影| 蜜桃臀一区二区三区久久| 日韩国产中文字幕| 欧美色图自拍| 熟女啪啪视频| 亚洲欧洲日韩天堂av| 青青草日韩免费观看高清在线| 激情五月天丁香社区| 婷婷色香伊人| 亚洲图片 激情小说| 激情网色| 夜夜爽夜夜操| 久久国产精品91| 日本操逼视频导航| 男女日B国产| 神马久久久久久伦理片| 夜夜国自区| 亚洲少妇综合在线播放| 免费试看60秒| 日韩成人性日韩成人性爱视频在线免费观看| 色婷婷99| 精品久久久久久中文字幕视频免费 | 亚洲情色中文字幕一区| 蜜臀久久99精品久久久久| 青青草色情网站视频| 好好的日:com久久九九| 亚洲AV无码黄色强奸| 日日AAvv| surenchaopeng| 碰碰在线视频| 九九99精品视频在线观看| 视频在线观看免费一区二区三区| 亚洲视频精选| 蜜奶av| 色婷婷五月综合| 秋霞一级A片黄色视频| 91熟女网| 中文字幕色AV| 妇人噜噜| 欧美精品91| 这里只有精品视频在线| 欧亚免费视频| 亚洲天堂日本| 狠狠色一区二区中文字幕| AV天堂男人的天堂| 97大色网| 丰满少妇高潮无码| 久久久久久波多野吉衣高潮| 亚洲AO在线| 丝袜狠狠草尤物人妻av91| 亚洲影视综合网| 婷婷综合五月天| 97爱综合| 亚洲一曲日韩精品| 国产久久成人| 亚洲男人久久综合天堂| 91社操逼| 91国内外在线| 国产风韵犹存熟妇三区| 国产精品一区二区三区在线| 中文字幕黄色一起草| 欧美91在线+|+欧美| 女人的天堂大香蕉网| 2019AV天堂| 欧美熟妇精品黑人巨大一二三区| 激情文学欧美| 91丝袜在线观看视频在线观看| 国产玖玖| 国产精品乱人伊人网| 91丝袜美腿网站| 国产精品对白内射| 亚洲天堂女优在线| 青女在线| 午夜精品久久久久久久99| 天堂性色| 日韩性爱1级片视频| 亚洲乱码尤物193YW| 久99热| 韩日男人的天堂| 男生女生啊啊啊啊| 啊啊啊慢点| 一本色道无码DVD中文字幕| 午夜视频久久久久一区| 伊人久久大香大香线蕉中文 | 午夜影美女日鸡鸡天天视频国产| 男人的天堂2019AV| www久| 免费视频在线观看啊啊啊啊啊| 一区二区久久天天干狠狠| 白丝1区2区3区| 色眯眯射| 男人的天堂在线| 黄片www视频免费| 亚洲色图欧美一区二区不卡| 狼狼色丁香久久婷婷综合五月 | 中日韩免费看男女操逼大全| 国产一级内射无挡观看| 亚洲春色激情小说| 四虎884| 91亚·色| 97国产伦理| 无码外流操逼视频| Av色五月| 91成人无码| 欧美丰满熟妇XXXX性ppX人交| 5252色欧美在线| 性色AV网站| 激情视屏国产乱伦强奸| 欧插网站| 加勒比久久av| 极品销魂美女一区二区 | 破处bbq| 亚洲 小说 欧美 激情 另类| 中国zzijzzijzzwww精品| 囯产精品一区二区三区线|亚洲人成无码网WWW动漫|国产精品免费一级... | 99re久久| 一区二区不卡免费| 精品少妇一区二区三区在线视频| 中文欧丝袜诱惑| 99在线无码精品秘 入口黑人| 综合网亚| 欧美一级黄片视频在线| 青青草黑寡妇男人天堂| 国产精品白丝在线播放| 97超碰美国| 人妻91少妇| 99人妻碰碰碰久久久久禁片| 一个人免费HD91视频| 97色色色| 久久 国产精品 一区| 蜜臀中文字幕| 国产极品999| 91天堂色男人的天堂| 精品无码久久| 天天干天天操天天干天天操| 久久久精品网站| 欧美天天谢综合网| 9久综合网| 国产AV色黄看到爽| 久久久久9| 淫乱图区| 亚洲无码国产探花在线观看| 久操精品| 久久久无码视频| 极品内射| 99性爱| 思思热久久成人| 国产sv美女内射| 性吧在线视频| 午夜福利成人免费视频| 午夜乱轮操逼视频免费看| 91人人| 色婷婷淫色网| 九九九九欧美| 97av,com| 丝袜美腿91| 9美女超碰在线免费观看| 国产精品国产亚洲区艳妇糸列| 欧美综合制服在线| 丁香五月色情| 精品久久久av| 日韩人体偷拍| 91婷婷| 狠狠色综合网| 欧美一级特黄淫片在线观看| 91视频精品| 把腿张开老子CAO烂你| 日韩素人无码一区二区三区三州| 97精选久久| 性欧美999| 九九热re99re6在线精品| 亚洲精品蜜桃久久久| 欧美另类精品xxxx| 亚洲AV麻豆Aⅴ无码电影一| 久热一区二区| 亚洲少妇自拍中文字幕懂色| 伊人青青草久久| 男人干美女| 久久婷婷亚洲欧| 岛国片在线观看视频亚洲| 成人午夜小视频手机在线看| 熟女视频久久| 爽爽歪在线视频| 亚洲日韩一区电影| 高清不卡国产| 国产超碰在线一区| 亚码人妻| 亚洲 欧美 日韩另类 麻豆| 四虎影视 亚洲无码| 91美女视频。| 夜夜精品视频| 亚洲成aⅴ人片不卡无码| 欧美日韩资源| 91av熟女人妻| 人人看人人插| 精品亚洲国产成人AV制服丝袜| 淫荡熟女乱伦网| 99这里有精品视频| 亚洲一二三精品久久网| 五月丁香黄色网| 性videos欧美熟妇hdx| 天天操天天干一区二区| 天天干天天舔| 国产精品熟女丝袜一区二区| 一区二区三区国产精产| 亚洲高清在线se| 中文字幕在线观看网址| 超碰97综合在线| 日韩无码精品综合久久| 九九成人视频| 中文字幕诱惑制服人妻丝袜美丝袜美| 大香蕉2017| 色欲久久99国产精品久久久久久| 91色人妻| www.av在线观看| 欧美 亚洲 偷拍自拍| 精品久久久av| 人妻久久| 天天天天天干夜夜夜夜夜操| 中日韩久久人妻一区二区| 欧美 日韩 国产传媒| 亚洲欧美变态| 日本性感人妻91| 98一区二区精品| 裸体1区| 亚洲男人在线观看天堂| 久久久久99999| 国产福利av精彩对白| 爆乳免费黄网站| 亚洲在钱| 亚洲午夜福利在线影院| 欧美 亚洲 制服 精品| 午夜男女爽爽大片免费观看| 五月天大香蕉| 91蜜桃传媒精品久久久一区二区| 亚洲情色综合| 尤物网站91| 99ri视频| 日本一二三免费久久| 欧美性爱日韩高清| 亚洲中文字幕有码视频一区二区三区| 精品人妻15区| 人人做人人妻人人夜视频| 嗯嗯啊啊视频一区二区三区| 天天激情综合站| 亚洲欧洲第二视频在线观看色图| 伊人久久大香线蕉无码| 亚洲男人的天堂V| 毛片久久| 嗯嗯,好大,好爽,好骚| AV天堂国产| 亚洲五区熟女| 激情五月综合开心五月| 精品十三区| 亚洲国产精品9999在线观看| 2019午夜福利视频| 日韩亚洲中文字幕在线| 好好的日:com久久九九| 夜间福利片1000无码| 亚洲天堂资源| 日本日皮视频逼| 久久久青青草| 少妇国产不卡| 美女尤物人人操| 成年在线视频日本亚洲在线视频区精品江靖宇公司 | 欧美与日韩97| 色婷婷av在线观看| 成人av在线播放| 久久久性爱视频| 久久一级无码精品毛片6| 97视频在线看| 91无摭挡| 日韩精品99999| 黄色免费一级在线毛片| 欧美玖玖爱免费玖玖| 黄片com.| 久久精品一区二区三区四区五区| 色阁阁AV综合网| 99这里有精品| 毛片17S| 亚洲av无码成电影在线播放| 欧美日韩国产精品久久色婷婷| 大香蕉久操| 久草视频在线视频在线视频在线观看| 国产少妇高潮| 亚洲成人一二三区| 亚州情色j区| 综合色图区| 熟女乱伦二区| 亚洲激情综合| www.色五月| 久久久久久一日韩字幕无码| 亚洲精品一区二区日本| 在线洲亚线| 色香网| 中文字幕在在线观看网站| 午夜超爽| 国产二区视频在线观看电影| 欧美综合娱乐久久| 亚欧毛片基地国产毛片基地| 日本操逼无码| 亚洲av国产av综合av卡| 97超碰精品图片| 91五十路| 久操网在线| 欧色性第一页| 台湾大香蕉99热| 伊人久久大香线蕉亚洲五月天,青草青草欧美日本一区二区,欧美日产欧美日产国产 | 1769精品一区二区三区| 中文字幕精品日韩中文字幕| 亚洲国产麻豆一区二区三区 | 日韩一级片在线看| 婷婷五月天伊人| 伊欧美综合视频| 成年女人黄网站| 天天躁日日躁AAA片李宗瑞| 91国产大片| 日韩午夜啪啪视频| 九九视品黄色| 国产欧美精选自拍一区| www.久久最新地址| 国产精品无套内谢| 丝袜剧情| 日本无码1| 国产午夜激片Av毛片不卡| 啪一啪免费视频| 色婷婷五月天| 天天澡天天爽日日av| 欧美一级欧美三级在线观看| 日韩不卡一二三四| 久久婷婷苹果| 国产毛片久久久久久久| 激情丁香婷婷| 天操老女人| 丰满熟妇大乳做爰| 18啪啪手机免费性爱| 嗯嗯啊啊视频在线看| 丰满人妻一区二区中文| 青青久日| 一区二区三区 日韩欧美| 日本在线一二| 欧美性天天影院| 大学生美女口爆| 韩国成人精品久久久免费看| 69超碰综合| 亚洲欧美啪啪| 欧美色吧综合| 可以免费看黄片的视频| 另类综合另类| 欧美成人精品一区| 香蕉婷婷| 人人操人人uiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiii | 日韩乱伦影音先锋| 亚洲一二三精品久久网 | 麻豆视频test| 玖玖大干人妻| 麻豆综合一区av| 日本韩国一本产品小视频日本韩国一本产品久久久产品小视频日本韩国一本产品久 | 亚洲图片偷拍视频区| 男人的亚洲天堂| 久久av一级av少妇av高潮| 美国久久一二三四| 97精| 日本裸体久久色噜噜| 亚洲自拍97| 亚洲Av无码成人精品国产| 夜草欧美| 久久亚洲欧美中文字幕国语| 91老熟女老女人国产老太| 日韩操啪| 五月天加勒比啪| 99精品久久久久久久婷婷蜜桃| 口爆综合网| 午夜福利激情在线视频| 日韩一级二级| 加勒比五月天| 欧洲色| 一级黄色性爱裸体视频| 鸥美插入视频| 亚洲一区二区三区欧美日韩| 在线综合 亚洲 欧美中文字幕| 思思热在线视频免费| 熟女被操视频网址| 97这里有精品| 99啪| 成人无码影片视频在线| 久久久久久久| 欧美 亚洲 偷拍自拍| 啊啊啊好想要| 久久视频,这里只有精品| hd成人一区二区在线| 新91视频.cmp| 久久超碰亚洲人| 黄片免费看的| a级免费在线观看| 伊人991| 国产人妻精品久久久一区二区三区| 天堂а√在线最新版在线| 久久9免费视频| 久久9亚洲| 亚洲欧美综合| 91丰满| 久9久9久9久9久9久9| 97超碰天天爱天天爱| 蜜桃无码AV一区二区| 大香蕉78| 欧美精品系列| 日本美女性生活久久久久久久| av网页一区二区三区| 四虎精品永久在线播放| 欧美,日韩,中文,另类| 91影视亚洲| 人人喜人人妻| 日欧操屄视频| 青青久久手机线视频| 91爱网| 91第一页| 91亚洲情色| 国产欧美另类久久久精品课程| 人妻无码视频一区二区三区久久| 熟女一区二区| 泰国AV在线观看| 熟妇熟女亚洲天堂网| 三级片网站在线播放| 欧美亚洲日本激情在线| 国产精品无码AV网站| 久久久久少妇| 密臀在线一区尤物| 91精品老女人| 欧美日韩在线小说 | 嗯嗯啊在线视频| 长长久久88视频| 亚卅熟女乱色| 久久婷婷一区二| 国产精品乱人伊人网| 亚洲最大的黄色电影网站。| 欧美日韩电影一区二区| 真实高潮91| 久草草一二三四区久久| 超碰97起碰| 蜜臀AV成人精品蜜臀| AV中文字幕剧情1区2区3| 超碰中文字幕人妻草一区| 久久久久亚洲精品| 亚洲一区中文字幕久久,果冻传媒一区二区天美传媒 | 人妻少妇蜜桃视频欧美一区| 天天看,天天做| 亚洲无码?第一页| 亚洲一卡2卡3卡4卡乱码网站 | 蜜乳av首页| 国产精品乱人伊人网| 中文字幕AV片| 久久久91| 高清一区AV无码| 国内毛片免费h片在线| AV九九| 精品美女在线视频| 欧美性Fer办公室秘书| 欧美综合综合| 日本一区二区中文字幕久久| 欧美日韩操逼动图| 久久婷婷综合国际产色怕| 91狠狠综合久久久久久| 高跟伊人julia ann| 久久9精品网站| 91影库| 六月婷婷综合| 成人夜夜| 人人操人人叉人人插人人| 91国产美女丝袜足交精品视频| 黄色工厂这里只有精品| 久久91精品国产9丨久久分亭 | 国产精品久久久久久高清无码免费看| 国产又色又爽又舒服的三级视频| 日本999精品| 成人国产视频在线观看| 婷婷五月天激情网| 久久激情视频| 久久受www免费人成| 欧美亚洲国产自久久| 久久这里只精品| AV一区观看| 欧亚不卡| 精品无码久久久久久国产浪潮| 精品乱子一区二区三区99| 精品九九九| 色999人与兽| 国产午夜福利合集| 国产欧美日韩精品中文| 中文字幕一区二区三区人妻少妇在线| 成人三级片一区二区三区视频| 婷婷五月天丁香花| 欧美亚洲影视| 欧美呦呦性爱| 亚州色图欧美| 亚洲导航深夜福利| 大香伊人在线一区| 青娱乐亚洲自拍| 狠狠97| 欧美综合骚| 国产亚洲精品A在线观看下载| 91嫩草欧美| 久久久久久国产手机AV| 学生妹天天看| 成人午夜视频免费播放| 人妻熟女一区二区三区视频| 美女自卫慰黄网站免费| 欧美日韩狠狠爱| 亚洲av夫妻操穴网| 日韩视频中文字幕| 久久久111| 综合五月婷婷亚洲一区| 操老熟女AV| 久久久久久人妻| 国产91专区| 国产精品久久久鸭无码的功能| 欧美伦乱| 五月丁香色色网| 欧美一级A一级a爱片久久| 一本正道久久熟女| 92性色国产午夜福利在线661 | 福利伊人玖玖国产| 91丝袜| 色 亚洲 91| 黑丝少妇在线观看| 美中日韩无码| 岛国免费黄色网址| 亚洲欧美另类图片| 丝袜翘臀后入欧美校园亚洲自拍另类小说一区中文字幕少妇诱惑 | 91N欧美| 日va操| 久久亚州精品成人Av无| 好湿好紧好爽 视频| 亚洲一二三四区| 亚州欧美总和| 欧美另类色| 亚洲欧美大| 在线另类| 97色碰| 免费看欧美美女黄色大片| 日本高清免费一本视频在线观看| 九七毛片九九毛片| 99爱精品| 大香蕉520| AV无码久久久精品| 久久只有精品| 校园春色亚洲| 日日躁狠狠躁天天躁精品| 99后入| 中文字幕欧美精品亚洲日韩蜜臀| 国产吹潮女在线观看| 成人A片男人的天堂| 97操碰| 99热超碰在线| 高潮毛片无遮挡高清免费| 中文久久久| 国产天天噜一噜久久久| 学生妹天天看| 亚洲人综合| 超碰人妻久久| 做爱A级亚欧| 亚洲综合色男人网| 丝袜狠狠草尤物 91| 色婷婷综合久久久久中文国产精品一区中文字幕,国产福利电影一区二区三区 | 青青草黑寡妇男人天堂| 91xingse| 熟女五十路一区二区三| 久久黄片国产一区二区| 国产精品扒开腿做爽爽爽视频| 亚洲美女AV无码| 黑人精品XXX一区一二区| 一起草在线视频| 蜜桃狠狠色伊人亚洲综合网站| 青青草在线视频播放器| 欧美 亚洲精品首页| 亚洲乱码精品一区二区| 欧美Ⅴ性爱| 国产第25页在线观看| 丁香五月综合| 天天看特黄的免费网站| oumeizonghese,www| 综合亚州欧美| 97国产|免费| 亚洲国产97| 天美传媒Av在线| 999热这里只有精品| 国产黄色小视频网站| 日韩黄色成人性爱| 93人人操人人| 啊啊啊啊一区| 97WW精品| 亚洲怡春院| 992大香蕉| 国产高清成人mv在线观看| 97精品国产97久久久久久| 蜜乳av一区二区三区四区不卡| 精品日韩产品在线,日韩在线不卡视频,欧美日韩免费专区/久, | 在线97视频| 色综合av男人天堂| 色情五月综合婷婷| 一本大道综合伊人精品热热| 大逼色网站| 欧美黄片欧美黄片xxx| 国产原创自拍| av草草在线电影| 亚洲精品人妻在线| 免费啪啪啪网站18岁|