日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Linux系統(tǒng)編程實(shí)戰(zhàn):從文件I/O到多線程同步的排查思路

Linux系統(tǒng)編程實(shí)戰(zhàn):從文件I/O到多線程同步的排查思路 簡(jiǎn)介《Linux系統(tǒng)編程技術(shù)》是瑞典系統(tǒng)專(zhuān)家杰克-本尼·佩爾松撰寫(xiě)的一本系統(tǒng)編程實(shí)戰(zhàn)書(shū)籍主要面向已經(jīng)具備一定Linux使用基礎(chǔ)、希望深入了解底層開(kāi)發(fā)原理的開(kāi)發(fā)者。全書(shū)從開(kāi)發(fā)環(huán)境配置開(kāi)始逐步講解共享庫(kù)的創(chuàng)建與使用、終端I/O的掌控、進(jìn)程管理與進(jìn)程間通信、多線程同步、程序調(diào)試等核心主題并通過(guò)豐富的代碼案例和針對(duì)性練習(xí)將各個(gè)知識(shí)點(diǎn)串聯(lián)起來(lái)。作者非常注重動(dòng)手實(shí)踐引導(dǎo)讀者在編寫(xiě)、編譯和運(yùn)行程序的過(guò)程中深入體會(huì)系統(tǒng)調(diào)用與內(nèi)核交互的行為特征從而編寫(xiě)出更高效、更可靠的程序每個(gè)專(zhuān)題還配有可獨(dú)立運(yùn)行的示例代碼便于讀者對(duì)照驗(yàn)證。資源包共1個(gè)PDF文件壓縮后約4.82MB體積小巧無(wú)需額外安裝環(huán)境即可在主流閱讀器中打開(kāi)非常適合在電腦、平板或手機(jī)上隨時(shí)查閱。目前該資源已有102人學(xué)習(xí)下載作為一本兼顧理論深度與工程實(shí)踐的技術(shù)書(shū)既能幫助讀者快速搭建Linux系統(tǒng)編程知識(shí)體系也能在具體項(xiàng)目開(kāi)發(fā)中提供切實(shí)的參考與啟發(fā)。 干 Linux 系統(tǒng)編程這行也快十年了帶過(guò)團(tuán)隊(duì)也面試過(guò)不少人發(fā)現(xiàn)大家真正容易卡住的往往不是語(yǔ)法和 API而是對(duì)系統(tǒng)到底怎么運(yùn)作缺少一個(gè)直觀的手感。很多人在學(xué)校和培訓(xùn)班里學(xué)過(guò)文件操作、學(xué)過(guò) fork、學(xué)過(guò)線程同步可一丟到真實(shí)項(xiàng)目里面對(duì) CPU 飆高、進(jìn)程卡死、日志錯(cuò)亂、core dump 崩得莫名其妙整個(gè)人就懵了。這篇文章我不打算給你堆一堆 man page而是把這么多年實(shí)戰(zhàn)里踩過(guò)的坑、驗(yàn)證過(guò)的方法、排查問(wèn)題的思路一次性理清楚。不管是剛上完系統(tǒng)編程與創(chuàng)新設(shè)計(jì)這類(lèi)課程的同學(xué)還是已經(jīng)入行想系統(tǒng)補(bǔ)課的后端和嵌入式工程師照著這個(gè)思路去琢磨 Linux 系統(tǒng)編程會(huì)比盲目刷題高效得多。系統(tǒng)編程的本質(zhì)其實(shí)就是站在內(nèi)核的門(mén)口調(diào)用資源。你寫(xiě)的每個(gè) open、read、write、fork、pthread_create最后都會(huì)變成對(duì)內(nèi)核的請(qǐng)求。理解這一層再看什么文件描述符、進(jìn)程模型、線程同步就全通了。1. 文件I/O系統(tǒng)編程的第一塊基石1.1 文件描述符一張被忽視的下標(biāo)表很多人把文件描述符當(dāng)成一個(gè)普通的整數(shù)用的時(shí)候記住 open 返回 3 就行。但實(shí)戰(zhàn)里一旦出現(xiàn) fd 泄漏、fd 被意外關(guān)閉、socket 和普通文件混淆這類(lèi)問(wèn)題你就必須深入理解 fd 的真實(shí)身份——它其實(shí)是進(jìn)程文件描述符表的下標(biāo)。這張表每個(gè)進(jìn)程一份每一項(xiàng)指向內(nèi)核打開(kāi)文件表里的一個(gè)條目而那個(gè)條目又指向真正的 inode 或 socket 對(duì)象。所以當(dāng)你在/proc/pid/fd/下看到一堆軟鏈接它們鏈接到的目標(biāo)就代表這個(gè)進(jìn)程當(dāng)前持有的所有資源。排查 fd 泄漏我一般先跑ls -l /proc/pid/fd | wc -l看數(shù)量再跑lsof -p pid定位是什么文件。順手強(qiáng)調(diào)一個(gè)容易出事的細(xì)節(jié)fd 是會(huì)被復(fù)用的前一個(gè) fd 關(guān)閉后后面新建的文件或 socket 大概率復(fù)用同一個(gè)編號(hào)。如果你代碼里把某個(gè) fd 當(dāng)成固定編號(hào)到處存很可能在不知情的情況下操作了別的文件。正確做法是始終用變量保存返回的 fd別硬編碼。還有一點(diǎn)在寫(xiě)網(wǎng)絡(luò)服務(wù)時(shí)要特別留意從 accept 返回的新 fd本來(lái)只想讓它在子進(jìn)程里用結(jié)果 fork 之后父進(jìn)程忘了關(guān)最終所有子進(jìn)程都握著一份多余的 fd服務(wù)端明明沒(méi)幾個(gè)連接ulimit -n卻很快被耗盡。這種問(wèn)題 ps 看不出異常lsof一看全是重復(fù)的 socket這就是對(duì)fork 會(huì)復(fù)制 fd 表理解不透的代價(jià)。我在項(xiàng)目里處理這類(lèi)問(wèn)題的標(biāo)準(zhǔn)做法是所有 fd 在 fork 后立刻按需關(guān)閉該加的FD_CLOEXEC標(biāo)志必須加。1.2 緩沖、系統(tǒng)調(diào)用與一次 write 的旅程剛?cè)腴T(mén)時(shí)總覺(jué)得 write 就是把數(shù)據(jù)寫(xiě)到磁盤(pán)后來(lái)才發(fā)現(xiàn)這對(duì)理解性能問(wèn)題是個(gè)災(zāi)難。簡(jiǎn)單梳理一下數(shù)據(jù)路徑應(yīng)用調(diào)用 write實(shí)際是進(jìn)入內(nèi)核態(tài)把數(shù)據(jù)從用戶(hù)態(tài)緩沖區(qū)復(fù)制到內(nèi)核頁(yè)緩存由內(nèi)核決定什么時(shí)候真正落盤(pán)。一次 write 一次系統(tǒng)調(diào)用但系統(tǒng)調(diào)用不是免費(fèi)的——它涉及上下文切換、參數(shù)校驗(yàn)、權(quán)限檢查。如果你在循環(huán)里一次寫(xiě)一個(gè)字節(jié)那性能基本是斷崖式下跌因?yàn)槊看味荚诮贿^(guò)路費(fèi)。我曾經(jīng)在一個(gè)數(shù)據(jù)采集程序里見(jiàn)過(guò)這類(lèi)寫(xiě)法采集量一上來(lái) CPU 占用率直接 100%可實(shí)際上大部分 CPU 都在內(nèi)核態(tài)做無(wú)意義的上下文切換。優(yōu)化思路也很樸素就是加用戶(hù)態(tài)緩沖區(qū)湊夠 4KB 或者更大再一次 write性能立刻提升了幾個(gè)數(shù)量級(jí)。這里再補(bǔ)一個(gè)經(jīng)典坑fopen系列自帶的 stdio 緩沖和open的裸系統(tǒng)調(diào)用混用時(shí)很容易出現(xiàn)日志順序錯(cuò)亂。原因很簡(jiǎn)單兩邊各有一份緩沖區(qū)flush 時(shí)序不一致。我見(jiàn)過(guò)線上系統(tǒng)日志時(shí)間戳顛倒排查到最后就是因?yàn)橐惶幱昧藈rite一處用了fprintf還沒(méi) fflush。所以同一文件的寫(xiě)路徑選一種方式走到黑。1.3 mmap當(dāng)文件映射進(jìn)內(nèi)存文件 I/O 的另一個(gè)高頻武器是 mmap它把文件直接映射到進(jìn)程地址空間讀文件就像讀內(nèi)存指針一樣。對(duì)大型只讀文件的隨機(jī)訪問(wèn)這個(gè)方案比反復(fù) lseek read 不知道高到哪里去了。我做的嵌入式 Linux 項(xiàng)目里很多配置文件、資源文件就靠 mmap 加載省掉一層拷貝還能被多個(gè)進(jìn)程共享映射節(jié)約物理內(nèi)存。但 mmap 也不是萬(wàn)能的。文件很小的時(shí)候映射建頁(yè)表的開(kāi)銷(xiāo)可能比直接 read 更大這時(shí)候不要盲目炫技。另一個(gè)坑是寫(xiě)入時(shí)序mmap 的寫(xiě)操作先進(jìn)頁(yè)緩存真正的落盤(pán)取決于內(nèi)核回寫(xiě)機(jī)制。如果進(jìn)程崩潰或系統(tǒng)斷電數(shù)據(jù)可能沒(méi)寫(xiě)進(jìn)去。需要強(qiáng)一致性的場(chǎng)景要在合適時(shí)機(jī)調(diào)用 msync 刷盤(pán)但要意識(shí)到這會(huì)削弱性能優(yōu)勢(shì)??偨Y(jié)來(lái)看大文件只讀場(chǎng)景優(yōu)先 mmap小文件或者寫(xiě)頻繁的場(chǎng)景老老實(shí)實(shí)用 read/write 加緩沖。2. 進(jìn)程管理fork、exit 與回收的藝術(shù)2.1 fork 的寫(xiě)時(shí)復(fù)制與繼承陷阱fork 大概是系統(tǒng)編程面試?yán)锍霈F(xiàn)頻率最高的詞之一。它創(chuàng)建一個(gè)子進(jìn)程但現(xiàn)代 Linux 下并不是把父進(jìn)程整個(gè)地址空間拷一份而是采用寫(xiě)時(shí)復(fù)制技術(shù)。父子進(jìn)程一開(kāi)始共享物理內(nèi)存頁(yè)只有某一方真正寫(xiě)入時(shí)內(nèi)核才復(fù)制對(duì)應(yīng)的頁(yè)。這也是 fork 之后能快速創(chuàng)建子進(jìn)程的原因。但寫(xiě)時(shí)復(fù)制也帶來(lái)一個(gè)隱蔽的問(wèn)題如果你 fork 之后馬上 exec其實(shí)之前那些內(nèi)存復(fù)制完全沒(méi)必要。Linux 提供了 vfork語(yǔ)義上更激進(jìn)子進(jìn)程直接共享父進(jìn)程地址空間父進(jìn)程會(huì)被掛起直到子進(jìn)程 exec 或退出。對(duì)fork exec這種固定組合用 vfork 能省不少開(kāi)銷(xiāo)不過(guò)使用時(shí)要格外小心子進(jìn)程里別改任何父進(jìn)程的變量。更頭疼的是多線程程序里調(diào)用 fork。子進(jìn)程只會(huì)留下調(diào)用 fork 的那個(gè)線程其他線程直接消失但那些線程可能正握著鎖。于是子進(jìn)程里再順手調(diào)一個(gè)需要同樣鎖的庫(kù)函數(shù)直接死鎖。常見(jiàn)的規(guī)避辦法是 fork 之后盡快 execexec 會(huì)用全新的進(jìn)程鏡像替換掉子進(jìn)程的地址空間原來(lái)的鎖狀態(tài)不再影響新程序??扇绻?fork 和 exec 之間還想干點(diǎn)別的就得提前做好鎖的清理策略或者干脆用 posix_spawn。2.2 僵尸進(jìn)程為什么殺不掉剛接觸進(jìn)程管理的人會(huì)特別困惑進(jìn)程明明退出了為什么 ps 里還能看到還殺不掉這就是僵尸進(jìn)程。任何進(jìn)程退出時(shí)并不會(huì)立刻從進(jìn)程表中消失而要先變成僵尸狀態(tài)等父進(jìn)程用 wait / waitpid 讀取它的退出狀態(tài)內(nèi)核才會(huì)徹底清理。如果父進(jìn)程一直不調(diào)用 wait僵尸進(jìn)程就會(huì)一直占著進(jìn)程表項(xiàng)。進(jìn)程表的容量是有限的僵尸多了系統(tǒng)就創(chuàng)建不了新進(jìn)程。而僵尸進(jìn)程本身不占 CPU、不占內(nèi)存它占的是內(nèi)核進(jìn)程表所以 kill -9 對(duì)它沒(méi)用因?yàn)樗呀?jīng)死了。我見(jiàn)過(guò)一個(gè)長(zhǎng)期運(yùn)行的服務(wù)功能一切正常但不定什么時(shí)候就報(bào)Resource temporarily unavailable。查到頭就是有個(gè)子進(jìn)程退出后沒(méi)人 wait時(shí)間一長(zhǎng)把進(jìn)程表?yè)伪?。解決辦法有兩條路一是認(rèn)真在父進(jìn)程里處理 SIGCHLD 信號(hào)循環(huán)調(diào)用 waitpid(-1, status, WNOHANG) 回收所有子進(jìn)程二是在明確不想管子進(jìn)程退出狀態(tài)的情況下顯式將 SIGCHLD 設(shè)為 SIG_IGN內(nèi)核會(huì)自動(dòng)回收子進(jìn)程不產(chǎn)生僵尸。選擇哪種要看業(yè)務(wù)是否需要知道子進(jìn)程的退出碼。如果讓子進(jìn)程干完活要看結(jié)果就老老實(shí)實(shí)用 waitpid如果只是點(diǎn)火開(kāi)路的異步任務(wù)可以直接 SIG_IGN。2.3 exec 家族程序替換的注意事項(xiàng)exec 這個(gè)動(dòng)作會(huì)完全替換當(dāng)前進(jìn)程的代碼、數(shù)據(jù)和堆棧但 pid 不變。這也是 shell 執(zhí)行外部命令的基本機(jī)制先 fork 出一個(gè)子進(jìn)程然后子進(jìn)程里去 exec 目標(biāo)程序。如果 exec 失敗子進(jìn)程還活著一定要處理這個(gè)分支否則程序會(huì)在不知情的情況下繼續(xù)跑一個(gè)已經(jīng)假死的邏輯。選擇 exec 的具體函數(shù)時(shí)要注意兩個(gè)點(diǎn)一是要不要自動(dòng)搜索 PATH二是環(huán)境變量怎么傳。execlp和execvp會(huì)按 PATH 找可執(zhí)行文件適合執(zhí)行外部命令execve則可以完全控制環(huán)境變量。還有一個(gè)最容易被忽視的細(xì)節(jié)exec 成功后之前設(shè)置的那些信號(hào)處理器、fd 標(biāo)志可能變得不再可靠所以生產(chǎn)級(jí)代碼里通常會(huì)在 exec 前把關(guān)鍵 fd 設(shè)置FD_CLOEXEC我就是這么干的不然子進(jìn)程會(huì)繼承一堆不該繼承的 fd層層傳遞下去遲早出事。3. 多線程同步選對(duì)鎖性能與正確性兼得3.1 互斥鎖、讀寫(xiě)鎖、自旋鎖怎么選線程之間共享數(shù)據(jù)必須同步但同步絕不意味著拿一把鎖到處加。選錯(cuò)鎖性能差別可以到數(shù)量級(jí)?;コ怄i是最通用的但它會(huì)在鎖被占用時(shí)讓線程進(jìn)入睡眠由內(nèi)核喚醒這個(gè)調(diào)度來(lái)回可能微秒級(jí)。如果臨界區(qū)很短比如就做一個(gè)原子變量賦值大量線程反復(fù)地睡眠喚醒調(diào)度開(kāi)銷(xiāo)會(huì)淹沒(méi)業(yè)務(wù)本身。這時(shí)候自旋鎖更合適它讓線程在用戶(hù)態(tài)忙等不進(jìn)入睡眠代價(jià)是占滿(mǎn) CPU。關(guān)鍵是判斷臨界區(qū)長(zhǎng)度短則自旋長(zhǎng)則睡眠。讀寫(xiě)鎖則是區(qū)分讀者和寫(xiě)者的鎖讀多寫(xiě)少的場(chǎng)景能獲得很好并發(fā)性。比如配置表、路由表基本都是讀操作。但要提醒一下讀寫(xiě)鎖的公平性設(shè)計(jì)會(huì)影響性能。有些實(shí)現(xiàn)里寫(xiě)者容易餓死一旦有寫(xiě)者等待后續(xù)讀者可能被阻塞或者提前讓位。實(shí)際使用時(shí)要根據(jù)業(yè)務(wù)調(diào)整策略不能寫(xiě)完就扔。我遇到過(guò)的一個(gè)案例是某服務(wù)從互斥鎖換到讀寫(xiě)鎖后吞吐量只提升了 20%遠(yuǎn)低于預(yù)期。原因在于鎖粒度太大讀臨界區(qū)里做了一堆無(wú)關(guān)計(jì)算。鎖這個(gè)工具再快也替代不了結(jié)構(gòu)設(shè)計(jì)。所以?xún)?yōu)先考慮縮小臨界區(qū)再考慮換鎖類(lèi)型。3.2 條件變量用 while 代替 if條件變量是用來(lái)等待某個(gè)條件成立的同步原語(yǔ)但它本身沒(méi)有條件狀態(tài)。它的核心是和互斥鎖配合使用一個(gè)標(biāo)準(zhǔn)姿勢(shì)先加鎖再在 while 循環(huán)里檢查條件條件不滿(mǎn)足就調(diào)用 pthread_cond_wait 釋放鎖并睡眠被喚醒后重新拿回鎖再次檢查條件。為什么必須是 while不能是 if因?yàn)榇嬖隗@群和虛假喚醒兩個(gè)問(wèn)題。多個(gè)線程同時(shí)被喚醒但只有一個(gè)線程能真正處理?xiàng)l件變化其他線程如果不重新檢查條件就會(huì)在條件已經(jīng)不成立的情況下繼續(xù)往下執(zhí)行導(dǎo)致邏輯錯(cuò)誤。我在一個(gè)任務(wù)隊(duì)列里踩過(guò)這個(gè)坑用 if 判斷隊(duì)列非空再加鎖取任務(wù)結(jié)果同一時(shí)刻多個(gè)消費(fèi)者都被喚醒一個(gè)消費(fèi)者把唯一的任務(wù)取走了其他消費(fèi)者拿著空隊(duì)列繼續(xù)跑出完 bug 才徹底記住 while。另一個(gè)經(jīng)驗(yàn)是pthread_cond_wait 調(diào)用前要保證互斥鎖已經(jīng)持有而調(diào)用返回后鎖會(huì)自動(dòng)重新獲得但返回也不代表?xiàng)l件一定滿(mǎn)足所以那句while 中使用就是鐵律。寧可多檢查一次也不要冒險(xiǎn)。3.3 原子操作與無(wú)鎖編程的邊界對(duì)整型計(jì)數(shù)、標(biāo)志位這類(lèi)簡(jiǎn)單場(chǎng)景原子操作能避免鎖的上下文切換開(kāi)銷(xiāo)。GCC 和 Clang 提供__atomic_*內(nèi)置函數(shù)C11 有標(biāo)準(zhǔn)原子庫(kù)C 有std::atomic選擇很多。我常在性能敏感的數(shù)據(jù)路徑上用__atomic_add_fetch做計(jì)數(shù)器實(shí)測(cè)比互斥鎖能低一個(gè)數(shù)量級(jí)。但原子操作只適合非常簡(jiǎn)單的場(chǎng)景一旦涉及多個(gè)變量的關(guān)聯(lián)更新原子操作就無(wú)法保證整體一致性。舉個(gè)典型例子你要維護(hù)隊(duì)列長(zhǎng)度和隊(duì)列數(shù)據(jù)兩個(gè)字段如果用兩個(gè)原子變量分別更新并發(fā)時(shí)消費(fèi)者看到的長(zhǎng)度可能已經(jīng)加一但數(shù)據(jù)還沒(méi)寫(xiě)進(jìn)去。這種復(fù)合操作必須有鎖或者用無(wú)鎖隊(duì)列這種精心設(shè)計(jì)的數(shù)據(jù)結(jié)構(gòu)。無(wú)鎖編程很酷但正確性極難驗(yàn)證生產(chǎn)環(huán)境里我一般只在鏈路最核心、臨界區(qū)最短的地方用其他位置絕不硬上。4. 調(diào)試與排查用工具把系統(tǒng)調(diào)用看清楚4.1 strace系統(tǒng)調(diào)用的抓包工具排查系統(tǒng)編程問(wèn)題strace 是我第一個(gè)上的工具。它能把進(jìn)程發(fā)起的每次系統(tǒng)調(diào)用、參數(shù)、返回值都打印出來(lái)就像網(wǎng)絡(luò)問(wèn)題里的抓包工具。我見(jiàn)過(guò)最經(jīng)典的場(chǎng)景是服務(wù)無(wú)緣無(wú)故卡住不是死循環(huán)進(jìn)度條不動(dòng)CPU 很低。這時(shí)候用strace -p pid附加到進(jìn)程上瞬間就能看到它阻塞在哪個(gè)系統(tǒng)調(diào)用上可能是一個(gè) socket 讀操作也可能是等待某個(gè)文件鎖。常用參數(shù)我習(xí)慣這么配-f跟蹤子進(jìn)程-tt打印精確時(shí)間-T顯示每次系統(tǒng)調(diào)用的耗時(shí)。排查網(wǎng)絡(luò)超時(shí)的時(shí)候strace -f -e tracenetwork -p pid只看網(wǎng)絡(luò)相關(guān)調(diào)用輸出干凈很多。但要注意strace 會(huì)對(duì)性能產(chǎn)生明顯影響在生產(chǎn)環(huán)境附加時(shí)別時(shí)間太長(zhǎng)。定位完問(wèn)題立刻斷開(kāi)否則業(yè)務(wù)延遲會(huì)被拉高。還有一點(diǎn)strace 顯示的是系統(tǒng)調(diào)用層面的行為如果你調(diào)的是 malloc 這種庫(kù)函數(shù)它內(nèi)部可能觸發(fā) brk 或 mmap你會(huì)看到調(diào)用稀奇古怪別被誤導(dǎo)。4.2 gdb core讓崩潰現(xiàn)場(chǎng)說(shuō)話程序崩潰時(shí)最怕的是連現(xiàn)場(chǎng)都沒(méi)有。生產(chǎn)環(huán)境里我會(huì)提前把 core dump 打開(kāi)ulimit -c unlimited然后按需配置/proc/sys/kernel/core_pattern讓 core 文件落到固定目錄。一旦程序崩潰直接gdb 可執(zhí)行文件 core文件輸入bt看調(diào)用棧再用frame n切換棧幀info locals看局部變量配合list看源碼行號(hào)十有八九能立刻定位到崩潰點(diǎn)。這個(gè)流程最核心的價(jià)值是保持現(xiàn)場(chǎng)。很多人遇到崩潰第一反應(yīng)是趕緊重啟結(jié)果日志又沒(méi)打全下次復(fù)現(xiàn)找不到規(guī)律。正確做法是先把 core 文件收下來(lái)再用 gdb 靜態(tài)分析。有一次線上服務(wù)隔幾天崩一次沒(méi)有任何報(bào)錯(cuò)日志我分析 core 后發(fā)現(xiàn)崩潰在線程池銷(xiāo)毀時(shí)一個(gè)線程正在使用已經(jīng)被釋放的任務(wù)對(duì)象。如果當(dāng)時(shí)不保留 core這個(gè)問(wèn)題單靠肉眼邏輯推演不知道要熬多少天。還有一個(gè)實(shí)用技巧崩潰后不急著 bt先info threads看看所有線程狀態(tài)有時(shí)候崩潰線程只是受害者真正的兇手是另一個(gè)線程把共享內(nèi)存改壞了。4.3 從百思不解到定位一次線上崩潰案例復(fù)盤(pán)去年我處理過(guò)一個(gè)詭異的線上問(wèn)題服務(wù)運(yùn)行幾小時(shí)后 CPU 會(huì)突然飆到 100%然后恢復(fù)再過(guò)一陣又飆。一開(kāi)始以為是業(yè)務(wù)流量高峰但流量曲線完全對(duì)不上。我先用top抓到飆高那一刻的進(jìn)程號(hào)再用perf top看熱點(diǎn)發(fā)現(xiàn)熱點(diǎn)集中在字符串比較函數(shù)上。繼續(xù)深入才發(fā)現(xiàn)是一個(gè)全局哈希表的 key 在某些條件下出現(xiàn)異常值導(dǎo)致哈希退化成鏈表查詢(xún)復(fù)雜度從 O(1) 變成 O(n)。整個(gè)過(guò)程讓我重新意識(shí)到系統(tǒng)編程的排查不能只靠猜工具鏈只是幫你縮小范圍真正的問(wèn)題往往隱藏在數(shù)據(jù)結(jié)構(gòu)的極端場(chǎng)景里。現(xiàn)在我再遇到類(lèi)似性能問(wèn)題排查路徑已經(jīng)比較固定先 top 確認(rèn)現(xiàn)象再用 strace 排除系統(tǒng)調(diào)用層面的異常再用 perf 看 CPU 熱點(diǎn)最后用 gdb 或日志定位具體代碼路徑。每一步都在收窄范圍不需要重新發(fā)明輪子但每一步都需要對(duì)系統(tǒng)原理有足夠的理解才能走對(duì)方向。4.4 再補(bǔ)充一個(gè)嵌入式場(chǎng)景的調(diào)試思路如果你的工作涉及嵌入式 Linux會(huì)多一層交叉編譯 目標(biāo)板運(yùn)行的復(fù)雜度。多數(shù)嵌入式板子的資源有限跑不了完整的 gdb 交互式調(diào)試串口日志就成了最樸素也最可靠的調(diào)試手段。我會(huì)在關(guān)鍵路徑上加帶時(shí)間戳的日志尤其會(huì)打印函數(shù)進(jìn)入和退出的標(biāo)記這樣即使沒(méi)有調(diào)試器也能在串口輸出里看到邏輯卡在哪。另一個(gè)實(shí)用的技巧是交叉編譯 gdbserver 到板子上然后通過(guò)網(wǎng)線遠(yuǎn)程用 gdb 連接體驗(yàn)會(huì)好很多。不過(guò)前提是目標(biāo)板上要有網(wǎng)絡(luò)接口和剩余空間資源實(shí)在緊張時(shí)還是老老實(shí)實(shí)把日志打全很多時(shí)候能把日志打好的工程師排查問(wèn)題的效率反而更高。5. 命令、問(wèn)題與知識(shí)沉淀實(shí)戰(zhàn)中的高頻碎片5.1 我常用的排查命令清單系統(tǒng)編程的日常離不開(kāi)幾條命令我整理過(guò)一套自己高頻使用的列表每次排查問(wèn)題基本從里面挑ps -ef/ps aux看進(jìn)程狀態(tài)、CPU、內(nèi)存特別留意Z僵尸狀態(tài)。top/htop實(shí)時(shí)觀察 CPU 和內(nèi)存占用top -H -p pid能看進(jìn)程內(nèi)各線程占用。cat /proc/pid/status看線程數(shù)、內(nèi)存映射、上下文切換次數(shù)。strace -p pid附加到進(jìn)程追蹤系統(tǒng)調(diào)用。gdb -p pid在線調(diào)試運(yùn)行中的進(jìn)程注意會(huì)短暫停住目標(biāo)。lsof查看進(jìn)程打開(kāi)的所有文件排查 fd 泄漏必備。perf top/perf record定位 CPU 熱點(diǎn)優(yōu)化性能時(shí)離不開(kāi)。dmesg看內(nèi)核日志很多段錯(cuò)誤和 OOM 會(huì)在這里留痕。5.2 那些面試中常被問(wèn)到的系統(tǒng)編程概念面試官問(wèn)系統(tǒng)編程問(wèn)題其實(shí)問(wèn)的也是本質(zhì)理解。fork 和 vfork 的區(qū)別、僵尸進(jìn)程與孤兒進(jìn)程、寫(xiě)時(shí)復(fù)制、文件描述符與文件鎖、互斥鎖與自旋鎖的選擇、協(xié)程與線程的關(guān)系這些概念如果你真在項(xiàng)目里用過(guò)就不會(huì)只是背答案。比如問(wèn)到你如何設(shè)計(jì)一個(gè)高并發(fā)的日志系統(tǒng)核心一定繞不開(kāi)緩沖、批量寫(xiě)、無(wú)鎖或最少鎖的路徑設(shè)計(jì)問(wèn)如何排查 CPU 飆高答案其實(shí)就是上面 4.3 里的排查路徑。概念和實(shí)戰(zhàn)是強(qiáng)綁定的只背不練面試稍微追問(wèn)一句那你遇到過(guò)什么案例就會(huì)露餡。5.3 從課程到實(shí)戰(zhàn)怎么完成從會(huì)做作業(yè)到能上生產(chǎn)的跨越很多同學(xué)從系統(tǒng)編程與創(chuàng)新設(shè)計(jì)這類(lèi)課程里出來(lái)作業(yè)能寫(xiě)課設(shè)能過(guò)但一接觸到生產(chǎn)級(jí)代碼還是會(huì)慌。差異在于課程項(xiàng)目往往把問(wèn)題邊界規(guī)定得很清楚而真實(shí)系統(tǒng)里邊界是你自己劃的。我的建議是找?guī)讉€(gè)開(kāi)源項(xiàng)目精讀像 Redis、Nginx、sqlite 的源碼都值得反復(fù)看重點(diǎn)看它們?cè)趺垂芾韮?nèi)存、怎么處理 fd、怎么設(shè)計(jì)線程模型??赐暝创a再自己動(dòng)手模仿寫(xiě)一個(gè)小型服務(wù)比如一個(gè)支持并發(fā)請(qǐng)求的文件服務(wù)器強(qiáng)制自己處理 fork、線程池、超時(shí)、fd 管理、信號(hào)處理踩完一圈坑你對(duì)系統(tǒng)編程的體感會(huì)上一個(gè)很大的臺(tái)階。結(jié)尾最后再分享一個(gè)小技巧排查系統(tǒng)編程問(wèn)題永遠(yuǎn)把先復(fù)現(xiàn)、再縮小、后定位的順序刻在腦子里。不要一上來(lái)就猜是某個(gè)函數(shù)寫(xiě)錯(cuò)了先看現(xiàn)象是否可復(fù)現(xiàn)再看是哪個(gè)進(jìn)程、哪個(gè)線程、哪個(gè)系統(tǒng)調(diào)用最后才回到代碼邏輯去推理。這個(gè)順序能幫你省掉大量的無(wú)效排查時(shí)間。我自己也是從亂打日志、亂試方案走過(guò)來(lái)的熟練之后你會(huì)發(fā)現(xiàn)Linux 系統(tǒng)編程的大部分問(wèn)題都有規(guī)律可循真正考驗(yàn)?zāi)愕氖菍?duì)底層機(jī)制的理解深度和排查問(wèn)題的耐心。希望這篇實(shí)戰(zhàn)經(jīng)驗(yàn)整理能讓你在自己的項(xiàng)目里少走幾段彎路。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
av日韩在线观看电影| 韩日精品四区| 成人一区二区三区四区| 美女性91| 国内精品伊人久久久久影院会| 久超碰在| 在线观看午夜婷婷久久久久清性观看| 欧美78P| 久久av一级av少妇av高潮| 国产不卡免费在线视频| 双插在线| 免费无码婬片AAAA片直播色戒| 性在久久久久久| 99精品久久久久久久婷婷| 日本不卡码黄色| 青青草华人在线欧美在线| 天美传媒婬乱在| 精品久久久亚洲AV成人网站| 午夜毛片高清免费不卡| 最新国内自拍av免费| 夜色五月天| 91丝袜人妻| 日本高清有码网址视频| 激情人妻另类| 最新啪啪视频| 91插B网站| 欧美国产精品久久九九| 综合亚洲情色| 翔田千里无码中出中文字幕| 日韩二三区| A级片日韩欧美国产欧美视频精选观看| 99∨VTV| 国产黄片在线免费观看| 欧洲乱码视频| 中文字幕精品日韩中文字幕| 久久九九97| 日韩人人精品| 欧苏综合色综合| 国产精品午夜福利视频| 国产精品成人无码av无码免费| 青娱乐蜜桃臀AV色婷| 久久久久久久强迫| 丝袜狠狠草尤物人妻av91| 黑人综合网| www.高清无码诱惑一区.com | 精品久久久久av影院| 久草毛片电影怡| 亚洲av资源| 大香蕉啪啪啪| 国产又黄又爽| 久久久久元码视频| 五月婷婷综合激情| 最近2018中文字幕在线高清第一页| 五月天色电影| 日韩欧美午夜视频在线| 人妻熟女一区二区| 色色五月丁香| 国产欧美在线观看免费观看| 91久久堂| 91c色| 人妻久久| 日本一卡二区在线| 乱理日韩中文| 黄色性爱网网| 欧美性爱一区二区三区| 亚洲影院小综合| 人妻系列无码专区中文有码| 亚洲97网站| 夂久色| 国产精品com| 青青欧洲黑| 91蜜桃婷婷狠狠久久综合9色| 超碰色97| 日韩久射综合| 亚洲欧美综合网站| 男人下部插入女人下部| 日本三级网页| 久久伊人影院| 性爱欧美五月| 精品国产一区二区三区av在线资源| 国产色产精品在线观看| AV色五月天| 99re国产中文字幕| 高清国产成人无码| 亚洲一区日韩精品中文字幕| 性欧美999| 欧美综合加勒比在线| 日本熟妇人妻中出视频| 亚洲综合九九| 久久AV色| 嗯嗯啊啊亚欧精品| 999狠狠综合| 午夜国产综合视频在线观看| 久草线上视频免费看| 欧美男人一区| 密桃99999| 成人性爱美曰韩| 91天天| 东北女人性交| 蜜臀99久久精品久久久久久| 欧美性高潮| 2020天天色综合| 青青草大香蕉在线视频| 乱理日韩中文| 亚洲色堂免费视频| 操人妻逼91| 五月丁香激情综合| 亚洲AV无码国产精品久久久久| 97超碰人人操人人操| 我爱操| 久久夜夜夜夜| 性色高清在线| 涩爱AV在线| 艳美熟妇先锋一二三区| 亚洲日本韩国极品一区二区| 免费一级毛片在线视频观看| 在线播放成人网站| 日韩性爱网址| 亚洲色天堂日韩中| 337p大胆噜噜噜噜噜91Av| 日韩有码专区| 亚洲午夜精品久久久中文影院| 欧美性Fer办公室秘书| 色综合20p| 一本大道综合伊人精品热热| 亚州色站 日韩电影| 成人午夜视频免费播放| 强奸乱伦免费网站| 亚洲巨爆乳一区二区三区四季网| 国产美女高潮| 强奸乱伦AV网站| 97在线精品观看视频| 麻豆国产精品午夜视频| 国产一区二区三区免费视频在性观看 | 黑人猛交| 青春草莓视频在线观看网址| 水滴偷拍| 国产真实子伦对白| 亚洲熟女人妻中文字幕一区二区 | 少妇无码av专区线| 日本免费人成视频播放120秒| 婷婷久久五月综合激情| 中文一区二区三区影院| 国产综合色精品在线观看| 天天色图| 成人午夜小视频手机在线看| 六月天婷婷| 久久嫩草国产成人一区| 久久99999| 欧美影音在线| 男女啊啊啊| 丰满人妻一区二区三区| 日韩操逼性鲍| 日本综合久久| 日本精品88888888| 91 亚洲情侣偷拍 久久| 亚洲区 欧美区| 亚洲午夜未满十八勿入网站日本又色又爽又黄 | 夜夜操2028| 亚洲欧洲小说图片视频| 精爱久久| 综合网少妇| 日韩熟女三十乱伦| 超碰av在线| 熟妇女人妻呻吟久久AV| 国产人人干| 亚洲欧美黄| 人人操人人舒服| 亚洲偷拍自拍在线视频| 超碰天天操| 亚洲综合有码| 国产乱伦性爱区| 妺妺跟我一起洗澡没忍住| 亚洲少妇喷视频看| 91插B网站| 亚洲婷婷综合网| 国产又操| 9热9热综合网| 91美女视频。| 综合欧美日韩在线观看| 精品国产自在在线99| av日韩中文字幕| 久久久久久9| 波多野结衣被操50分钟免费视频 | 亚洲综合91| 国产精品一级特黄aaa大片在线观看| 久久99人妖视频国产| 在线观看十八禁| 亚洲综合有玛| 激情欧美97| 激情干在线| 九九夜精品九九在线| 天天性射网| 日韩激情毛片一级久久久| 色色操| 91亚洲狠狠色| 欧美另类精品xxxx| 神马久久中文字幕| 超碰在线第一页| 免费A片三p视频| 九九色色| 91亚洲图片| 亚洲最新a在线观看| 九一亚洲国产免费| 欧在线一二区| 九九亚洲视频| 久久久久久人| 精品国产肉丝袜在线拍国语| 久久人妻少妇| 久久久久九九九| 香蕉久久精品| 天天爽夜夜爽夜夜爽精| 久久综合女优| 芊芊操逼视频无码| 欧美久久人妻少妇一区二区| 久综合国内精品自在自线| 国产精品天美传媒| 屁股久久久久久| 大香蕉婷婷| 欧美三级偷拍| 婷婷亚洲天堂| 操人妻视频| 狠狠干综合| 九九精品网| 91超级碰碰碰| 999精品乱码| 曰韩精品九九无码| 屁股久久久久久久| 日韩啪啪啪视频| 无遮挡一级毛片视频免费的| 97青娱乐超碰久久| 插穴性爱视频在线观看| 中文字幕第7页| 美女被艹尤物视频| 婷婷五月天成人| 亚州男人天堂| 国产精品制服丝袜中文字幕日韩一区二区三区| yiqicaoav| 亚洲欧美爆| 国产精品成人久久一区二区三区| 夜夜夜夜夜夜夜夜夜狠狠狠狠狠狠狠| 人人操人人干xxx| 青青草伊人久久| 日韩av电影成人在线| 九九精品无码专区免费| 旡码电影特区| 亚洲国产欧美另类自拍| 亚洲极品| 久草色悠悠在线视频| 中文日本免费高清| 精品高清牛人盗摄一区二区三区中文字幕A片免费在线观看 | 久久超碰av在线| 8050午夜少妇无码| 日韩欧美麻豆大片| 无码78| 人妻碰碰碰碰碰碰| 久久成人午夜精品影院| 啊啊啊好大好深| 婷婷爱五月| 精品国产Av无码久久久亚洲| 亚洲一二三四区在线免费看视频| 日产狠狠干| 亚洲国产成人精品久久久国产成人一区二区 | 精品国产一区二区三区av在线资源| 97超碰人妻| 欧美日韩亚洲五月天婷婷| 国产精品爽爽va在线观看98| 久久亚洲AV无码白度| 亚洲第91页| 欧美一级三级| 久久久无码av精| 高清无码人妻久久久一区二区三区aⅴ| 素人播放一区| 日本国产欧美高清在线| 亚洲综合首页| 99超碰网| 成年人免费观看网站| 91色爽欧美| 欧美色色色| 欧美成人午夜免费福利785| 不卡视频一区蜜桃视频| 色综合99999| 四虎影视精品| 日韩不卡码| 爆乳免费黄网站| 日韩成人性爱电影在线播放| 乱伦a片视频| 96一区二区| 视频在线中文字幕| 国产视频第2页| 偷拍 精品 另类 四区| 色婷婷网| a级理论午夜日本| 亚洲国产美女久久久久| 国语精品av| 999熟女精品| 色九月综合| 91爱综合| 亚洲精品丝袜-不卡成人免费……| 久久夜黄色无码A级大片| 秋霞色色影院| 国产亚洲99久久精品熟| 好爽免费视频| 曰韩中文人妻视频| 久草新在线| 国产麻豆91欧美一区二区久久婷婷国产精品 | 欧洲精品久久| 欧洲精品一二三在线| 97色妞| 色情亚洲日本成人| 二对二中文字幕。| 99蜜桃臀亚洲成人在线观看| 91丝袜在线视频| 中国小夫妻勾搭露脸淫荡对白| 午夜精品久久久久久久99热影院 | 色臀AV| 天天欧美| 肉动漫无遮挡h在线观看| 高潮精品| 欧美一级黄片视频在线| 日韩AC| 亚洲综合激情五月久久| 九九热免费国产视频婷婷伊人五月 | 黄片直播三级黄片两女一男| 国产农村一一级特黄毛片| 9l视频自拍9l九色成人| 欧美极品女人的天堂| 肉丝网站91| 欧美亚洲AN| 亚洲天堂久| 亚洲午夜精品久久久中文影院| 天天久久| 欧美亚洲一级在线观看| 久久久成人国产精品无码| 五月天久久久| 91网站18在线| 天天夜夜rb| 秋霞午夜成人福利片片| 爱做久久久久久| 97精品国产97久久久久久免费| 久久精品72| 丝袜视频网国产90| 女人与公拘交酡2020视频| 亚洲精美粉嫩嫩泬在线观看 | 交换娇妻呻吟声不停中文字幕| 国产成人免费观看在线视频| 亚洲免费精品一区| 日韩少妇一区二区三区| 人妻啊啊人妻啊啊| 色www精品视频在线观看| 一区e区三| 91在线欧美| 美国aaaaa一级黄片| 无码99| 97超碰总站| 欧美色图20p| 国产午夜激片Av毛片不卡| 五月花婷婷| 久久伦理视频久久大香蕉视频| 色九久| 日韩欧美午夜视频在线| 999久久久九| 日韩欧视频| 中文字幕人成乱码熟女香港| 色香色香欲天天天影视综合网| 久久久久元码视频| 影音先锋日本乱伦| 九九久久久久久爱| 大香蕉欧美国产日韩高潮| 人人操人人叉人人插人人| 日韩精品99999| 1.igao73.com 加入收藏 免费专区 国产精品 中文字幕 日韩精品 欧美精品 精彩 | 看日韩黄片| www国产天美久久久| 亚熟在线| 国产9区| 中文字幕在线高清男人的天堂| 麻豆影音天美视频| 国产精品黑人一区二区三区| 青青11操操操操操操操操| 精品少妇高潮久久| HEYZO高无码国产精品227| 久久久久久九九九九-美女久久久久久久-成人AV | 熟妇人妻一区二区三区| 亚州一区二区| 色噜噜综合在线| 性爱乱伦一区| 国产第二页| av在线播放国产一区| 97久久久久久久精| 国产精品久久久吖| 天天综合网久久ww| 国产高清视频无码在线| 二对二中文字幕。| 日韩熟女乱伦中出| surenchaopeng| 色综合V| 欧美狠狠弄| 极品综合| 精品妇操一区二区三区| 国产 三级自拍| 熟妇一区,二区,三区。| 91狠狠综合久久| 78精品在线| 成人五月香网在线| 亚洲自拍偷拍视频在线| WWW.加勒比人妻一区不卡.com| 亚洲乱色熟女一区| 婷婷九月国产| 婷婷五月天补不补| 一区二区三区四区姦女| 久久久一区二区三区三州| 欧美亚洲AN| 激情网色| 啊啊啊啊免费视频| 久久欧美1卡2卡3| 国产精品免费1区2区视频| 性色av一区二区| 把腿张开老子CAO烂你| 亚洲中文字幕久久无码精品| 久久久蜜桃一区二区三区| 日本影视久久免费| 国产精品高潮久久AV| 久久久久亚洲AV无码专区少妇| 日本最新1区2区3区| 91一起操| 最新av中文字幕高清| 69丨亚洲丨精品丨入口免费播放| 99热亚洲| 国语国产操逼伊人AV网| 国产精品久久泡妞网站| 国产AV天美| 午夜欧美女人操逼| 天天色图| 91久久精品美女高潮喷水| 99久热| 免费的黄片有限公司| 亚洲影视第一页| av天堂精品久久| 中文?日韩?免费?精品| 超碰欧美| 91啦人妻| 天天综合91在线| 91国内外在线| 欧美亚洲特P| 91热热色| 91综合中文字幕| 亚川综合视频| 亚洲熟女av日韩熟女| 久久久久人妻二区精品叶可怜| 亚洲熟妇综合久久久久久| 天天视频黄| 打av高清| 91激情网| 99久在线精品99re8热| 九久精品| 熟女少妇一区二区三区| 欧美日韩亚洲五月天婷婷| 丁香五月激情综合| 国产精品无码在线| 国产精品久久天天干| 久草看看看| 黄呦呦在线| 亚洲nv男人的天堂网| 中文字幕交换人妻| 国产传媒午夜理伦精品| 亚洲操人| 精品人体无圣光凹凸| 欧美精品宗合| 精品国产乱码久久久| 97超级色碰碰| 夜夜骑操视频| 91网站视频在线观看| oumeisetu综合| 色情五月丁香| 日韩精品中文字幕二区| 美女一区二区国产精品| 欧美精品日韩久久久九| 99视频这有这里有精品| 插入逼91| 久久成年片色大黄全免费网站| 少妇精品| 阿姨一区二区免费视频-高清正片西瓜视频下载app-T450AV | 日韩影片中文字幕一区二区三区| 日本天天色| 精品久久久亚洲AV成人网站| 国产超碰| 日本色色网| 久久婷综合| 国产一区二区三区精品观看啪| 国产精品美女在线一区| 国产免费操逼| 日本一区二区做爱的视频| 视频黄色国产一级| 无码人妻丰满热妇又大又粗| 黄色视频特级毛片| 9l视频自拍9l九色成人| 日本福利社| 亚洲图片 91| 蜜臀久久一区二区| 用力操死我| 少妇天堂网络| 青草影院内射高潮| 亚洲乱熟女一区二区| 国产麻豆91欧美一区二区久久婷婷国产精品| 日本不卡高清视频| 中文操嬖片。| 99精品在线播放| 精品视频久久久久九九九九9999| 麻豆天美国美国产AV| 少妇一线天久久久久久| 亚洲丝袜色图| 亚洲欧洲无码一区夜| 国产中午字一暮区| 亚洲黄色电影| 国产在线能看的你懂的| 日日操丁香五月天| 精品性爱无码在线播放| 操人妻少妇中文| 一区中文字幕二区日韩| 蜜臀无码一区二区| 神马麻豆福利院| 伊人网免费视频| 欧美在线视频观看一二三四区高清| 国产性爱欧美性爱在线 | 亚洲综合性感在线| 久久久精品久久| 91性网| 国内毛片欧美香蕉精品| 久久久久久久亚洲Av无码| 人人爱操| 亚洲综合骚逼| 亚洲欧美天堂| 岛国在线一区二区三区| 成年女人一区| 精品制服美女中文一区二区三区| 亚洲成a人v欧美综合天堂下载| 欧美丰满少妇xx高潮| 五月丁香大香蕉| 欧美一区二区传媒| 欧美色97| 久久日本熟女精品一区| 51一区二区三区| 精品久久久av无码免费| 抽插无码高清一区| 色噜噜人妻丝袜AV资源| 日韩99999| 亚洲国产奇米影视久久| 91久热这里只有精品| 婷婷精品国产欧美精品亚洲人人爽| 麻豆天美91| 亚洲免费人妻在| 国产久久日韩网站导航| 欧美色视| 99操碰| 1.igao73.com 加入收藏 免费专区 国产精品 中文字幕 日韩精品 欧美精品 精彩 | 欧美亚洲| 伊人久久大香线综合无码| 亚洲丝袜在线观看| 激情综合二| 亚洲中文字幕乱码无码一区二区| 97干在线视频| 日韩女模中文造逼| 在线小视频| 久久天天躁日日躁狠狠躁| 亚91网| www.av在线观看| 涩涩久久精品| 天天操夜夜操狠很操| 99热免费| 久草在线| 骚货人妻偷情自拍在线视频| 欧美激情内射| 五月丁香大香蕉| 亚洲图片视频小说| 国产精品免费美女视频| 人妻五十路在线| 日本一区视频在线观看| 天堂国产AV| 亚洲一区在线观看欧洲| 嗯阿好爽好紧| 激情天天视频| 91国产美女丝袜足交精品视频 | 熟女人妻一区二区三区免费看| www.人人cao| 国产乱不卡| 懂色AV蜜臀无码精品APP | 欧美熟妇精品黑人巨大一二三区| 久操精品| 欧美爆操91| 牛牛操视频逼| 加勒比海成人视频网| 天天草夜夜草高潮片| 蜜屁Av| 日本操逼视频导航| 精品久久久久成人码免| 久久性视频| 亚欧美色| 日本999精品视频| 国产精品露脸在线观看| 91强在线播放| 极品尤物在线观看| 久久久不卡| 中文一区二区婷婷视频| 日韩无码精品综合久久| 国产精品午夜福利视频| 国产日韩欧美三级片| 另类欧美色| 人妻在线臀日韩| 福利操逼| 欧美日本不卡在线| 日韩一级二级在线| 欧美中出1| 午夜福利一区二区三区四区五区色婷婷| 深夜激情无码| 校园春色 欧美| 中文字幕天天天天天| 思思热免费在线视频| 免费男人的天堂| 欧美综合骚| 亚洲阿v天堂无码z2018| 日日躁狠狠躁天天躁精品| 啊啊啊啊嗯嗯嗯用力好爽 | 亚洲s在线观看| 熟女乱伦A| 欧美成97爱| 另类av天堂| 女人高潮抽搐喷水视频网站| 亚洲欧美国产va在线播放频| 国产热av| 午夜呻吟欧美| 桃花色涩综合影院| 伊人网青青| 日韩久射综合| 日影院久久婷婷夜夜网| 激情自拍 校园春色| 激情网色| 91精品国产91久久青草| AV久日| 欧美亚洲影视| 色色操| 亚洲精品无码久久AV| 超碰人妻久久| 99久在线精品99re8| 中文字幕天天天天天| 99色天堂| 丝袜剧情| 7777奇米影视久久| 色综合一区二区三区| 国内精品久9| 伊人久久大香线蕉亚洲五月天,青草青草欧美日本一区二区,欧美日产欧美日产国产 | 日韩一级二级三级免费看完整版国语版 | 六月丁香啪啪啪| 中日韩久久久| 婷婷av在线中文字幕| 男人综合网| 国产av色网| 色香在线| 99热aaa| 久久久久久久久久久六六| 人妻乱仑一区二区三区| 三级AV入口| 人人人干干人人干| 97视频免费播放| 国产尤物在线三区| 欧洲一区二区三区四区在线观看| 欧美亚洲AN| 少妇天堂网络| 欧美在线伊人色| 精品久久青青草| www.狠狠| 超碰人人妻| 九九色热| 伊人AAA| 熟女人妻久久中文字幕一二区| 日本综合久久| 六月丁香啪啪| 91综合在线| 天天日天天舔| 校园春色综合| 狠狠狠一区二区三区| 校园春色制服丝袜中文字亚洲| 一起草av| 欧美天天拍| 色性荡荡荡荡视频| 亚洲。日韩。欧美| 9999伦理视频| 美国久久一二三四| 狠狠色一区二区中文字幕| 国产精品suv一区| 天天色怡春院| 欧美91色| 麻豆一区二区三区在线看 | 久久爱超碰网| 啊啊啊啊啊好舒服视频| 97操综合| 麻豆av一区二区| 蜜臀中文字幕| 97色伦97色伦国产欧美| 一区二区精品日韩欧美在线观看| 亚洲图片色图欧美另类| 免费作爱一级视频| 九九aV| 九九天堂| 国产成人主播| 91成人亚洲色图| 啊啊啊久久| 亚洲 无码 偷拍| 91精品女厕偷拍视频| www.av在线观看| 青草视频在线看看看看看看看看看| 97干日韩| 亚洲老司机123专区| 91在线一起| 欧美+日产+中文| 亚欧高清| 国产懂色精品国产av| 色婷婷久久| 超碰色中文| 色五月激情AV在线| 午夜精品久久久久久久久久久久久| 国产中出内射一区二区| 成人三一级一片aaa| 欧美在线视频99| 大鸡吧尹人在线| 999熟女精品| 91欧美综合| 二男一女成人A片| 日日爽夜夜爽| 欧美天堂超碰97| 日韩精品一二三| 99这里只有精品国产| 五月婷婷AV| 午夜精品久久久久久久99热影院| 欧美激情亚洲| 日韩美女啪啪一区| 爱射综合| 一区二区视频你懂的| 九久精品| 久久久久国产一区二| 久久久99久9| 一本色道久久综合亚洲二区三区| 国产欧美日本亚洲精品| 六十路日本| 人妻 欧美 中文| 蜜臀一区二区三区亚洲最新章节在线观看 - 高清蜜臀一区二区三区亚洲全集播放 | 国产精品久久久九九九| 青青在线视频日韩欧美| 日韩乱伦视频| 91国产美女丝袜足交精品视频| 99re视频这里只有精品| 日韩丰满熟妇| 天天看特黄的免费网站| 淫荡网址| 色综合色| 91综合天天看| 日韩一级特黄av毛片| 啊嗯好大视频在线观看| 欧美性暴力猛交| 熟女人妻一区二区三区| 99蜜桃臀久久久欧美精品网站| 2020久久免费视频| 青青草日韩无码| 亚洲蜜臀精品视频久久| 久久直播国产| 久久夜夜夜| 亚洲日韩视频二区| 极品粉嫩一区二区| 91丨人妻丨国产丨丝袜| 日本在线一二| 欧美九九九九九| 狠狠综合网| 一本一道久久综合久久| 在线中文字幕极品av| 国内97干免费看| 国产久久成人| 久久久久9999妇女| 男人的天堂午夜av| 美腿丝袜高跟网免费视频免费视频| 四虎国产精品永久在线囯在线| 精品四五区| 九九九免费视频| 丝袜熟女2P| 女色综合| 麻豆久久久久久久久丝袜| 极品国产内射| 中文字幕片| 免费中文综合精品| 欧美日韩精品国产91| 亚川综合视频| 中文字幕av丝袜| 免费看A片毛毛片在线播| 亚州九九九精品视频| 久久精品中文字幕无码l| 2019亚洲男人天堂| 高清无码国产亚洲| 91人妻人人澡人人爽人人精品| 日韩熟妇二区| 国产在线播放成人免费| 婷婷色香| 久久亚洲AV无码专区首页| 色偷偷男人的天堂麻豆| 五月婷婷久久综合| 97aiaiai| 伊人青青草久久| 约操熟妇| 亚洲第一页色网| 极品五月天噜噜| 最新日日夜夜天天干干| 任你干在线视频| 99九九久久| 热99这里有精品综合久久| 67914在线精品观看| 制度丝袜99| 欧美激情 亚洲色图| 国产最新AV| 日韩在线性爱免费视频| 久久精品国产97欧美精品亚洲 | 欧美 亚洲 在线| 一区二区三区四区姦女| 三级网色| 久久久人妻| 北条麻妃性愛视频| 色婷婷网| 级做a爱无码性色永久免费| 天美传媒av一区二区| 婷婷精品| 秋霞成人一级在线观看| 殴美色网| 欧美色日本| 日韩人妻少妇 一区二区三区| a亚洲欧美色欲| 欧美骚少妇| 久久一二区四| 在线啊v一区| 91国产操逼视频| 日本天堂在线播放| 十八禁网站在线| 丰满人妻一区二区三区大胸懂色| 日本精品五区| 中文字幕午夜精品久久久| 丝袜制服字幕在线| 成人黑料社久久| 330dv亚洲成年视频网| AV男人天堂网| 日韩美女久久一区二区三区| 国产AV久久野战精品| 亚洲熟女综合网| 蜜臀一二三区| 330Dv国产女人终合视频极品人与兽 | 夜夜爽夜夜操| 好吊爽好吊爽在线视频,中文字幕精品一区二区日本,国产良妇出轨视频在线观看, | 91高潮喷水美女| 色性欧美| 日韩精品一区的| 久久久久久亚洲中文| 五月丁香激情四射| 在线啊啊啊| 日韩精品电影| 中文字幕乱码人妻一区二区三区,99精品| 一区二区三区精品视频| 天天躁日日躁成人字幕aⅴ| 欧美在线天堂| 日韩综合第八区国产精品| 99xav| 亚洲日韩肥臀视频在线观看| 国模精品娜娜一二三区| 乱论91| 国产亚洲性生活视频播放| 欧美激情专区| 91中出视频| 国产深喉| 国产AV线| 色香欲天天天天综合色| 伊人伊人LD| 四虎AV影视国产精品亚洲精品| 亚洲国产一级中文综合久久天堂在线免费观看 | 求求你操操我| 欧亚性爱在线视频| 熟妇无码视频三区| 情色AV电影| 精品亚洲国产成人精品| 欧美午夜熟妇黑人精品91| 亚洲熟妇自偷自拍另欧美| 日韩乱伦AⅤ| 一本久久久精品| 久久嫩草国产成人一区| 少妇第一页| 日美免费黄片| 人妻大香蕉| 91精品人妻一区二区-全集完整版免费正片国语-B02AV | 男人天堂久久精品| 操一区| 激情五月婷婷综合| 激情婷婷| 混色激情av| 日本免费不卡二区| 欧美色图中文字幕| 超碰人妻久久人妻中文97| 99re9这里只有精品| AV高清一区| 天天天天天超碰| 日韩一级二级三级免费看完整版国语版| 91日产欧美| 97视频新免费| 男人天堂最新手机版在线青青草| 日韩有码回春沙龙第一页| 亚洲综合色在线| 亚洲AV永久无码精品成人调教| 999国产精品999久久久久久| 国产精品久久久久久久久久久久久久吹| 易易A毛视频| 香蕉视频欧美一卡二卡| 中文字幕第9页萱萱影音先锋| 日韩熟女无码| 91c色| 91久久婷婷| 暖暖精品二区三区观看| 久草婷婷| 亚洲日韩乱码中文无码蜜桃臀网站| silk lablo在线观看一区二区| 大香蕉综合在线| 人人操人人精品影片| 少妇高潮一区二区三区在线| 熟女人妻一区二区三区| 国产精品精品系列在线观看| 欧美 日韩 亚洲 春色| 大香蕉综合在线| 青青操日韩| 91色图| 超碰在线香蕉| 色五月大香蕉| 91美乳| 中文字幕第95页| 99无码| 色色香蕉| 性站| 啊啊啊啊啊啊啊啊啊在线观看| 色原狠狠天天天| 成年人网站在线免费观看| 亚洲少妇综合在线播放| 91色综| 久久成人午夜狠狠| 黄色无码高清黄色无码网站| 黄在线| 国产一区二区三区中文字幕| 做爱福利视频一区二区| 啊啊啊爽爽| 国产最新小视频在线播放下载| 丁香五月天激情| 欧洲精品在线播放| 91欧美经典| 中日韩久久久| 99热99re超碰精品| 麻豆天美AV传媒第一页| 精品久久久av无码免费| 久久久久9| 日韩精品怡红院| 人妻天天爽天天爽三区| 欧美特大黄一级片片免费| 人妻一区久久二区三区色播| 婷婷久热| 少妇人妻激情四射| 欧美性爱第一页久久| 亚洲AV成人在线| 亚洲熟女一区| 人人操 欧美| 亚洲综合小说另类图欧美视频激情小说色五月天 | 国产69精品久久久久99尤物| 久久综合乱子伦国产免费| 97伊人超碰| 青草青草久热| 人妻熟女一区二区三区在线| 色欧美亚洲| 国产成人+综合亚洲+天堂| 久久九精品| 国产精品人人爽人人做可爱福利| 超碰日本97美女人妻人人玩人人爱| 色欧美色交综合| 日韩成人性爱AV| 成人黄页| 日本成人A片网站| 黄色二级片网站| 久久精品一区二区| 亚洲激情网| 久9爱精品| 日韩一级欧美一级在线观看| 加勒比伊人综合| 99老司机精品视频在线观看| 欧美天天综| 午夜欧美J进J出白浆流出久久久| 欧美超碰97| 亚洲春色激情小说| 色欧美综合| 性吧在线视频| 色逼综合| 在线黄页看毛片| 久久激情婷婷| 九九热精品免费视频| 亚洲人天堂| 日本熟妇熟色97一本在线观看| 熟妇色99| 丰满人妻一区二区三区免费,| 欧美成人精品欧美一级乱黄一区二…| 强奸a片网| 精品视频一区二区| 99久久99九九99九九九| 亚洲高潮影院| 婷婷激情五月| 日韩亚洲欧美中文字幕| 厕所偷拍在线| 亚洲国产成人精品999| 日韩欧美~中文字| 国产日韩欧美中文在线播放| 97爱爱爱综合| 国语精品av| 新婚人妻扶着粗大强行坐下| 欧美成人黄网色网站| 九九九九九九成人| 亚洲第一狼人丝袜美女另类 | 99性爱| 少妇综合| 91高跟美女在线播放| 金莲网址| 96国产精品| 久久最新免费视频23| 色哟哟AⅤ| 久草精品一区| 激情小说五月天| 一二三区操逼国产91| 亚洲吊色| 超碰在线国产| 久久在线观看免费视频| 一区二区三区高清天码| 91美女视频电影| 天天射影院| 日韩欧美午夜一区二区| 91亚洲欧美综合高清在线| 91美女中出| 免费的黄片有限公司| 操逼无毒无码免费视频| 亚洲欧美精品一区天堂久久 | 天天影视网综合少妇| 国产精品探花色| 91天天综合在线观看| 韩国女主播青草福利视频| 岛国免费黄色网址| 91亚洲网站| 麻豆一区在线| 亚洲激情AV| 素人一区二区三区日韩| 四虎av在线| 久久111| 无套内射性感少妇视频| 欧美爱三级日韩久久| 亚洲,欧美,综合网| 91红杏| 五月婷婷激情网| 日本十八禁免费看污网站| 亚洲区 欧美区| 亚洲AV不卡在线观看尤物| 九月丁香| 黄片免费久久久久久久| 91老熟女视频| 欧美日韩国产色五月综合在线| 久久久久久大| 久久综合激情| 国产91啪| 一二三区操逼国产91| 2020天天色综合| 日夜干射色啊| www.狠狠干.coom| 黄片不用下载在线观看| 素人一区二区三区日韩| 另类图片天天影视| 日日嗷| 久久综合超碰| 超碰国产情侣自拍网| 啪啪综合网| 日逼国产| 收看日本人日bb| 三级片大波波| 日韩在线76| 国产精品99久久久www| 天堂а√在线最新版在线| 97爱综合| 97超碰9| 99这里只有精品| 超碰久久精品| av72网| 亚洲大色堂| 日本熟人妻中文字幕在线|...久久国产精品-国产精品_日本一区二区三区中文字幕 | 玖玖人人爱| 婷婷精品视频| 超碰人人超在线观看| 操逼无码一区| 精品亚洲国产成人精品| 欧美午夜视频免费观看| 精品无码一区二区三区| AAAA级日本片免费视频| 欧美性暴力| 麻豆成人AV| 91爱剪切久久| 久久久日本电影| 久久在肏| 玖玖久久久| JuliaAnn丝袜熟女系列| 欧美伊人电影| 夜夜高潮夜夜爽夜夜爱爱一区| 国产精品一区二区麻豆| 亚洲日韩黑丝| 日本三级韩三级99久久| 国产 三级自拍| 日韩欧美经典在线观看| 麻豆国产96在线| 国产AV久久久蜜爱影集| 亚洲精品日韩国产欧美| 亚洲天堂 视频你懂的| 欧美成人一区二区三区在线播放| 久操视频资源站公开| 岛国AB视频| 亚洲无码一区二区三区三州| 操逼网站地址| 五月婷丁香| 91欧美高清| 刺激性视频黄页| 久久精品72| 97精品97久久| 国产中文字幕在线观看| 国产91美女视频| 国产精品视屏| 亚洲AV麻豆Aⅴ无码电影一| 狠狠操官网| 日本欧美亚洲高清在线看| 久96热在线观看视频| 久久影视二区三区行押| 日韩综合第八区国产精品| 国产丝袜啪啪| 在线日韩日本亚洲国产| 国内精品a| 国语对白在线播放视频| 91丨九色丨国产打屁股| 国产精品青青草| 亚洲国产欧美一区二区潘金莲| 亚洲综合另类小说色区亚洲成av人片在www| 国产一级不卡在线观看| 亚洲啪啪性视频| 青娱乐亚洲热| 97精品视频网站| 熟女久久| 亚洲不卡三级手机播放| 国产最新小视频在线播放下载| 26uuu国产免费观看| 亚洲精品一区中文字幕乱码| 国内黄色精品| 丝袜高跟澳门91视频| 欧美双插| 这里只有精品视频在线观看麻豆 | 亚洲AV成人精品网站在AV| 大香蕉专区|