日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Linux系統(tǒng)編程實(shí)戰(zhàn):從epoll、內(nèi)存管理到崩潰排查的硬核指南

Linux系統(tǒng)編程實(shí)戰(zhàn):從epoll、內(nèi)存管理到崩潰排查的硬核指南 簡(jiǎn)介《Linux系統(tǒng)編程實(shí)戰(zhàn)技巧》對(duì)應(yīng)的是杰克-本尼·佩爾松所著的《Linux系統(tǒng)編程技術(shù)》一書面向有一定 Linux 基礎(chǔ)、希望深入系統(tǒng)級(jí)編程的開發(fā)者。書中從環(huán)境搭建講起逐步覆蓋共享庫構(gòu)建與使用、終端輸入輸出控制、進(jìn)程間通信、多線程編程以及調(diào)試技巧等主題并以實(shí)際案例和練習(xí)引導(dǎo)讀者動(dòng)手編寫高效、健壯的 Linux 程序強(qiáng)調(diào)在實(shí)踐中鞏固概念幫助讀者理解原理后直接應(yīng)用到日常開發(fā)與問題排查。壓縮包內(nèi)為 1 個(gè) PDF 文件大小約 4.82MBPDF 格式便于跨設(shè)備閱讀、檢索和批注適合自主學(xué)習(xí)或工作查閱。目前已有 102 人學(xué)習(xí)說明其內(nèi)容在開發(fā)者群體中具備一定參考價(jià)值。通過系統(tǒng)閱讀讀者能補(bǔ)齊系統(tǒng)編程知識(shí)短板把握共享庫、進(jìn)程協(xié)作、終端控制與多線程等關(guān)鍵點(diǎn)掌握從基礎(chǔ)概念到實(shí)戰(zhàn)排錯(cuò)的核心技能為后續(xù)深入服務(wù)端開發(fā)與內(nèi)核機(jī)制打下扎實(shí)基礎(chǔ)。1. 項(xiàng)目概述與核心價(jià)值1.1 為什么現(xiàn)在還要學(xué)系統(tǒng)編程先拋個(gè)觀點(diǎn)在云原生、容器化、Serverless 鋪天蓋地的今天Linux 系統(tǒng)編程不僅沒過時(shí)反而成了區(qū)分“調(diào)包俠”和“真工程師”的分水嶺。很多人會(huì)用 Python、Go 寫業(yè)務(wù)但遇到性能瓶頸、詭異崩潰、內(nèi)存泄漏就抓瞎了——因?yàn)椴粫?huì)看底層。系統(tǒng)編程的本質(zhì)就是直接跟內(nèi)核打交道理解進(jìn)程、內(nèi)存、文件、信號(hào)、IPC 這些抽象概念背后的真實(shí)機(jī)制。我經(jīng)常打一個(gè)比方用高級(jí)語言寫業(yè)務(wù)相當(dāng)于開自動(dòng)擋汽車踩油門就走做系統(tǒng)編程相當(dāng)于你親自調(diào)發(fā)動(dòng)機(jī)、變速箱你得知道每個(gè)擋位什么時(shí)候換、離合器怎么配合。這個(gè)過程固然辛苦但一旦你掌握了再看上層框架、中間件會(huì)有一覽眾山小的感覺。這門技術(shù)最典型的應(yīng)用場(chǎng)景一是基礎(chǔ)設(shè)施類項(xiàng)目數(shù)據(jù)庫、消息隊(duì)列、存儲(chǔ)引擎、網(wǎng)絡(luò)代理二是性能敏感型服務(wù)網(wǎng)關(guān)、推薦引擎、實(shí)時(shí)流處理三是嵌入式與邊緣計(jì)算物聯(lián)網(wǎng)網(wǎng)關(guān)、智能設(shè)備。待遇普遍不低但門檻也擺在那里核心卡點(diǎn)就是系統(tǒng)編程能力。這篇實(shí)戰(zhàn)總結(jié)不是來給你念 man 手冊(cè)的而是把我在實(shí)際項(xiàng)目中高頻踩坑、反復(fù)驗(yàn)證過的關(guān)鍵知識(shí)點(diǎn)拎出來結(jié)合具體場(chǎng)景講清楚“為什么”。文章會(huì)覆蓋時(shí)間處理、內(nèi)存管理、文件 I/O、錯(cuò)誤處理、崩潰排查等幾個(gè)硬核方向每個(gè)都給到可落地的代碼片段和排查命令??赐瓴桓艺f讓你脫胎換骨但至少能在遇到同類問題時(shí)少走幾個(gè)大彎。1.2 這篇文章適合誰有 C/C 基礎(chǔ)、正在轉(zhuǎn)向 Linux 服務(wù)端開發(fā)的工程師是這篇文章最核心的閱讀人群。如果你是剛學(xué)完《Unix 環(huán)境高級(jí)編程》前幾章、對(duì)文件描述符和進(jìn)程概念有了模糊認(rèn)識(shí)但還沒在真實(shí)項(xiàng)目里練過手的階段那正好。另外準(zhǔn)備面試后端崗位、被問到“進(jìn)程和線程的區(qū)別”“select 和 epoll 的差異”這類問題時(shí)只能背答案的朋友同樣適合讀一讀——我會(huì)從原理層面幫你把這些知識(shí)點(diǎn)打穿而不是停留在面經(jīng)口訣上。如果你已經(jīng)在寫業(yè)務(wù)代碼但對(duì) strace、gdb、perf 這類工具僅限于聽說那這篇文章的實(shí)操部分會(huì)給你清楚的入手路徑。底層原理配合工具鏈雙管齊下才能真正把知識(shí)變成排查問題的能力。對(duì)于純運(yùn)維或純前端背景的朋友這篇文章可能有一定深度但不必勸退——遇到不懂的系統(tǒng)調(diào)用直接 man 一下或者查內(nèi)核源碼注釋養(yǎng)成查一手資料的習(xí)慣比看二手博客強(qiáng)得多。2. 內(nèi)容整體設(shè)計(jì)與技術(shù)選型思路2.1 項(xiàng)目實(shí)戰(zhàn)中的技術(shù)棧與系統(tǒng)監(jiān)控回到一個(gè)實(shí)際的系統(tǒng)編程項(xiàng)目里來聊。比如我們要做一個(gè)高并發(fā)的日志采集代理需要從多個(gè)網(wǎng)絡(luò)連接讀取數(shù)據(jù)、解析、批量寫入磁盤。這個(gè)項(xiàng)目看起來簡(jiǎn)單但真正實(shí)現(xiàn)時(shí)技術(shù)選型處處是坑每一處都體現(xiàn)系統(tǒng)編程的核心功力。技術(shù)棧上幾個(gè)核心選擇是這樣的語言選 C 而不是 C日志代理的核心在于 I/O 吞吐和內(nèi)存控制C 的 runtime 更輕、可控性更強(qiáng)配合內(nèi)核 API 直來直去幾乎沒有隱藏開銷。C 標(biāo)準(zhǔn)庫確實(shí)方便但異常安全、模板展開帶來的二進(jìn)制膨脹在低配嵌入式環(huán)境下并不劃算。I/O 模型選 epoll 而不是多線程面對(duì)大量并發(fā)連接為每個(gè)連接起一個(gè)線程上下文切換開銷會(huì)吃掉不少 CPU。epoll 配合非阻塞 I/O 加事件驅(qū)動(dòng)是 Linux 下處理高并發(fā)的最優(yōu)模型沒有之一。存儲(chǔ)層不直接裸寫磁盤無論你多自信OS 的頁緩存page cache優(yōu)化比你手寫的任何緩沖機(jī)制都成熟。正確的姿勢(shì)是高頻寫入先進(jìn)入用戶態(tài)緩沖區(qū)積累一批或定時(shí)落盤利用 write 或 pwrite 的“拷貝到內(nèi)核頁緩存即返回”的特性把性能壓力交給內(nèi)核的 pdflush 機(jī)制去刷盤。監(jiān)控方式最直觀的就是 /proc 文件系統(tǒng)。不要小看這個(gè)虛擬文件系統(tǒng)它幾乎是內(nèi)核狀態(tài)的全景窗口。比如/proc/{pid}/status 可以看進(jìn)程內(nèi)存分布VmRSS、VmPeak/proc/{pid}/io 能統(tǒng)計(jì)真實(shí)讀寫字節(jié)數(shù)/proc/loadavg 反映系統(tǒng)整體負(fù)載。排查文件描述符泄漏直接看 /proc/{pid}/fd 目錄的符號(hào)鏈接數(shù)量。我調(diào)試很多問題第一步就是進(jìn)去掃一眼這個(gè)目錄比盲目上工具高效得多。2.2 為什么選這套方案避開了什么坑選這套方案核心邏輯是減少不可控的間接層。多線程模型看似直覺但坑在同步。鎖競(jìng)爭(zhēng)、條件變量誤喚醒、死鎖、ABA 問題隨便一個(gè)都能讓你調(diào)幾個(gè)通宵。而單線程 epoll 模型配合非阻塞 I/O天然規(guī)避了并發(fā)帶來的數(shù)據(jù)競(jìng)爭(zhēng)問題——一個(gè)線程按順序處理所有就緒事件根本不需要鎖。這種模型的確定性極強(qiáng)出了問題也容易復(fù)現(xiàn)。另外沒有盲目引入第三方庫。很多新手一上來就找 libevent、libuv但底層邏輯沒搞通之前這些庫就是個(gè)黑盒。你在 epoll 層犯了語義錯(cuò)誤比如沒有處理 EPOLLRDHUP、對(duì) EPOLLERR 響應(yīng)不正確換個(gè)庫同樣會(huì)有問題而且更難查。先把系統(tǒng)調(diào)用層面的手冊(cè)讀透再談抽象。這里補(bǔ)一個(gè)操作系統(tǒng)層面的背景epoll 之所以高效核心在于內(nèi)核維護(hù)了一個(gè)就緒鏈表應(yīng)用程序只需要等待自己關(guān)注的事件被觸發(fā)無需每次遍歷大量文件描述符。這個(gè)機(jī)制網(wǎng)上的文章一搜一大把我不再展開。實(shí)際操作中建議多看看內(nèi)核源碼中 fs/eventpoll.c 的注釋理解水平會(huì)高出一大截。3. 核心細(xì)節(jié)解析與實(shí)操要點(diǎn)3.1 時(shí)間處理你代碼里的 time 可能是錯(cuò)的先來個(gè)開胃菜——時(shí)間處理。這個(gè)問題看著基礎(chǔ)但坑極深。系統(tǒng)編程中經(jīng)常碰到的一個(gè)需求是“計(jì)算某段邏輯耗時(shí)”很多人寫代碼直接用clock()或者gettimeofday()然后發(fā)現(xiàn)結(jié)果忽大忽小神秘莫測(cè)。先說結(jié)論性能統(tǒng)計(jì)一律用 clock_gettime(CLOCK_MONOTONIC)不要用 gettimeofday 或 time。因?yàn)?CLOCK_MONOTONIC 不受系統(tǒng)時(shí)間跳變影響——NTP 校時(shí)、運(yùn)維手動(dòng)改時(shí)間都不會(huì)干擾它它只記錄系統(tǒng)上電以來流逝的時(shí)間。再深一層clock()返回的是進(jìn)程占用 CPU 的時(shí)間而非墻鐘時(shí)間。如果你的程序有大量 sleep 或 I/O 等待clock()統(tǒng)計(jì)出來的數(shù)值會(huì)嚴(yán)重偏小幾乎等于沒測(cè)。這個(gè)細(xì)節(jié)面試經(jīng)??紝?shí)際開發(fā)中也極容易中招。#include stdio.h #include time.h static inline double now_ts(void) { struct timespec ts; clock_gettime(CLOCK_MONOTONIC, ts); return ts.tv_sec ts.tv_nsec / 1e9; } int main(void) { double start now_ts(); // 模擬業(yè)務(wù)處理 for (volatile int i 0; i 100000000; i); double end now_ts(); printf(elapsed: %.6f s\n, end - start); return 0; }注意結(jié)構(gòu)體timespec的tv_nsec單位是納秒不是微秒。很多人在這個(gè)單位換算上翻車把 1000 當(dāng) 1000000 用結(jié)果性能數(shù)據(jù)放大了 1000 倍。這種問題一旦跑在監(jiān)控告警上能把整個(gè)團(tuán)隊(duì)帶溝里。3.2 內(nèi)存分配malloc 的背后不是簡(jiǎn)單的堆再聊聊內(nèi)存管理。很多 C/C 程序員對(duì) malloc 的理解停留在“從堆上分配一塊內(nèi)存”這個(gè)層面但實(shí)際上當(dāng)你調(diào)用 malloc(1024) 時(shí)內(nèi)核可能根本沒有給你分配真實(shí)的物理內(nèi)存頁。Linux 下 glibc 的 malloc 對(duì)小塊內(nèi)存默認(rèn)閾值通常是 128KB 以內(nèi)走 brk通過調(diào)整堆頂指針滿足分配大塊內(nèi)存走 mmap由內(nèi)核在進(jìn)程地址空間找一個(gè)空閑區(qū)域映射。關(guān)鍵點(diǎn)是mmap 出來的內(nèi)存在首次訪問時(shí)才觸發(fā)缺頁異常由內(nèi)核真正分配物理頁。所以你的程序申請(qǐng)了 1GB 內(nèi)存但 RSS駐留內(nèi)存可能只有幾百 MB——這就是著名的內(nèi)存惰性分配。這個(gè)機(jī)制本身是優(yōu)化但也是坑源。在高并發(fā)服務(wù)中如果大量使用 mmap 分配內(nèi)存又頻繁釋放會(huì)產(chǎn)生大量頁表操作造成性能抖動(dòng)。對(duì)于需要高頻分配釋放對(duì)象的場(chǎng)景正確做法是維護(hù)自己的內(nèi)存池或者使用 tcmalloc / jemalloc 這類現(xiàn)代分配器。它們通過線程本地緩存降低鎖競(jìng)爭(zhēng)性能提升很明顯。# 查看進(jìn)程實(shí)際物理內(nèi)存占用RSS cat /proc/{pid}/status | grep -E VmRSS|VmPeak # 查看內(nèi)存映射分布 cat /proc/{pid}/maps | head -n 20以上命令在線上排查內(nèi)存問題時(shí)極常用。若發(fā)現(xiàn) VmPeak 遠(yuǎn)大于 VmRSS說明存在大量申請(qǐng)但未實(shí)際使用的內(nèi)存——可能是預(yù)留型分配也可能是內(nèi)存泄漏的早期信號(hào)需要結(jié)合 pmap 判斷具體映射區(qū)域。3.3 文件 I/O 的幾個(gè)隱身殺手文件 I/O 看起來簡(jiǎn)單open、read、write 三板斧但實(shí)際項(xiàng)目里有一堆隱形陷阱。第一個(gè)坑是未處理部分讀寫。read/write 被信號(hào)中斷EINTR或者實(shí)際讀寫字節(jié)數(shù)小于請(qǐng)求字節(jié)數(shù)的場(chǎng)景非常普遍。尤其是在管道、socket、慢速設(shè)備上write 幾乎不可能一次寫完所有數(shù)據(jù)。必須寫循環(huán)重試邏輯這是一個(gè)合格系統(tǒng)程序員的基本素養(yǎng)。ssize_t writen(int fd, const void *buf, size_t n) { const char *p buf; size_t left n; while (left 0) { ssize_t nw write(fd, p, left); if (nw 0) { if (errno EINTR) // 被信號(hào)打斷重試 continue; return -1; // 其他錯(cuò)誤交給調(diào)用方處理 } left - nw; p nw; } return n; }第二個(gè)坑是 forgot O_CLOEXEC。在 fork exec 的模型中如果你 open 一個(gè)文件描述符時(shí)沒有指定 O_CLOEXEC那么 exec 執(zhí)行新程序后這個(gè) fd 默認(rèn)會(huì)保持打開狀態(tài)。如果新程序的某個(gè)庫恰好在某路徑下創(chuàng)建文件或者加鎖就可能產(chǎn)生隱性的沖突?,F(xiàn)代的寫法是 open 時(shí)一律加 O_CLOEXEC除非你明確需要跨 exec 傳遞 fd。第三個(gè)坑是 fclose 的返回值沒人檢查。fclose 不只是釋放用戶態(tài)緩沖它還會(huì)嘗試把緩沖區(qū)內(nèi)剩余數(shù)據(jù) flush 到內(nèi)核并檢查是否落盤成功。很多人寫完文件直接 fclose 不查返回值結(jié)果磁盤滿、NFS 斷連導(dǎo)致數(shù)據(jù)丟失程序還不知情。寫關(guān)鍵數(shù)據(jù)時(shí)fclose 之后請(qǐng)務(wù)必檢查返回值。4. 實(shí)操過程與核心環(huán)節(jié)實(shí)現(xiàn)4.1 從零搭建一個(gè)非阻塞回顯服務(wù)為了把上面的理論串起來這里帶大家手寫一個(gè)極簡(jiǎn)的 epoll 回顯服務(wù)。它監(jiān)聽 TCP 端口收到什么就原樣返回什么。麻雀雖小但 epoll 的核心用法全在里面——從我多年的經(jīng)驗(yàn)來看這個(gè)練手項(xiàng)目搞定后再看 Nginx、Redis 的事件循環(huán)代碼會(huì)輕松特別多。先列出關(guān)鍵代碼再逐行解釋#include stdio.h #include stdlib.h #include string.h #include unistd.h #include errno.h #include sys/socket.h #include netinet/in.h #include sys/epoll.h #include fcntl.h #define MAX_EVENTS 64 #define BUF_SIZE 4096 static int set_nonblock(int fd) { int flags fcntl(fd, F_GETFL, 0); if (flags -1) return -1; return fcntl(fd, F_SETFL, flags | O_NONBLOCK); } int main(void) { int lfd socket(AF_INET, SOCK_STREAM, 0); int opt 1; setsockopt(lfd, SOL_SOCKET, SO_REUSEADDR, opt, sizeof(opt)); struct sockaddr_in addr { .sin_family AF_INET, .sin_addr.s_addr htonl(INADDR_ANY), .sin_port htons(9000) }; bind(lfd, (struct sockaddr *)addr, sizeof(addr)); listen(lfd, 128); set_nonblock(lfd); int epfd epoll_create1(0); struct epoll_event ev {.events EPOLLIN, .data.fd lfd}; epoll_ctl(epfd, EPOLL_CTL_ADD, lfd, ev); struct epoll_event events[MAX_EVENTS]; char buf[BUF_SIZE]; for (;;) { int n epoll_wait(epfd, events, MAX_EVENTS, -1); for (int i 0; i n; i) { int fd events[i].data.fd; if (fd lfd) { // 有新連接到達(dá) int cfd accept4(lfd, NULL, NULL, SOCK_NONBLOCK); if (cfd 0) { ev.events EPOLLIN | EPOLLRDHUP; ev.data.fd cfd; epoll_ctl(epfd, EPOLL_CTL_ADD, cfd, ev); } } else { if (events[i].events EPOLLRDHUP) { close(fd); continue; } ssize_t r read(fd, buf, sizeof(buf)); if (r 0) { write(fd, buf, r); // 回顯 } else if (r 0) { close(fd); } else { if (errno ! EAGAIN errno ! EWOULDBLOCK) { close(fd); } } } } } return 0; }幾個(gè)必須劃重點(diǎn)的細(xì)節(jié)第一accept4 帶 SOCK_NONBLOCK 一步到位。如果先 accept 再單獨(dú)調(diào) fcntl 設(shè)置非阻塞在高并發(fā)場(chǎng)景下存在一個(gè)時(shí)間窗口該 fd 仍處于阻塞模式。如果這個(gè)窗口內(nèi)該連接變得非?;钴S你的事件循環(huán)可能在 accept 返回后、設(shè)置非阻塞前阻塞在讀操作上整個(gè)服務(wù)就卡死了。這個(gè)問題在教科書里很少被強(qiáng)調(diào)但在生產(chǎn)環(huán)境很容易栽跟頭。第二EPOLLRDHUP 必須監(jiān)聽。很多人只關(guān)注 EPOLLIN忽略了連接關(guān)閉事件。其實(shí)對(duì)端關(guān)閉連接時(shí)Epoll 會(huì)同時(shí)觸發(fā) EPOLLIN但當(dāng)你 read 返回 0 時(shí)才處理意味著至少多一次系統(tǒng)調(diào)用。如果對(duì)端是半關(guān)閉shutdown 寫端你的 read 可能永遠(yuǎn)不返回 0連接泄漏就發(fā)生了。加上 EPOLLRDHUP內(nèi)核會(huì)在對(duì)端關(guān)閉連接的第一時(shí)間通知你處理更優(yōu)雅。第三read 返回 -1 時(shí)要區(qū)分 EAGAIN 和真正的錯(cuò)誤。EAGAIN/EWOULDBLOCK 表示當(dāng)前沒有數(shù)據(jù)可讀這是非阻塞模式下的正常情況忽略即可。其他錯(cuò)誤ECONNRESET、EPIPE 等才需要關(guān)閉連接。這個(gè)判斷順序?qū)懛戳藭?huì)出現(xiàn)大量無效的 close 調(diào)用白白丟失連接。編譯這段代碼gcc -O2 -o echo echo.c ./echo # 另開終端測(cè)試 echo hello | nc 127.0.0.1 9000 # 輸出 hello4.2 利用 strace 動(dòng)態(tài)追蹤系統(tǒng)調(diào)用詳情寫完回顯服務(wù)如果本地測(cè)試正常但懷疑某些場(chǎng)景有異常怎么辦strace 就是最犀利的工具它通過 ptrace 機(jī)制攔截進(jìn)程的所有系統(tǒng)調(diào)用讓你看到用戶態(tài)和內(nèi)核態(tài)之間的每一次交互。# 跟蹤新啟動(dòng)的進(jìn)程 strace -f -e tracenetwork,read,write -o /tmp/echo.log ./echo # 或者跟蹤正在運(yùn)行的進(jìn)程 strace -p 12345 -f -e traceall -o /tmp/echo_attach.log跟蹤日志里的關(guān)鍵信息如何解讀以 accept 為例如果日志里出現(xiàn)大量EAGAIN說明事件循環(huán)里確實(shí)在讀非就緒的 fd——這本身是設(shè)計(jì)使然但如果密集出現(xiàn)說明事件注冊(cè)邏輯可能有問題fd 沒有正確地從 epoll 移除。再比如看到write(...) -1 EPIPE說明對(duì)端已關(guān)閉但你仍在寫通常需要處理 SIGPIPE 信號(hào)或使用 MSG_NOSIGNAL 標(biāo)志。有一個(gè)使用技巧先 strace 看系統(tǒng)調(diào)用序列再結(jié)合代碼邏輯定位比單純看日志高效得多。很多詭異的問題日志里全是歲月靜好strace 一跑就原形畢露。特別是超時(shí)類問題在 strace 輸出里你能清楚看到 poll/ppoll/epoll_wait 的等待時(shí)長(zhǎng)簡(jiǎn)潔明了。提示strace 有性能開銷不能長(zhǎng)時(shí)間在生產(chǎn)環(huán)境開啟。它適合臨時(shí)追蹤某個(gè)可疑進(jìn)程定位問題后立刻關(guān)閉。4.3 gdb 調(diào)試崩潰與段錯(cuò)誤系統(tǒng)編程最常見的崩潰就是段錯(cuò)誤Segmentation Fault。定位段錯(cuò)誤很多人第一反應(yīng)是看 core dump 文件這沒問題但如果 core 開關(guān)沒開或者 core 文件巨大無比就得靠 gdb 現(xiàn)場(chǎng)調(diào)試了。# 編譯時(shí)開啟 -g 保留調(diào)試符號(hào)-O0 關(guān)閉優(yōu)化便于單步調(diào)試 gcc -g -O0 -o echo echo.c # 用 gdb 啟動(dòng) gdb ./echo # 在 gdb 中運(yùn)行 (gdb) run # 崩潰后查看棧回溯 (gdb) bt # 查看當(dāng)前幀源碼 (gdb) list # 查看某個(gè)變量/內(nèi)存 (gdb) info locals (gdb) x/16xb buf這里必須強(qiáng)調(diào)一個(gè)我在實(shí)踐中反復(fù)驗(yàn)證的經(jīng)驗(yàn)崩潰兩次的現(xiàn)象往往才是 root cause。第一次崩潰可能發(fā)生在任意位置但第二次崩潰基本能穩(wěn)定暴露真正的問題因?yàn)榇藭r(shí)數(shù)據(jù)結(jié)構(gòu)已經(jīng)被污染成穩(wěn)定狀態(tài)。所以線上遇到偶現(xiàn)段錯(cuò)誤不要急著重啟盡量保留現(xiàn)場(chǎng)用 gdb attach 上去看看。此外當(dāng)沒有 gdb 環(huán)境時(shí)也需要看懂核心轉(zhuǎn)儲(chǔ)文件里到底發(fā)生了什么。一個(gè)常見組合# 查看 core 文件的堆棧概要 gdb ./echo /var/lib/systemd/coredump/core.echo.12345 (gdb) thread apply all bt這個(gè)命令會(huì)列出所有線程的棧能快速判斷問題發(fā)生在哪個(gè)線程是主事件循環(huán)還是某個(gè) worker。多線程程序崩潰時(shí)所有線程棧都打出來非常關(guān)鍵——問題線程的??赡懿皇亲铒@眼的那個(gè)但通過觀察鎖等待關(guān)系和資源訪問模式就能定位。4.4 日志與監(jiān)控沒有觀測(cè)就沒有降級(jí)最后是日志。系統(tǒng)編程的程序往往運(yùn)行在無人值守的服務(wù)器上日志就是你的眼睛。但日志怎么寫是有講究的。首先盡量使用異步日志避免磁盤 I/O 阻塞業(yè)務(wù)線程。其次日志必須有級(jí)別DEBUG/INFO/WARN/ERROR且可動(dòng)態(tài)調(diào)整——生產(chǎn)環(huán)境默認(rèn) INFO排查問題時(shí)臨時(shí)降級(jí)到 DEBUG不需要重啟進(jìn)程。如果追求更精細(xì)的操作可以自己實(shí)現(xiàn)一個(gè)信號(hào)鉤子收到 SIGUSR1 時(shí)提升日志級(jí)別收到 SIGUSR2 時(shí)恢復(fù)。這種設(shè)計(jì)在線上運(yùn)維中非常實(shí)用。這里補(bǔ)充一個(gè)可以“抄作業(yè)”的小方案日志落盤路徑/var/log/yourapp/app.log軟鏈到當(dāng)前版本目錄日志輪轉(zhuǎn)用 logrotate每天切割 保留 7 天超過大小強(qiáng)制輪轉(zhuǎn)核心指標(biāo)通過 /proc/{pid}/fd 統(tǒng)計(jì)連接數(shù)、通過 /proc/{pid}/status 統(tǒng)計(jì)內(nèi)存、通過 epoll_wait 返回值統(tǒng)計(jì)事件吞吐量全部定時(shí)打印到日志一旦做到以上幾點(diǎn)出現(xiàn)問題大概率能通過日志鏈路直接定位不需要頻繁登錄機(jī)器。5. 常見問題與排查技巧實(shí)錄5.1 連接數(shù)暴漲時(shí)出現(xiàn)“Too many open files”現(xiàn)象服務(wù)運(yùn)行一段時(shí)間后日志里飄著Too many open files新連接無法 accept。排查思路先看當(dāng)前進(jìn)程打開了多少 fdls /proc/{pid}/fd | wc -l再確認(rèn)系統(tǒng)限制ulimit -n兩者對(duì)比若接近或達(dá)到上限就是 fd 泄漏最可能的原因和解決代碼里accept返回的 fd 在某條分支上忘記 close比如 read 返回異常時(shí)沒關(guān)相對(duì)隱蔽的是epoll_ctl刪除 fd 失敗卻沒有 close 這個(gè) fd還有一個(gè)容易忽略的點(diǎn)select/poll時(shí)代程序換到 epoll 后對(duì) close 行為沒做調(diào)整——epoll 里 fd 被 close 時(shí)自動(dòng)從監(jiān)聽列表移除但如果你繼續(xù)沿用舊的“兩段式刪除”寫法就可能在刪除時(shí)拿到已關(guān)閉 fd 編號(hào)的復(fù)用誤刪其他連接推薦預(yù)防手段在代碼里周期性統(tǒng)計(jì) fd 總數(shù)并輸出日志設(shè)置明確告警閾值而不是等到了系統(tǒng)上限才被動(dòng)發(fā)現(xiàn)。另外建議給每個(gè)可能持有 fd 的結(jié)構(gòu)體增加magic字段close 后置 0后續(xù)任何訪問都先校驗(yàn)快速定位重復(fù)釋放問題。5.2 讀數(shù)據(jù)時(shí)遇到 EINTR 和 EAGAIN 的處理迷惑場(chǎng)景非阻塞 socket 編程時(shí)read 返回 -1errno 分別等于 EINTR 和 EAGAIN很多新手表示一臉懵。區(qū)分說明EINTR系統(tǒng)調(diào)用被信號(hào)中斷只是暫時(shí)的重新調(diào)用一次就行。常見觸發(fā)場(chǎng)景是終端 CtrlC、定時(shí)信號(hào)或者調(diào)試器介入。EAGAIN/EWOULDBLOCK資源暫時(shí)不可用比如 socket 接收緩沖區(qū)為空不是錯(cuò)誤。非阻塞模式下這是常態(tài)直接忽略或者回到 epoll_wait 等待下一輪事件。經(jīng)驗(yàn)法則這兩種錯(cuò)誤碼都要“繼續(xù)等”但 EINTR 是立即重試EAGAIN 是回到事件循環(huán)。如果循環(huán)里對(duì) EINTR 重寫時(shí)還帶著 sleep等于是人為給自己的服務(wù)加了延遲如果 EAGAIN 被當(dāng)成異常直接 close就會(huì)出現(xiàn)連接無故斷開的問題。用本章代碼里的 writen 函數(shù)配合 EPOLLOUT 事件基本能覆蓋多數(shù)場(chǎng)景。// 正確姿勢(shì)收到 EAGAIN 就停止寫入等待 EPOLLOUT 事件 if (errno EAGAIN || errno EWOULDBLOCK) { // 將 fd 注冊(cè)到 epoll監(jiān)聽 EPOLLOUT ev.events EPOLLIN | EPOLLOUT; epoll_ctl(epfd, EPOLL_CTL_MOD, fd, ev); break; }5.3 多線程 vs 多進(jìn)程的選型糾結(jié)這個(gè)問題幾乎每個(gè)系統(tǒng)編程初學(xué)者都會(huì)困惑。簡(jiǎn)單說幾條經(jīng)得住實(shí)戰(zhàn)檢驗(yàn)的建議多線程適合共享大量狀態(tài)線程間通信成本低任務(wù)粒度小線程池能夠高效復(fù)用單機(jī)多核并行計(jì)算一進(jìn)程內(nèi)搞定多進(jìn)程適合需要高可靠性隔離一個(gè)子進(jìn)程崩潰不影響主進(jìn)程模塊間權(quán)限不同希望用不同 UID 運(yùn)行某個(gè)第三方庫不安全不想讓它污染主進(jìn)程地址空間我的實(shí)操心得能用單線程 epoll 解決的問題絕不上多線程。曾經(jīng)有項(xiàng)目用 4 個(gè)線程處理 2 萬個(gè)連接光鎖競(jìng)爭(zhēng)就損失了 30% 的吞吐量。后來改成多進(jìn)程模型每個(gè)進(jìn)程各管各的 fd 集合再配合 SO_REUSEPORT 做內(nèi)核級(jí)負(fù)載均衡性能直接翻倍。這個(gè)思路在 Nginx、Envoy 等生產(chǎn)級(jí)項(xiàng)目里已經(jīng)被反復(fù)驗(yàn)證是真實(shí)有效的擴(kuò)展路徑。5.4 服務(wù)器對(duì)時(shí)與時(shí)間戳亂象一個(gè)容易讓人崩潰的 bug服務(wù)日志時(shí)間偶發(fā)跳變、晚于實(shí)際時(shí)間、或者出現(xiàn)負(fù)耗時(shí)。根因代碼混用了 CLOCK_REALTIME墻上時(shí)鐘和 CLOCK_MONOTONIC單調(diào)時(shí)鐘。CLOCK_REALTIME 會(huì)隨 NTP 校時(shí)、手動(dòng)調(diào)整發(fā)生跳變導(dǎo)致耗時(shí)計(jì)算瞬間變負(fù)。修改方案命脈指標(biāo)統(tǒng)一使用 CLOCK_MONOTONIC日志展示附帶北京時(shí)間就單獨(dú)調(diào)用 localtime_r 轉(zhuǎn)換 CLOCK_REALTIME 的輸出。二者不要混在一個(gè)計(jì)算鏈路里。補(bǔ)充一個(gè)技巧如果某個(gè)功能只是想計(jì)算一次超時(shí)可以使用 timerfd_create epoll把超時(shí)管理交給內(nèi)核不需要自己開定時(shí)線程。這種設(shè)計(jì)更利于事件循環(huán)的一致性——同一套事件循環(huán)里既管理 fd又管理定時(shí)器代碼結(jié)構(gòu)更整潔。5.5 崩潰時(shí)沒有 core 文件怎么辦問題程序段錯(cuò)誤了但 /var/lib/systemd/coredump/ 里啥也沒有。排查順序ulimit -c是否為 0如果是改成ulimit -c unlimited/proc/sys/kernel/core_pattern是否被 systemd 接管如果是確認(rèn) systemd-coredump 服務(wù)存在且運(yùn)行代碼是否調(diào)用過signal(SIGSEGV, SIG_IGN)或者其他方式屏蔽了默認(rèn)行為如果現(xiàn)場(chǎng)不好復(fù)現(xiàn)也可以直接讓程序在崩潰時(shí)自己打印棧回溯。使用 backtrace 函數(shù)族和 backtrace_symbols_fd 寫到 stderr 或者日志文件能夠快速離線定位。#include execinfo.h #include unistd.h #include signal.h void crash_handler(int sig) { void *frames[32]; int n backtrace(frames, 32); backtrace_symbols_fd(frames, n, STDERR_FILENO); _exit(1); } // main 函數(shù)里注冊(cè) signal(SIGSEGV, crash_handler); signal(SIGABRT, crash_handler);注意backtrace 在異步信號(hào)處理函數(shù)中不保證完全安全但多數(shù)場(chǎng)景下足夠用來做初步定位。生產(chǎn)環(huán)境最好還是借助 core dump 文件做完整分析。6. 寫在最后的實(shí)踐總結(jié)系統(tǒng)編程這門手藝書看百遍不如手過一遍。這篇文章里提到的每個(gè)問題幾乎都是我在真實(shí)項(xiàng)目里踩過的坑——有些坑是用一個(gè)通宵換來的教訓(xùn)有的則是用線上事故的代價(jià)買回來的經(jīng)驗(yàn)。所以我想用自己的實(shí)踐體會(huì)收個(gè)尾。首先一定要養(yǎng)成“先 strace再 gdb最后翻源碼”的排查習(xí)慣。很多時(shí)候崩潰現(xiàn)場(chǎng)類問題strace 記錄的系統(tǒng)調(diào)用序列比任何日志都有說服力先確認(rèn)進(jìn)程究竟做了什么再打開源碼分析為什么這么做效率會(huì)高很多。其次內(nèi)核文檔和 man 手冊(cè)永遠(yuǎn)是第一手資料。網(wǎng)上博客魚龍混雜不少內(nèi)容都是互相抄抄到最后連參數(shù)名都被改錯(cuò)了。碰到不清楚的系統(tǒng)調(diào)用優(yōu)先查一下對(duì)應(yīng) man page 的 “NOTES” 和“BUGS” 段落里面的警告信息非常值錢。更進(jìn)一步直接看內(nèi)核源碼的注釋和提交記錄往往能發(fā)現(xiàn)很多設(shè)計(jì)者的真實(shí)意圖。最后系統(tǒng)編程是一場(chǎng)長(zhǎng)期主義。它對(duì)人的心智模型要求很高需要你同時(shí)理解 CPU 調(diào)度、內(nèi)存管理、I/O 協(xié)議棧等一堆底層知識(shí)。但正是這種“難”才構(gòu)成了行業(yè)壁壘。今天文章里的 epoll 模型、內(nèi)存惰性分配、EINTR 處理、core dump 排查都只是冰山一角。接下來你可以擴(kuò)展的方向是把單線程 epoll 升級(jí)為多進(jìn)程 SO_REUSEPORT 的架構(gòu)自己實(shí)現(xiàn)一個(gè)簡(jiǎn)單的線程池比較不同調(diào)度策略的優(yōu)劣深入研究一下 io_uring看看下一代異步 I/O 是怎么把系統(tǒng)調(diào)用開銷降到極致的。如果你正好在學(xué)這些內(nèi)容遇到具體問題卡住了歡迎帶著棧信息和 strace 日志來交流——好的問題往往比答案更值得討論。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
aaaa黄片| 激情综合亚洲| 青青国产精品在线| 欧美日韩国产色图在线| 有码人妻系列| 欧美性爱第1 页| 色婷婷香蕉| 丰满搜索结果 -第18页- 久久高清无码| 欧美中字不卡| 亚洲无码成人精品| 久久av网| 97资源视频| 亚洲 欧美 中文 日韩超碰| 欧美淫乱视频| 久久久久久久国产视频| 久久久久久久久久久久久女过产乱-少妇高潮一区二区三区喷水-成人AV | 大香蕉视频一二三区| 色情成人五月天| 九七毛片九九毛片| 性爱乱伦网址| 99精品无码| 国产一级作爱毛片| 超碰97首页| 国产一区在线观看无码AV| 好湿好紧好爽 视频| 国产精品噜噜噜日日日| 激情婷婷五月天| 91N综合网| 免费一级毛片在线视频观看| 91超碰在线观看| 操逼逼无码| 久久东京热成人| 国产精品3| 丰满人妻一区| 嗯嗯啊啊好爽| 综合欧美日韩在线| 91人人爽人人爽| 午夜亚洲| juliaann精品熟女一区| 激情一区二区三区在线观看| 91亚洲丝袜熟女| 欧美大香蕉同搞| 男人的天堂在线| 亚洲第一精品在线视频| 易易A毛视频| AA丁香综合激情| 96一区二区| 熟妇熟女亚洲天堂网| 成人无码欧美一级A片狼牙直播| 美女黄频a美女大全免费皮| 中文一区二区| 91久久午夜无码鲁丝片久久人妻| 国产网红精品| 日韩精品资源专区二区| 日韩成人午夜精品久久高潮| 少妇无码av专区线| 超碰精品97| 性做久久久久久免费观看软件| 欧美瑟综合| 91人妻Pr| 日韩综合无码一区久久92| 人人妻人人色| 日韩AV电影网站| 成人性爱av| 97超碰热线| 亚洲成?V人片在线观看福利| 日韩人妻丝袜中文字幕| x97av| 亚洲黄网在哪免费看| 999999精品| 欧美天天综合站| 成人性爱视频在线看| 亚洲操操操无码| 男人天堂站| 一级啊性爱在线视频| 夜夜性| 鲁鲁色综合网| 日韩性爱再线视频| 26uuu成人影片| 国产后入内射| 国产伊人自拍| 激情综合五月| 激情小说成人日本无码一| 人妻无码一区二区三区久久99| 黑丝内射一区二区三区| 国产精品免费视频人成| 白丝被操91| 新怡红院| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师 | 亚洲日韩熟女人妻高清在线| 蜜桃色色网站视频三区| 一本一道vs波多野结衣| 国产亚洲福利第一页丝袜| 老熟女天天操| 久久久91福利姬| 欧美久久久15P| 久久极品伊人| 五月婷视频| 韩日性爱av| 国产91亚洲精品一区二区三区| 久久99干一本高清| 熟妇高潮精品一区二区三区下载| 精品人妻夜夜草| 99婷婷| 乱伦1色页| 欧洲黄色网| 中文字幕丰满子伦无码专区在线视频最新 | 操国产逼| 中文字幕,人妻,日韩| 日本女人久久久| 欧美丰满少妇交换91欧美精品| 成人A片男人的天堂| 天天日天天操心| av片在线观看免费播放| 凸凹视频在线观看| 草草影院最新网址| 一区二区三区高清天码| 香蕉热人人精品| 亚洲天堂在线怕怕视频| 强被迫伦姧在线观看无码网站| 高清无码人妻久久久一区二区三区aⅴ| 日日骚精品视频| 欧美成人综合| 狠色婷婷久久一区二区三区_| GVH-003 母子姦 青木玲-麻豆视频,麻豆视传媒短视频网站入口,麻豆视传媒官网直 | 狠日操| 另类TS人妖一区二区三区| 国产精品懂色tv影视免费观看| 亚州性9| 熟妇色99| av中亚| 玖草在线视频| 男女猛烈无遮掩视频免费软件| 强被迫伦姧在线观看无码网站| 五月天我淫我色av| 秋霞一级A片黄色视频| 老子午夜伦不卡影院| 亚洲性爱成人| 国产大学生口爆吞精合集| 99色热国产视频精品| 温婉少妇玩3p| 亚洲nv男人的天堂网| 少妇超碰在线| 超碰97玖玖爱| 久久的免费性爱视频| 日本精品网站在线中文| 立川理惠无码一区二区| 少妇国产不卡| 99在线啪| 91w欧美| a片在线播放| 欧州一区二区三区四区| 免费一级特黄特色大片在线观看看 | 九九五月天| 大逼色网站| 91综合色噜噜| 国产一级αv免费看片| 伊人AAA| AV丝袜少妇| 97玖玖超碰| 日本高清一本二本免费不卡| 精品人妻一区二区免费蜜桃视频| 思思性爱| 2026国产精品视频| 葡萄牙性视频一二区| 亚洲AV成人无码一二三久久| 久久 国产精品 一区| 亚洲国产欧美日韩精品一区二区三区,国产一区二区三区在线看片,欧美性猛交 XXX | 国模私拍一区二区三区神乳| 亚欧高清v| 九九久久久久久爱| 色99视频| 日韩免费a级毛片无码a∨| 亚洲 欧美日韩 另类| 欧美黑人熟妇精品91| 啊啊啊草死我| 国产精品ⅴ无码大片在线看.| 美女写真| 混色激情av| 又黄又粗又硬又长又大| 本道在线| 三级日本一区二区三区| 99热超碰| 色香伊人| 精品99999| 欧美另类精品xxxx| 日韩另类色图| 人人爽人人精品乱人伦AV| 91精品婷婷国产综合久久| 日日摸天天爽夜夜欢| 国产丝袜欧美在线视频| 欧美性爱另类综合| 日韩人妻少妇中文字幕| 51一区二区三区| 91在线免费精品视频| 影音先锋乱| 色婷久久| 另类欧美| 久久久性爱视频| 91伊人久久在线| 欧美天天| 床上啊啊啊一区二区三区| 中文字幕88av在线| 蜜臀久久99精品久久久久久-DVD| 把腿张开老子CAO烂你| 99精品视频在线观看| 亚洲日产专区婷婷| 60秒不遮不挡| 欧美v亚洲v日韩v最新在线二区| 少妇被玩视频二三区| 久热99999| 中文字幕久久婷婷丁香五月天| 在线观看精品国产免费| 色天堂综合| 97超碰色| 亚码激情| 色色色综合| 青操影院| 日本丝袜人妻内射| 日韩精品操少妇| 无码久久国产| 天天干天天操天天拍| 国产日韩中文字幕欧美| 欧美极品性爱天天射| 九九无码久久精品视频| 日韩15p| 亚洲精品a人片在线观看视| 欧美另类自拍| 日本性爱欧美性爱| 中文字日本乱码| 欧美97爱| 欧美爆操91| 超清中文乱码字幕| 欧美加勒比| 黄色高清无码无码破解免费暗网| 久久骚| 高清国产成人无码| 久草新免费| 欧美片第一页| 99爱久久视频频| 精品人妻一区二区三区日产| 丁香五月成人| 亚洲色图A| 精品国产片亚洲一区| 亚洲人精品午夜不卡| 亚洲AV噜噜狠狠网址蜜桃动漫| 青青草伊人久久| 精品人妻一二三| 丝袜美腿诱惑亚洲欧美视频在线观看| 四虎av在线| 亚洲激情四射| 成人线上超碰| 亚洲91少妇| 97久久久久| 婷婷久久五月| 天天干嫩逼网| 婷婷五月天激情四射| 女同性恋久久| 日韩欧美视频青青| 色网在线| 国产风韵犹存熟妇三区| 欧美日韩亚洲少妇寂寞影院正在播放 | 中文字幕精品三级久久久| 在线观看亚洲专区| 欲香欲色天天天综合和网| 成人无码在线超碰网| AV丝袜少妇| 国产亚洲女v在线观看| 丰满精品人妻少妇久久字幕| 懂色AV蜜臀无码精品APP | 欧美精品69性爱| 啊啊啊好多水| 亚州色图狠狠干| 大香蕉免费3| 97这里只精品| 熟女六十路| 九九热精品视频六| 天天干2019| 国产精品又黄又猛又粗| 国产精彩女在线观看视频| 婷婷丁香五月天亚洲天堂网| 97伊人网| 欧美亚洲AN| 欧美综合区| 国产传媒日韩| 97自拍一区| 操逼视频免费日韩无码| 亚州综合色| 久久天天躁日日躁狠狠躁| 隔壁邻居波多野结衣中文字幕| 久热99999| 六九九九| 日本Xx性爱| 色臀AV| 青青草视频导航官网| 色婷婷九月天天综合| 97在线视频观看| 国产美女高潮| 精品人妻视频一区二区在线播放 | 岛国片国产成人亚洲播放| 97国产精品在线观看| 一二三啪啪专区| 日本一区二区三区免费观看| 好舒服视频| 国产精品成人蜜臀AV在线| 超碰2017| 国产热av| 日本三级久| 亚洲成人免费中文字幕| 97免费在线视频| 久久熟女久| 欧美制服另类丝袜| 毛片电影一区二区三区| 亚洲国产成人7777| 五月丁香婷婷综合| 成人激情无码在线视频| 国产精品片| 欧美日韩97在线| 九一屌逼| 91在线色综合| 东京热男人的天堂精品| 伊人网免费视频| 天天躁日日躁狠狠狠躁| 亚洲久久天堂| 综合九九| 亚州色图片在线色| 欧美 亚洲 另类 综合| 日本91白丝| 国模少妇一区二区三区| 国产精品久久久久久无码红治院| 水多多映视AV| 日本幼女18+| 麻豆福利视频导航| 日韩pv中文| 国产亚洲日本精品在线| 麻豆天美传媒在线视频天堂| 九九色图| 在线观看日韩av不卡| 影视综合无码少妇| 国产精品美女久久久久久网站| 国产免费内射视频| 九九热re99re6在线精品| 欧美日韩国产电影| 青青操在线亚洲视频观看欧美在线| 日本特黄f c2| 强奸少妇AV导航网| 激激五月| 五月天综合| 欧美日韩操逼嗦吊| 色色操| 在线观看黄色电话| 亚洲av无线观看| 日本一级婬片试看三分钟| 欧美片第一页| 日逼逼免费看| 2019天天干天天操| 日韩丰满熟妇| 欧美岛国精品在线观看| 国产亚洲性生活视频播放| 中文字幕日韩专区精品系列| 婷婷午夜清品久久久久久久性色视频观| 色久桃花影院在线观看| 777琪琪午夜免费A片| 久久精品午夜国产亚洲AV无码| 大肥女高潮bbwbbwhd视频| 立川理惠被中出无码| 国产午夜精品理论片一二三区区| 小日子操bb在线看| 探花一区在线| 久久久久久人妻| 99国产人成精品| 韩国三级理论在线| 天天日天天爽| 97爱爱爱综合| 久久欧洲| 久操视频在线| 美女啊啊啊啊啊啊| 欧美人与动性人交a| 精品无码一区二区三区| 精品毛片av一区二区| 久久久久久久国产视频| 色99久草| 3PAV乱伦视频| 亚洲第一狼人丝袜美女另类| 婷婷久久五月天| 男人的天堂2019AV| 超碰在线97国产| 白嫩妹子国产骚| 99999亚洲| 午夜舔阴达高潮视频免费看| 成人性爱av| 无码精品蜜桃一区二区三区ww| 色色婷婷五月| 99热18这里只有精品| 97在线免费视频观看| 性暴力欧美猛交在线直播| 国产尤物AV尤物在线观看不卡| 26uuu欧美| 天天日天天操VV| 9精品久久久久| 天天日日本| 国产精品乱码久久久久久| 日日摸天天爽夜夜欢| 人人操人人操人人人操| 亚洲午夜免费狠狠干| 久久m| 94色色电影网| 亚洲成熟国产精品美女| 亚洲不卡av在线| 91N综合网| 97人人夜夜精品视频| 婷婷五月色| 久久久久密臀视频| 欧差乱伦二三| 日本岛国黄色网址| 夜草欧美| 激情熟女12P| 日本午夜久久电影| 国产精品电影推荐| 久久久久久久强迫| 丁香六月婷婷久久综合| 最新9久久久9免费视频| 日本中文熟女视频| 大香蕉亚洲中文| 啊啊啊啊好疼视频| 亚洲精品一二牛牛| 色精品极品| 亚洲中文字幕av | 国产精品久久久九九九| 亚洲伊人久久综合97| 国产女人9999| 午夜精品久久久久久久久久久久久 | 亚洲成成熟女人综合一区二区| 欧美日韩另类在线播放| 99热这里只有精| 日韩毛片9| av在线播放国产一区| 色妹子A V| 女人香蕉久久毛毛片精品| 一级片在线观看高清无码| 人妻久热在线| 91亚洲丝袜| 91精品国产91久久福利| 91亚州日韩高清| chaopen97久久| 日韩亚洲中文字幕在线| 亚热日本熟女| 国产色综合亚洲色综合吹潮| 九九久久久久久爱| 精品九九九九九| 六月丁香啪啪| 天天干人人乐| 精产品久久| 色婷婷九月| 加勒比久久av| 亚洲无码久久久久久久| 日韩电影免费网站麻豆视频| 亚洲AV操| 91无摭挡| 精品人妻美妇91job| 青青欧美| 天堂中文日本在线观看| 久久机热| 五月丁香社区婷婷日韩欧美精品影院 | 国产精品动态一区二区三区四四| 成人乱码一区二区三少妇| 天天色怡春院| 亚洲图片欧洲图片aⅴ| 天天日美女的B| 国产美女高潮叫床视频| 人妻少妇无码| 97久久视频| 亚洲丝袜少妇在线| 亚洲熟妇图片| 婷婷色色五月天福利| 色婷婷综合久久中文字幕雪峰| 四虎AV无码| 精品少妇999| 亚洲最大黄网| 色黄污美女啪啪啪免费网站| 亚州色图片在线色| 性在久久久久久| 热热色AV| 男人的天堂2010| 亚洲欧美日韩免费观看| 欧美在线55555| 天堂中文日本在线观看| 男人的天堂VA| 久久久9品一区二区三区| 午夜国产成人精品视频| 搡老女人老91妇女熟女| 色色色欧美| 丰满人妻一区二区三区| 欧美韩国你懂得在线| 色伊人91| …亚洲黄色厕厕女女在线播…| 天天综和| aⅴ日韩成人电影av在线免费看av大全 | 亚洲AV在线资源| 激情久久久| 天天综合网网欲色| 97精品久久久久中文字幕| 午夜寂寞欧美| 欧美1727免费观看视频| 久久东京伊人一本到鬼色| 99色热| 上床不卡网站| 中文字幕在线日亚州9| 水多多映视AV| 精品超碰色| 九九久久首页| 欧美日韩性爱操大逼| 一区二区三区国产在线播放 | 综合久久中文字幕综合日韩精品| 欧洲亚洲人妻无码高清久久三区四区| 亚洲自拍欧美国产首页网曝| av片在线观看免费播放| 国产精品久久久啊| 欧美,日韩,中文,另类| 人人妻人人操人人乐| 欧美极品性爱天天射| 91综合网站| 日韩不卡网操逼中文字幕日韩| 久操热| 亚洲爱爱视频一区二区| 丁香六月婷婷| 少妇高潮对白在线观看| 五码视频在线观看| 九九九一二三| 女上位精品在线| 久热久一区二区三区| 国产亚洲色婷婷久久99精品91葵花宝典| 色综91| 久久一二三四五六七八九区| 久久久111| 中文字幕大片三级狠狠干| 色香色欲天天综合网天天来吧| 九九Av| 激情五月天校园春色网| 天天爽夜夜欢视| 婷婷五月av| 国产高清在线观看欧美| 91在线精品一区二区三区| 麻豆人妻偷人精品无码视频| 精品99999久久久久久| 国产精品久久久无码AV网站| 最新无码国产| 欧美 亚洲 第一页 | 黄片色区软件| 国产精品网址| 国产乱伦性爱区| 91久久青青草原精品| 亚洲情色 自拍| 亚州Av天美传媒| 97久久久精品| 欧美性暴力猛交XXXX| 日韩99神马视频播放片在线播放| 色五月首页| 乱伦3P视频| 99久久e免费热视| 97资源视频| 欧美人与动性人交a| 探花精品 一区二区| 上床啊啊啊| 日韩欧亚中文在线| 天美传媒av一区二区| 大香网伊人久久综合网eew| 国产久久日韩网站导航| 超碰激情808| 午夜久久一区二区无码中出| 动漫片子网站3黄| 伊人影院在线理论播放| 国产少妇与亚洲av| AV天堂电影网| yazhousetuoumei| 爱干爱射网啊啊啊| wwe 天天干.com| 欧美午夜色妇色鬼| 五月天伊人| 国产91av在线播放| JIZZJIZZ亚洲女人被躁| 国产操逼视频在线观看| 午夜超爽| 亚洲欧洲日韩国产自在线| 热99这里只有精品| 综合啪啪| A V少妇特黄三级| 天天干2区3区| 九九九九九九成人| 欧美韩日精品资源| 9久9久9久9久视频网站| 91熟女网| 秋霞Av理论一级在线| 搡老熟女免费视频| 可以在线观看的黄色网址| 久久九九国产精品| 天天综合网站| 精品91摸| 97jingpin| 欧美高清16| 69天堂| 国产一区二区三区视频在线看| 中文字幕亚洲永久精品| 67914在线兔费成人视频| 91青青在线| 丁香七月婷婷| 欧美精品99久久久**| 思思热免费视频观看| 91粉芽高清在线一区二区| 久插综合| 亚洲天堂久久| 18禁在线视频| WWW黄片COM| 久久久久久亚洲精品不卡人乳 | 国产美女销魂在线观看不卡| 91在线精品| 97超碰碰碰| 久干网| 日韩中文9| 久久久久久久97| 高潮的A片激情扒开一区| 婷婷亚洲综合| 91欧美偷拍| 亚洲人综合| 99精品国产户外露出| 岛国视频免费在线观看| 天天操av懂色| 久久影视二区三区行押| 99色网| 九九黄色视频在线观看| 精品高潮| 国产精品一级特黄aaa大片在线观看| 一区二区三区精品黑丝白丝酒店对鸡| 91色综合激情| 亚欧美综合网| 色婷婷激一区二区三区| 情色日播放AV| 久久风骚城市人| 偷拍偷窥与盗摄视频专区| 天天看天天在线精品| 日韩乱码Av| 美女让帅哥通她小鸡鸡| 99视频这有这里有精品| 色五月婷婷五月天| 亚洲电影91| 欧美区亚洲区偷拍区| 亚洲综合激情五月久久| 少妇内射视频| 精品久久久久久AV无码| 好吊妞转入那个网| 中文精品少妇天堂| 高清国产成人无码| 观看视频图片一区二区三区| 加勒比综合在线| 亚洲第一狼人丝袜美女另类| 精爱久久| 国产老太乱伦一区| julia高潮后不停追击中出| 亚洲免费在线探花| 日韩在线女优天天干| 蜜臀网 一区| 亚洲aV性爱| 亚洲国成人情色好看电影| 91人妻在线视频| 婷婷九月色| 97精品一区| a v网站在线播放| 久久久不卡区一区二区三区久久久| 亚洲阿v天堂在线| 中文字幕在线24| 色爱天堂| 99色综合| 久久99九九九九6666免费观看软件| 性做久久久久久免费观看软件| 欧美亚洲成人在线一区二区三区| 久久久久久久久久久免费精品| 天天干天天操天天拍| 九热久| 婷婷五月天补不补| 久久精品无码专区| 丁香五月婷婷基地| 97色操| 91日韩在线| JuliaAnnXXX888| 亚洲综合成人网| 久久精品性| 999熟女精品| 91足交| 91热色| 色官网在线| 色路综合| 亚洲精品 大香蕉| 激情另类激情| 2024人人操人人摸| 97中文字幕一区| 日本99热| 97超碰中文在线| 三级片大波波| 74成人在线| 欧美日韩人妻少妇 一区二区三区| 在线国产福利网址导航| 东京成人一区| 国产日韩在线播放av| 麻豆国产第一| 曰韩操B| 久久久久久久9最新免费视频观看| 亚洲图片欧洲图片aⅴ| 久肏视频字幕| 亚洲欧美大香蕉| 激情黄色片在线观看| 久久久久七视频| 老熟妇一区二区三区…| 亚洲风情综合网| 欧美成人贴图| 亚洲精品蜜桃久久久一区二区三区| 中文AV制服乱伦| 午夜精品久久久久| av无码精品久久久久| 婷婷人妻激情| 91色黑人少妇| 韩日性爱av| 亚洲毛片久久| 桃色六月天| 天天操天天射天天日| 少妇特黄一区二区三区| 蜜臀国产AV中文字幕| 国产亚洲精品精AV.| 欧美91久久久久| 亚洲人成网www| 久久久精品91八戒| 久久精品电影| 人澡逼| 日韩色| 99精品欧美一区二区三区桃色| 久久久国产三级黄色片| 久久久久久久久久久久黄色| 超碰在线一区二区三区| 在线可观看的黄色网址| 青娱乐日韩无码| 国产一线二线三线av| 9热9热综合网| 97操操| 国产精品福利资源在线尤物| 国产91丝袜 在线播放| 久久久久久久久久久久久久9999| 大色综合网| 色牛aV| 青青草男人天堂| 操操AV电影| 天天激情干| 蜜臀99久久精品久久久懂爱| 韩国嫰模上门援交视频| 中文字幕 一区二区 亚洲无码| 日本天天操| 男人久久天堂| 久久9精品网站| 欧美色图亚洲色图成人在在线| 3p国产欧美99热| 日本人妻伦在线中文字幕| 91久久国产精品| 美骚妇av高清在线| 玖玖97综合| 凸凹视频在线观看| 91精品国产91久久福利| 青草精品视频日本久久久久网站在线| 2026国产精品视频| 中文字幕片| 99色色网| 国产欧美日韩在线不卡第一页| 日韩激情无码影院| 久久精品一区二区| 久久妇| 亚洲无码偷拍| 欧美黑人日韩少妇色情| 大香蕉在线视频重口味毛片在线| 欧美夜夜狠| 99色婷婷| 爱媛媛久久国产福利| 亚洲日韩视频二区| 天天综合亚洲综合| 78精品在线| 五月天精品| 超碰97首页| 极品久久久久久久久久久久久久| 美女黄页| 婷婷国产精品九区| 久久黄黄| 欧美综合骚| 婷婷啪啪| 中文字幕av乱伦| 国产白嫩漂亮KTV在线| 91精品亚洲内射孕妇| 四虎午夜影院| 午夜啪| 91大神精品长腿在线观看网站| 日韩欧美加勒比| 国产传媒日韩欧美| 久久久555| 91性情| 91综合网站| 女色综合| 人人操人人色网| 99色网| 久操九九九九| 97综合在线| 丝袜 亚洲 偷拍| 天天爽天天爽| 欧美亚洲国内自拍| 久久久久成人蜜桃精品| 久久日韩毛| 麻豆精品久久久久久久| 精品人妻一区二区三区-国产| 嗯嗯嗯嗯啊啊啊好紧好大| 免费看污网站| 狠狠干精品一二三四五六2022| 五月婷婷丁香六月| 熟女性视频| 九月AV| 日日夜夜青青草母狗| 欧美综合 站| 9999久久久久| 天天摸天天操视频| 国产精品夜夜| 五月天我淫我色av| 都市久久精品激情亚洲| 国产精品久久99日日| 亞洲久久直播| 婷婷五月天av| 国产女上位好爽在线| 少妇人妻无码| 97网址97| 日躁天天爽爽| 日本αv| 亚洲乱码国产乱码精网站| 亚洲国产激情国产av| 久久久久久久一级黄色打同平台| 天天草天天日| 日韩电影在线观看网址| 黄片视频,下载| 91麻豆va国产精品| 超碰亚洲97| 欧美激情色婷婷花野真衣一区二区| 999熟女精品| 国产精品播放| 精品人妻1区| 国产精品三级视频网站| 日本曲间由美性生活片| 日韩天天本| 凹凸 69堂 在线播放| 9久在线视频只有精品| 久久男人精品| 欧美夜夜狠| 免费看污网址| 精品九九九九九九| 免费观看国产小粉嫩喷水精品午| 超碰久热| 青青草色情网站视频| 国产97av| 天天日天天干天天色| 久久久97| 日日夜夜国产综合| 男人综合网| 国产第12页| 色区久久| 蜜桃视频一区二区三区| 极品少妇久久久久| 极品欧美一区二区三区| 国产精品欧美日韩久久| 亚洲图片 91| 性色国产东北露脸精品视频| 欧洲精品一二三在线| 久操免费观看| 逼逼逼逼操操操操操操操操操午夜剧场| 日日夜夜干| 久久精品高清无码一区| 国产自制av蜜乳| 久久婷婷亚洲| 天美传媒AV国产在线| 黄骗免费网站| 日本道久久综合色色| 国产美女精品| 日日夜夜免费| 亚洲国产日韩欧美熟妇在线| 97天天弄| 日产欧美电影一区二区三区| 久久婷色| 日韩午夜精品一区二区三区电影| 亚洲色鬼| 伦理第一页| 日本欧美亚洲高清在线看| 干b在线性社区| 日韩欧美中文字幕搭讪巨乳美人妻视频| heyZO天然素人无码AⅤ专区| 人妻天堂综合网| 美女爽爽爽刺痛洞洞| 午夜一级免费毛片| 国产suv精品一区二区四| 啊啊啊啊好疼| 欧美很很操视频| Julia Annxxxxx| 国产精品露脸在线观看| 高树玛利亚无码流出| 久久内射| 狠狠综合| 一本大道青青| 370p日韩欧美亚洲精品| 东京热亚洲一区二区| 91爱看| 无码高清操逼网址| 国产夜夜艹| …亚洲黄色厕厕女女在线播…| 激情九月婷婷| 久久熟女嫩草成人片免费| 精品人妻av在线播放| 91久久国产综合精品| 国产精品久久久久久高清无码免费看| 懂色综合久久久| 久久超碰97| 欧州色图区| 中文字幕三四区| 人妻丝袜无 码视频专区| 亚洲 欧美综合| 99综合| 色婷婷一区二区三区久久| 99啪啪| 91少妇人妻| 97色综合中文网| 97色色视频| 97视频在线观看免费高清| 久久,精品一二三| 啊啊啊啊好疼| 日本 欧美 亚中文字幕| 日韩色| 成 人 影视 一区 二区 三区 四区 | 综合色拍| 欧美视频一区二区在线| 亚洲伊人久久精品影院| 97国产成人精品免费视频| 蜜臀av网址| 六月激情婷婷| 久久人妻熟女一区二区 | 日本黄色裸日本黄色裸体 | 午夜福利区| jk白丝没脱就开始啪啪| 激情四射五月天| 国产激情av女片自拍| 老熟女天天操| 国产欧美第五页| 中文字幕美女91| 天天干人妻| 成人电影一区| 9久久久久| 综合干干干av久久久综合网| 97精品熟女少妇一区| 97超碰中文字幕| 五月色综合| 亚洲婷婷综合网| 插入粉嫩少妇视频| 日韩九区| 岛国免费视频在线| 嗯嗯啊啊的视频| 亚洲操操操| 国产亚洲精品久久久久小| 欧美在线 亚洲| 激情综合五月| 九九视频黄色片| 亚洲在钱| 日韩乱码Av| 亚洲无吗在线视频| 国产91 丝袜在线播放00-百度| 日本人妻一区二区| 乱伦av.com| 操一区| 插入逼91| 欧美成人国产精品| 爱爱60秒免费视频| 欧美亚洲第一页| 免费男人的天堂| 亭亭丁香激情| 色yeye成人免费视频| 青草精品视频-日本久久久久网站| 亚洲网自拍| 九九人人操| 亚洲无992tv| 天天日熟妇| 啊啊啊好湿国产一二| 国产浮力影院第1页| 97欧美视频| 欧美青青草视频| 歐美一級亂黃99在綫精品| 久久久久成人亚洲国产| 高清无码久操视频| 天天天干977| 婷婷另类小说| 殴美牲| 日韩人妻免费精品| 久操操AV电影| 精品少妇人妻一区二区三区| 欧美日韩免费专区在线| 五月天丁香网| 91精品久久久久五月天精品| 亚洲在线91| 日本加勒比无码专区一二三| av操操不卡| 男人的天堂2019AV| 性色av网站| www.久久制服糖| 91人人操| 欧美丝袜亚洲| 人人噜夜夜操| 嗯嗯嗯,草死我| 日本高清电影欧美色图| 在线观看国产黄色| 97在线精品观看视频| 蜜臀一区二区三区亚洲最新章节在线观看 - 高清蜜臀一区二区三区亚洲全集播放 | 日韩啪啪视频| 久久久久久九九九九九九| 亚洲色图欧美另类在线| 欧美久久草熟女| 91美女丝袜诱惑视频| 爱媛媛久久国产福利| 伊人精品久久网站| 国产精品国产亚洲区艳妇糸列| 99综合免费视频| 在线观看AV片| 9色国产精品一区粉嫩| 亚洲乱妇p22| 人妻熟女一区二区在线视频| 日日妻色网| 久偷拍欧美日韩三区| 中文字幕视频在线观看一区二区| 啊啊啊好爽快点啊啊啊嗯嗯| 六月婷婷色综合| 性爱乱伦网址| 夜夜影视四色| 波多野42部无码喷潮在线观看| 高清无码久操视频| 男女啪啪啪18禁网站| 97超碰中文在线| 国产精品久久蜜乳av| 97伊人超碰| 欧美色综合网| 91bbbbbb| 国产又粗又长视频| 欧美性夜| 夜夜欢天天干| 加勒比综合网| 午夜成人爽爽爽爽A片李冰冰| 亚洲久久久久| 久久久999| 青草一区二区| 超碰97中文| 97精品国产| 中文字幕蜜乳av| 亚洲国产美女久久久久| 精品无码欧美三级| 成年无码动漫av片无尽在线| 一二三区操逼国产91| 天天伊人| 岛国爱情动作片在国产AV无码专区亚洲AV漫画| 女人天堂av在线播放| 91操熟女| 日韩极品无码B| 精品国产乱码| 91社操逼| 欧美性生活综合| 91色婷婷综合久久中文字幕二区| 99欧美| 亚洲人成网www| 午夜激情床戏激情| 久久少妇视频| 亚洲污污网站| 欧美日韩亚洲少妇寂寞影院正在播放 | 天堂日本亚洲欧美| 伊人伊人LD| 人妻素股| 男人的天堂一区| 51国产午夜精品视频| 国产操伦| 怡红院一区二区熟女人妻| 伊人久久88国产女| 亚洲中文制服诱惑| 色九九九综合| 九九九九九九九九九九九蜜桃| 抽插亚洲无码| 欧洲黄色网| 亚洲日韩乱码中文无码蜜桃臀网站| 香蕉免费一区二区三区不读 | 欧美婷婷五月天| 中文字幕黑人大片| 日韩国产十八禁| 久久精品国产97欧美精品亚洲 | 欧美日韩大香蕉| 玖玖玖玖精品国产剧情| 婷婷五月花| 日日骚 av| 亚春色色| 影音先锋每日最新资源在线观看| 国产 日韩 欧美高清| 色九月| 99色婷婷中文字幕乱色| 久久精品91| 国产精品高潮久久久无码| 1人人看人人摸人人操| 欧美自拍偷拍免费观看| 91精品电影18| 99久热精品99re6热| 午夜九九九九九九| 亚洲精品尤物yw在线影院| 亚洲无线码一区国产欧美国| 亚洲s在线观看| 熟女熟妇一区二区三区视频| 男人天堂网站| 99热只有这里有精品| 久久夜色一区二区| 精品久操| 亚洲国产欧美一区二区潘金莲| 国产亚洲精品玖玖玖在线观看| 口爆综合网| 国产精品久久久久久久久久二区三区| 国产97在线 | 亚洲| 99精品视频在线观看免费| 婷婷香蕉欧美在线一区二区三区| 中文字幕女同在线| 欧亚日韩一区在线| 中文字幕性感少妇av| 九一综合精品视品av| 97超碰精品图片| 93人人操人人| 97精品国产97久久久久久户外免费| 蜜桃臀一区二区aV| 国产精品一区二区亚洲人成毛片| 亚洲超碰在线| 日日干夜夜欢| 久久双插| 五月天伊人| 高清孕妇孕交 交孕妇| 偷拍三区| 六月婷激情福利天堂69| 91模特在线观看| 91国精产品| 99re9| 欧美性爱五月天| 九草九九九| 成人免费看吃奶视频网站| 日本天天人人狠狠在线日美女 | 欧美在线干| 五毛骚逼极品美女怕怕| 手机午夜电影神马久久| 黄色污污污污污污网站| 色香网| 国产亚洲色婷婷久久99精品91葵花宝典| 99综合自拍| 久久夜夜| 丰满欧美少妇| 精精品人妻一区二区三区| 亚洲 国产 精品一区| 乱久久久| 亚洲 日本 国产 综合| 少妇毛片久久|