日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Linux進(jìn)程生命周期詳解:從fork、exec到僵尸進(jìn)程回收

Linux進(jìn)程生命周期詳解:從fork、exec到僵尸進(jìn)程回收 在 Linux 上你每敲下一個(gè)命令、每打開一個(gè)程序背后都有一套完整的生命周期在運(yùn)轉(zhuǎn)。從 bash 收到你的命令到 fork 出一個(gè)新進(jìn)程再到 exec 加載可執(zhí)行文件然后進(jìn)入運(yùn)行、睡眠、停止、退出等狀態(tài)最后被父進(jìn)程回收這個(gè)過程就是 Linux 程序的進(jìn)程生命周期。我最早對生命周期有實(shí)感是在排查一個(gè)不起眼的服務(wù)進(jìn)程時(shí)。程序明明已經(jīng)退出了ps 里卻還能看到一條記錄狀態(tài)是 Z也就是僵尸。后來才明白程序退出和進(jìn)程被回收是兩回事這正好對應(yīng)生命周期的一頭一尾。這篇文章就把這套過程拆開講起點(diǎn)在哪、中間狀態(tài)怎么切、結(jié)尾怎么收以及實(shí)際排查時(shí)該按什么順序看。如果你平時(shí)只寫代碼、不關(guān)心進(jìn)程狀態(tài)可能覺得生命周期是操作系統(tǒng)課程里才需要背的東西。但真到了線上服務(wù)卡住、進(jìn)程被反復(fù)重啟、明明退出了卻還在列表里時(shí)這套知識(shí)就是排查的第一條線索。下面按實(shí)際落地順序拆一遍。1. 生命周期起點(diǎn)一條命令是怎么變成一個(gè)進(jìn)程的1.1 先分清“程序”和“進(jìn)程”很多人會(huì)把“程序”和“進(jìn)程”混著說但在 Linux 里它們是兩個(gè)完全不同的東西。程序是磁盤上的靜態(tài)文件比如 /usr/bin/nginx、你自己編譯的 demo_server一堆二進(jìn)制指令和元數(shù)據(jù)躺在那里。進(jìn)程是程序被加載到內(nèi)存之后的運(yùn)行實(shí)體它有獨(dú)立的虛擬內(nèi)存、PID、文件描述符、環(huán)境變量、工作目錄、資源統(tǒng)計(jì)信息。一個(gè)程序可以被多次啟動(dòng)變成多個(gè)進(jìn)程。比如同一個(gè) nginx 二進(jìn)制在 master 和 worker 模型下會(huì)產(chǎn)生多個(gè)進(jìn)程同一個(gè) Java 應(yīng)用啟動(dòng)兩遍就是兩個(gè) JVM 進(jìn)程。理解生命周期首先得把“程序文件存在”和“進(jìn)程在運(yùn)行”分開看因?yàn)楹芏嗯挪閱栴}都發(fā)生在兩者之間的過渡階段。1.2 fork execLinux 創(chuàng)建進(jìn)程的標(biāo)準(zhǔn)路線Linux 里絕大多數(shù)進(jìn)程不是“憑空創(chuàng)建”的而是由一個(gè)已有進(jìn)程復(fù)制出來的。復(fù)制動(dòng)作叫 fork復(fù)制之后再換成新程序的鏡像叫 exec。這段可以理解成兩步父進(jìn)程調(diào)用 fork內(nèi)核創(chuàng)建一個(gè)幾乎一模一樣的子進(jìn)程。子進(jìn)程繼承父進(jìn)程的環(huán)境變量、文件描述符、信號(hào)設(shè)置、內(nèi)存內(nèi)容副本。子進(jìn)程調(diào)用 exec 族函數(shù)把當(dāng)前進(jìn)程的代碼段、數(shù)據(jù)段、堆棧整體替換成目標(biāo)程序的文件內(nèi)容并從新程序的入口點(diǎn)開始執(zhí)行。為什么設(shè)計(jì)成兩步因?yàn)?fork 階段可以方便地繼承父進(jìn)程的上下文比如當(dāng)前工作目錄、環(huán)境變量、標(biāo)準(zhǔn)輸入輸出。exec 階段則負(fù)責(zé)把進(jìn)程改造成目標(biāo)程序。bash 啟動(dòng)一個(gè)外部命令時(shí)用的就是這條標(biāo)準(zhǔn)路線。下面是一個(gè)最小示例可以直接編譯觀察#include unistd.h #include sys/wait.h #include stdio.h int main(void) { pid_t pid fork(); if (pid 0) { perror(fork); return 1; } if (pid 0) { execl(/bin/echo, echo, child running, NULL); _exit(127); } wait(NULL); return 0; }fork 返回 0 表示當(dāng)前在子進(jìn)程里返回正整數(shù)表示在父進(jìn)程里、這個(gè)數(shù)字是子進(jìn)程的 PID。exec 成功后不會(huì)返回如果執(zhí)行不到說明 exec 失敗。父進(jìn)程最后調(diào)用 wait就是在等子進(jìn)程結(jié)束這一步和生命周期結(jié)尾直接相關(guān)。1.3 前臺(tái)運(yùn)行和后臺(tái)運(yùn)行的第一個(gè)分岔點(diǎn)在終端里直接執(zhí)行 ./demo這個(gè)進(jìn)程是前臺(tái)進(jìn)程終端會(huì)被它占用CtrlC 會(huì)通過 SIGINT 信號(hào)終止它。如果執(zhí)行 ./demo 進(jìn)程進(jìn)入后臺(tái)它不占用終端輸入但 stdout 和 stderr 通常還是往終端輸出只是你可以在同一終端繼續(xù)打命令。這個(gè)差異對生命周期影響很大。后臺(tái)進(jìn)程如果在脫離終端的管理下繼續(xù)運(yùn)行可能變成孤兒進(jìn)程或守護(hù)進(jìn)程前臺(tái)進(jìn)程則會(huì)因?yàn)榻K端關(guān)閉而收到 SIGHUP很多程序如果沒有處理這個(gè)信號(hào)就直接退出了。實(shí)際使用中我一般會(huì)先用前臺(tái)方式跑一次確認(rèn)日志和退出碼正常再考慮用 nohup 或者 systemd 把它放到更穩(wěn)定的生命周期管理里。不要一上來就搞后臺(tái)運(yùn)行否則輸出、日志、狀態(tài)入口都會(huì)變得分散排查起來很被動(dòng)。2. 進(jìn)程運(yùn)行中的狀態(tài)流轉(zhuǎn)你可以在 ps 輸出里看到一切2.1 R、S、D、T、Z 這幾個(gè)狀態(tài)分別代表什么程序進(jìn)入進(jìn)程后生命周期不會(huì)一直停在“運(yùn)行中”。Linux 會(huì)不停切換進(jìn)程狀態(tài)給每個(gè) CPU 核分配最值得運(yùn)行的任務(wù)。ps 的 STAT 列就是生命周期最直觀的窗口。R運(yùn)行態(tài)或者可運(yùn)行態(tài)表示進(jìn)程在 CPU 執(zhí)行隊(duì)列里隨時(shí)可能被調(diào)度。S可中斷睡眠態(tài)表示進(jìn)程在等待某個(gè)事件或資源比如等待網(wǎng)絡(luò)包、等待磁盤 I/O、等待用戶輸入、sleep 中。D不可中斷睡眠態(tài)通常是等待內(nèi)核態(tài) I/O 完成比如磁盤寫回。這種狀態(tài)不能隨便用信號(hào)殺掉因?yàn)閮?nèi)核正在操作某個(gè)關(guān)鍵資源。T停止態(tài)一般是收到了 SIGSTOP、SIGTSTP比如終端里按 CtrlZ進(jìn)程會(huì)被暫停。Z僵尸態(tài)進(jìn)程已經(jīng)退出但父進(jìn)程還沒有調(diào)用 wait 獲取退出狀態(tài)。如果你看到某個(gè)進(jìn)程長時(shí)間停在 S 狀態(tài)不代表它出問題它可能只是在等一個(gè)合適的喚醒條件。如果大量進(jìn)程長時(shí)間停在 D 狀態(tài)就要重點(diǎn)關(guān)注磁盤、NFS、I/O 子系統(tǒng)是否異常了。很多人一看到 RUNNING 就覺得資源占用高其實(shí)嚴(yán)格說 R 隊(duì)列長度才能反映 CPU 競爭情況。2.2 為什么進(jìn)程會(huì)從運(yùn)行態(tài)切到睡眠態(tài)進(jìn)程不會(huì)永遠(yuǎn)占用 CPU。當(dāng)它執(zhí)行到 read、recv、sleep、等待鎖、等待條件變量時(shí)內(nèi)核會(huì)把它放到對應(yīng)資源的等待隊(duì)列里CPU 就不調(diào)度它了。這就是從 R 到 S 的過程。等到數(shù)據(jù)包到達(dá)、超時(shí)時(shí)間到、鎖被釋放時(shí)內(nèi)核會(huì)給這個(gè)進(jìn)程一個(gè)喚醒信號(hào)把它重新放回運(yùn)行隊(duì)列狀態(tài)又變回 R。這個(gè)來回切換是生命周期里占比最大的一段。如果進(jìn)程在生命周期內(nèi)長時(shí)間不切換狀態(tài)反而不正常。我在排查“進(jìn)程卡住”時(shí)第一動(dòng)作不是看 CPU 占用而是用 ps 確認(rèn)它到底停在哪個(gè)狀態(tài)。如果停在 S再用 strace 掛上去看它卡在哪個(gè)系統(tǒng)調(diào)用順藤摸瓜找到阻塞點(diǎn)。2.3 線程生命周期與進(jìn)程生命周期有什么關(guān)系線程是進(jìn)程內(nèi)部的執(zhí)行流。同一個(gè)進(jìn)程的多個(gè)線程共享地址空間、堆、文件描述符但各自有獨(dú)立的棧和寄存器上下文。線程生命周期不會(huì)長于進(jìn)程生命周期進(jìn)程一旦退出所有線程都會(huì)被內(nèi)核回收。但線程的狀態(tài)切換和進(jìn)程類似也有運(yùn)行、睡眠、停止等狀態(tài)。top 里按 H 鍵或者執(zhí)行 top -H -p PID可以看到某個(gè)進(jìn)程內(nèi)部各個(gè)線程的狀態(tài)。Java 進(jìn)程尤其明顯一個(gè) JVM 進(jìn)程里往往有主線程、GC 線程、業(yè)務(wù)線程、日志線程任何一個(gè)長時(shí)間卡住都可能拖累整個(gè)進(jìn)程。如果你管理過 Java 應(yīng)用應(yīng)該見過 jstack 輸出的線程堆棧。jstack 列出的狀態(tài)其實(shí)是 JVM 層面的線程生命周期跟操作系統(tǒng)線程狀態(tài)不完全等同但兩者有對應(yīng)關(guān)系。遇到進(jìn)程整體不退出、連接數(shù)異常時(shí)先分清是線程阻塞還是進(jìn)程狀態(tài)問題能少走很多彎路。3. 進(jìn)程結(jié)束不是瞬間完成的退出碼、信號(hào)與僵尸進(jìn)程3.1 程序正常退出時(shí)發(fā)生了什么程序正常結(jié)束有三種常見形式main 函數(shù)里 return 0直接返回。調(diào)用 exit(0) 結(jié)束當(dāng)前進(jìn)程。調(diào)用 _exit(0) 或 _Exit(0) 直接進(jìn)入內(nèi)核退出邏輯。exit 和 return 不一樣。exit 會(huì)先刷新標(biāo)準(zhǔn) I/O 緩沖區(qū)執(zhí)行 atexit 注冊的函數(shù)然后才進(jìn)入內(nèi)核退出流程。_exit 不會(huì)刷新緩沖也不執(zhí)行清理函數(shù)直接退出。所以在寫后端程序時(shí)如果要清理某個(gè)臨時(shí)文件、寫入日志、釋放自定義鎖盡量不要在 main 的 return 里依賴 _exit。正確做法是先用 exit 或正常 return 讓清理邏輯走完。父進(jìn)程拿到子進(jìn)程退出狀態(tài)后可以用 shell 的方式看./demo echo $?0 通常表示成功非 0 表示失敗。$? 就是前一個(gè)命令的生命周期“結(jié)賬單”。3.2 被信號(hào)終止和正常退出有什么不同進(jìn)程生命周期并不總是自然走完。CtrlC、kill 命令、系統(tǒng) OOM Killer、服務(wù)管理工具停止服務(wù)本質(zhì)上都是發(fā)送信號(hào)。SIGINT終端 CtrlC 產(chǎn)生默認(rèn)終止進(jìn)程可捕獲。SIGTERMkill 默認(rèn)發(fā)送請求進(jìn)程優(yōu)雅退出可捕獲。SIGKILLkill -9 發(fā)送不可捕獲、不可忽略、不可阻塞進(jìn)程被內(nèi)核強(qiáng)制終止。SIGHUP終端關(guān)閉或掛斷時(shí)產(chǎn)生默認(rèn)終止進(jìn)程。SIGSTOP暫停進(jìn)程不可捕獲。被信號(hào)終止時(shí)進(jìn)程生命周期的結(jié)果表現(xiàn)為“被信號(hào) N 殺死”。在 wait 狀態(tài)里父進(jìn)程能觀察到子進(jìn)程是因?yàn)槟膫€(gè)信號(hào)結(jié)束的shell 里可以這樣看./demo echo $?常見輸出是 137也就是 128 9表示進(jìn)程被 SIGKILL 殺死。這個(gè)規(guī)律在排查“進(jìn)程突然沒了”時(shí)很好用。不要一開始就 kill -9。先試 SIGTERM讓程序有機(jī)會(huì)保存狀態(tài)、清理資源。反復(fù)用 SIGKILL 會(huì)導(dǎo)致臨時(shí)文件堆積、數(shù)據(jù)庫連接泄漏、心跳消息沒發(fā)完生命周期收尾收不干凈。3.3 僵尸進(jìn)程是怎么產(chǎn)生的為什么必須回收子進(jìn)程退出后內(nèi)核并不會(huì)把它的所有信息都清掉。它要保留最少量的記錄比如 PID、退出狀態(tài)、資源使用量直到父進(jìn)程調(diào)用 wait/waitpid 來讀取。如果父進(jìn)程沒有調(diào)用 wait子進(jìn)程就會(huì)停留在 Z 狀態(tài)也就是僵尸進(jìn)程。僵尸進(jìn)程不占 CPU也不占實(shí)際內(nèi)存但它仍然占著一個(gè) PID且不會(huì)被調(diào)度。如果父進(jìn)程從不回收子進(jìn)程而子進(jìn)程又不斷產(chǎn)生PID 資源會(huì)被耗盡最終可能出現(xiàn) fork 失敗。更麻煩的是很多人看到 Z 狀態(tài)會(huì)以為進(jìn)程還在運(yùn)行實(shí)際它已經(jīng)退出只是“身份證”還沒注銷。所以判斷生命周期是否真的結(jié)束不能只看進(jìn)程在不在還要看它是不是 Z 狀態(tài)。3.4 用 wait/waitpid 回收子進(jìn)程父進(jìn)程想要正確回收子進(jìn)程就必須在合適時(shí)機(jī)調(diào)用 wait 或 waitpid。wait 會(huì)阻塞等待任意一個(gè)子進(jìn)程退出waitpid 可以指定等待某個(gè) PID還支持 WNOHANG 選項(xiàng)表示沒有子進(jìn)程退出時(shí)立即返回。這在多進(jìn)程服務(wù)里尤其重要。比如一個(gè)網(wǎng)絡(luò)服務(wù)用 fork 給每個(gè)連接創(chuàng)建子進(jìn)程如果主進(jìn)程只管 fork不管 wait一段時(shí)間后系統(tǒng)里就會(huì)出現(xiàn)大量僵尸進(jìn)程。常見的管理方式是在主進(jìn)程的循環(huán)里配合 SIGCHLD 信號(hào)處理子進(jìn)程退出時(shí)內(nèi)核給父進(jìn)程發(fā) SIGCHLD父進(jìn)程在信號(hào)處理函數(shù)里調(diào)用 waitpid配合 WNOHANG 把已經(jīng)退出的子進(jìn)程全部回收。這樣既能及時(shí)收尾又不會(huì)阻塞主流程。如果是一個(gè)簡單的父子進(jìn)程示例直接 wait(NULL) 就夠了。生產(chǎn)環(huán)境里的進(jìn)程池、任務(wù)隊(duì)列則需要更精細(xì)的回收策略。4. 守護(hù)進(jìn)程與服務(wù)管理生命周期被“外部化”的程序4.1 守護(hù)進(jìn)程和普通前臺(tái)進(jìn)程有什么差別普通前臺(tái)進(jìn)程跟終端綁定。終端一旦關(guān)閉內(nèi)核會(huì)給進(jìn)程發(fā)送 SIGHUP很多進(jìn)程就會(huì)退出。守護(hù)進(jìn)程要做的是徹底脫離這個(gè)生命周期牽制。守護(hù)進(jìn)程一般會(huì)調(diào)用 fork 一次或兩次讓自身不再作為會(huì)話首進(jìn)程。調(diào)用 setsid 創(chuàng)建新的會(huì)話脫離原終端控制。把工作目錄改成 /避免占用某個(gè)掛載點(diǎn)導(dǎo)致卸載失敗。關(guān)閉標(biāo)準(zhǔn)輸入輸出、錯(cuò)誤輸出或者把它們重定向到日志文件。屏蔽或處理 SIGHUP 信號(hào)防止終端掛斷誤殺進(jìn)程。自己手動(dòng)寫守護(hù)進(jìn)程時(shí)這些步驟容易踩坑。比如忘記 setsid進(jìn)程可能還掛著原終端忘記重定向標(biāo)準(zhǔn)輸入輸出某些庫讀終端或?qū)懡K端時(shí)會(huì)出問題。更穩(wěn)妥的做法是寫普通程序再交給 systemd 管理由 systemd 負(fù)責(zé)守護(hù)化和重啟。4.2 systemd 如何接管服務(wù)生命周期現(xiàn)代 Linux 發(fā)行版基本都用 systemd 管理服務(wù)。服務(wù)不再需要自己處理守護(hù)化systemd 會(huì)直接創(chuàng)建進(jìn)程、管理狀態(tài)、記錄日志并在進(jìn)程退出后根據(jù)策略決定是否重啟。一個(gè)最小服務(wù)單元文件類似[Unit] DescriptionDemo Service [Service] Typesimple ExecStart/opt/demo/demo_server Restarton-failure RestartSec3 [Install] WantedBymulti-user.target寫好后執(zhí)行sudo systemctl daemon-reload sudo systemctl start demo_server sudo systemctl status demo_server這個(gè)模型把生命周期從程序內(nèi)部移到了外部。程序只需要做好 SIGTERM 的優(yōu)雅退出處理運(yùn)行、退出、失敗重啟的判斷全部交給 systemd。服務(wù)被 kill 掉后systemd 發(fā)現(xiàn)進(jìn)程退出再按 Restart 策略拉起新進(jìn)程。系統(tǒng)里很多服務(wù)都是這么管理的。MySQL、nginx、Redis 這些程序在 Linux 上之所以推薦用 systemd 啟停不是因?yàn)樗芴嵘阅芏巧芷诟?guī)范崩潰恢復(fù)、開機(jī)自啟、日志收集都能統(tǒng)一處理。4.3 進(jìn)程池和任務(wù)隊(duì)列帶來的生命周期問題熱詞里有“進(jìn)程池”它和生命周期關(guān)系很緊。進(jìn)程池的本質(zhì)是預(yù)先創(chuàng)建一批工作進(jìn)程重復(fù)處理任務(wù)而不是每個(gè)任務(wù)都現(xiàn) fork 一個(gè)進(jìn)程。這樣可以省掉反復(fù)創(chuàng)建、銷毀進(jìn)程的開銷提高吞吐。但進(jìn)程池也有生命周期管理問題工作進(jìn)程在處理任務(wù)時(shí)退出池管理器要能發(fā)現(xiàn)并補(bǔ)充新進(jìn)程。任務(wù)進(jìn)來時(shí)如何把工作量均勻分給空閑進(jìn)程。工作進(jìn)程僵死時(shí)是否會(huì)自動(dòng)重新拉起。進(jìn)程退出時(shí)任務(wù)隊(duì)列里的數(shù)據(jù)會(huì)不會(huì)丟。設(shè)計(jì)這類系統(tǒng)時(shí)我的建議是給每個(gè)工作進(jìn)程加一個(gè)心跳或進(jìn)程狀態(tài)標(biāo)記并在主流程里維護(hù)一份任務(wù)分配表。工作進(jìn)程結(jié)束后由池管理器統(tǒng)一回收和重啟而不是讓每個(gè)任務(wù)自己處理進(jìn)程退出。這一類場景里“進(jìn)程生命周期”已經(jīng)不只是單條進(jìn)程自己的事而是一個(gè)管理單元里多個(gè)進(jìn)程互相配合、互相回收的問題。排查時(shí)看 ps 只能知道單個(gè)狀態(tài)真正要看的還有父進(jìn)程是誰、誰在負(fù)責(zé)回收、任務(wù)是否重新入隊(duì)。5. 用命令觀察程序的完整生命周期從出生到回收的排查鏈路5.1 ps 和 top看當(dāng)前狀態(tài)想觀察一個(gè)程序的生命周期第一步就是看進(jìn)程列表。常用命令不多但每個(gè)都有側(cè)重點(diǎn)ps -ef ps aux ps -ef --forest pgrep -a demo_server top -p PID pidstat -p PID 1ps -ef 適合看 PID、PPID 和命令完整參數(shù)ps aux 會(huì)多出 CPU、內(nèi)存、狀態(tài) STATps -ef --forest 可以輸出進(jìn)程樹一眼看出誰是誰的子進(jìn)程pgrep 適合按名字找 PID。top 是實(shí)時(shí)視圖適合觀察進(jìn)程狀態(tài)變化和 CPU 使用波動(dòng)。pidstat 可以按固定間隔輸出指定進(jìn)程的 CPU、內(nèi)存、線程數(shù)量方便記錄一段時(shí)間內(nèi)的生命周期數(shù)據(jù)。判斷進(jìn)程處于哪個(gè)階段時(shí)我一般先看 STAT 列。R 表示正在或等待調(diào)度S 表示等待某類事件D 表示內(nèi)核態(tài) I/O 等待T 表示暫停Z 表示僵尸。這一列基本能告訴你生命周期走到了哪一步。5.2 strace從系統(tǒng)調(diào)用層面跟蹤生命周期事件ps 只能看到切片strace 能看到過程。比如跟蹤一個(gè)程序的 fork、exec、exit 系統(tǒng)調(diào)用可以用strace -f -e traceprocess ./demo_server-f 表示同時(shí)跟蹤子進(jìn)程traceprocess 表示只看進(jìn)程相關(guān)的系統(tǒng)調(diào)用包括 fork、clone、execve、exit_group、wait4 等。輸出里能看到子進(jìn)程什么時(shí)候創(chuàng)建、什么時(shí)候執(zhí)行新程序、什么時(shí)候退出、父進(jìn)程什么時(shí)候回收。生產(chǎn)環(huán)境不建議隨便對繁忙服務(wù)用 strace它會(huì)明顯拖慢性能。更穩(wěn)妥的方式是先用 strace -p PID 短暫掛幾秒采集到卡住時(shí)的系統(tǒng)調(diào)用棧再立即分離。很多“進(jìn)程狀態(tài)異常”的問題靠這一步就能定位到是 read、write、recvfrom、poll、nanosleep 中的哪一個(gè)。5.3 讀 /proc 目錄直接看進(jìn)程自己的“檔案”Linux 的 /proc 文件系統(tǒng)會(huì)把每個(gè)進(jìn)程的信息暴露成一個(gè)目錄。目錄名就是 PID里面有很多關(guān)鍵文件。常用的包括/proc/PID/status進(jìn)程狀態(tài)、PPID、線程數(shù)。/proc/PID/cmdline啟動(dòng)命令。/proc/PID/fd已打開的文件描述符。/proc/PID/stat內(nèi)核統(tǒng)計(jì)信息。比如快速看某個(gè)進(jìn)程的實(shí)時(shí)狀態(tài)cat /proc/1234/status輸出里 State 一欄就是生命周期狀態(tài)PPid 表示父進(jìn)程 PIDThreads 表示線程數(shù)量。如果發(fā)現(xiàn)進(jìn)程是 zombiestate 會(huì)明確寫成 Z。如果想知道它打開了哪些文件可以 ls 一下 /proc/1234/fd這在排查文件占用、日志刪除、連接斷開時(shí)非常有用。5.4 一個(gè)可靠的排查順序當(dāng)你發(fā)現(xiàn)某個(gè) Linux 程序生命周期異常時(shí)我推薦的順序是先確認(rèn)進(jìn)程還在不在ps -ef | grep 程序名 或者 pgrep -a 程序名。再看狀態(tài)ps -o pid,ppid,stat,cmd -p PID??锤高M(jìn)程是誰如果 PPID 是 1說明它已經(jīng)被 systemd 收養(yǎng)成孤兒進(jìn)程了。如果是 Z 狀態(tài)找它的父進(jìn)程為什么不回收。是父進(jìn)程自己卡住了還是沒寫 wait 邏輯。如果是 S 狀態(tài)且一直不動(dòng)用 strace 掛上去看阻塞在哪個(gè)系統(tǒng)調(diào)用。最后看系統(tǒng)日志dmesg 或 journalctl -u 服務(wù)名確認(rèn)有沒有被 OOM Killer 殺死、有沒有 crash report。這套順序可以避免很多誤判。比如進(jìn)程看起來“沒反應(yīng)”但實(shí)際可能是正在等待網(wǎng)絡(luò)連接進(jìn)程看起來“消失了”但可能只是后臺(tái)運(yùn)行、輸出被重定向了進(jìn)程看起來“還在”但可能是僵尸記錄沒清掉。6. 生命周期相關(guān)的常見問題與排查清單6.1 程序啟動(dòng)了但沒有輸出可能是生命周期和終端綁定“脫鉤”了常見場景在終端執(zhí)行 ./demo_server程序起來后沒有任何輸出終端也能繼續(xù)敲命令。這時(shí)可能程序已經(jīng)進(jìn)入后臺(tái)或者啟動(dòng)過程被重定向到了文件。先用 ps 確認(rèn)進(jìn)程是否真的存在ps -ef | grep demo_server pgrep -a demo_server進(jìn)程存在但沒有輸出到終端要看 stdout 是否被重定向。用 ls -l /proc/PID/fd/1 能看到進(jìn)程的標(biāo)準(zhǔn)輸出指向哪里。如果指向某個(gè)日志文件說明輸出被重定向了不是程序卡死。還有一種情況是程序有緩沖區(qū)printf 之后沒有立即 flush。如果進(jìn)程被 SIGKILL 殺掉緩沖區(qū)的數(shù)據(jù)就丟了。這也是生命周期收尾的一部分正常退出時(shí) exit 會(huì)刷新緩沖強(qiáng)殺則不會(huì)。6.2 進(jìn)程不退出先檢查是不是子進(jìn)程沒有回收完服務(wù)進(jìn)程收到停止命令后一直不退常見原因不是主進(jìn)程不想退而是它有子進(jìn)程或后臺(tái)線程沒有結(jié)束。排查步驟用 ps -ef --forest 看進(jìn)程樹確認(rèn)有沒有子進(jìn)程還活著。用 top -H -p PID 看線程狀態(tài)。用 strace -p PID 看到底卡在什么系統(tǒng)調(diào)用上。如果是網(wǎng)絡(luò)服務(wù)檢查監(jiān)聽 socket 是否還有 ESTABLISHED 連接未關(guān)閉。如果是 Java 服務(wù)用 jstack 看線程整體狀態(tài)是否有鎖等待。不要因?yàn)橹鬟M(jìn)程不退出就立刻 kill -9。先弄清楚它為什么不愿意結(jié)束可能是清理邏輯在做最后的工作可能是在等待某個(gè)遠(yuǎn)端響應(yīng)超時(shí)正確地給 SIGTERM 并等待一段時(shí)間通常能保留更多有效信息。6.3 信號(hào)導(dǎo)致生命周期異常終止時(shí)怎么判斷誰干的進(jìn)程被信號(hào)終止后從系統(tǒng)層面看沒有“程序員視角”的異常棧只能靠線索反推。優(yōu)先看這些dmesg 或 /var/log/messages 里有沒有 OOM Killer 記錄常見表現(xiàn)是進(jìn)程被 SIGKILL。journalctl -u 服務(wù)名 里有沒有服務(wù)管理器記錄的退出狀態(tài)。shell 里 echo $? 如果輸出 137說明被 SIGKILL143 是 12815說明被 SIGTERM。如果是自己寫的腳本或守護(hù)進(jìn)程檢查是否有 kill 命令誤匹配到了進(jìn)程名。我之前踩過一個(gè)坑腳本里用 pkill -f demo 想停掉舊版本結(jié)果把同名的新版本也殺了。原因就是 -f 匹配到了命令行里包含 demo 字符串的所有進(jìn)程包括剛拉起來的新進(jìn)程。生命周期里最怕這種“關(guān)聯(lián)誤殺”排查信號(hào)來源時(shí)要特別注意。6.4 一張快速定位狀態(tài)表觀察結(jié)果可能原因優(yōu)先處理方式STAT 為 R正在運(yùn)行或等待 CPU結(jié)合 CPU 占用判斷是否正常STAT 為 S等待事件或資源用 strace 看阻塞點(diǎn)STAT 為 D等待內(nèi)核 I/O 完成檢查磁盤、NFS、存儲(chǔ)STAT 為 T被 SIGSTOP 或 CtrlZ 暫停用 kill -SIGCONT 恢復(fù)STAT 為 Z子進(jìn)程退出父進(jìn)程未回收檢查父進(jìn)程 wait 邏輯PPID 變成 1原父進(jìn)程已退出進(jìn)程被收養(yǎng)確認(rèn)是否期望的后臺(tái)服務(wù)退出碼 137被 SIGKILL 殺死查 OOM、日志、外部 kill退出碼 143被 SIGTERM 殺死查服務(wù)停止邏輯和信號(hào)處理6.5 真正理解生命周期能解決什么問題生命周期不是一個(gè)需要背的概念它是一根把“程序文件、進(jìn)程、終端、信號(hào)、父進(jìn)程、系統(tǒng)服務(wù)”串起來的線。遇到問題時(shí)從這條線上定位大多數(shù) Linux 進(jìn)程異常都能找到入口。如果只是學(xué)習(xí)階段先把 ps 的 STAT 列、fork/exec 創(chuàng)建流程、exit/wait 回收流程看明白就夠用了。如果要長期維護(hù)服務(wù)就把 systemd、守護(hù)進(jìn)程、優(yōu)雅退出、進(jìn)程池回收一起納入考慮你會(huì)發(fā)現(xiàn)很多“莫名其妙”的問題其實(shí)都發(fā)生在生命周期的某個(gè)特定階段。我個(gè)人更建議先拿一個(gè)簡單的 demo 程序做實(shí)驗(yàn)前臺(tái)跑、加 跑、用 nohup 跑、放進(jìn) systemd 跑每一步都用 ps 和 strace 觀察一次。跑過一輪之后比看十篇理論文章都有用。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲色图一区二区三区| 热久久无毒不卡| 三及片网站| 色色色色电影网| 91天天综合| 黄色十八禁网站| 2019久久久久久久久福利| 精品国产乱子伦一区二区三区,精品一| 精品亚洲黄色片 国产精品导航一区二区| 亚洲999综合| 国产丝袜视频| 亚欧无码在线| 一级黄色视频网| 伊人九九九| 色综合大香蕉| 天天影视综合色| 伊人青青一区成人视频在线观看区 | 黄色不卡视频| 中文字幕视频一区视频二区| 看一级黄色视频| 日B操| 亚州五月| 欧美综合色综合| 中文字幕加勒比海高清无码免费视频| 亚洲国产综合久久天堂| 四虎影院成年人片| 精品国产网站| 少妇一级婬片免费放一级a性色.| 被窝影院午夜看片无码| 欧美激情专区| 国产精品久久久久9999小说| 无码九九| 亚洲高清91| 欧美亚洲高清不卡| 韩日男人的天堂| 色色色综合网| 日本超碰在线国产一区| 免费一级欧美片片线观看| 干日本人少妇午夜寂寞影院| 亚洲自拍天堂| 亚洲91亚洲| 99热在线观看| 久久极品伊人| 97 国产一区| 激情五月天婷婷| 黑人无码一区二区| 亚洲天堂,男人| 欧美国产伊人久久久久| wwwxxx日本爽| 啪啪啪东京| 东北熟女91| 大鸡巴久久| 天天干1区2区在线| 国产精品人妻无码久久久互動交流 | 久久色情| 性爱久久| 就去色综合| 久久久久人| 中文字幕精品三级久久久| 欧美男人亚洲天堂| 激情另类激情| 蜜臀一区二区三区在线| 午夜福利精品| www.99热| 91九色精品熟女内射| 四虎影视永久在线免费| 午夜福利免费精品视频| 久久久98网站免费视频| 亚洲精品蜜桃久久久一区二区三区| 骚逼高潮久久精品| 亚洲综合888| 91强在线播放| 超碰色图| 精品国产91av一区二区三区 | 欧美日韩啪啪电影| 亚洲黄色视频在线观看视频| 蜜乳AV一区二区三区四| 人妻久久久| 美女性91| 国产精品 久久久精品一牛| 黄色人人| 色婷婷综合视频| 色噜噜国产在线| 久久久久久久 九九九九九九九| 欧美在线伊人色| 欧美综合第一| 疯操AV| 精品人妻一区二区三区视频在线| 中文字幕日韩人妻视频| 北条麻妃99精品青青久久| 大香蕉宅男伊人| 国产久9| 久久超碰网| 中文字幕日韩电影人妻| 国产精品永久免费10000| 欧美激情一区| 免费观看的av| 99re综合伊人| 久久欲| 99综合| 色在线综合| 黄色一级视| 玖玖蜜臀资源网| 中文字幕免费看| 欧美人体性爱互联网第一页婷婷日本| 亚洲日本激情| 国产天美欧美| 九九综合九九综合| 七久久久| 青青草原av| 精品视频一区二区| 色综合91| 亚洲天堂资源网| 手机在线看片免费人成视频| 成人情色综合网| 亚州熟女乱伦| 日韩无码嘿咻黑热久| 人妻 制服 日韩 中文 在线| 都市久久精品激情亚洲| 欧美性战999| 男人天堂2017| 五月婷视频| 狠狠干妹子| 久久精品人人做人人看| 久久99综合| 亚洲一区二区三区欧美日韩| 日韩图区| 亚洲国产综合图区中文字幕 | 精品视频专区| 欧美国产精品久久九九| 九九玖玖精品| 富女玩鸭子一级毛片| 麻豆60秒| 亚州熟女乱伦| 婷婷日韩一区二区三区中文字幕在线| 久久专区| 色色色综合网| 波多野结衣被操50分钟免费视频| 在线观看视频91| 日韩欧美成人性爱在线| 午夜呻吟欧美| www.久久制服糖| 欧美色图亚洲色图成人在在线| 久久精品无码熟妇一区二区三区视频导航 | 免费亚洲国产精品久久一区| 精品一区二区三区国产| 欧美国产视频| 婷婷五月成人| 明星性猛交ⅹxxx乱大交| 麻豆天美国美国产| 26UUU欧美日本| 欧日韩一二三f区| 国产精品九9| 亚洲一区日韩精品中文字幕| 国模不卡一本二本三电影| 天天操人人操狠狠插| 蜜桃色色网站视频三区| 色婷婷九月天天综合| www男人天堂| 国产精品视频精品一二| 欧美日韩久久精品爱爱| 97亚洲资源| 日本丝袜人妻内射| 无码粉嫩白虎一线天b区| 一区二区三区四区色图| 成人一道本免费视频| 丝袜亚洲91| 92人人操人人| 九九九九AV| 后入内射蜜桃臀| 日本性爰一道本| 亚洲熟女乱色一区二区三区久久久| 国产精品无码在线| 精品国产三级av韩国在线| 99色婷婷中文字幕乱色| 精品国产人成在线| 久久精品久| 女人高潮抽搐喷水视频网站| se吧提供91精品国产91久久久久久 | 青女在线| 99热综合| 91强热人妻| 欧美天天综合网| 亚洲高清少妇| 超碰成人人人爽人人爽| 欧美性爱网97| 青青草在线视频人人想人人上| 老熟女搡BBBB搡BBBB视频| 噜噜噜亚洲精| 97久久免费| 伊人久久88国产女| 婬女免费一二三区A片| 91亚洲欧美综合高清在线| 欧美熟妇乱码在线一区| 996热| 欧美日韩一区二区三区四区蜜桃| 男人的天堂 在线一区| 色九九九综合| 日韩熟女精品无码专区一区二区| 五月大香蕉| 狠狠色噜噜狠狠狠狠狠色综合久久| 起碰97| 色欲久久99精品久久| 国产熟女| 国产视频一区二区三区久久亚洲天堂| blacked精品一区国产| 偷看洗澡一二三区美女| 91女神在线视频| 欧美日韩性爱操大逼| 妇女性内射冈站HDWWWCOM| 国产黄色视频久久| 国产精品电影推荐| 国产人妻精品久久久一区二区三区 | 偷拍视频青青草在线视频| 91免费看一区二区三区| 日韩无码三级影院| 啊啊啊好爽快点啊啊啊嗯嗯| 一本正道久久熟女| 色婷婷亚洲婷婷| 欧美少妇性乱| 青青三级视频| 热的中文 热的有码 热的国产| 色色色综合网| 亚洲丝袜二区| 中文字幕日韩综合| 黄色污污污污污污网站| 国产成人网址| 国产丝袜视频| 精品一区99999| 亚洲和欧美裸体美女双飞视频| 久久精品72| 嗯啊不要在线观看嗯啊| 欧美精品另类人妖xxxx| 日韩97视频!在线| 伊人久久艹| 激情av| 成年女人黄网站| 啊啊啊啊,啊啊好多水| 热思思免费视频| 北条麻妃99精品青青久久| 国产色精品午夜大片| 欧美亚洲性爱一区二区| 神马久久啊啊| 中文字幕国产| 九九探花视频在线观看| 老熟妇一区二区三区…| 日韩亚洲中文字幕在线| 国模久久在线| 久久69| 另类亚洲一区二区三区| 少妇人妻好深太紧了vr91| 成人亚欧免费视频| 欧美天天插| 内射日韩大臀美女| 97干色| 欧美综合色图网| 欧美91在线| 日韩人妻制服丝袜av| 91GD.COM| 伊人久久大香线蕉亚洲五月天,青草青草欧美日本一区二区,欧美日产欧美日产国产 | 国产精品对白内射| 97精品视频网站| 亚洲精品国产熟女久久久| 国产又长又大又粗的视频| 精品久| 亚洲国产精品9999在线观看| 中日无幕一二三四区| 久操大香蕉超碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰 | 伊人欧美大香蕉视频| 91成人无码| 99精品在线播放| 欧美熟妇人体| 久草免费在线视频| 成人三一级一片aaa| 亚洲操操操| 大香蕉一人在线| 蜜臀99久久国产| 日韩精品国产一区二区| 亚洲精品色| 99草精| 欧美偷拍区| 老熟女91av| 天天性射网| 日韩av不卡在线看| 色婷婷丁香五月| 麻豆精品A片免费观看| 日本一久是| 26uuu最新| 操久久久久久| 男人天堂2019| 婷婷久久综合久| 啊啊啊啊好疼视频| 亚洲精品精品一区二区| 亚洲黄a三级三级三级看三级| 人人操人人操人妻人| 岛国黄| 日韩美脚一区二区网站| 亚洲欧美不卡线| 日韩欧美经典在线观看| 蜜臀一二三区| 蜜乳av首页| 九色 蝌蚪 熟女自| 99久久婷婷国产综合| 99热国产精品| 极品色www影院| 蜜臀av中字字幕网站| 欧美色图 色综合图| 黄色av一区二区在线| 99日免费视频中文字幕| 国产又粗又长又爽又色| 另类图片亚洲加勒比另类图片亚洲加勒比另类图片亚洲加勒比 | 国产三级在线现体验区| 嗯阿好爽好紧| 色婷婷六月丁香七月婷婷| 精品熟女一区=区三区| 日日骚AV| 亚洲AV无码久久精品蜜桃小说| 日韩精品字幕| 欧美 亚洲 另类 综合| 性暴力欧美猛交在线直播| 五月天色电影| 温婉少妇玩3p| 综合少妇网| 91美女中出| 91综合在线| 青青草久久一区网| 国产精品久久99日日| 欧美在线综合| 日本91白丝| 午夜啪| 亚洲永久AV无码精品秋霞| 欧美一级久久久久久久大片动画| 色原狠狠天天天| 激情综合五月| 久操91视频| 大奶啊啊好爽| 国产真乱mangent| 国产欧美美女免费观看视频| 人妻啪| 91 亚洲情侣偷拍 久久| 人妻av在线| 亚洲97综| 中文熟女五十乱码在线| 日本黄 R色 成 人网站| 免费αV在线视频| 新精精品久久精品| 久热免费视频| 激情网色| 搡老熟女免费视频| 亚洲玖玖爱| 久久久9品一区二区三区| 亚洲成人av电影在线| 欧美中日韩XXXX| 欧美视频第二页| 成片免费播放| 家庭乱伦国产| 欧美情色亚洲| 91美女視頻| 91新在线欧美| 色色热| 久久久无码av精| 91春色| 国语精品av| 97在线观看免费视频l| 天天弄天天操| 精品999999| 爱丝福利| 久操操| 曰韩精品九九无码| 综合一区中亚洲国产成人综合精品| 免费a v| 久久风骚城市人| 亚洲色图欧美一区二区不卡| 超碰在线日韩一区| 熟女熟妇伦久久影院毛片一区二区 | 亚洲一区日韩精品| 激情文学小说一区二区| 伊人网在线视频| 精品国产自在在线99| 久久久久婷婷| 国产伦精品一区二区三区在线观 | 国产传媒美日韩av| 一区二区三区 丝袜 高跟 美腿| 免费看黄视频亚洲网站| 亚洲欧美一区二区网址| 超碰午夜| 国产色图乱伦| 国产在线综合福利网站| 国产免费黄色一级大片| 午夜男女爽爽大片免费观看| 操逼操2| 搡老女人老91二区| 97在线看| 小泽玛利亚一二三| 久久久人体| 国产精品色色| 久操B网| 日韩在线AB| 麻豆精品久久久久久久| 久久婷婷色综合一区二区三区| 97WW精品| 大香蕉99热| 国产精品视频播放| 青青草玖玖爱| 欧美色老汉| 九九九九九九九九九国产精品| 可乐操在线| 人妻天堂网| 亚洲麻豆av一区二区| 中文字幕一区二区三区50路| 久久精品国产亚洲AV高清演员表| 日日骚 av| 神马午夜久久久| 欧美性生活内射| 99精品在线| 男人的天堂久久久| 欧美激情性久久久久久| 亚洲女毛多水多21P| 人人干人人操人人..com| 天天插天天插| 欧美97日韩| 色悠久久久av| 欧美 色 亚洲| 亚洲日韩电影| 国产精品成人福利在线| 五月天婷婷综合| 三级片大波波| 欧美第五页| 伊人网免费视频| 久久美女国产| 久99久视频精选| 好屌色综合| 欧美在线电影| 26uuu偷拍亚洲欧洲综合| 一牛一区二区三区久久| 久久香蕉国产线看观看亚洲女人 | 国产高清1234区| 久久亚洲人妻| 亚洲小说视频| 亚洲第2页| 亚洲91少妇| av在线人气| 国产AV天美传媒一区二区三区 | 亚洲男人天堂网站| 日韩操逼HD| 久久性爱免费送| 哈哈操电影AV| 日本欧美不卡| 凸凹视频在线观看| 噜噜噜久久亚洲精品色情| 日韩内| 久久久久久日韩| 中文字幕大片三级狠狠干| 亚洲精品一卡二卡三卡福利视频网站| 四虎精品永久在线观看| 日韩极品无码B| 五月丁香大香蕉| 2019午夜福利视频| 亚洲天堂五月天国产| 日韩精品资源| 国产精品干干干| 天天影视网综合少妇| 九九九九一区| 国产精品直播在线观看直播| 99在线免费视频| 91天美传媒在线| 国产捆绑一区| 深夜操逼网| 一区二区三区麻豆| 久久精品色欧美aⅴ一区二区| 久久婷婷视频| 老熟女阿 国产91| 老司机射| 日本熟妇自慰性高潮一区二区三区| 亚洲啪AⅤ永久无码| 18一区二区三区| 欧美 亚洲 在线| 婷婷尹人大香蕉免费| 欧美三四五区| 亚洲综合色网| 精品天堂| 青青国产精品在线| 亚洲欧美日韩偷拍色图| 九九在线精品| 久久婷婷电影网| 观看免费区二区三区二| 日本一区二区三区午夜观看| 99爱久久视频频| 精品性爱| 欧美韩国你懂得在线 | 内射黑人| 中国少妇XXXX做受| 日韩精品9区| 美國A片| 九九九久| 婷婷中文字幕| 99久久久无码精品国产人| 夜夜国产一区| av绯色| 97人人色| 91天天日| 日本免费中文字幕在线| 午夜在线播放| 欧美日日夜夜| 欧美自拍偷拍综合图片| 东北操逼| 噜噜噜无码AV一级一级久久影院| 超碰偷拍| 久视频在线观看| 日韩激情啪啪啪| 东京热伊久| 国产精品一区人妻精品阁在线| 视频国产欧美在线播放| 成熟熟女国产精品一区二区| 成人av动漫在线观看| 91熟女在线| 黄色乱论网站| 强奸乱伦动态污图免费| 日本不卡五区| 搡老女人老妇女老妇老熟女怎么读| 男人的天堂成人的社区| 另类 日韩 熟女| 婷婷午夜清品久久久久久久性色视频观| 内射日韩大臀美女| 综合欧美激情网| 欧美成人精品欧美一级乱黄一区二… | 六月天婷婷| 欧美色图色综合| 国产精品高潮久久AV| 丁香五月婷婷基地| 亚瑟国产精品久久无码| 久久综合久色欧美综合狠狠| 亚州宗合另类| 国产成人无码久久精品| 特级特黄一级毛片免费| 91亚洲欧美激情| 嗯嗯啊啊的视频| 国产精品白虎| 五月丁香婷婷综合| 亚洲系列第一页| 东京热一区二区中文字幕| 欧美九一精品久久久熟妇| 亚洲综合113页| 久久久久婷婷| 免费一级黄色录像影片| 黄色视频高清无码网站| 欧美美女视频| 国产日韩中文字幕欧美| 操曰本熟女| 嗯~啊~快点 死我视频| www.五月天| 亚州色图欧美| 夫妻四区五区六区| www.色婷婷.com| 欧美顶级黄片AAAAA在线免费看| 日韩精品色呦呦| 不卡中文字幕aⅴ在线| 96一区二区| 蜜桃天美传媒AV一区二区三区| 国产精品密臀网在线观看| 国产免费大片| 日韩一999精品| 日韩无码嘿咻黑热久| 另类图片五月天| 亚洲熟妇极品| 日本超碰在线国产一区| 欧美综合站| 久久香蕉网| 大香蕉av在线| 综合熟女| 特污免视频| oumeisetu综合| 91视频国品一二三区| 久久99网站| 丁香五月成人| 综合色图亚洲欧美| 久九九九九九九热| 粘花网06av视频| 好爽,再快点啊哈嗯嗯嗯嗯| 大稥蕉免费视频这里只有精品| 99这里有精品视频| 精品国产乱码久久久久久久久1| 动漫爆乳3D奶水一区在线观看 | 日韩乱伦AⅤ| 精品中文字幕第一页| 日本性爱欧美性爱| 国产成人精品日本视频| 欧美在线干| 2024人人操人人摸| 亚洲日本男人天堂网| 极品色社| 夜夜综合| 96超碰网| 超碰美国| 国产精品久久久久久久AV大片 | 黄色小说亚洲| 亚洲熟女偷拍在线观看| 五月天精品| 国产精品扒开腿做爽爽爽视频| 激情色图| 偷拍自拍在线视频观看| 成人性爱美曰韩| 亚洲有码 欧美精品| 国产60区。| 蜜桃网熟妇| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区 | 大香蕉中文aV在线| 欧美中字二区| 亚洲色图A| 1人人看人人摸人人操| 在线观看综合精品亚洲| 婷婷色播婷婷| 九九久久国产精品| 爱av免费| 夜夜爽妓女| 丁香激情网| 日本综合久久| 无码人妻精品一区二区中文| 色综合色欲色综合色综合色综合| 欧洲Au麻豆| 久草久日| 26uuu国产亚洲综合| 天天肏夜夜肏| 久久神马影院| 久久69| 人人操人人叉人人插人人| 67914亚洲精品| 久久宗合亚洲| 亚洲日韩精品久久久久一区壹牛| 91呆哥人妻| 亚洲自拍一区夜夜操| 久久高潮妇女视频| 入口操逼网站| 中文字幕丝袜美腿| 亚洲无码一区成人免费午夜| 99久久婷婷丁香| 97爱欧美| av网站国产主播在线| 日本三级大片| 亚洲激情欧美色图 | 国产精品成人午夜福利| 久久精品人人做人人看| 啊好大好舒服| 欧美 亚洲精品首页| 男女性感激情网站| 欧美少妇性乱| 三男一女不戴套的A片| 婷婷久草一区二区三区| 97伦综合| 色情五月婷婷| 欧美激情亚洲| 亚洲欧洲国产综合av| 欧亚性爱在线视频| 少妇毛片久久| 另类天堂| 99精品视频在线观看免费| 国产噜噜噜噜噜久久久久久久久| 97精品一区二区视频| 好淫网一二三视区| 九九碰九九爱97超| 亚洲日韩精品在线播放| 九九九九九九成人| 一区不卡在线观看av| 久草色悠悠在线视频| 84YTCOM性无码| 亚洲熟妇乱女区二区三区| 乱伦强奸区日韩| 亚洲熟女乱色| 大香蕉免费3| 北条麻妃性愛视频| 97人妻免费中文字幕| 天天插天天操天天摸天天射天天看| 超碰九区| 亚洲宅男天堂| 中文字幕后石码四区五区| 久久久久久久一级黄色打同平台| 操b在线观看| 白丝jkav| 女人被添高潮免费视频| 国产精品久久泡妞网站| 99丝袜福利在线播放| A级在线视频| 中文字幕亚洲欧美在线不卡| 国产高清自拍视频| 久久超碰98| 日本日皮视频逼| 嗯嗯啊啊好爽| 玖玖爱一区在线| 91欧美丨精品丨入口| 日本Xx性爱| 欧美操逼录像国产黄色国产| 99热97| 免费黄色片。| av天堂加勒比| 99热亚洲| 婷婷色色五月天福利| 综合 青草 伊久久 影院 综合| 国产精品自拍xxxx| 国产91美女视频| 欧美亚洲丝袜美女电影| 思思在线免费视频| 久久久精品网站| av在线浏览| 男女性感激情网站| 91人人| 亚洲日韩东京热一区| 五月天婷婷基地| 精品九九国产无码| 96精品久久久久久久久| 久草精品一区 | 国产成人99久久亚洲综合| 免费超碰97久久| 99热久| 日韩卡一卡二卡三在线| 97 色综合| 超碰 国产熟女精品一区| 久久久久日本视| 无码国产精品久久久久| 熟女探花啪啪| 777超碰| 91精品久久久久久久久久| 日韩pv中文| 超碰人人色| 夜夜操av亚洲一区二区| 乱色视频中文字幕| 再深点灬舒服灬太大了添视频| 啊啊啊啊啊好多水| 干美女人妻| 日本免费一区二区不卡| 99精品网站| 校园春色制服丝袜中文字亚洲| 亚洲AV无码久久久国产精品 | 亚洲日韩欧美一区二区| 后入 亚洲 美女 射| 亚欧国产无码精品在线| 九九九精品成人免费视频小说| 亚洲熟女综合网| 加勒比无码毛片| 久久99精品九九久久久婷婷| 91在线限制级| 啪啪啪综合网| 99操视频| 91free福利| 国产色呦呦| 秋霞久久亚洲精品成人| 日韩免费大片一级播放| 免费自拍三级综合| 天天射天天操天天干天天吃2018| 屁股久久久久久| 亚洲图片欧美偷拍| 久久蜜桃一区二区| 日韩AV噜噜噜一区二区三区四区| 青青操视频在线| 加勒比人妻综合| 久久久久96| 一区超碰一区| 91黄射| 日韩欧美麻豆| 日韩91网| 欧美少妇人妻| 激情五月综合开心五月| 欧美gv在线观看| 久久婷婷视频| 日韩精品一区二区三区四虎影视| 五月天色综合| 亚洲无套久久嗯嗯| 97国产精品国| 99青青草国产视频| 中文字幕视频免费| 免费视频观看60秒| 我想要 啊 啊 啊| 久久久久久十| 欧美 亚洲 在线| 狠狠操使劲操| 中国一级αV| 国产精品福利视频播放| 福利操逼| 亚洲日韩美国人妻| 天天综合色| 久久久99久9| 偷拍综合亚洲| 亚洲图片 欧美电影| 青草成人免费视频一com| 中日韩免费看男女操逼大全| 伊人久久在线视频观看| 色色五月丁香| 荡小穴在线观看| 九九拍拍精品视频在线播放| 超碰97导航| 日韩成年人性爱视频| 黄色视频60分钟| 亚洲国产欧美中文永久| 禁片 高清 在线观看视频网站| 99操| 91日韩网站| juliaann丝袜| 岛国激情视频在线观看| 丁香激情网| 97色诱| 啊啊啊啊啊好舒服视频| 久久大黄片| 伦伦成年午夜免费视频| 97最新在线播放视频| 诱惑网综合| av网站在线观看了| 五月天综合在线| 嗯嗯啊啊好疼| 国产精选视频| 在线强奷到舒服的无码视频| 天天综合91在线| 欧美91丝袜| 屁股久久久久久| 91足交| 人妻美腿丝袜制服诱惑综合天堂-| 亚春色色| 亚州一区二区成人片免费| 狠狠综合| 欲色啪| 黄色视频高清无码网站| 色色色热| 亚洲男人天堂视频| 无遮挡一级毛片视频免费的| 男人天堂2019亚洲| 99热99re6国产在线播放| 边做饭边操逼逼| 狠狠躁AV| 人妻91少妇| 国产情侣自拍在线播放| 青女在线| 日韩字幕一区| 天天淫人人妻日日色| 天美传媒精品久久视频| 欧美色性爱| 亚洲污污网站| 国产日韩区| 热热热热日日漂亮永久永久国产日| 日韩小电影| 五月婷丁香| 国产精品69久久久久孕妇欧美| 一本色道久久天天射天天干| 九九九久千久久激情蜜桃在线看| 免费a v| 91丨国产丨白浆| 久久69| 亚洲麻豆精品二区三区| 97操B| 日本三级日本三级99| 99色日| 欧美美女啪啪视频| 天天综合-91入口| 天天弄天天操| 精品高潮| 和协无码影院| 懂色av一区二区三区天美传媒| 色色激情五月天| 亚洲黄色电影| 热久久这里只有精品| 久久久555| 熟妇在线视频一区二区| 亚洲不卡三级手机播放| 中文字幕在线观看网页| αⅴ天堂| 熟女露脸激情自拍视频| 国产亚洲国产超碰| 日骚逼视频| 97精品国产97久久久| 亚洲中文字幕在现观看| 开心六月色| av在线观看不卡网站| 无卡一区=区| 日韩成人免费电影| 日本操逼视频免费| 97 国产一区| 顶级丝袜熟女一区二区三区| 日日骚av| baisiav| 大香蕉免费3| 国产精品3| 99性爱| 日韩欧美大力操| 青青草五月份天| 亚洲不卡av在线| 免费观看国产小粉嫩喷水精品午| 中出20p| 97久久超碰国产网站| 中文字幕aⅴ在线视频| 欧美97爱| 精品成人女人久久| 欧美麻豆成人同性GⅤ在线| 99热精品在线观看| 国精品一区二区三| 在线精品福利免费播放| 人妻欧美| 污污污8888| 无码9区| 精品国产丝袜一区二区三区乱码| 91岛国动作片| 久综合国内精品自在自线| av草草在线电影| 国产后入精品| 亚洲精品a人片在线观看视| 射久久| 成人精品欧洲亚洲| 激情四射婷婷四五月天| 韩国一级AAA| 超碰九区| 四虎影视永久在线观看精品免费网站 | 男女性感激情网站| 亚洲久久东京热一二三四五区视频| 麻豆国产尤物AV| 99国产精品视频尤物| 中文字幕精品亚洲熟女| 欧美操逼视频二区| 99精品在线播放| 综合欧美激情网| 在线观看中文字幕| 欧美性性性| 国产诱惑| 伊人久久大香线综合无码| 亚洲久热| 国模无码一区二区三区在线| 综合色区偷拍| 亚洲在钱| 色天使大香蕉| 啊啊啊不要好疼视频| 国产强奸超碰AV| 午夜视频久久久久一区| 少妇久久久久久久| 丝袜美腿丝袜| 精品欧美日韩在线观看| 一区| 久久熟妇五十路一区| 2020视频1区2区3区| 亚洲精品99| 国产在线视视频有精品| 嫩草一区二区在线观看| 国模无码人体一区二区三| 丰满人妻-区二区三区免费看| 91亚洲丝袜| 欧美页片| 夜精品久无码| 绯色AV粉色AV蜜臀AV| 久久e6只有精品| 五十路熟女在线不卡观看一区二区| 日本超碰色精品| 91偷拍欧美亚洲| 黄色乱论网站| 岛国AV一区二区电影| 欧美日韩国产中文超碰| 超碰激情808| 中文伊人大香蕉视频| 免费的av网| 蜜色网色哟哟| 日本熟人妻中文字幕在线|...久久国产精品-国产精品_日本一区二区三区中文字幕 | 久久久亚洲高清不打码| 欧美视频一| 免费精品国偷自产在线在线| 国产91福利小视频在线观看| 亚洲啪啪综合?v一区综合精品区| 国产精品网址| 少妇熟女1区2区3区| 日韩免费三级黄片电影| 亚洲97久久精品亚洲| 午夜偷拍久久熟女| 色波多| 午夜福利1区2区3区| 蜜乳成人AV| 久久尹人大香焦视| 99热这里都是精品| 国产老女人久久毛| 日韩熟女三十乱伦| 国产一级高跟丝袜| 日本一级二级三级网站| 超碰人人妻| 亚洲天天操| 在线播放免费av福利片| 二男一女成人A片| 亚欧国产无码精品在线| 婷婷亚洲综合| 偷窥自拍亚洲色图| 97视频620| 欧美在线综合| 先锋女优在线观看视频| 国产三级中文字幕粉嫩| 午夜精品久久一区二区| 岛国免费黄色网址| 插欧洲美女欧美精品| 欧美色五月| 丝袜综合| 欧美性少妇| 在线 欧美 亚洲| 亚洲加勒比| 日本高清_区二区三区| www.超碰在线| 91亚洲黑人| 国产天美传媒精品| 人妻夜爽夜夜爽| 久久黄黄黄| 欧美在线永久天堂| 青娱乐福利99| 日本道久久综合色色| 97资源超碰| 亚洲色图自拍| 肉动漫无遮挡h在线观看| 国语精品内射在线观看| 人妻出轨一区二区三区| 男人天堂最新手机版在线青青草| 黄色工厂这里只有精品| .精品人妻一区二区三| 国产成人自拍视频在线| 蜜臀99999| 69一区二区三区 | 九九这里只有精品| 加勒比在线观看一区二区| 人人摸人人叼| 91/欧美| 黑人娇小av在线播放 | 超碰97综合网| 久久精品国产亚洲妲己影视| 96精品在线| 91在线国产后入风骚翘臀美女素人| 97色碰| 国产亚洲国产超碰| 色综合久久夜色精品国产天堂| 性爱综合网| 粉嫩久久久极品| 国产日韩色综合| 厕所偷拍在线| 欧美97av| 色综合久久88色综合久久天天| 91精品电影18| 人人操人人肉久久精品| 婷婷AV一区二区三区| 91欧美性| 亚洲中文字幕久久人妻| 亚洲精品国产精品乱码不卡| 91视频精品| 91在线美女| 亚洲激情视频| 青青草原人妻| 欧美在线天堂| 九九成人视频| 男人的天堂VA| 国产高清精品一区二区三区毛片 | 久久宗合亚洲| 久久青青草原免费视频| 久久精品一区| 美女天天干| 黄色成品网站| 91av一区二区在线观看| 欧美色图中文字幕| 波多野结衣AV无码一区| 啊啊啊啊啊操我视频| 少妇久久| 免费农村成人少妇人妻Aa一区二区视频| 骚日日av| 色综合久久久久| 人妻一区二区三区熟女| 男人兔费天堂| a片 xxxx受爽视频| 很黄很污的免费网站| 成人午夜高潮av猛片| 免费看污网站| Sekablack无码一区| 欧美久久婷婷| 美国日韩黄色片| 一二区在线观看视频| 亚洲第一页色| 久久亚洲AV无码白度| 5252色欧美在线| 国产三级在线现体验区| 亚洲黄色网址| 国产大学生高潮在线播放| 91狠狠综合久久| AV污污污污| 在线情色电影 91大 | 亚州乱码中文字幕综合久久久| 色欲久久久久综合网| 大香蕉99热| 99久久e免费热视| 欧美少妇性乱| JULIA一区二区三区在线播放| 超碰97人妻在线| 熟妇女人妻呻吟久久AV| 国产69精品久久久久99尤物| 综合激情一一91| 91色色色| 秋霞一集毛片观看| 精品久久艹| 精品一区二区三区蜜桃臀赵总 | caoni国产亚洲av| 欧美午夜熟妇黑人精品91| yazhousetuoumei| 国产野战露脸在线播放| 欧美色图91| 色娱乐色呦呦夜夜夜夜av| 色情五月丁香| 欧美十八禁视频| 78精品在线| av麻豆啪啪| 色999人与兽| 欧美日韩国产高清在线一二三区| 91精品导航| 亚洲天堂日本| 中文字幕在在线观看网站| 播播亚洲小说亚洲| 亚洲巨爆乳一区二区三区四季网| 国产三级中文字幕粉嫩| 一道本东京热加勒比一区二区三区| 99热99re6国产在线播放| 青娱乐亚洲自拍| 亚洲人成在线放东京热| 日本黄色天堂| 人人澡人人爽人人精品| 欧美日韩岛国大片在线观看| 国产又黄又粗的视频| 色香av| 伊人性在线视频| 国产欧洲精品亚洲午夜拍精品| 欧美色三级片91| 99视频在线| 亚洲一级特黄大片在线播放91| 91综合网| 91高清欧美| 男人天堂最新手机版在线青青草| 国产视频一区二区在线观看| 五月天激情网站| 无套内射性感少妇视频| 青娱乐亚洲自拍| 亚洲国产欧美一区二区潘金莲| 亚洲中文字幕一区二区| 日韩大香蕉精品在线视频| 精品十三区| 一区二区三区男女操逼黄色小电影| 丁香六月婷婷| 精品国产精品一区二区| 操逼1区| 老子午夜伦不卡影院| 综合网亚洲| 九九九网站| 午夜精品人妻二区三区| 日韩美一区| 操逼日韩无码 | 欧亚第一综合网| 欧美人妻二区三区| 丰满欧美少妇| AV网站高清无码在线观看| 天天射天天操天天干天天吃2018| 中国少妇啪啪视频| 91少妇高潮| 日韩精品亚洲一二三| 加勒比色99999| 黄页网站成人免费| 大香蕉淫人| 欧美 色 亚洲| 青娱乐黄色录像| 久久这里只有精品9| 亚洲熟女综合网| 午夜啊啊| 国产精品欧美在线观看|