日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Linux客戶端開發(fā)核心:信號(hào)量、epoll與穩(wěn)定性實(shí)戰(zhàn)

Linux客戶端開發(fā)核心:信號(hào)量、epoll與穩(wěn)定性實(shí)戰(zhàn) 許多做客戶端開發(fā)的朋友一聽到Linux方向第一反應(yīng)是“這崗位是不是主要在寫驅(qū)動(dòng)、搞內(nèi)核”實(shí)際上以奇安信2020年這次客戶端開發(fā)工程師Linux開發(fā)的崗位要求來看方向非常明確面向Linux平臺(tái)的安全類客戶端產(chǎn)品核心是用C/C寫出穩(wěn)定、高效、能扛住惡劣環(huán)境的終端程序。我當(dāng)時(shí)看到這個(gè)崗位的時(shí)候第一感覺是它跟傳統(tǒng)Windows客戶端開發(fā)差異很大但底層邏輯又極其相似——消息循環(huán)、模塊拆分、崩潰排查、安裝部署這些客戶端開發(fā)的通用套路全都成立只是換了一套系統(tǒng)接口和調(diào)試思維。這篇文章我打算結(jié)合這次崗位背后考察的技術(shù)點(diǎn)把Linux客戶端開發(fā)真正需要的那些東西串起來講一遍。不只是列知識(shí)點(diǎn)還會(huì)帶上我實(shí)際調(diào)試過的場(chǎng)景、踩過的坑、以及面試時(shí)高頻出現(xiàn)的考察角度。不管是準(zhǔn)備安全方向客戶端崗位還是單純想往Linux平臺(tái)上做C/C應(yīng)用開發(fā)的朋友這份內(nèi)容應(yīng)該都對(duì)你有用。1. 崗位與技能畫像奇安信Linux客戶端開發(fā)在考什么1.1 核心職責(zé)與能力模型先說崗位本身。客戶端開發(fā)工程師在安全公司的定位通常是做終端檢測(cè)與響應(yīng)、主機(jī)安全Agent、零信任客戶端這一類產(chǎn)品。這些產(chǎn)品不是跑在服務(wù)器上的高并發(fā)后端而是要裝到海量終端上、7×24小時(shí)常駐運(yùn)行、占用資源必須小、穩(wěn)定性要求極高的程序。這決定了它對(duì)開發(fā)者的要求跟“能調(diào)通接口”完全不是一個(gè)量級(jí)。奇安信這類公司招Linux客戶端開發(fā)核心盯的能力我總結(jié)下來有四塊C/C功底不是會(huì)寫類、會(huì)用STL就行。考察點(diǎn)是內(nèi)存管理、指針安全、對(duì)象的生命周期能不能寫出長(zhǎng)時(shí)間運(yùn)行不泄漏、不越界的代碼。系統(tǒng)編程能力進(jìn)程間通信共享內(nèi)存、信號(hào)量、消息隊(duì)列、多線程同步、文件系統(tǒng)監(jiān)控、網(wǎng)絡(luò)編程socket、epoll。這些都是終端Agent最常打交道的系統(tǒng)機(jī)制。穩(wěn)定性工程能力客戶端和服務(wù)器程序最大的不同是它無法在真機(jī)上隨時(shí)重啟而且面臨的環(huán)境千奇百怪。所以日志系統(tǒng)、崩潰處理signal handling、core dump分析、自我恢復(fù)機(jī)制都是面試重點(diǎn)。安全產(chǎn)品敏感度做安全客戶端你得知道惡意代碼大概是怎么隱藏、怎么持久化的你的程序得能對(duì)抗這些行為。這不算硬性要求但在面試中很加分。我見過不少候選人上來就背Concurrency、Memory Model但問他“客戶端跑3天后內(nèi)存漲了30%你怎么定位”整個(gè)人就懵了。這其實(shí)才是Linux客戶端開發(fā)每天要面對(duì)的真問題。1.2 為什么安全公司偏愛Linux原生技術(shù)棧你可能好奇現(xiàn)在跨平臺(tái)框架那么多為什么安全客戶端還在堅(jiān)持用Linux原生的C/C技術(shù)棧原因不復(fù)雜安全產(chǎn)品的核心訴求是可控性、性能和對(duì)系統(tǒng)底層資源的訪問能力。用Java或者Electron寫一套運(yùn)行環(huán)境依賴重、內(nèi)存占用高、對(duì)系統(tǒng)調(diào)用的細(xì)節(jié)把控弱這在服務(wù)器端或許不是大問題但在需要“偷偷保護(hù)你”的終端Agent場(chǎng)景里就是致命傷。再有一點(diǎn)安全客戶端經(jīng)常需要處理加密流量檢測(cè)、進(jìn)程行為采集這類工作。這類工作繞不開對(duì)系統(tǒng)調(diào)用、網(wǎng)絡(luò)協(xié)議棧底層行為做觀測(cè)標(biāo)準(zhǔn)庫封裝得很高層的語言反而不方便。C/C看起來開發(fā)效率低但它的優(yōu)勢(shì)是當(dāng)你需要摳到某一個(gè)bit、攔截某一次系統(tǒng)調(diào)用時(shí)沒有被框架擋住的感覺。這一點(diǎn)在過去、現(xiàn)在甚至未來三五年內(nèi)都是安全終端產(chǎn)品的剛需。1.3 崗位適配度自檢清單我建議你在投這類崗位之前先拿下面這份清單給自己打個(gè)分每項(xiàng)按0~2分打低于7分就先補(bǔ)基礎(chǔ)再投自檢項(xiàng)考察方向高頻場(chǎng)景C指針與內(nèi)存管理指針?biāo)阈g(shù)、智能指針、內(nèi)存池長(zhǎng)時(shí)間運(yùn)行的內(nèi)存增長(zhǎng)定位多線程與同步互斥鎖、條件變量、信號(hào)量生產(chǎn)者消費(fèi)者采集模型網(wǎng)絡(luò)編程socket、epoll、超時(shí)重連與云端心跳通信文件與目錄監(jiān)控inotify、fanotify敏感目錄變化感知系統(tǒng)穩(wěn)定調(diào)試gdb、core dump、strace崩潰現(xiàn)場(chǎng)還原常用命令熟練度top、free、netstat、find線上問題第一輪排查腳本輔助能力shell/python自動(dòng)化測(cè)試與打包題目問得特別細(xì)。比如信號(hào)量有幾種實(shí)現(xiàn)、在哪些場(chǎng)景選哪種比如epoll的ET和LT有什么區(qū)別、實(shí)際項(xiàng)目里選哪個(gè)多。這些都不是背一道題就能過關(guān)的必須真的在項(xiàng)目里用過、掉過坑才能答得有說服力。2. 核心知識(shí)點(diǎn)拆解從理論到實(shí)戰(zhàn)的那些硬骨頭2.1 進(jìn)程、線程與同步Client程序的生命線做Linux客戶端第一個(gè)繞不開的就是進(jìn)程和線程模型。界面、業(yè)務(wù)邏輯、網(wǎng)絡(luò)、采集、上報(bào)各模塊之間天然并發(fā)。但并發(fā)一多死鎖、競(jìng)態(tài)、優(yōu)先級(jí)反轉(zhuǎn)這些問題就全來了。我強(qiáng)烈建議你把POSIX線程接口和同步原語徹底搞透。不少人在Windows上用得熟的是臨界區(qū)CriticalSection、事件Event到了Linux就慌了。其實(shí)對(duì)應(yīng)關(guān)系非常直接場(chǎng)景定位WindowsLinux/POSIX線程互斥CRITICAL_SECTIONpthread_mutex普通鎖進(jìn)程互斥Mutex命名信號(hào)量、文件鎖事件通知Eventpthread_cond條件變量讀寫鎖SRWLockpthread_rwlock跨進(jìn)程數(shù)據(jù)共享共享內(nèi)存 文件映射shmget / shm_open mmap這里我不建議上來就研究自旋鎖、無鎖隊(duì)列之類的進(jìn)階話題??蛻舳碎_發(fā)大多數(shù)場(chǎng)景用條件變量和互斥鎖就夠了關(guān)鍵是設(shè)計(jì)好鎖的粒度。我有一次排查一個(gè)數(shù)據(jù)采集模塊CPU飆高的問題發(fā)現(xiàn)是多線程頻繁競(jìng)爭(zhēng)一個(gè)全局隊(duì)列的鎖。線程一多鎖競(jìng)爭(zhēng)導(dǎo)致上下文切換開銷巨大CPU白白燒掉。后來改成每個(gè)線程獨(dú)立隊(duì)列、按批次合并上報(bào)CPU直接降了40%。另外特別提一下信號(hào)量。它是這波熱搜里跟崗位最直接相關(guān)的關(guān)鍵詞之一。信號(hào)量分為有名信號(hào)量和無名信號(hào)量無名信號(hào)量一般用于線程間同步或父子進(jìn)程間有名信號(hào)量用于無親緣關(guān)系的進(jìn)程間同步??蛻舳碎_發(fā)里最常見的是用它控制并發(fā)上限比如同時(shí)最多允許幾個(gè)上報(bào)任務(wù)在跑。它的核心操作只有三個(gè)sem_init/sem_open、sem_wait、sem_post。理解這三個(gè)接口再理解一下它和互斥鎖的本質(zhì)區(qū)別——互斥鎖是“誰拿到誰用”信號(hào)量是“計(jì)數(shù)控制多個(gè)線程可以同時(shí)過”——基本就能應(yīng)付絕大多數(shù)面試題。2.2 網(wǎng)絡(luò)通信設(shè)計(jì)客戶端與云端的心跳哲學(xué)客戶端開發(fā)里有一個(gè)后端同學(xué)不太會(huì)特別在意、但我們天天磨的問題弱網(wǎng)下的通信設(shè)計(jì)。終端設(shè)備可能處于斷網(wǎng)、弱網(wǎng)、代理受限、NAT后等各種亂七八糟的環(huán)境中。設(shè)計(jì)一套穩(wěn)定的心跳和上報(bào)機(jī)制是Linux客戶端開發(fā)的必修課。最基礎(chǔ)也最實(shí)用的方案是TCP長(zhǎng)連接 應(yīng)用層心跳 指數(shù)退避重連。心跳不能只依賴TCP的keepalive因?yàn)槟峭嬉饽J(rèn)2小時(shí)才探測(cè)一次而且中間鏈路設(shè)備可能靜默丟包。應(yīng)用層心跳一般30~60秒一次超過3~5次沒收到回復(fù)就判定連接失效觸發(fā)重連。重連不能瘋狂重試要用指數(shù)退避比如第一次等1秒、第二次2秒、第三次4秒……最大間隔60秒封頂避免終端在弱網(wǎng)下瘋狂建立連接造成資源浪費(fèi)。代碼層面我建議用epoll來管理所有socket事件而不是每來一個(gè)連接就開一個(gè)線程。epoll有三個(gè)關(guān)鍵點(diǎn)epoll_create創(chuàng)建句柄epoll_ctl注冊(cè)/修改/刪除事件注意區(qū)分EPOLLIN、EPOLLOUT、EPOLLERRepoll_wait等待事件返回就緒列表。在處理多路IO時(shí)ET邊緣觸發(fā)和LT水平觸發(fā)的選擇也經(jīng)常被問到。簡(jiǎn)單說LT模式下只要緩沖區(qū)還有數(shù)據(jù)沒讀完每次epoll_wait都會(huì)提醒你ET模式只在狀態(tài)變化那一刻提醒一次。ET模式下你得一次把數(shù)據(jù)全讀干凈循環(huán)read到返回EAGAIN否則會(huì)丟事件。我的經(jīng)驗(yàn)是客戶端這種場(chǎng)景用LT就好代碼簡(jiǎn)單不容易漏性能瓶頸根本不在這兒。2.3 Linux常用命令不是背參數(shù)是形成排查套路熱搜詞里出現(xiàn)了一堆linux命令關(guān)鍵詞比如linux find用法、scp命令、linux刪除文件夾。這些東西單獨(dú)看都不難但面試真正考察的是你在問題現(xiàn)場(chǎng)能不能組合使用它們。我先列一套客戶端問題排查的命令組合拳場(chǎng)景一懷疑客戶端內(nèi)存泄漏# 按內(nèi)存排序看看進(jìn)程狀態(tài) top -p $(pgrep -f your_client) # 查看進(jìn)程詳細(xì)內(nèi)存映射 cat /proc/$(pgrep -f your_client)/smaps | grep -E Pss|Rss # 連續(xù)采集兩次對(duì)比內(nèi)存增長(zhǎng) watch -n 30 ps -p $(pgrep -f your_client) -o pid,rss,vsz --no-headers場(chǎng)景二卡死、CPU占用高懷疑死循環(huán)# 看線程列表 top -H -p $(pgrep -f your_client) # 抓線程棧驚魂三分鐘 gdb -p $(pgrep -f your_client) -batch -ex thread apply all bt # 或直接用pstack pstack $(pgrep -f your_client)場(chǎng)景三找不到配置或日志文件# 最基礎(chǔ)也最常用按文件名找 find / -name your_client.conf 2/dev/null # 按修改時(shí)間找最近24小時(shí)改過的 find /var/log -type f -mtime -1 # 按大小找排掉日志存儲(chǔ)異常的 find / -size 500M -exec ls -lh {} \; 2/dev/null場(chǎng)景四跨機(jī)器傳調(diào)試包# 基本用法傳整個(gè)目錄 scp -r ./debug_package usertarget_host:/opt/debug # 端口不是默認(rèn)22時(shí) scp -P 2222 ./debug_package usertarget_host:/opt/這套組合拳的價(jià)值在于你不需要把幾百個(gè)命令參數(shù)全背下來但你需要知道“遇到這種癥狀下一步該敲什么”。這恰恰是面試官在代碼題之外最想看到的——一個(gè)候選人有沒有真正在Linux環(huán)境下解決過問題。另外一個(gè)容易被忽略的高頻題目是“l(fā)inux新建用戶”和“權(quán)限管理”??蛻舳税惭b后需要一個(gè)專用運(yùn)行賬號(hào)不跑root這是安全基線。那就要用到useradd -r -s /sbin/nologin your_client_user-r表示創(chuàng)建系統(tǒng)賬號(hào)-s /sbin/nologin表示禁止登錄用來運(yùn)行服務(wù)再合適不過。面試?yán)锶绻牡桨惭b部署、服務(wù)化改造這一條基本必考。2.4 崩潰分析與穩(wěn)定性保障客戶端人的職業(yè)病服務(wù)器程序崩了可以快速重啟客戶端程序崩了用戶感知極其直接。所以在安全客戶端這種“不能崩”的品種里崩潰分析能力是個(gè)硬通貨。Linux下程序崩潰最常見的信號(hào)是SIGSEGV段錯(cuò)誤和SIGABRT斷言失敗主動(dòng)中止。我非常建議在客戶端里注冊(cè)自己的signal handler捕獲崩潰信號(hào)后立即生成帶堆棧的日志再恢復(fù)默認(rèn)處理讓內(nèi)核產(chǎn)生core dump。這比干等系統(tǒng)的core dump靠譜——生產(chǎn)環(huán)境里很多終端不開core就算開了core文件也可能因?yàn)闄?quán)限問題寫不進(jìn)去。捕獲信號(hào)的關(guān)鍵代碼片段大概是這樣的#include signal.h #include execinfo.h void crash_handler(int sig) { void* frames[128]; int n backtrace(frames, sizeof(frames)/sizeof(frames[0])); backtrace_symbols_fd(frames, n, STDERR_FILENO); signal(sig, SIG_DFL); raise(sig); } void setup_crash_handler() { signal(SIGSEGV, crash_handler); signal(SIGABRT, crash_handler); signal(SIGBUS, crash_handler); }這段代碼的意圖很簡(jiǎn)單崩潰時(shí)先打印堆棧然后恢復(fù)默認(rèn)處理并重新觸發(fā)信號(hào)生成core。注意不能直接在handler里做復(fù)雜操作因?yàn)楸罎F(xiàn)場(chǎng)可能本身就不再安全。printf、malloc這些都不建議在signal handler里用。最穩(wěn)的就是用write/backtrace_symbols_fd這類異步信號(hào)安全函數(shù)直接寫到文件描述符。拿到core文件之后排查的命令也要熟練gdb ./your_client /var/crash/core.12345 (gdb) bt (gdb) info threads (gdb) thread apply all btbt看調(diào)用棧基本能定位到哪一行崩的。然后還要結(jié)合info registers看寄存器里的現(xiàn)場(chǎng)數(shù)據(jù)有時(shí)候棧被破壞嚴(yán)重就需要去翻內(nèi)存地址處的數(shù)據(jù)。我自己的經(jīng)驗(yàn)是崩潰處理機(jī)制一定要上線前就寫好。別等出了事再補(bǔ)。用戶側(cè)崩潰的復(fù)現(xiàn)條件非常苛刻日志和堆棧就是你唯一的救命稻草。沒有這套機(jī)制出了問題就只能對(duì)著用戶的截圖瞎猜效率極低。3. 實(shí)操從零手寫一個(gè)Linux客戶端基礎(chǔ)骨架3.1 環(huán)境準(zhǔn)備與工具鏈選型理論講了這么多我們直接動(dòng)手做一個(gè)實(shí)際的Linux客戶端骨架。不需要UI就是個(gè)常駐后臺(tái)的守護(hù)進(jìn)程包含事件循環(huán)、配置加載、日志上報(bào)、心跳通信這幾個(gè)模塊。這是安全客戶端最通用的雛形。開發(fā)機(jī)建議用CentOS 7/8或者Ubuntu 18.04以上的系統(tǒng)。編譯工具鏈三條gcc/g版本不要太老至少支持C14最好C17cmake3.10以上gdb、strace、valgrind調(diào)試三件套安裝命令就不啰嗦了各發(fā)行版源里都有。編譯參數(shù)上我強(qiáng)烈建議從一開始就打開所有警告set(CMAKE_CXX_FLAGS -Wall -Wextra -Werror -O2 -g)-Werror把警告當(dāng)錯(cuò)誤雖然有時(shí)候很煩但它能在編譯期攔住大量低級(jí)問題。-g保留調(diào)試信息-O2開優(yōu)化。線上發(fā)布版本可以把-g換成-g -rdynamic這個(gè)組合能讓backtrace打出函數(shù)名而不是赤裸裸的地址。3.2 主事件循環(huán)設(shè)計(jì)別開一堆線程空轉(zhuǎn)客戶端主循環(huán)我推薦用epoll實(shí)現(xiàn)而不是簡(jiǎn)單whilesleep。原因有二第一epoll能在socket事件、定時(shí)器事件、信號(hào)事件之間統(tǒng)一調(diào)度結(jié)構(gòu)干凈第二能夠精確控制喚醒時(shí)機(jī)不會(huì)為了等待某個(gè)事件而空耗CPU。事件循環(huán)的核心思路是這樣的創(chuàng)建一個(gè)epoll_fd注冊(cè)一個(gè)timerfd用于周期性任務(wù)心跳、日志落盤注冊(cè)一個(gè)signalfd用于安全地接收SIGTERM/SIGINT等信號(hào)如果需要注冊(cè)socket fd用于網(wǎng)絡(luò)收發(fā)進(jìn)入循環(huán)調(diào)用epoll_wait誰就緒處理誰。signalfd是個(gè)好東西。傳統(tǒng)的signal handler方式在異步安全方面坑很多而signalfd把信號(hào)變成文件描述符上的可讀事件可以統(tǒng)一交給epoll管理完全繞開異步信號(hào)處理的所有麻煩。int epfd epoll_create1(0); // 定時(shí)心跳每30秒觸發(fā) int tfd timerfd_create(CLOCK_MONOTONIC, TFD_NONBLOCK); struct itimerspec its; its.it_interval.tv_sec 30; its.it_interval.tv_nsec 0; its.it_value its.it_interval; timerfd_settime(tfd, 0, its, NULL); // 注冊(cè)到epoll struct epoll_event ev; ev.events EPOLLIN; ev.data.fd tfd; epoll_ctl(epfd, EPOLL_CTL_ADD, tfd, ev); while (running) { struct epoll_event events[16]; int n epoll_wait(epfd, events, 16, -1); for (int i 0; i n; i) { if (events[i].data.fd tfd) { uint64_t expirations; read(tfd, expirations, sizeof(expirations)); do_heartbeat(); } } }這里有個(gè)小細(xì)節(jié)timerfd觸發(fā)后必須讀取它的計(jì)數(shù)器8字節(jié)無符號(hào)整數(shù)否則事件會(huì)一直處于可讀狀態(tài)導(dǎo)致epoll_wait忙觸發(fā)。這是新手最容易犯的錯(cuò)網(wǎng)上大量示例代碼也都漏了這一步我在這里特別強(qiáng)調(diào)一下。3.3 模塊劃分怎么拆才不至于三個(gè)月后重構(gòu)客戶端程序雖然不像后端微服務(wù)那樣需要大規(guī)模拆分但模塊邊界劃不好改起需求來同樣想哭。我自己的經(jīng)驗(yàn)是按照“能力縱向切分、依賴單向流動(dòng)”的原則至少分成這幾層模塊職責(zé)關(guān)鍵依賴main啟動(dòng)參數(shù)解析、加載配置、拉起各模塊無config讀配置文件、統(tǒng)一提供配置項(xiàng)無logger落盤日志、日志輪轉(zhuǎn)、日志級(jí)別控制無heartbeat與服務(wù)器心跳通信、狀態(tài)機(jī)管理logger、configcollector采集本機(jī)信息進(jìn)程列表、網(wǎng)絡(luò)連接等logger、configreporter把采集結(jié)果上報(bào)服務(wù)器heartbeat、collector模塊間通信不要走全局變量更不要互相直接調(diào)用內(nèi)部函數(shù)。我建議每個(gè)模塊對(duì)外只暴露一個(gè)brief接口比如heartbeat_start()、collector_snapshot()內(nèi)部狀態(tài)自己維護(hù)??缒K傳數(shù)據(jù)用結(jié)構(gòu)體不要用裸指針。這個(gè)設(shè)計(jì)的好處是任何一個(gè)模塊出問題可以單獨(dú)替換不會(huì)牽一發(fā)動(dòng)全身。比如你要把采集模塊從“遍歷/proc目錄”改成“基于netlink訂閱事件”只需要改collector內(nèi)部實(shí)現(xiàn)其他模塊完全無感。3.4 內(nèi)存與資源管理C用戶也該像C程序員一樣謹(jǐn)慎雖然我們可以用C和STL但在客戶端這種7×24小時(shí)運(yùn)行的程序里資源管理仍然要像寫C一樣嚴(yán)謹(jǐn)。我的原則有三條第一保證每個(gè)資源都有明確的owner。誰創(chuàng)建誰釋放。跨線程傳遞的指針要特別警惕建議用shared_ptr傳值而不是傳裸指針。第二啟動(dòng)時(shí)分配、運(yùn)行中復(fù)用。高頻調(diào)用的函數(shù)里不要反復(fù)new/delete。比如采集數(shù)據(jù)時(shí)每條記錄都要構(gòu)造一個(gè)string這種高頻小對(duì)象分配是性能殺手。改用預(yù)分配緩沖區(qū)和對(duì)象池性能能提升一個(gè)檔次。第三所有阻塞調(diào)用都要考慮超時(shí)。socket收發(fā)要設(shè)置SO_RCVTIMEO/SO_SNDTIMEO互斥鎖加鎖考慮用trylock配合超時(shí)重試避免因?yàn)槟硞€(gè)模塊卡死拖垮整個(gè)進(jìn)程。另外日志模塊必須自帶容錯(cuò)。比如磁盤滿了、日志文件被用戶誤刪不能因此讓主進(jìn)程崩潰。我見過一個(gè)產(chǎn)品因?yàn)槿罩緦懖贿M(jìn)去直接進(jìn)程退出這太冤了。日志模塊要在寫失敗時(shí)降級(jí)——先嘗試輪轉(zhuǎn)輪轉(zhuǎn)不了就丟日志但進(jìn)程必須活。4. 高頻面試題與排查實(shí)錄這些坑我替你踩過了4.1 面試中被反復(fù)追問的10個(gè)Linux客戶端問題我把歷次面試中出現(xiàn)的、我認(rèn)為最有代表性的問題整理成一張速查表。注意答案不是重點(diǎn)重點(diǎn)是你能不能在追問下還原出思考過程問題核心考點(diǎn)參考思路進(jìn)程和線程的區(qū)別什么時(shí)候用進(jìn)程、什么時(shí)候用線程基礎(chǔ)概念講清楚隔離性、共享成本、崩潰影響范圍即可select/poll/epoll的區(qū)別IO多路復(fù)用從FD遍歷次數(shù)、事件觸發(fā)機(jī)制兩個(gè)維度對(duì)比什么是信號(hào)量和互斥鎖的區(qū)別同步原語信號(hào)量是計(jì)數(shù)器互斥鎖是所有權(quán)結(jié)合停車位類比哪些場(chǎng)景會(huì)引起內(nèi)存泄漏怎么排查資源管理分類講堆泄漏、句柄泄漏、全局容器無限增長(zhǎng)客戶端崩潰了第一步做什么穩(wěn)定性思維撈日志、撈core、看最近的變更、回放現(xiàn)場(chǎng)如何設(shè)計(jì)一個(gè)可靠的心跳機(jī)制網(wǎng)絡(luò)容錯(cuò)應(yīng)用層心跳 超時(shí)判斷 指數(shù)退避 狀態(tài)機(jī)多線程死鎖怎么產(chǎn)生如何避免并發(fā)鎖順序一致、避免嵌套鎖、用trylock超時(shí)Linux下查看一個(gè)端口被誰占了命令實(shí)戰(zhàn)lsof -i:9090 或者 netstat -tlnp/proc文件系統(tǒng)有什么用系統(tǒng)機(jī)制進(jìn)程運(yùn)行時(shí)狀態(tài)全在這里講幾個(gè)常用文件守護(hù)進(jìn)程怎么實(shí)現(xiàn)服務(wù)化forksetsidumask重定向標(biāo)準(zhǔn)IO或直接用systemd其中“客戶端崩潰了第一步做什么”這個(gè)題我覺得最有價(jià)值。很多候選人會(huì)直接說“看core dump”但正確的第一步是先確認(rèn)現(xiàn)場(chǎng)有沒有被破壞然后有層次的搜索信息。實(shí)際處理中順序應(yīng)該是查看崩潰時(shí)間點(diǎn)的日志 → 確認(rèn)是否有core文件 → 用gdb加載core和帶調(diào)試符號(hào)的二進(jìn)制 → 獲取完整堆棧 → 結(jié)合代碼審查和線上變更記錄定位根因。直接跳到最后一步往往會(huì)被現(xiàn)場(chǎng)信息帶偏。4.2 線上問題排查實(shí)錄內(nèi)存居高不下的一場(chǎng)戰(zhàn)斗分享一次真實(shí)的排查經(jīng)歷。一個(gè)運(yùn)行在Linux服務(wù)器上的客戶端Agent上線一周后rss從200MB漲到1.2GB系統(tǒng)頻繁告警。第一步先用ps確認(rèn)進(jìn)程狀態(tài)正常排除僵尸化問題ps -ef | grep agent確認(rèn)進(jìn)程還活著CPU也不高初步判斷是內(nèi)存增長(zhǎng)而非死循環(huán)。第二步看內(nèi)存增長(zhǎng)趨勢(shì)ps -p 1234 -o pid,rss,vsz --no-headers采集兩小時(shí)發(fā)現(xiàn)rss大概每5分鐘增長(zhǎng)8MB。這已經(jīng)排除一次性緩存基本鎖定是持續(xù)泄漏。第三步上valgrind太重生產(chǎn)環(huán)境跑不起改用gdb動(dòng)態(tài)抓取gdb -p 1234 -batch -ex info proc mappings -ex thread apply all bt沒有發(fā)現(xiàn)明顯異常的一、兩處大分配。后來懷疑是容器類悄悄變大在代碼里加了關(guān)鍵容器的大小打印部署后觀察終于發(fā)現(xiàn)是某個(gè)全局map在沒有做清理每收到一條服務(wù)器指令就插入一條記錄一小時(shí)后定位到具體函數(shù)。這次教訓(xùn)給我的收獲是內(nèi)存問題定位靠的是分層而不是一步到位。先用系統(tǒng)工具縮小范圍再用動(dòng)態(tài)調(diào)試抓現(xiàn)場(chǎng)最后用代碼插樁確認(rèn)根因。把排查過程講清楚在面試?yán)锓浅<臃帧?.3 面試中關(guān)于命令的追問套路千萬別以為命令題就是簡(jiǎn)單的“會(huì)不會(huì)用”。面試官通常會(huì)從一條命令往深挖三層。比如他問“怎么找文件”你答find / -name *.log他會(huì)繼續(xù)問find和locate有什么區(qū)別locate走數(shù)據(jù)庫速度快但不實(shí)時(shí)find里-exec和| xargs有什么區(qū)別前者每條結(jié)果起一次命令后者分批傳入?yún)?shù)過長(zhǎng)時(shí)行為有差異如果文件名帶空格怎么辦find -print0 xargs -0這是經(jīng)典陷阱再比如他問linux刪除文件夾你答rm -rf dir他會(huì)接著問如果目錄超大rm會(huì)卡很久嗎會(huì)因?yàn)橐鹨籾nlink有沒有更快的方案直接rename目錄再后臺(tái)刪或使用nice降低優(yōu)先級(jí)后臺(tái)執(zhí)行如果不小心刪了重要文件怎么辦ext4的debugfs不一定能救所以重要事情先備份這些追問背后的邏輯是不是考你會(huì)不會(huì)敲命令而是考你在真實(shí)環(huán)境里有沒有遇到過這些邊界問題。我的建議是每學(xué)一條命令都順手把它在高并發(fā)、超大文件、特殊字符文件名這幾個(gè)場(chǎng)景下的行為試一遍。你踩過的那些坑面試時(shí)就是最生動(dòng)的素材。4.4 踩坑記錄新手寫Linux客戶端最容易犯的錯(cuò)很多從Windows轉(zhuǎn)過來的同事剛開始寫Linux客戶端會(huì)犯一些共性的錯(cuò)誤。我列幾個(gè)印象最深的SIGPIPE直接殺死程序。向一個(gè)已經(jīng)關(guān)閉的socket寫數(shù)據(jù)默認(rèn)行為是觸發(fā)SIGPIPE并終止進(jìn)程。服務(wù)端程序最常見。解決辦法是在程序初始化時(shí)調(diào)用signal(SIGPIPE, SIG_IGN)忽略它然后通過write的返回值判斷錯(cuò)誤。fork之后在子進(jìn)程調(diào)用非異步安全函數(shù)。比如malloc、printf在fork出的子進(jìn)程里直接調(diào)用有鎖就可能導(dǎo)致死鎖。正確做法是fork后用exec族函數(shù)直接替換進(jìn)程映像。誤以為system()很方便。在客戶端代碼里調(diào)system執(zhí)行shell命令創(chuàng)建子進(jìn)程開銷大、返回值不好判斷、還可能被注入。能不用盡量不用用posix_spawn或者雙forkexec替代。忽略文件描述符上限。默認(rèn)進(jìn)程fd上限往往只有1024如果你做文件監(jiān)控或者網(wǎng)絡(luò)連接管理很容易打滿。要么在systemd service里配置LimitNOFILE要么代碼里用setrlimit提前調(diào)整。這些坑在教科書里都只是一句話但你真實(shí)踩過一遍才會(huì)懂那種想把電腦砸了的沖動(dòng)。我把它們寫出來就是希望你能提前繞過。5. 學(xué)習(xí)路徑建議三個(gè)月能補(bǔ)到什么程度5.1 參考學(xué)習(xí)路線如果距離面試還有三個(gè)月我建議按下面的路線推進(jìn)。這是一個(gè)被很多新人驗(yàn)證過的路徑節(jié)奏相對(duì)舒適且貼近實(shí)戰(zhàn)第1~2周補(bǔ)牢基礎(chǔ)。主攻C語言指針與內(nèi)存、C核心語法、常見數(shù)據(jù)結(jié)構(gòu)。目標(biāo)是能不看參考寫一個(gè)單鏈表和二叉樹。第3~4周系統(tǒng)編程入門。主攻文件IO、進(jìn)程控制、線程同步。做一個(gè)簡(jiǎn)單多線程日志系統(tǒng)練手要求支持多線程并發(fā)寫日志、日志輪轉(zhuǎn)。注意這個(gè)練習(xí)能覆蓋大量知識(shí)點(diǎn)性價(jià)比極高。第5~6周網(wǎng)絡(luò)編程。主攻socket、epoll、TCP狀態(tài)機(jī)。寫一個(gè)回聲服務(wù)器測(cè)試連接再用客戶端連接測(cè)試。重點(diǎn)體會(huì)上面的心跳設(shè)計(jì)和斷線重連。第7~8周穩(wěn)定性工具。主攻gdb、strace、valgrind并嘗試用前幾周寫的程序制造崩潰和內(nèi)存泄漏用這三件套定位修復(fù)。第9~10周綜合實(shí)戰(zhàn)。從零寫一個(gè)帶配置、日志、心跳采集、斷線重連的完整客戶端骨架推倒重來看結(jié)構(gòu)設(shè)計(jì)是否合理。第11~12周刷題面試模擬。針對(duì)高頻Linux命令、系統(tǒng)編程題目做專項(xiàng)訓(xùn)練并整理自己做過的項(xiàng)目細(xì)節(jié)為面試追問做準(zhǔn)備。這套路線最大的特點(diǎn)是每個(gè)階段都有產(chǎn)出不是純看書。面試官問“你做過什么”你直接拋這個(gè)骨架項(xiàng)目再結(jié)合調(diào)試過程中遇到的真實(shí)問題可信度遠(yuǎn)高于背幾道八股。5.2 好用的調(diào)試與開發(fā)工具清單推薦幾款實(shí)測(cè)好用的工具不冷門但都是干貨gdb gef插件gdb本身夠用裝上gef之后堆棧、寄存器、內(nèi)存的展示直觀得多調(diào)試體驗(yàn)提升一個(gè)檔次。strace跟蹤系統(tǒng)調(diào)用。遇到“程序沒反應(yīng)”、“文件明明在卻打不開”這類問題strace基本是秒級(jí)定位。valgrind memcheck內(nèi)存泄漏檢測(cè)神器。雖然是慢但能在開發(fā)階段提前攔截80%的內(nèi)存問題跑測(cè)試用例時(shí)一定要開。systemtap / bpf進(jìn)階動(dòng)態(tài)追蹤工具。用來看函數(shù)耗時(shí)、內(nèi)核態(tài)行為屬于進(jìn)階中的進(jìn)階有余力再學(xué)。clang-tidy / cppcheck靜態(tài)代碼分析。CI里加上能揪出一堆隱藏bug。這些工具不需要全精通但gdb和strace一定要熟。我面試時(shí)遇到候選人說“用過valgrind”都會(huì)追問細(xì)節(jié)因?yàn)橛眠^和用過、調(diào)通過完全是兩個(gè)級(jí)別。5.3 給你的一些經(jīng)驗(yàn)話做了這么多年Linux客戶端我自己最大的體會(huì)是這塊領(lǐng)域的難點(diǎn)不在于某個(gè)算法有多復(fù)雜而在于你要對(duì)一個(gè)持續(xù)運(yùn)轉(zhuǎn)的系統(tǒng)負(fù)責(zé)到底。上線前考慮不到的邊界條件上線后都會(huì)以奇怪的方式找你算賬。所以學(xué)習(xí)時(shí)建立的工程意識(shí)比背多少個(gè)API都珍貴。有個(gè)習(xí)慣我很推薦保持一個(gè)“崩潰復(fù)盤”筆記。每次線上出問題都記錄一下背景、現(xiàn)象、定位過程、根因、修復(fù)方案。積累幾十條之后你會(huì)發(fā)現(xiàn)自己對(duì)系統(tǒng)穩(wěn)定性的直覺會(huì)變得極其敏銳。面試的時(shí)候這個(gè)筆記本身就是你最好、最真實(shí)、最打動(dòng)人心的項(xiàng)目展示。再就是多折騰、多動(dòng)手。虛擬機(jī)裝Linux也好、云主機(jī)也好把開發(fā)環(huán)境搭起來然后玩壞它、修好它、再玩壞它。命令敲錯(cuò)了、系統(tǒng)崩了、網(wǎng)絡(luò)不通了每一次修復(fù)都是一次實(shí)戰(zhàn)訓(xùn)練。比任何課程都管用。最后說個(gè)實(shí)在的寫簡(jiǎn)歷時(shí)一定要體現(xiàn)“我真正解決過什么問題”。比如你學(xué)過epoll寫“熟悉epoll”不如寫“用epoll實(shí)現(xiàn)過千萬級(jí)長(zhǎng)連接的心跳服務(wù)器優(yōu)化后內(nèi)存占用降低20%”。你對(duì)具體問題的量化描述才是面試官在幾句話之內(nèi)判斷你是否靠譜的依據(jù)。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷五月天丁香花| 国产后入式在线观看| 人妻出轨一区二区三区| 色九九九综合| 玖日综合网| 欧美日韩中文视频播放| 欧美日韩国产人人| 久久9精品网站| 天天天堂影视日韩亚洲91| 青青草这里只有精品| 国产精品久久久久久久久久久久| 日本国产亚洲一区在线观看| 午夜男女爽爽爽在线视频| 精品久久久久,69国产成人精| 成人日韩中文字幕| 91日韩网站| 日本孕妇一区二区视频操逼免费看 | 狠狠色噜噜狠狠狠狠狠色综合久久| 亚洲AV秘无码一区..| 国产99久久99热这里只有精品15 | www.色婷婷色综合| 美女高潮视频91| 人妻大香蕉| 超碰在线一区| 精品一啪| 不卡码视频| 色777999综合| 久操网视频| 亚州精人品大香蕉| 97超碰色中文字幕| 欧美性生活免费网| 久久婷婷一区二| 久9爱经典视频| 日韩欧美大片免费高清啪啪| 亚洲熟女中文字幕在线| 天天舔九色婷婷| 97天天操| 天天干美少妇一区| 欧美另类色图片| 黄色不卡视频| 桑老女人九区| 日韩一级免费性爱| 884t在线| av黄图片在线观看| 91在线页| 久伊人网78| 手机在线中文字幕国产| 午夜呻吟欧美| 中文 人妻 制服| 国产精品视频白浆免费| 操逼精品视频| 男女做爰猛烈动高潮A片免费应用 少妇厨房愉情理伦片bd在线观看 不卡中文字幕aⅴ在线 | 九月婷婷综合| 伊色久人大在线| 亚洲av淫乱| 日本五十路熟女一区二区| 久久国产精品一级二级三级| 国产馆| 777奇米影视777四色| 秋霞一区二区三区四区五区六区七区| 白丝被操91| 久99久视频精选| 亚洲中文字幕久久无码精品| 午夜啪啪片| 久久久av爱| 九九九999久久久网站| 男人高清无码一区二区| 色网在线| 操逼片中文| 中文字幕AV片| 亚洲国产精品成人综合| 亚洲在高跟鞋自慰久久在色线| 97超碰欧美| 国产色图乱伦| 九色 人妻 大香蕉| PMv在线观看| 口爆综合网| 日日躁夜夜躁狠狠躁超爽| 丁香婷婷久久| 九九九九亚洲| 91在线色综合| 麻豆天美传媒毛片| www.97在线| 欧美翘臀视频网站一区二区三区| 精品久久99| 蜜桃传媒视频第一区入口在线看| 91狠狠综合久久| 亚洲情色无码一区二区三区| 人妻熟女av国产网站| 日日骚精品视频| 久久受www免费人成| 久久婷婷在线观看视频| 死我十八禁| 国产精品视频白浆免费| 欧美丰满少妇交换91欧美精品| 强奸乱伦av电影| 久久久久久少妇| 夜间福利片1000无码| 9999久久久久| 超碰在线国产| av天堂电影网| 啊啊啊快操我视频| 国产精品老师| 国产精品国产精品国产| 青青草在线视频欧美| 亚洲国产av中文字幕久久 | 91处女在线视频| 亚洲天堂中文字| 九九九九欧美| 热九九精品| 中文有码9| 99啪啪视频| 国产精品一区二区手机看片| 色伊人91| 九九热re99re6在线精品| 加勒比大香蕉视频在线| 男插女青青影院| 欧美日韩婷婷中文| 色5月婷婷| 国产强奸无码乱伦| 天天舔天天日天天射| 亚洲av影院在线观看| julia国产在线| 夜夜操二区| 亚洲伊人久久综合97| 熟女一区二区三区| 亚洲五月婷| 男人天堂网址| 啊啊啊啊好疼视频| 国产精品永久免费10000| 欧美日韩另类字幕中文| 中文字幕精品一区二区精品| 无码免费在线观看黄色片| 亚洲视频二区| 免费观看的av| 亚洲欧洲无码bt精品合集| 日韩精品9区| 99自拍视频在线| 欧美性第一页| 亚洲极品| 蜜桃中文字日产乱幕4区| 亚洲欧美日韩精品久| 91n欧美| 午夜精品久久久久| 亚洲成人网站在线观看| 92性色国产午夜福利在线661| 日韩人妻丝袜美腿中文| 高清不卡国产| 亚洲av无码成人精品国产| 九九九久久久| 大香蕉性欧美| 夜夜狼人妻| 色综合久| 久久久精品视频欧州站| 九九九九九九九九九九九免费国产| 无套内射人妻在线播放| av网站在线看| 91蜜臀人妻中文字幕在线| 97人人中文网| 亚 欧 美 综合| 九九干| 人人妻人人爱人人玩| 久日91在线| 色播综合| 国产成人精品日本亚洲语言| 青青操综合网| 日韩国产精品人妻无码久久久| 日本免费一区二区不卡 | 97资源欧美| 蜜桃无码AV一区二区| 成人性爱免费播放| 国产午夜精品一区二区三区牛牛| 亚洲凸凹超碰成人| 性色av蜜臀av色欲aV| 蜜臀99久久| 中文字幕精品三级久久久| 91天天综合网,天天综合网| 亚洲精品亚洲人成人网| caoni国产亚洲av| 99人妻碰碰碰久久久久禁片| 欧美丝袜中文字幕07在线| 99天天超碰| 少妇99成人麻豆| 天天看,天天做| 中国少妇XXXX做受| 综合网91| 久久久久久久久一区二区三区| 99久在线精品99re8热视频在线| 日本熟人妻中文字幕在线|...久久国产精品-国产精品_日本一区二区三区中文字幕 | 欧美激情内射| 大香蕉宗合网在线| 亚洲精品亚洲人成人网| 乱老女人一区二区视频| 91麻豆va国产精品| 十八禁视频网站| 日本视频一区二区三区| 日本东京热加勒比久久| 久久中文字幕一区不卡| 日韩免费av片高清无码| 91综合色噜噜| 欧美性天天| 成人久久久| 精品人妻一区二区三区日产| 超碰97人妻| 综合网天天| 中文字幕精品码亚洲| 青青草这里只有精品| 四虎av在线| 99久久免费看精品国产一区| 久久久久久加勒比| 欧美一区二区日韩传媒搭讪精品| 欧美日韩人人早| 日本九九久久99播| 欧美日韩黄色片一区二区三区四区人与兽做爱 | 国产又粗又长的视频| 亚洲骚男同com| 天天干夜夜肏| 色亚洲欧美| 抽插亚洲无码| 日日摸天天爽夜夜欢| 外国91| 91狠狠综合| 中文字幕99999| 91N综合网| 天天干电影| 97国产精品视频| 日本成a人v网站在线观看| 亚洲高清视频在线免费观看| 人人操,人人插| 亚洲另类欧美精品| 欧美日韩精品一区二区三区高清| 欧美日韩国产色图在线| 精品91摸| 啊啊啊不要啊啊受不了了视频在线| 九九九九九九成人| 国产91 丝袜在线播放 | 超碰三级秋霞| 亚洲 图片 欧美 色图| 伦在线97| 97视频免费播放| 精品一区二区三区麻豆| 无码一区免费在线不卡| 丰满人妻一区二区三区四区| h无码动漫在线观看| av一区二区三区 中文| 亚洲欧美精品一区天堂久久 | 五月丁香黄色网| 色综合V| 91快色色色色色| 久99热| 神马久久久久眼| 日韩精品99久久久久久中文字幕| 日本不卡一区二区三区| 日韩BBN| 九九九九九精品视频| 日本操逼aaaaa| 成人免费福利在线观看| 国产女人高潮视频| 97 九色| 另类图片五月天| 97爱爱爱| 精品国产片亚洲一区| 亚洲最大91网| 国产诱惑| 午夜男女爽爽大片免费观看| 99色色网| 东北老女人的激情视频| 亚洲欧美首页| 亚洲欧美国产成人综合不卡| 日少妇亚洲版| 欧美男人的天堂| 精品久久久久久AV无码| www色色com| 97 国产一区| 67914在线兔费成人视频| 日韩福利电影网| 成人免费不卡在线视频| 男人天堂站| 日韩操呦呦影院在线观看| 999九九精品| 久久啊啊啊| 国产精品一级毛片不卡视| 大香交伊人网| 风骚少妇视频中文字幕| 日本人妻丰满熟妇久久久久久| 熟女人妇一区二区三区| 少妇天堂网络| 69精品| 精品国产www久久| 一区二区三区网站日日骚| 黄站在线免费观看| 九月激情婷婷| 亚洲……91| 国产精品禁久久久精品| 制度丝袜99| 翘臀vidoes| 久久久免费视频18| 日韩欧美成人性爱在线| 熟妇一区二区三区| 亚洲国产成人综合碰碰三级经典| 伊人激情| 亚州五月| 日本精品第一视频在'| 日韩78m视频| 国产91影院| 五月天激情国产综合婷婷婷| 男人天堂最新手机版在线青青草| 岛国黄| 情色五月天久久久| 久久久久久亚洲Av无码| 欧美成人精品一区二区三区| 成人久久久| 99只有精品| 欧美色亚洲色| 超碰人人在线| 91亚洲影视| 免费看日产一区二区三区| 精品一国2| 99久久精品欧美国产| 欧美美女自慰一区二区三区| 亚洲精品97| 婷婷五月天小说| 91老司机精品| www.狠狠操| 操一对老熟妇爽上天视频| 国产精品无码在线| 久久9精品网站| 国产精品蜜臀久久久久无码AV| 久久免费看高潮毛片韩国| 大学生美女口爆| 青青国产精品在线| 天天草天天日| 男人天堂站| 欧美一区二区男人天堂| 欧美性区| av一区二区三区四区| 老熟妇综合| 久操操AV电影| av东京热男人的天堂| 蜜乳AV免费观看| 麻豆国产原创AV色哟哟| 男女日B国产| 黄色高清久久无码依人| 亚洲成人性爱网站在线播放| 91影视亚洲| 懂色av色欲av蜜臀av| 日韩资源网| 家庭乱伦性爱av| 青久久| 成人AV在线电影| 999热这里只有精品| 黄污污污污| 激情小说亚洲| 久久久久久91香蕉国产| 91精品啪在线观看国产城中村| 亚洲欧美视| 午夜丁香| 日本操逼视频免费| 美女让帅哥通她小鸡鸡| 91碰碰碰| 高清国产精品福利网站| 久久久久9999妇女| 亚洲av强奸乱伦| 日韩超碰97| av操操不卡| 91c色| 嗯嗯不要 视频| 久久久999网站| 蜜乳AV.COM| 麻豆色99999| 九色97| 17c嫩草51久久91嫩草| 色九九九综合| 婷婷五月天久久久| 人妻色偷色噜| 国产乱不卡| 色蜜AV| 国产亚洲精品久久久久小| 超碰久在线天天做| 亚洲日韩AV视色| 无码区蜜乳| 国产中文字幕在线观看| 久操高青| 久久精视频美日韩在线视频| 91美女在线观看| 伦在线97| 九九九九九九九精品视频| 91在线秘 男同| 91模特在线观看| 伊人大香蕉在线| 日韩少妇一区二区三区| 极品色综合| 亚洲成人妻日韩在线| 人妻中文在线| 国产精品无码久久久久2025| 欧美日韩亚洲天堂| 91欧美综合在线| 日韩三级视频一区二区三区| 国产毛片在线| 狠狠爱综合网| 性感美女啊啊啊在线| 人妻精品综合中文字幕在线 | 亚洲男人综合| 色97欧美| 亚洲资源网| 天天影视色香色欲| 成人福利视频网| 日韩性爱小视频| 国产一区二区在线看| 超碰人妻久久人妻中文97| 日韩97P| 伦在线97| 玖玖综合色| 亚洲另类在线观看| 夜嗨影院| 岛国1区2区3区在线观看| 九九九九精品视频| 智利AV在线网| 中国一区二区亚洲人妻| 玖玖爱影院| julia ann久久| 91最新综合| 四虎AV在线观看| 色情乱伦AV| 一级做a爰片性色毛片久久| 蜜桃臀av一区二区| 亚洲国产中文字幕| 91久久国产综合精品| 色妹子A V| 丁香五月天激情网站| 亚洲精品国产无码高清| 国语对白露脸XXXXXX| 男人天堂新在线| 性色高清..……| 久久日本熟女精品一区| 蜜臀99999| 91在线视频免费中出| 99国产精品人妻人伦| 人人操人人狠狠操| 五月丁香啪| 日韩乱插| 综合欧美日本三级| 天天视频黄网站| 亚洲阿v天堂无码z2018| 久久成人国产精品| 天天干天天舔| AV乱伦专区| 久久精品国产Aⅴ| 欧美黑人熟妇精品91| 亚洲欧洲日韩中文字幕一区| 欧美综合自拍亚洲综合图| 2026国产精品视频| 久久动漫精品视频这里只有精品| 91欧美美女日韩国产婷婷| www.四虎在线| 成人日韩中文字幕| 日日AV加勒比| 亚洲97p| 97欧美日韩中文| 另类av综合久久| 亚洲色入欧美| 亚洲系列欧美| www.人人摸在线视频| 97久久久久久久久久| 精品国产综合久久福利,热99这里有精品综合久久,99热这里只有免费国产精品,精 | 精品人妻一二三| 97色碰| 精品一级毛片在线观看| 91AV入口| 国产极品精品美女视频| 日韩精品碰碰| 极品美女福利在线观看| 3p国产色噜噜一区| 九九色逼| 久久久精久久久| 亚州色站 日韩电影| 99热免费精品| 亚洲在钱| 97超碰香蕉| 日本久久女同性恋视频| 国产精品久久久久无码Av网曝门| 性爱Av免费| 亚洲黄色网址视频| 成人片在线播放| 最新AVzaixian| 欧美日韩黄色片一区二区三区四区人与兽做爱 | 婷婷干黄色| 日B操| 污污汅18禁网站在线永久免费观看| 97人人操人人摸人人爱| 麻豆国产免费影片| 国产女上位好爽在线| 色五月69夫妻| 加勒比性爱成人在线| 亚洲区 欧美区| 天堂男人网| 国产传媒午夜理伦精品| 久久久无码av精| 日本99热| 欧美72网页| 狠狠操狠狠燥| 久艹日日日| 美国精品国产精品| 五月丁香激情综合网| 日韩美女久久一区二区三区| 在线一区| 久热最新在线杭州| 色操逼网| 99视频内射三四| 亚洲射综合网| 欧美小说区视频区| 性爱视频免费网址| 免费看日产一区二区三区| 九九热九九热| 亚洲性综合| 97精品一区二区视频在线观看| 26UUU欧美日本| 欧美成人一区二区三区在线播放| 亚洲精品久| 久久美国毛片| 国产精品午夜AV完会免费 | 日日干日日摸| 欧美激情视频在线一区| 九九性视频| 又摸又舔在线观看网站| 欧美激情精品| 综合操逼| 任我爽视频在线观看| 超碰在线1234区| 国内偷拍精品一区二区| 久久精视频美日韩在线视频| 女生自91网站| 酒色综合网| 亚洲AV性爱电影| 欧美日韩夜夜| 99少妇| 东北丰满熟女国产一区| 国产精品对白内射| 快灬快灬 一下爽蜜桃在线观看 | 97天天操| 国内毛片免费h片在线| 天天看特黄的免费网站 | 黄久久| 很黄很色的视频在线观看| 第二页中文字幕| 亚洲精品97p| 亚一综合久久久久久久久久| 爱欲AV| 99av| 久久久五月天| 天天在线91| 国产一区在线观看无码AV| 九九九综合精品| 蜜臀一区二区三区亚洲最新章节在线观看 - 高清蜜臀一区二区三区亚洲全集播放 | 囯产精品久久久久久久久久梁医生| 色青青久久影视| 天天天天做夜夜夜夜做| 97超碰人人操人人操| 色婷婷视频| 骚日日av| 蜜臀AV网站| 亚洲综合贴图91| 一个国产在线综合网站| 午夜欧美J进J出白浆流出久久久| 亚洲色欧美| 国产剧情一区在线观看| 久久线上视频免费看| 亚洲精品中文字幕一区在线视频| 午夜毛片高清免费不卡| 国产精品永久免费10000| 久久9久9久99久9久9| 国产97亚洲| 欧亚免费视频| 啪啪啪男女亚洲中文字幕99| 九月婷婷久久| 中文字幕人妻丝袜乱一区三区| 亚洲少妇中文字幕网址| 亚洲天天精品| 另类一区| 欧美淫乱视频| 九九综合久久| 大干人妻| 久久五月丁香| 色爱亚洲| 韩国久久97| 超碰2017| 大香蕉伊人网WWWn0n| 人妻一区二区三区四区视频| 另类亚洲图色| 秋霞成人做爱| 色天堂在线观看| 国产精品麻豆视频网站| 97精品在线| 92午夜免费福利视频| 啊啊啊啊啊舒服| 精品国产肉丝袜在线拍国语| 超碰97国产欧美| 很很干很很操| 中国AAAAAA黄色片| 北条麻妃性愛视频| 亚洲一卡2卡3卡4卡乱码网站 | 欧美久久人体| 九九久久九九久久| 亚洲欧美国产va在线播放频| 五十路熟女工口 | 91丝袜美女| 国产精品视频91久久| 免费啊啊啊| 亚欧高清在线| 在线中文字幕视频| 精产国品一区二三产品| 狠狠色狠狠色狠狠五月| 91国产在线精品| 婷婷色五月激情| 97爱爱爱| 欧美色图 人妻| www.人人cao| 草草草草视频| 性生活无遮挡纯毛片在线看| 伊人女女资源在线观看| 91熟女在线| 欧美成人亚洲精品| 国产亚州高清国产拍精| 一本大道青青| 97看操| 国内自拍 日韩激情 99| 嗯嗯啊啊好爽| 久久99草| 午夜精品久久久久久久男人的天堂| 丰满人妻被猛烈进入中| 锕锕好爽 死我在线观看| av天堂影视中文在字幕在线中文| 狠狠色噜噜狠狠狠狠2018| 狠狠干2020| 天天做天天爽| 一级性爱啪啪视频| 日韩九九九| 97视频620| 91久久久久久久久18| 亚洲在线网站| 天操天操夜操夜月操月年年操操| 亚洲一区中文字幕久久,果冻传媒一区二区天美传媒 | 亚洲综合另类小说色区亚洲成av人片在www | 白嫩少妇| 超碰97综合网| 99re69综合| 秋霞视频一区二区| 欧美一区二区三区四区综合| 老熟妇一区二区三区| 澳门人妻久久| 日韩成人综合网| 日韩欧美午夜一区二区| 日本熟妇人妻一区二区三区| 欧美猛交黑寡妇中文字幕| 任你草| 视频在线观看免费一区二区三区| 超碰超碰超碰超碰的大鸡吧操黑丝袜| 99xav| 天天摸,夜夜摸| 欧美成人AⅤ大片在线观看| 欧美懂色综合网| 五月婷婷综合激情| 人人操人人插人www| 日韩三级伊人| 亚洲欧美在线丝袜| 熟女熟妇伦久久影院毛片一区二区| 后入内射蜜桃臀| 天天干一干| 亚洲AV成人无码一区二区三区在线观看| 国产美女口爆吞精视频| 久久久久久久9| www.成人无码| 后入福利视频| 四季AV一区二区凹凸精品小说| 男人的天堂啪啪| 中文字幕精品资源在线| 色在线亚洲视频www| 91 偷| 青青草五月份天| 九九热精品| 91精品啪在线观看国产城中村| 乱操乱伦AV| 五月婷亚洲精品天堂| 久9久9久9久9久9久9| 久日综合网| 啊啊啊不要啊啊受不了了视频在线| 国产人妻精品久久久一区二区三区| 亚洲天堂 视频你懂的| 逼逼逼逼操操操操操操操操操午夜剧场| 亚洲欧洲av影音| 国产精品一区二区三区免费视频| 午夜九九| 欧洲一区二区三区四区在线观看| 91N综合网在线| 伊人991| 欧美日韩国产电影| 少妇毛片久久| 操死我干死我| 婷婷三区| 无套内射人妻在线播放| 中文字幕欧美日韩三级| 青青草国产欧美非洲黑人| 色香天天| 91国模| 啊啊啊免费视频| 少妇无码999| 久久无码精品| 日日超碰亚洲| 日韩一级二级三级免费看完整版 | 91亚州日韩高清| 五月色综合| 玖玖在线视频| 天天操狠狠日夜夜干超碰撸com视频在线观看| 日本性爱不卡视频| 欧美日韩国内不卡| 性爱乱伦一区| 新版天堂中文资源8在线| 日韩欧美经典在线观看| 国内毛片无码一级毛片| 99ri视频| 夜夜嗨一区二区| 日本三级日本三级三级人妇四虎| 射丝袜高跟鞋99| 黄色小说亚洲| 天天α片| 色亚州人久干视频在线观看免费版| 9999久久久久| 99色视频| 欧美久久草熟女| 伊人久久大香蕉线AV五月天| 亚洲人妖网| 欧美色日| 亚洲女优有码无码高清| 97天天| 肏逼视频日本| 伦激情人妻另类人妻| 日本孕妇一区二区视频操逼免费看 | 91AV天美在线视频| 正宗无毛一线天嫩逼| 久久99国产精品| 亚洲国产美女久久久久| 欧美日韩国产另类综合| 在线精品福利免费播放| 五月婷婷影院| 亚洲中文人妻色| www.AV有限公司一区| 嗯~啊~快点 死我视频免费看网站| 日韩欧美蜜桃精品久久中文字幕久久| 一区二区三区一亚洲中文字幕、综合区灬| 九九九九九精品视频| 肉动漫无遮挡h在线观看| 国产一区自拍欧美日韩| 粉嫩av在线一区二区| 中文字幕永久在线| 91精品人妻一区二区-全集完整版免费正片国语-B02AV | 亚洲天堂男人在线| 欧美久久毛片基地| 校园春色欧美| 亚洲欧美情色| 嗯啊视频免费在线观看| 极品极品色影院| 高潮内射在线| 99re在线精品78| 97视频免费| 久久久一区二区三区三州| 中文字幕精品区先锋资源| 96精品在线| 91爱看| 国产精品一区二区密臀| 色色网91| 五月婷婷丁香六月| 性老妇一区二区三区| 96精品久久久| 国产黄色视频久久| 成人av动漫在线观看| 有码免费观看| 加勒比伊人综合| 久久9久| 国产 热久久久久国产精品| 亚洲天堂,男人| 青青伊人久久| 91丝袜在线观看| 国产 热久久久久国产精品| 日本三级久| 久久人妻少妇| 欧美精品成人一区二区在线观看| 成人午夜视频免费播放| 欧美97在线观看| 抽插亚洲无码| 天堂俺去俺来也www久久婷婷| 天天操夜夜操| 91丝袜美腿片| 最新日本中文字幕| 人妻丰满熟妇一区二区三| 首页亚洲国产高跟丝袜诱惑视频| 黄色不卡视频| 亚洲欧美人妻| 丁香五月久久| 午夜福利在线合集| 亚洲一区二区三区春色| 女人爽到高潮潮喷18禁网站| 99只有精品| 欧美亚洲高清| 天天爽人人综合免费7799| 国产乱人妻精品入口| 久久人妻| 日本色色色| 色超碰综合| 91啦人妻| 97精品国产97久久久久久| k频道色撸撸| 亚洲āv网址在线观看| 美女刺激久久国产欧美| 五月天人妻综合| 成年人网站在线免费观看| 久久99热这里只频精品6学生| 国产情色第一第二页在线观看| 另类图片欧美激情综合| 美女刺激久久国产欧美| 精品高清牛人盗摄一区二区三区中文字幕A片免费在线观看 | 97超碰香蕉| 大香蕉黄色一区| 日产成人久久| 精品国产91av一区二区三区| 国产精品久久久久绯色| 97天天摸天天爽| 丰满人妻一区二区三区| 青青草原av| 日本熟女免费視颖| 美女的肌被草喷水视频| 91东北熟女| 91neishe| 精品午夜福利| 久久女人一区二区三区| 欧美综合1性辶| 一类无码操逼视频| 欧美色综合图片| 成人精品久久久午夜福利| 丝袜内射| AⅤ片水多多| 成人熟女视频一区二区三区| 日本影视久久免费| 亚洲麻豆精品二区三区| 欧美 亚洲 在线| 污啪啪啪视频| 亚洲资源站| 黑操B| 啊啊啊啊网站| 五月婷丁香| 91丝袜视频在线观看| 欧美激情综合色综合啪啪五月| 精品日韩产品在线,日韩在线不卡视频,欧美日韩免费专区/久, | 中文字幕一区二区无码成人| 亚洲欧美国产日本一区二区三区| 国产精品另类一区大香蕉| 久久性爱免费送| 超碰日韩美妻| 亚洲精品乱码久久久久久蜜桃麻豆| 久久人妻一区二区三区高清| 中国一区二区亚洲人妻| 怡春院久久| 屌色在线97视频| 试看60秒 爽| 少妇被玩视频二三区| 无码直播久久久| 一区二区三区 丝袜高跟| 强奸乱伦Av网| 五十路熟女在线不卡观看一区二区| 精品国产精品一区二区| 国产一区在线看| 中文字幕91综合| 一区二区免费电影久久| 欧美亚洲影视| 精品一区二区成人| 91少妇高潮| 青青操青娱乐| PMv在线观看| SUV一区二区在线看| 久久久久久国产无码精品| 天天性射网| 色老汉玖玖爱| 麻豆国产视频精品观看| 精彩久久中文| 五月天激情小说| 色欲av国内精品久久久久久| 熟女一区二区三区| 午夜福利成人免费视频| 亚洲人妻久久| 欧美另类自拍 | 97这里只精品| 99热这里是精品| av网站国产主播在线| 色超碰综合| 久综合网| 国产无码三级视频在线观看| 1二区9| 717影院理论午夜伦八戒| 午夜精品久久久久久久久久久久久| 丰满人妻一区二区三区在线| 97精品熟女少妇一区| 啊啊啊啊好疼| 欧洲亚洲人妻无码中字久久三区四区| www.色婷婷色综合| 日韩免费a级毛片无码a∨| 狠色婷婷久久一区二区三区_| 四虎影院成年人片| 亚洲欧美日韩制服另类| 亚洲天堂人人妻| 艹比视频国产精品| 98久久| 中国熟女91| 99超碰色| 天天干夜夜操网| 欧美宗合色| 麻豆天美在线喷水AV| 韩国久久97| 国产精品久久久无码AV网站| 亚洲天天操| 麻豆a'v电影| 极品粉嫩一区二区| av资源在线播放天堂| 国产狂喷潮在线精品| 中出91视频| 久草毛片电影怡| www.狠狠操| 欧美精品日韩久久久九| 蜜臀99精品国产高清在线观看| 97干在线看| www色色com| 中国AV美女| 精品欧美乱码久| 强奸熟女一区二区三区| 91九久| 91碰碰碰| 蜜乳AV一区| 精品视频一区二区| 91痴汉| 亚州日韩97| 天天欧美色| 十八禁成人网站在线观看| 狠狠久久手机视频精品| 亚洲图片欧美偷拍| 日日日色色色色色| 色爱欲亚洲| 丁香六月啪| 国产熟女完整版中字| 99色网| 大香蕉视频啪啪啪啪| 天天操天天日天天干| 久久发布国产伦子伦精品| · —级AA伦aa坐爱午夜极速ⅴA一区天天噪天天噪天天噪 | 牛牛久久国产精品视频一二三| 色妺妺在线视频| 五月天婷婷久久| 国产一区二区三区久久久精品| 天天插网| 欧美 色 亚洲| 久草久日| 久久久久久久久久久久九| 色盈盈影院| 猛交交| 9 9精品一区二区三区| 成人一道本免费视频| 又粗又长又大国产不卡| 久操国产在线| 超碰伊人在线| 亚洲av热热色| 国产精品国产自产拍高清AV| 又黄又爽在线观看视频| 欧美99热| 在线观看国产黄色| 综合久久六月久久婷婷| 国产精品999zyz| 欧美日日操| 中文字幕日韩电影人妻| 火箭成精品视频884必出精品| 91操熟女视频 | 激情小说图片亚洲首页| 亚洲欧美日韩激情不卡| 東南亚性呦成人伦理资源在线视频| 激情内射| 人妻人久久精品中文字幕| 国产精品久久久久999| 成人天天看站长推荐| 一区中文字幕二区日韩| 2025亚洲男人天堂| 91美女中出| 亚洲国男人的天堂| 熟女精品一区二区三区| 国产11页| 九九热九九热| 四虎永久在线精品免费网址| 欧美熟爽综合| 极品粉嫩一区二区| 欧美超碰96| 国产欧美一区二区| 九九热视频这里只有精品| 中文字幕88av在线| 男生女生啊啊啊啊| 国产精品密臀网在线观看| 亚洲中文字幕乱码无码一区二区 | 加勒比中文av| 国产97在线 | 亚洲| 国产女人视频三四五区| 丝袜美腿亚洲| 成人无码在线视频网站| 高潮毛片无遮挡高清免费| 国产精品亚洲高清在线| 乱伦av国产| 综合欧美日本三级| 日韩中文欧美| 97久精品| 青青草精品| 精品中文一区二区| 97视频在线免费播放| 一本一道久久综合久久| 天天操妹子| 男人天堂2017| 男女做爰猛烈动高潮A片免费应用 少妇厨房愉情理伦片bd在线观看 不卡中文字幕aⅴ在线 | 久久久久久久久久久999| 久久久久元码视频| 好一吊区二区| 91一区二匹| 欧美日韩国产一区二区小黄片大全| 翔田千里一区二区三区奶水| 思思热影视| 五月丁香狠狠爱| 久久综合18p| 欧美日韩一干二干| 亚洲欧洲日产国产综合网| 亚州精品人妻一二三区| 亚洲97在线| 成人性爱AV在线免费观看| 亚洲成人福利电影免费| 26uuu国产| 亚洲综合888| 欧洲亚洲天堂精品 | 区一在线观看| 亚洲熟女乱综合一区二区三区| 一本色道久久综合亚洲二区三区| 91综合无码| 性久久久| 久久久成人国产精品无码| 中文字幕在线播放2中文字幕在线观看2| 超碰97资源大奶| 伊人久大| 91精品人| 无色无码| 台欧久久精品视频| 久久久久ab| 麻豆AV一区二区天美传媒| 午夜a成v人电影| 91人妻Pr| 欧美 传媒 麻豆 日韩 偷拍| 超碰九九| 久久久精品91八戒| 无套内射性感少妇视频| 欧美日本久久精品一区| 日韩特一级久久| 国产日本一区二区三区蜜臀在线观看| 欧美性生活免费网| 黑丝内射一区二区三区| 蜜臀AV成人精品蜜臀| 国产精品乱码久久久久久久久| 精品国产Av无码久久久亚洲| 尤物一级在线免费观看| 激情综合97| 亚洲怡春院| 视频一区二区免费在线| 日本日皮视频逼| 成人日本精品九区| 青青在线视频免费| 成人激情无码在线视频| 2020视频1区2区3区| 日本新免费二区三区| 女人综合网| 国产激情av女片自拍| 校园春色综合色| 9 9无尺码天堂网| 亚洲第一页综合在线| 亚洲国产成人7777| 欧美激情综合| 超碰97在线色男人??| 日韩一级性爱无码| 99精品无码| 久久久久久裸体| 人人做,人人操,人人摸| 午夜精品久久久久久久男人的天堂 | 97天堂| 91在线无码精品秘 软件| 日韩精品一二三四| 九九亚洲精品| 国产一区在线播放| 高清国产av无码| 日日干夜夜骑| 亚洲精品尤物yw在线影院| 五月天伊人| 久久风骚城市| 家庭乱伦网站国产| AV在线资源| 国产精品一区二区a| 一级A啪啪啪啪| 日本黄色XXX| 天天做日日做| 欧美色66| 欧美日韩插逼视频| 天天欧美色| 91中文字幕制服丝袜免费视频| 草草网站影院白丝内射| 国产又粗又又黄又猛| 婷婷人妻激情| 日韩成人大片一区二区| 亚洲人久久久网| 十八禁av无码免费网站APP| 午夜福利久久久噜久噜久久综合| 97操碰| 亚洲精品国产精品乱码不99| 色9999日韩国产| 日韩免费人妻色情网站| 日韩欧美三级| 人人看人人爰人人操| 好好的日:com久久九九| 最近2018中文字幕在线高清第一页| 欧美极品少妇交| 精品人妻一区二区三区不卡断 | 一区麻豆 高清中文字幕| 亚洲精品欧洲色| 97操操| 91色欧美| 国产极品一区二区三区三州| 色鬼在线综合| 亚洲欧洲激情卡通另类文学四射小说网站| 亚洲成人久久美女| 中文字幕诱惑制服人妻丝袜美丝袜美| 肏逼福利网站| 国产精品老熟女一区二区| 丝袜视频网国产90| 亚洲国产一区二区日韩专区| 国产人妻精品久久久一区二区三区| 国产路线专区| 五月丁香激情综合网| 日韩BBN| 东京热亚洲一区二区| 91高潮| 狼人综合婷婷激情四射 | 中文字幕日本久久| 丝袜加勒比| 色婷婷丁香五月| 婷婷超| 欧美永久激情一区二区| 特级特黄一级毛片免费| 久湿久久| 欧美啪啪女女| 骚熟女AV网| 欧美做爰无码A片视频| 欧美美女视频| 香一区二区三区| 一级成人性爱| 九9精品| 国产激情综合五月久久|